STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Тест LLM на обычном VPS: память и кэш оказались важнее размера модели

Новый эксперимент с локальными языковыми моделями показывает, какие задачи бизнеса реально выполнять на сервере без видеокарты. Автор сравнил модели на CPU, повторил измерения и обнаружил, что устройство промпта и расход оперативной памяти заметно меняют результат.

Иллюстрация из открытой ленты Habr

Главное

Во второй части исследования автор Habr вернулся к вопросу, может ли недорогой VPS обрабатывать обращения клиентов, готовить краткие резюме и отвечать по базе знаний без отдельного графического ускорителя. На этот раз стенд получил восемь гигабайт оперативной памяти и пять виртуальных процессорных ядер. Для сравнения были взяты небольшие и более крупные модели, а измерения проводились с едиными настройками и повторными прогонами. Это важное отличие от тестов на нескольких примерах, которые легко дают чрезмерно оптимистичную оценку качества.

На выборке из 326 синтетических обращений большинство проверенных моделей показали близкие результаты классификации: от 87 до 92 процентов правильных ответов по принятому в эксперименте эталону. При этом компактные варианты на два–четыре миллиарда параметров в ряде задач оказались практичнее тяжёлых моделей. Увеличение размера не гарантировало выигрыша в качестве, зато требовало больше памяти и времени. Для компании это означает, что выбирать модель стоит не по количеству параметров, а по конкретному сценарию и измеряемой скорости обработки.

Подробности

Отдельный результат связан с повторяющейся инструкцией в запросах. Когда общий системный промпт стоял перед меняющимся текстом обращения, движок мог повторно использовать уже обработанную часть. В приведённом автором примере QVikhr-3-4B выполняла классификацию за 3,8 секунды с кэшем против 12,4 секунды без него. Такой эффект особенно полезен для очередей однотипных заявок, но его нельзя автоматически переносить на разговорные сценарии, где контекст и структура запросов постоянно меняются.

Выяснилась и обратная сторона кэширования: на ограниченном сервере сохранённые промежуточные данные способны вытеснить свободную оперативную память. В тестах одной из моделей это приводило к сбоям и использованию swap. После ограничения памяти кэша через параметр LLAMA_ARG_CACHE_RAM автор повторил нагрузочный тест без прежних падений. Таким образом, настройка среды исполнения может влиять на стабильность сильнее, чем переход к следующей модели в рейтинге.

Что это меняет

Для задач, где ошибка классификации дорого обходится бизнесу, исследование также рассмотрело отдельную decision-модель. При высоком пороге уверенности она могла автоматически разбирать часть обращений, оставляя сомнительные человеку. Но результаты не следует считать универсальным SLA: данные были синтетическими, эталон частично создавался другими моделями, а замеры выполнены на одном процессорном стенде. Перед внедрением потребуется собственная размеченная выборка, контроль качества и проверка на реальной нагрузке.

Главный практический вывод — начинать с небольшого пилота, фиксировать время ответа, точность, потребление памяти и долю запросов, переданных оператору. Для фоновой сортировки обращений локальный CPU-инференс может оказаться достаточным, тогда как интерактивные ответы по длинным документам требуют более осторожного расчёта задержек. Исходные измерения, методика и ограничения опубликованы автором вместе с материалом, поэтому результаты можно проверять, а не принимать на веру.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗