Счёт за ИИ-агента складывается не только из ответа: где теряются токены
Большая языковая модель получает заметно больше данных, чем видит пользователь в коротком запросе. Новый технический разбор объясняет, почему история диалога, правила проекта и работа инструментов могут влиять на расход сильнее, чем длина итогового ответа, и как оценивать экономию без потери качества.
Главное
Когда пользователь просит агента исправить одну функцию, интерфейс показывает несколько слов, но реальный запрос к модели может включать служебные инструкции, сведения о проекте, переписку, фрагменты файлов и описание доступных инструментов. Всё это попадает в обработку как входной контекст. Поэтому сравнивать цену двух задач только по длине видимого сообщения некорректно: значительная часть передаваемых данных остаётся за пределами пользовательского поля ввода.
Сам токен не равен слову или символу. Токенизатор делит последовательность текста на элементы, которые могут совпадать с коротким словом, его частью либо знаком. Счёт зависит и от языка, и от оформления данных. Если агент регулярно прикладывает к запросу длинные журналы и одни и те же файлы, общий объём обработки увеличивается даже тогда, когда текст ответов становится короче. Сокращение реплик без анализа входа редко решает такую проблему.
Подробности
Повторяющиеся начальные фрагменты контекста некоторые провайдеры позволяют кэшировать. При совпадении условий это снижает стоимость обработки повторного входа, но не избавляет от необходимости выбирать релевантные данные. Большое контекстное окно также не гарантирует, что модель воспользуется всеми помещёнными в него деталями. Практический принцип — располагать стабильные инструкции и общие сведения так, чтобы повторное использование действительно было возможно, а меняющиеся материалы добавлять по необходимости.
В агентных сценариях расход создают не только обращения основной модели. Поиск по репозиторию, чтение результатов команд, дополнительные шаги проверки и задачи субагентов тоже формируют отдельные порции контекста. Краткая выжимка от вспомогательного исполнителя освобождает внимание основной модели, но за подготовку этой выжимки уже были потрачены вычисления. Поэтому полезность многоагентной схемы стоит определять по качеству выполненной работы, а не по одной цифре из последнего ответа.
Что это меняет
Автор разбора советует не подменять экономию удалением критически важной информации. При исправлении бага достаточно относящихся к нему строк журнала с необходимым окружением, но для анализа связанного документа потребуются смежные разделы. Для продолжения большой задачи лучше сохранять проверенные решения и текущее состояние в доступном рабочем источнике, чем заставлять модель каждый раз восстанавливать длинную историю. При этом чрезмерная компрессия повышает риск ошибочных догадок.
Оценивать улучшение корректнее на одинаковой задаче и с заранее заданными критериями. Нужно учитывать входные и выходные токены, попадание в кэш, дополнительные обращения, время исполнения и стоимость человеческой проверки. Лимит подписки, цена работы через API и количество токенов не являются взаимозаменяемыми показателями. Вывод применим и к небольшим чатам, и к автономным агентам: сокращать следует повторяющуюся бесполезную работу, а не информацию, от которой зависит правильность результата.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.