«Налог токенизатора»: почему языки расходуют разное число токенов в ИИ
Сравнение токенизаторов языковых моделей показало заметный перекос между языками: равнозначные по смыслу предложения могут занимать разный объём контекстного окна и обходиться дороже при тарификации по токенам. Разрыв зависит от конкретной модели, письменности и набора сравниваемых языков.
Главное
Перед обработкой запроса языковая модель преобразует текст в последовательность токенов. Они не равны ни словам, ни буквам: один токен может представлять часть слова, целое слово или небольшой фрагмент записи. Если токенизатор плохо приспособлен к определённому языку, он дробит текст на большее число единиц. При одинаковом лимите контекста это оставляет меньше места для документов и истории диалога.
Коалиция CLEAR исследовала различия в токенизации на параллельном корпусе FLORES-200, где предложения представлены переводами на множество языков. Сравнение одного и того же содержания снижает риск перепутать свойства языка с темой запроса. Среди распространённых языков показатели расходились заметно, а при расширении набора примерно до двухсот языков максимальная разница для отдельного токенизатора доходила до 17 раз.
Подробности
Важно правильно понимать показатель. Речь идёт о соотношении числа токенов для сопоставимых текстов внутри одного токенизатора, а не об универсальном увеличении итоговой цены любой ИИ-подписки. Различные сервисы используют собственные тарифы и способы учёта входных и выходных данных. Нельзя также автоматически переносить худшее наблюдение с одного набора языков на все модели и все реальные задачи.
В иллюстрации исследователей один пример предложения занимает 13 токенов на английском и 26 на малаялам; для амхарского в том же сопоставлении приведено 78 токенов. Такие различия возникают не только из-за длины перевода: имеет значение, какие сочетания символов входят в словарь токенизатора. Особенно заметна проблема для письменностей и языков, слабо представленных в типичных обучающих наборах.
Что это меняет
Для разработчиков многоязычных приложений последствия выходят за рамки счёта за API. Длинная токенизированная версия одного и того же сообщения раньше достигает ограничения контекста, а большой объём токенов может увеличивать время обработки. При этом фактические задержки, качество ответа и суммарная стоимость задачи требуют отдельного измерения: эксперимент с разбиением текста сам по себе их не устанавливает.
Полученные результаты делают выбор токенизатора частью продуктовой архитектуры. Командам, которые запускают сервисы на нескольких языках, стоит проводить тесты на собственных типовых фразах и документах, считать токены для каждого языка отдельно и учитывать ограничения контекста при проектировании интерфейса. Более разнообразные обучающие данные и улучшения алгоритмов разбиения могут уменьшить дисбаланс, но величину эффекта следует проверять в каждом конкретном случае.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации 3DNews Software. Текст и иллюстрации первоисточника не воспроизводятся целиком.