Как Cloudflare сократила расходы на ИИ-ревью кода на 68%
Инженеры Cloudflare разобрали стоимость работы внутреннего ИИ-ревьюера и смогли сделать проверки существенно дешевле и быстрее. Ключевой проблемой оказались длинные цепочки обращений к моделям и постоянно увеличивающийся объём повторно передаваемого контекста.

Главное
Сервис автоматической проверки кода Cloudflare состоит из управляющего агента и специализированных проверяющих моделей. За несколько месяцев стоимость анализа изменилась, хотя общая архитектура оставалась прежней. Усложнялись изменения в коде, росло число запросов, а переключение на более дорогие модели повышало плату за обработанные токены. В дорогие недели средняя цена одной проверки достигла 2,43 доллара.
После подробного аудита команда сократила стоимость анализа до 0,77 доллара, или на 68 процентов. Одновременно медианное время проверки уменьшилось с четырёх минут и девяти секунд до одной минуты и тридцати двух секунд. Разработчики связывают значительную часть эффекта с переработкой последовательности вызовов: повторное чтение длинной истории стоило дорого даже при высокой эффективности кеша.
Подробности
Около 40 процентов экономии дали программные изменения в самом ревьюере, оставшееся — выбор моделей и настройка усилий для разных стадий анализа. Вместо назначения самой дорогой модели на каждый шаг имеет смысл учитывать сложность задачи и ожидаемую пользу. Но экономию необходимо сопоставлять с качеством обнаруженных проблем: ускорение бесполезно, если увеличится количество пропущенных ошибок.
Практический вывод для создателей корпоративных ИИ-агентов — измерять не только итоговую стоимость API, но и число запросов, объём кешируемого контекста, продолжительность каждого шага и цену разных проверок. Уменьшение избыточных обращений помогает одновременно снизить нагрузку и улучшить работу пользователей. Показатели Cloudflare получены на её собственной системе и не обещают такой же процент экономии всем проектам.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Cloudflare Blog. Текст и иллюстрации первоисточника не воспроизводятся целиком.