STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Как Cloudflare сократила расходы на ИИ-ревью кода на 68%

Инженеры Cloudflare разобрали стоимость работы внутреннего ИИ-ревьюера и смогли сделать проверки существенно дешевле и быстрее. Ключевой проблемой оказались длинные цепочки обращений к моделям и постоянно увеличивающийся объём повторно передаваемого контекста.

Иллюстрация из открытой ленты Cloudflare Blog

Главное

Сервис автоматической проверки кода Cloudflare состоит из управляющего агента и специализированных проверяющих моделей. За несколько месяцев стоимость анализа изменилась, хотя общая архитектура оставалась прежней. Усложнялись изменения в коде, росло число запросов, а переключение на более дорогие модели повышало плату за обработанные токены. В дорогие недели средняя цена одной проверки достигла 2,43 доллара.

После подробного аудита команда сократила стоимость анализа до 0,77 доллара, или на 68 процентов. Одновременно медианное время проверки уменьшилось с четырёх минут и девяти секунд до одной минуты и тридцати двух секунд. Разработчики связывают значительную часть эффекта с переработкой последовательности вызовов: повторное чтение длинной истории стоило дорого даже при высокой эффективности кеша.

Подробности

Около 40 процентов экономии дали программные изменения в самом ревьюере, оставшееся — выбор моделей и настройка усилий для разных стадий анализа. Вместо назначения самой дорогой модели на каждый шаг имеет смысл учитывать сложность задачи и ожидаемую пользу. Но экономию необходимо сопоставлять с качеством обнаруженных проблем: ускорение бесполезно, если увеличится количество пропущенных ошибок.

Практический вывод для создателей корпоративных ИИ-агентов — измерять не только итоговую стоимость API, но и число запросов, объём кешируемого контекста, продолжительность каждого шага и цену разных проверок. Уменьшение избыточных обращений помогает одновременно снизить нагрузку и улучшить работу пользователей. Показатели Cloudflare получены на её собственной системе и не обещают такой же процент экономии всем проектам.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Cloudflare Blog. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗