Эксперимент с ИИ-агентами: почему большая команда не гарантирует лучший код
В техническом исследовании на Habr сравнили одиночных ИИ-агентов и команды разных размеров. На исправлениях Python и алгоритмических задачах выяснилось: дополнительные исполнители повышают стоимость работы, но далеко не всегда увеличивают число результатов, прошедших тесты.

Главное
Автор собрал корпус из 14 локальных исправлений для библиотек Click и Packaging на Python и 30 задач AtCoder. Для заданий были зафиксированы исходные версии и целевые проверки, чтобы измерять качество по работоспособности решения, а не по убедительности объяснения модели. Исследование не воспроизводит весь производственный процесс: согласование требований, отдельное человеческое ревью и развёртывание в рабочей среде в него не входили.
Эксперимент проводился с DeepSeek V4.1 Flash и Qwen3.8 Flash. Для каждой модели запускали конфигурации от одного до 64 агентов. Одиночный исполнитель мог самостоятельно перепроверить свой ответ; в многоагентной схеме участники создавали варианты и замечания, а ведущий собирал итоговое решение. Автор учитывал стоимость всех обращений к API независимо от успеха, поэтому сравнение показывает цену реально принятого результата, а не просто объём проделанной генерации.
Подробности
У DeepSeek на алгоритмических задачах число зачётов достигло 24 при восьми агентах, но при 64 снизилось до 23. На полном наборе при максимальной команде модель получила 25 успешных ответов из 44, а Qwen — 19 из 44. Это не универсальные оценки возможностей моделей: результат зависит от состава задач, способа распределения работы и правил, по которым ведущий выбирает окончательное решение.
Особенно заметной оказалась цена масштабирования. По приведённым данным, переход от восьми к 64 агентам увеличивал стоимость попытки без кэша на 691% у DeepSeek и на 687% у Qwen. Более длинные цепочки рецензий одновременно создавали дополнительную нагрузку для ведущего, а некоторые пригодные черновики не доходили до окончательного ответа. Автор отдельно оговаривает, что небольшую разницу в качестве на такой выборке трудно уверенно отделить от случайного разброса.
Что это меняет
Для практической разработки полезен подход с измеримой приёмкой. Сначала стоит проверить одного агента с самопроверкой на характерных задачах проекта и посчитать стоимость успешного исправления. После этого можно сравнить небольшие команды с независимыми вариантами и рецензированием. Сам факт, что система произвела больше промежуточных черновиков, не доказывает улучшения: ключевые показатели — прохождение целевых тестов, затраты и время до пригодного результата.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.