Эксперимент с GPT-6 Astra: три API восстановили Electron-таймер, но с разными затратами
В сравнительном тесте модели GPT-6 Astra через официальный API OpenAI и два сторонних маршрутизатора автор поручил восстановить приложение на Electron и затем расширить его возможности. Все варианты прошли одинаковые автоматические испытания, но время и списания за запросы отличались.
Главное
Для сравнения выбрали не генерацию разового изображения, а разработку с последовательными действиями: изучение готового дистрибутива, создание нового приложения и последующее изменение уже написанного кода. Исходным примером служил Pomotroid, настольный таймер на Electron. Каждый вариант начинал работу в отдельной среде Docker с одинаковыми файлами и условиями, что уменьшало влияние предыдущих запусков на результат.
В первой части агенту нужно было восстановить основные состояния таймера: начало отсчёта, паузу, продолжение, сброс, смену рабочих и перерывных периодов, пользовательские параметры и их сохранение. Проверялась не только возможность нарисовать похожий интерфейс. Отдельное требование связывало действия пользователя и тесты с общей логикой состояния, чтобы программа не имитировала успешную работу специальным кодом ради проверки.
Подробности
После получения работающей версии последовало самостоятельное расширение. В приложение добавляли экспорт текущего состояния в JSON и обратный импорт с проверкой неверных данных. Условие требовало не менять настройки при ошибке загрузки и не запускать автоматически таймер после восстановления сохранённого состояния. Такой этап позволял оценить способность агента продолжать разработку существующего результата, а не каждый раз начинать заново.
По опубликованным автором результатам все три варианта прошли автоматические испытания с оценкой 70 из 70 доступных баллов. Ещё часть итоговой оценки была оставлена для ручной проверки и в представленный результат не вошла. Полное выполнение заняло меньше времени через официальный API OpenAI и OpenRouter, тогда как TeamoRouter работал дольше, но списал заметно меньшую сумму. Это наблюдения одного теста, а не независимый рейтинг моделей.
Что это меняет
Различия по расходам и скорости сами по себе не доказывают ни идентичность, ни подмену модели за посредником. Автор сравнивал завершённые задачи, число обращений к API, работу инструментов и платежи, но не проводил отдельную техническую аттестацию происхождения ответов. Для команд, выбирающих поставщика модели, такой формат полезен прежде всего как образец воспроизводимой оценки на собственных рабочих сценариях.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.