Подумайте о том, чем является агент для написания кода, когда вы его только устанавливаете. Это универсал. Один и тот же агент может утром исправить ошибку в React в вашем репозитории, а днем написать модуль на Python в чужом, поэтому его системный промпт должен подходить для любой кодовой базы одновременно. Обвязка (программа, которая оборачивает модель, предоставляет ей оболочку и инструменты для работы с файлами, а также запускает цикл) добавляет примечания, но они в основном касаются вызова инструментов и форматирования правок. В промпте нет ничего, что говорило бы агенту, какая таблица является источником истины для данных о выручке, что ваши временные метки хранятся в UTC или что ваша команда никогда не удаляет строки с отсутствующими значениями без их логирования.
Вы могли бы написать такую специализацию самостоятельно, но почти никто этого не делает. Это требует времени; вам пришлось бы переделывать ее для каждой модели, которую вы оцениваете, и трудно понять, какие инструкции действительно помогают. GEPA, которую мы опишем ниже, пишет их за вас. Вы даете ей практические задачи из вашей собственной кодовой базы, а более мощная модель анализирует логи работы агента, видит, где он ошибся, и переписывает инструкции агента. GEPA сохраняет новые инструкции только в том случае, если они показывают лучшие результаты при выполнении тех же задач.
Мы хотели, чтобы GEPA увеличила долю задач, решаемых каждой моделью, поэтому мы запустили ее на восьми моделях, используя наш бенчмарк Zulip для написания кода. Это не сработало, по крайней мере, так, как мы могли бы измерить. Некоторые модели решили на несколько задач больше, некоторые — на несколько меньше, но ни одно изменение не превышало уровень шума между двумя идентичными запусками. Мы пришли к выводу, что инструкции меняют то, как работает модель, а не то, насколько сложную проблему она может решить.
Что мы действительно заметили, так это побочный эффект. Новые инструкции сделали агентов более сфокусированными, в основном за счет того, что они перестали запускать тесты, которые никогда не могли бы выполниться в песочнице, и для пяти из восьми моделей это само по себе сделало выполнение каждой задачи дешевле. Поэтому мы провели второй эксперимент, добавив небольшой штраф за стоимость к оценке GEPA. Экономия составила от 40% до 70% для протестированных нами моделей, при этом для GPT-5.6 Luna не было обнаружено потери точности, а для остальных наблюдалась лишь незначительная потеря. Для агента, который каждый день работает с одной и той же кодовой базой, это ощутимое снижение ежемесячных счетов за ИИ.
Затем мы изменили способ тестирования агентов. Наша предыдущая таблица лидеров давала каждому агенту одну попытку на задачу, чтобы измерить, сколько работы он выполняет без помощи инженера. Но повторная попытка почти ничего не стоит инженеру. Агент быстрее и дешевле человека, и все, что ему нужно услышать, — это «еще не исправлено», что может сказать сам проваленный тест. Поэтому мы давали каждому неудачному исправлению это однострочное сообщение и до двух дополнительных попыток. Это сообщение добавило примерно 10 пунктов к точности для каждой модели, что больше, чем что-либо, написанное GEPA. Экономия затрат GEPA в основном сохранилась и в этих условиях.
Как GEPA пишет и тестирует новые инструкции
GEPA расшифровывается как Genetic-Pareto (из статьи GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning). Она не столько пишет инструкции, сколько «разводит» их, подобно тому как селекционер выводит новый сорт растений.
Наша обвязка, Pi, позволяет добавлять текст о репозитории поверх общего системного промпта, например: «Локальной базы данных нет, поэтому не запускайте полный набор тестов». Мы называем этот текст «инструкциями», и именно их пишет GEPA. Базовый вариант не добавляет ничего.
Более мощная модель, «рефлектор» (в наших запусках это Claude Opus 5.5), играет роль селекционера. GEPA запускает агента с набором инструкций на нескольких практических задачах, а рефлектор читает логи, проваленные тесты и исправление, которое инженеры действительно внедрили. Затем он пишет пересмотренную копию инструкций, направленную на устранение ошибок. Если новая версия показывает лучшие результаты, GEPA сохраняет ее, и цикл повторяется, пока не закончится бюджет. Веса модели не меняются, поэтому каждый результат — это обычный текст, который мы можем прочитать.
Часть «Pareto» означает, что GEPA сохраняет лучшие инструкции для каждой задачи, а не только лучшие в среднем, точно так же, как вы бы сохранили лучшую модель для каждой ценовой категории. Это не дает ей тратить весь бюджет на доработку одного набора инструкций.
Мы запустили две версии. В версии с фокусом на точность оценка — это доля скрытых тестов, которые проходит патч. В версии с фокусом на стоимость мы вычитаем небольшой штраф за стоимость:
оценка = точность − 0.1 × (стоимость этого запуска ÷ базовая стоимость выполнения той же задачи)
Снижение стоимости вдвое дает прибавку всего в 0.05, поэтому решение задач остается главной целью, а стоимость используется для разрешения спорных ситуаций.
Все задачи взяты из бенчмарка Zulip, который мы обсуждали в нашей предыдущей статье. GEPA обучалась на 20 более сложных задачах, а мы протестировали финальные инструкции на 30 других, которые она никогда не видела, по три запуска на каждую, наряду с базовым вариантом. В таблицах однократный запуск называется «one-shot», а настройка с сообщением «еще не исправлено» — «feedback rounds». Повторный запуск одних и тех же инструкций менял около 22% результатов по задачам, поэтому разница в одну или две решенные задачи из 30 является шумом.
Что на самом деле изменилось в инструкциях
Каждый набор инструкций, написанный GEPA, представляет собой обычный текст, поэтому мы прочитали их все. Большая часть — это практические знания о репозитории, например: логика бэкенда находится в zerver/lib/, и при изменении функции нужно проверить все места, где она вызывается.
Инструкции, сфокусированные на точности, советовали агенту создать собственную систему безопасности, например: копировать измененную логику в черновой скрипт и запускать его, а также находить все места, где вызывается измененная функция. Это полезный совет, но он добавляет работы. Агенты с такими инструкциями редактировали тестовые файлы в два раза чаще, чем в базовом варианте, а поскольку скрытые тесты оценивают патч, эти дополнительные тесты только расходуют токены. Инструкции, сфокусированные на стоимости, советовали агенту работать как человеку, который уже знает репозиторий: читать функцию вместо всего файла, объединять независимые поиски в один запрос, пропускать тесты, о которых никто не просил, проверять diff один раз и останавливаться.
Вот что эти инструкции сделали с поведением GPT-5.6 Luna в ходе 90 отложенных запусков.
Действия агента за один запуск (GPT-5.6 Luna)
Базовый вариант
Фокус на точность
Фокус на стоимость
Количество обращений модели, относительно базового варианта
1.00
0.86
0.59
Попытки запустить тесты или установить пакеты (всегда неудачные)
4.4
0.3
0.1
Правки тестовых файлов
1.4
2.8
Чтение целых файлов
1.9
1.3
0.02
Поиск кода
13.8
12.8
13.6
Чтение диапазонов файлов
22.9
22.2
22.9
Самый большой единичный запрос к модели (токены)
80K
77K
63K
Таблица 1: Поведение GPT-5.6 Luna за один запуск по результатам 90 отложенных запусков.
Обратите внимание на то, что инструкции с фокусом на стоимость не сократили. Luna искала и читала код так же часто, как и раньше, поэтому она исследовала репозиторий так же тщательно, но делала это с 41% меньшим количеством обращений. А поскольку каждое обращение повторно отправляет всю историю переписки, меньшее количество и меньший объем обращений в совокупности дают основную часть экономии.
Результаты
Первая таблица — это эксперимент с однократным запуском для трех моделей, которые мы использовали в обеих настройках. Каждая задача запускалась три раза. Стоимость указана в долларах за один запуск агента по прейскурантным ценам.
Рисунок 1: Сравнение базовых, сфокусированных на точности и сфокусированных на стоимости инструкций для GPT-5.6 Luna, Claude Haiku 5.5 и GPT-5.6 Sol.
Для каждой строки верны два факта. Ни один показатель успешности решений не изменился на величину, которую можно отличить от погрешности, несмотря на то что собственный валидационный балл GEPA вырос на 0,06–0,25 для каждой модели (инструкции, которые выглядят лучше всего на 20 задачах, частично являются таковыми просто благодаря удачному стечению обстоятельств на этих 20 задачах). При этом затраты изменились. Инструкции, сфокусированные исключительно на точности, позволили сэкономить от 14% до 22%, а переориентация GEPA на оптимизацию затрат увеличила экономию до 42% для Luna и Sol и до 70% для Haiku 5.5, причем в каждом случае 29 или 30 задач из 30 стали дешевле.
Во второй таблице представлены пять моделей, которые мы запускали только в конфигурации с фокусом на точность, в режиме one-shot.
Рисунок 2: Сравнение инструкций с фокусом на точность на пяти моделях.
В третьей таблице представлен эксперимент с раундами обратной связи. Затраты включают в себя каждый раунд. Модель Muse Glimmer 30B выполнялась на наших собственных графических процессорах, поэтому для ее долларовых показателей в качестве ориентира использовалась цена за токен общедоступного хостинг-провайдера, чтобы обеспечить сопоставимую стоимость за токен с облачными моделями.
Рисунок 3: Стоимость одной решенной задачи с инструкциями, сфокусированными на затратах, для шести комбинаций моделей и окружений.
Во всех трех таблицах прослеживается одна и та же закономерность. Инструкции GEPA не изменили точность ни для одной модели больше чем на величину погрешности, однако они сократили затраты для большинства из них на 40–70%, когда мы попросили GEPA учитывать стоимость. Именно здесь, по нашему мнению, кроется место GEPA в корпоративных задачах: инструмент не сделает вашего агента умнее, но он может сделать ту же работу гораздо дешевле на задачах, которые ваши агенты выполняют каждый день.
Что это означает для вашей кодовой базы
Когда мы попросили GEPA учитывать затраты, это сократило расходы на 40–70% для протестированных нами моделей, и для предприятия именно этот результат должен иметь наибольшее значение. Ваши агенты работают в одних и тех же закрытых репозиториях изо дня в день, используя стандартный системный промпт, который никогда не видел вашего кода. Чтобы применить этот подход к собственной кодовой базе, вам понадобятся примеры задач, которые выполняют ваши агенты (от нескольких десятков до нескольких сотен), для каждой из которых должен быть способ проверить правильность выполнения работы, а также песочница и более мощная модель в роли рефлектора. GEPA не бесплатна, поскольку каждый цикл обучения требует реальных затрат на запуски агентов и вызовы рефлектора, но со временем экономия окупает эти расходы. В наших запусках тюнинг GPT-5.6 Luna стоил около 30 долларов и окупился примерно после 1000 задач. Тюнинг GPT-5.6 Sol стоил около 400 долларов и окупился через 350–500 задач.
Каждый развертываемый вами агент изначально является универсальным, и прямо сейчас вы платите за то, чтобы он заново открывал для себя вашу кодовую базу при выполнении каждой задачи. GEPA может и не сделать этого агента умнее, но она научит его тому, как устроена ваша кодовая база, и поможет тратить меньше денег на поиск ответа. Наши цифры получены на основе одного открытого репозитория, поэтому оценивайте экономию на собственных задачах, чтобы увидеть реальный прирост. Лучшее время для старта — это этап выбора моделей для продакшена, поскольку задачи, которые вы создаете для сравнения моделей, совпадают с теми задачами, на которых обучается GEPA. Бенчмарк, обвязка и все наборы инструкций из этого поста доступны на GitHub.












