ALTK-Evolve: как заученная память возглавляет таблицу лидеров τ²-bench в задачах клиентской поддержки без использования пограничной модели

ALTK-Evolve изучает и применяет сценарий с помощью GPT-4.1, превосходя участников в ритейле на τ²-bench, бенчмарке для агентов клиентской поддержки, без обновления весов модели.

Заученная память выводит базового агента ReAct с GPT-4.1 на первое место

Используя GPT-4.1, более старую модель без рассуждений, базовый агент клиентской поддержки достигает 67.5% Pass^4 в категории ритейла на τ²-bench — это означает, что он успешно справляется с задачей во всех четырех независимых попытках для 67.5% задач. Он набирает больше очков, чем любой другой участник из сферы ритейла в нашем снимке таблицы лидеров от 12 октября 2026 года. Он работает на стандартном каркасе ReAct бенчмарка с добавленными к его системному промпту заученными рекомендациями.

ALTK-Evolve создает этот сценарий с помощью GPT-4.1. Она анализирует попытки агента выполнить тренировочную задачу и использует модель для извлечения успехов и неудач в короткие поведенческие правила: как аутентифицировать клиента, подтвердить транзакцию или обработать возврат. Затем эти рекомендации добавляются в промпт агента для последующих разговоров. Одна и та же модель управляет как извлечением рекомендаций, так и самим агентом; обновление весов или разметка человеком не требуются.

Наша предыдущая работа продемонстрировала этот подход на агентах для написания кода. Здесь мы тестируем его на клиентской поддержке, где для успеха требуется соблюдение политик предметной области, понимание запроса клиента и выполнение правильных действий с инструментами.

τ²-bench проверяет клиентскую поддержку на соответствие политикам

τ²-bench (от Sierra) измеряет, насколько хорошо агент справляется с диалогами клиентской поддержки в условиях реальных ограничений. Каждая задача связывает агента с клиентом, смоделированным с помощью LLM, у которого есть определенная цель, набор отраслевых инструментов (найти заказ, оформить возврат, перебронировать рейс) и письменный документ с политикой, которому агент должен следовать. Агент должен выяснить нужные детали, оставаться в рамках политики и предпринять правильные — часто необратимые — действия; задача считается решенной только тогда, когда итоговое состояние базы данных соответствует ожидаемому результату, что представляет собой строгое бинарное вознаграждение. Мы используем два ее домена клиентской поддержки: ритейл и авиаперевозки.

Мы запускаем собственную реализацию базового агента ReAct из τ²-bench с двухфазным циклом THINK → ACT, используя gpt-4.1 в качестве модели агента и gpt-5.5 в качестве модели симулятора клиента; 4 попытки на задачу. Единственное изменение, которое мы вносим, — это блок заученных рекомендаций, добавляемый в конец системного промпта, все остальное (политика, инструменты, каркас) является стандартным для τ²-bench. Конкретно, заученные рекомендации прикрепляются после политики предметной области в виде простого списка в формате markdown:

Мы извлекаем рекомендации из траекторий агента на тренировочных задачах τ²-bench с помощью gpt-4.1, той же модели, которая управляет агентом, а затем применяем их без изменений на отложенном тестовом наборе.

Рекомендации повышают возможности и надежность

В предыдущей публикации мы рассказывали о том, как разные модели и задачи требуют разной дозировки руководств. В соответствии с этой идеей мы также оцениваем различное количество рекомендаций, предоставляемых модели.

Каждая рекомендация имеет счетчик поддержки — количество различных тренировочных задач, из которых она была извлечена, поэтому более высокая поддержка означает правило, которое обобщилось на большее количество задач, а не является единичным случаем. Мы сравниваем три конфигурации: базовую (без рекомендаций), sup3 (оставить только рекомендации с поддержкой ≥ 3 — небольшое ядро с высокой степенью уверенности) и lossless (сохранить каждую рекомендацию, оставшуюся после консолидации, т.е. с поддержкой ≥ 1).

Таблица 1. Конфигурации рекомендаций и количество сохраненных рекомендаций по доменам.

Метрики, которые мы отслеживаем. Каждая задача выполняется 4 раза, и мы анализируем эти попытки двумя способами:

• Средняя точность (Mean Accuracy) — средний процент успешных попыток из 4. Это ось возможностей: как часто агент справляется с этим правильно?
• Pass^4 — процент задач, успешно пройденных во всех 4 попытках. Это измеряет параметр надежности и является метрикой, которую отображает таблица лидеров τ²-bench. Это важно здесь, потому что вспомогательный агент, который решает вопрос с возвратом в 3 случаях из 4, все равно подводит четверть реальных клиентов — Pass^4 показывает, можно ли доверять агенту каждый раз, а не только в среднем.

Рисунок 1. Средняя точность и Pass^4 на отложенных задачах ритейла и авиаперевозок для агентов на базе gpt-4.1 по результатам четырех попыток на задачу.

Модель агента: gpt-4.1 (симулятор пользователя: gpt-5.5).

Таблица 2. Производительность отложенного агента с использованием gpt-4.1 по результатам четырех попыток на задачу. В скобках указаны изменения в процентных пунктах по сравнению с базовым уровнем.

Средняя точность растет в обоих доменах: в ритейле на +4.4 п.п. (78.1 → 82.5) и в авиаперевозках на +7.5 п.п. (57.5 → 65.0). Надежность продвигается дальше: строгий показатель Pass^4 увеличивается на +10 п.п. в ритейле (57.5 → 67.5) и на +10 п.п. в авиаперевозках (35.0 → 45.0). И эти приросты достигаются за счет более информированных вызовов, а не более длинных разговоров — мы рассматриваем длину разговора непосредственно в разделе «Более высокая производительность требует больше токенов, а не больше шагов» ниже.

Лучшее количество рекомендаций зависит от домена

Два домена расходятся во мнениях относительно того, насколько окупается руководство. В ритейле больше — значит лучше по каждой метрике: небольшое ядро sup3 едва превосходит базовый уровень по точности, а для реального скачка необходим полный набор lossless. В авиаперевозках картина меняется на противоположную в отношении надежности: lossless лидирует по точности (65% против 60%), но компактное ядро sup3 (14 рекомендаций) оказывается более надежным, доводя Pass^4 до 45% против 40% у lossless. Повторяя более ранний вывод о том, что подача — это регулятор, а не константа, количество поддержки является параметром, который стоит настраивать для каждого домена, а не значением, которое нужно жестко кодировать.

Более высокая производительность требует больше токенов, а не больше шагов

Рекомендации не бесплатны, но затраты приходятся туда, куда и ожидалось — на входные токены промпта, а не на более длинный и запутанный разговор:

Рисунок 2. Общая стоимость LLM на один разговор по доменам и конфигурации рекомендаций на полном базовом разделении.

Таблица 3. Общая стоимость LLM на один разговор (агент и симулятор пользователя) на полном базовом разделении по результатам четырех попыток. Меньше — значит лучше.

Достигает ли агент цели, разговаривая дольше? Чтобы ответить на этот вопрос корректно, мы сравниваем сопоставимые вещи: задачи, успешно решенные как в базовом варианте, так и с вариантом рекомендаций (идентичный сценарий и сид, настоящий набор «та же задача, выполненная правильно»), и подсчитываем шаги ассистента с каждой стороны.

Таблица 4. Шаги ассистента за разговор для сопоставимых запусков, решенных при обоих настройках на тестовом разделении, с объединением четырех попыток.

Агент не разговаривает дольше — на общем наборе рекомендации делают разговоры немного короче: lossless сокращает примерно на 0.3–0.4 шага в обоих доменах (в ритейле с 10.59 до 10.16, в авиаперевозках с 9.15 до 8.82), и ни один вариант их не удлиняет. Это важно не только с точки зрения стоимости: каждый шаг представляет собой последовательный цикл обмена данными с LLM, поэтому меньшее количество шагов означает меньшую сквозную задержку — более быстрое время выполнения для клиента, а не просто более дешевое. Единственная реальная цена заключается во входной стороне — более крупный системный промпт, передаваемый при каждом вызове LLM: промпт для ритейла из 292 рекомендаций увеличивает стоимость с ~$0.084 до ~$0.139 за разговор, в то время как меньший сценарий для авиаперевозок обходится дешевле. И в продакшене даже это в значительной степени возмещается за счет кэширования промптов, поскольку блок рекомендаций идентичен при каждом вызове.

Таким образом, сделка выглядит выгодной: при небольшом росте затрат на ввод (большая часть которого на практике кэшируется) агент получает более высокую точность, большую надежность и меньшее время выполнения одновременно — это не обычный компромисс между качеством и задержкой, а движение всех трех параметров в нужную сторону вместе.

Выученные руководящие принципы также улучшают агентов, использующих передовые модели

До сих пор мы использовали более старую модель без возможностей рассуждения — gpt-4.1. Справедливым возражением будет то, что выученные принципы могут мало что добавить агенту, использующему передовую модель: возможно, они лишь латают пробелы более слабой модели. Поэтому мы протестировали это напрямую — мы перезапустили задачу с авиакомпаниями, используя gpt-5.5 как для агента, так и для извлечения принципов, на том же каркасе τ²-bench ReAct, с принципами, повторно извлеченными из собственных запусков агента. Одна деталь меняется в зависимости от модели: ни один из принципов, извлеченных в такой конфигурации, не достиг поддержки ≥ 3 (их максимум — поддержка 2), поэтому ядром с высокой поддержкой здесь является sup2, а не sup3.

Таблица 5. Производительность на отложенной выборке авиакомпаний для агента gpt-5.5 по четыре попытки на задачу.

Выученные руководящие принципы улучшают и эту конфигурацию. На тех же отложенных тестовых задачах их добавление в промпт повышает точность на +10 пунктов (72.5 → 82.5), а строгий показатель Pass^4 — на +15 пунктов (55.0 → 70.0). Это больший прирост надежности, чем мы наблюдали с gpt-4.1 на тех же задачах (+10 пунктов), и при этом с гораздо более высокого уровня. Обучение принципам вокруг модели может улучшить агента даже тогда, когда он начинает с более сильной базы. И там, где надежность базовой версии колебалась между повторными запусками, конфигурация без потерь воспроизводилась идеально: полученный прирост является надежным, а не результатом удачного стечения обстоятельств.

ALTK-Evolve возглавляет сравнение в таблице лидеров

Заявки оцениваются по полному базовому набору (обучение ∪ тест), как того требует τ²-bench, и результаты приводятся для Pass^4. Поскольку это охватывает весь набор задач, а не отложенную тестовую выборку, эти цифры отличаются от приведенных выше показателей для тестовых задач. Именно здесь проявляется практический результат: память на уровне промптов выводит агентов на базе каждой модели на уровень или выше текущих передовых компаний:

• Retail: #1. На базовом наборе агент с выученными принципами достигает Pass^4 = 67.5%, опережая каждую передовую модель и обходя RAFT-30B-A3B (61.4%) — модель, дообученную на синтетических ритейл-данных τ²-bench. Используя стандартную gpt-4.1 и добавленный в промпт свод правил, система превосходит эту дообученную систему на +6.1 пункта.
• Airline: #1 с использованием gpt-5.5, #8 с использованием gpt-4.1 По сравнению с опубликованной таблицей, компактное ядро sup3 дает агенту на gpt-4.1 Pass^4 = 44% — 8-е место, что превосходит GPT-5.2 (без рассуждений) и практически соответствует Claude Sonnet 4.5. Если заменить базовую модель на более сильную, тот же подход уверенно занимает первое место: агент на базе gpt-5.5 достигает 82.0%, превосходя любые передовые решения (66–72%).

Рисунок 3. Сравнение Pass^4 между запусками ALTK-Evolve и снимком таблицы лидеров τ²-bench от 12 октября 2026 года.

Тот же вывод верен для обеих областей: обучение принципам вокруг модели работает на разных базовых моделях, выводя агента на базе старой модели без рассуждений в ряды передовых решений в ритейле, и выводя агента на базе передовой модели на первое место в сфере авиаперевозок.

Агенты могут улучшаться без обновления весов

Дообучение модели на бенчмарке является дорогим, хрупким процессом и не переносится на другую предметную область. Здесь ALTK-Evolve улучшает стандартного агента на стандартной модели в обеих областях — и не уступает или превосходит дообученную систему в ритейле — используя только руководящие принципы на уровне промптов, извлеченные из собственных запусков агента автоматически, без участия человека и без какой-либо утечки из тестового набора.

Ссылки:

• Предыдущие публикации Думаете об ACE? Мы можем сделать это с меньшим количеством токенов Сколько памяти на самом деле нужно вашему агенту?
• Думаете об ACE? Мы можем сделать это с меньшим количеством токенов
• Сколько памяти на самом деле нужно вашему агенту?
• Библиотека ALTK-Evolve —
• τ²-bench —
• Заявка на таблицу лидеров ритейла —
• Заявка на таблицу лидеров авиаперевозок —