Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kak performance factory ot openai podderzhivaet vysokuyu skorost raboty chatgpt
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Как Performance Factory от OpenAI поддерживает высокую скорость работы ChatGPT

Источник: OpenAI•19 ноября 2026 г. в 18:11

Как Performance Factory от OpenAI поддерживает высокую скорость работы ChatGPT

Узнайте, как OpenAI создала Performance Factory — систему рабочих процессов на базе Codex, которая находит и устраняет проблемы производительности, помогая поддерживать высокую скорость работы ChatGPT.

Поразительные темпы развития агентных технологий сделали традиционные подходы к проектированию производительности неэффективными. Чтобы не отставать, мы создали Performance Factory — автономную систему, которая использует все возможности Codex и наших моделей для поиска и исправления регрессий с беспрецедентной скоростью. Performance Factory, работающая в облаке и автоматизирующая исследование и устранение проблем с производительностью, позволяет нам соответствовать амбициозным целям нашей дорожной карты.

В Performance Factory наши инженеры определяют рабочие процессы для повторяющихся задач и пишут инструкции для агентов Codex, которые их выполняют. В частности, «Рабочий процесс регрессии» (Regression Workflow) открывает задачу при срабатывании оповещения о производительности. Агент исследует замедление, записывает результаты в задачу и предлагает исправление для проверки инженером. После развертывания другой агент берет ту же задачу, чтобы проверить, вернулась ли производительность к базовому уровню. От исследования и написания исправления до проверки устранения проблемы — этот первый рабочий процесс в Performance Factory автоматизировал весь процесс исправления регрессий. Всего за три с небольшим месяца «Рабочий процесс регрессии» отследил более 1700 расследований и выявил первопричины более чем в 600 случаях. Это 17 автоматизированных расследований каждый день.

Здесь мы расскажем, как наше использование Codex превратилось в то, что сейчас называется Performance Factory, разберем наш первый запущенный рабочий процесс и поделимся первыми уроками, извлеченными из создания и запуска агентных рабочих процессов в промышленной эксплуатации.

Путь от ручных расследований к автоматизированным рабочим процессам

По мере того как мы использовали Codex для все большего объема работ по производительности, мы заметили прогресс в том, как работала наша команда. Мы надеемся, что другие сервисные команды смогут извлечь уроки из нашего процесса по мере внедрения агентных рабочих процессов в других областях.

Работа с программным обеспечением эволюционирует от ручного труда к партнерству с машинами и далее к фабрикам агентов.

1. До появления Codex. До появления Codex инженеры вручную изучали метрики и логи, сравнивали трассировки, отлаживали работающие машины и читали код для расследования замедлений. Эта работа отнимала много времени, а понимание того, где искать, часто требовало глубоких знаний о сервисе. Важные сигналы было легко упустить. Когда мы сталкивались с одними и теми же проблемами неоднократно — например, с регрессиями в задержке первого токена ChatGPT, — мы создавали продвинутые инструменты, такие как профилировщики CPU и распределения памяти, чтобы упростить эти расследования. Со временем мы накопили более 30 инструментов для работы с производительностью.

2. Codex как партнер. Как только Codex стал нашим партнером, инженеры смогли задавать вопрос: «Почему это стало работать медленнее?» и работать вместе с Codex над расследованием, даже в незнакомой системе. Codex мог искать по большим кодовым базам, находить соответствующие метрики и трассировки, отслеживать взаимодействия между сервисами и выполнять профилирование, чтобы собрать воедино картину произошедшего. Но инженерам все равно приходилось направлять процесс, зная, какие инструменты производительности использовать и как вести расследование. Сложные расследования стали более понятными для большего числа людей, требуя меньше опыта и времени.

3. Повторно используемые навыки. Чтобы автоматизировать процесс дальше, мы зафиксировали процесс расследования нашей команды по производительности в виде общего навыка под названием perf-forensics. Он сообщает Codex, какие инструменты доступны, когда их использовать и как работать с замедлением, чтобы Codex мог попытаться решить проблему с нескольких сторон:

  • Определить, когда началось замедление

Определить, когда началось замедление

  • Идентифицировать затронутые запросы

Идентифицировать затронутые запросы

  • Исследовать, могут ли развертывания или изменения конфигурации объяснить это

Исследовать, могут ли развертывания или изменения конфигурации объяснить это

Мы протестировали и усовершенствовали навык perf-forensics, используя оценки на основе прошлых регрессий. Для тех типов регрессий, на которых мы сосредоточились (например, падение задержки и доступности ChatGPT), мы теперь могли дать Codex оповещение и получить диагноз за один проход, не направляя его на каждом шаге.

4. Человеческий прокси. По мере того как мы добавляли и совершенствовали навыки Codex, связанные с производительностью, такие как perf-forensics, мы начали чувствовать себя посредниками между нашими оповещениями и Codex. Срабатывало оповещение, и инженер просто копировал и вставлял его в Codex с нужным навыком, а затем вставлял результаты обратно в Slack.

5. Автоматизированные расследования. Затем мы перенесли расследования в облако, чтобы оповещение могло автоматически запускать сессию Codex. Codex исследовал замедление и публиковал свои выводы в ветке Slack, но на этом ответе автоматизация заканчивалась. Инженеру все еще приходилось брать на себя диагноз, разрабатывать исправление и проверять, сработало ли оно после развертывания. По мере накопления оповещений даже выяснение того, какие регрессии требуют внимания, означало перебор веток в Slack.

6. Фабрика. Мы создали Performance Factory для запуска сквозных агентных рабочих процессов проектирования производительности. Она отслеживает, что нужно для каждой активной задачи, и назначает агента, когда этот шаг готов. Каждая задача сохраняет свое состояние и результаты, поэтому работа может передаваться между агентами и инженерами и возобновляться после проверки кода или развертывания. Для регрессии работа начинается с исследования оповещения и заканчивается проверкой восстановления в промышленной среде. Мы можем превращать распространенные оптимизации в рабочие процессы, которые регулярно выполняются в наших сервисах. Рабочий процесс, который обнаруживает потенциальную оптимизацию, может открыть задачу в другом рабочем процессе для ее тестирования и реализации.

Четыре части системы Performance Factory

Performance Factory состоит из четырех компонентов: трекер задач с настраиваемыми рабочими процессами, цикл диспетчеризации, который назначает готовую работу агентам, API, который запускает Codex в облаке, и подписки, которые пробуждают агентов при изменении чего-либо (например, при публикации комментария к проверке в GitHub или завершении развертывания).

Performance Factory состоит из сервиса задач, цикла диспетчеризации, облачного выполнения и подписок.

Сервис задач с настраиваемыми рабочими процессами

Сервис задач — это место, где инженеры определяют рабочие процессы, добавляя конфигурационные файлы и подсказки (промпты) для агентов, написанные в формате Markdown. Конфигурация перечисляет состояния, через которые может проходить задача, разрешенные переходы и шаги, требующие участия инженера. Отдельные подсказки говорят агентам, что делать на каждом шаге.

Задача по изменению кода содержит конфигурационный файл, а также Markdown-подсказки для реализации и проверки.

Каждая часть работы становится задачей в рабочем процессе, и все рабочие процессы видны в пользовательском интерфейсе. Инженеры могут видеть, что открыто, следить за прогрессом и делиться задачей с коллегой, который может обладать большим контекстом или быть в состоянии помочь со следующим шагом.

Цикл диспетчеризации, который назначает работу

Цикл диспетчеризации периодически проверяет, какие задачи готовы к следующему шагу. Он назначает агента на каждую задачу, запуская сессию Codex с инструкциями для текущего состояния задачи. Агент записывает свой прогресс по задаче и переводит ее в следующее состояние, если завершает шаг.

Codex в облаке

Как только задача назначена, агенту требуется место для выполнения работы с доступом к тем же инструментам, которые использовал бы инженер. Мы создали внутренний API для программного вызова сеанса Codex в облаке. Сеанс Codex выполняется в среде внутри нашей сети, имеющей доступ к нашим репозиториям кода и инструментам наблюдаемости, которые используют наши инженеры, таким как метрики, логи, трассировки, профили CPU и снимки памяти.

Агент работает под сервисной учетной записью, поэтому мы можем ограничивать его права доступа и видеть, какие действия были выполнены нашими агентами производительности. Перенос работы агентов в облако позволяет нам выполнять задачи параллельно, не полагаясь на то, что ноутбуки инженеров должны быть включены, и не управляя вручную отдельными облачными средами разработки.

Подписки, которые активируют агента при возникновении изменений

Некоторая работа требует ожидания участия человека или развертывания; агенту не обязательно продолжать работу в это время. Когда задаче нужно подождать, она может подписаться на события, такие как комментарии к ревью или неудачные проверки CI в pull-запросе на GitHub, чтобы получить уведомление, когда придет время возобновить работу. Когда входящее событие соответствует подписке, задача снова становится готовой к выполнению, и цикл диспетчеризации может назначить агента для продолжения работы.

Первый рабочий процесс: от оповещения до восстановления

Поиск, установление первопричины и устранение регрессий — это первый рабочий процесс, который мы создали в Performance Factory. Мы называем его «Рабочий процесс регрессии» (Regression Workflow). Регрессия производительности проходит через несколько этапов: требуется расследование, установлена первопричина, предложено исправление и решено, поэтому мы создали автоматизированный рабочий процесс, чтобы отразить эти этапы и продвигать задачу через них.

Когда срабатывает одно из настроенных оповещений о производительности, Regression Workflow открывает задачу, которую агенты подхватывают и перемещают по этим этапам. Задача записывает свой статус и ключевые выводы вне контекста любого отдельного агента, чтобы другие агенты или инженеры могли продолжить работу. Инженеры могут следить за ходом работы в Slack или интерфейсе Regression Workflow, добавлять контекст и проверять предложенные изменения. После развертывания исправления агент проверяет, вернулась ли производительность к исходному состоянию, прежде чем закрыть задачу.

Рабочий процесс регрессии в Performance Factory

Регрессия обнаружена.

  • ОбнаруженоСистема
  • Поиск первопричиныАгент
  • Предложение исправленияАгент
  • Ревью и развертываниеИнженер
  • Проверка восстановленияАгент
  • Решено

Активный этап: Обнаружено

Шаги Regression Workflow включают поиск первопричины, предложение исправления, ревью и развертывание, а также проверку восстановления.

Агенты находят первопричину

Поиск первопричины (или причин) — это первый важный шаг в рабочем процессе. Агент начинает с выяснения того, какие метрики ухудшились, когда они начали меняться и какие запросы к сервисам были затронуты. Навык perf-forensics дает Codex доступ к инструментам, которые используют наши инженеры по производительности, и к руководству по проработке этих вопросов.

Оповещение срабатывает, когда метрика пересекает пороговое значение, но регрессия могла начаться часами ранее. Агент просматривает данные назад, чтобы найти, когда метрика впервые ухудшилась. Затем он сравнивает группы запросов: стали ли похожие запросы действительно медленнее, или мы просто обрабатывали больше запросов, которые уже были медленными? Эти выводы указывают на разные причины.

Как только агент понимает, когда и где искать, он изучает развертывания и изменения флагов функций, а затем читает соответствующий код. Он проверяет, когда изменение действительно затронуло соответствующие запросы, и использует логи или трассировки, чтобы проверить, может ли код объяснить произошедшее.

Состязательное ревью усиливает диагностику

На ранних этапах агенты иногда останавливались на первом правдоподобном объяснении, которое находили, и некоторые из этих диагнозов оказывались неверными. Чтобы выявить эти ошибки, мы добавили состязательное ревью: отдельный сеанс Codex, который пытается опровергнуть предложенный диагноз. Рецензент перепроверяет предположения и тестирует контрфактические сценарии. Если замедление было вызвано развертыванием, остались ли похожие запросы, не подвергшиеся изменениям, в нормальном состоянии? Если подозрительное изменение было отменено, восстановилась ли затронутая метрика?

В одном из расследований агент связал сбои в диалогах ChatGPT с ошибками при загрузке изображений и отметил причину как найденную. Рецензент Codex заметил, что внутренний сервис, отвечающий за поиск файлов, уже восстановился, в то время как запросы изображений все еще завершались ошибкой. Диагноз не объяснял продолжающиеся сбои, поэтому ИИ-рецензент возобновил расследование и записал, что еще предстоит установить.

Мы успешно разбиваем крупные задачи на сфокусированные сеансы Codex. В ходе ручной проверки 100 предложений по первопричинам мы оценили 70% как точные, а 30% потребовали дальнейшей доработки или не полностью установили причинно-следственную связь. В Regression Workflow разные сеансы исследуют регрессии, оспаривают диагнозы и предлагают исправления, чтобы повысить точность за счет системы сдержек и противовесов.

Устранение регрессии — самая сложная часть

Как только диагноз проходит состязательное ревью, рабочий процесс просит Codex реализовать исправление и открыть pull-запрос. Инженер проверяет PR и решает, стоит ли его объединять. Мы проделали значительную работу, чтобы сделать эту передачу максимально простой. Каждая задача имеет отчет с автоматически сгенерированным резюме регрессии, ее влиянием, первопричиной и предложенным исправлением. Мы настроили эти резюме так, чтобы их было легко просматривать, включая временные ряды метрик, графики CPU flame graphs и трассировки, чтобы помочь инженерам быстро понять выводы и изучить доказательства. Инженеры могут редактировать PR напрямую или использовать диагноз для написания собственного исправления. Если они оставляют комментарии к PR, рабочий процесс активирует агента для их обработки.

Пример отчета по задаче для регрессии показывает ключевые детали, первопричину и предложенное исправление.

После того как инженер развертывает исправление, рабочий процесс активирует агента, чтобы проверить, вернулась ли производительность к исходному базовому уровню. Если это так, агент помечает задачу как решенную. Если производительность восстановилась лишь частично, агент закрывает исходную регрессию и открывает новую задачу для оставшегося замедления, которое может иметь другую причину. Если улучшений нет, агент записывает, что произошло, и отправляет регрессию обратно на расследование.

Правильно исправить проблему оказалось сложнее, чем найти причину. Например, мы видели случаи, когда предложенные агентом изменения были сложнее, чем необходимо, или приводили к новым проблемам. По аналогии с этапом поиска первопричины, мы добавили состязательное ревью каждого предложенного исправления, чтобы проверить, устраняют ли они первопричину, и помочь выявить баги или непредвиденные последствия. Некоторые исправления также требуют принятия архитектурных решений более высокого уровня. Например, добавление кэша может улучшить производительность, но привести к появлению устаревших данных. Такие изменения выигрывают от руководства инженера, который знает сервис и может взвесить все «за» и «против».

Мы создаем цикл оценки и улучшения с использованием этих кейсов. Сравнивая исправления, предлагаемые агентами, с изменениями, которые инженеры в конечном итоге объединяют (merge), мы можем лучше понять, в чем предложения не дорабатывают, создавать тесты (evals) и совершенствовать рабочий процесс. Мы также работаем над использованием синтетических тестов производительности, чтобы агенты могли оценивать предлагаемые исправления и дорабатывать их перед тем, как отправлять инженеру на рассмотрение. Кроме того, мы изучаем, как агенты могли бы использовать другие наши инструменты для проверки на базе агентов с целью выявления изменений с низким уровнем риска и последующей отправки этих исправлений в продакшен без участия человека в контуре.

Что мы узнали

Создание и эксплуатация Performance Factory многому научили нас в плане разработки и запуска рабочих процессов агентов в продакшене. Вот несколько выводов для команд, создающих собственные рабочие процессы с использованием агентов.

Защищайте внимание инженеров

Первичные результаты расследования Codex могут представлять собой сплошную стену текста, которую трудно разобрать. Требуется немало усилий, чтобы понять, что именно утверждает агент, и найти графики, подтверждающие или опровергающие эти данные. Мы хотим, чтобы инженеры тратили свое внимание на принятие решений, а не на восстановление хода работы агента.

Агенты могут расследовать больше регрессий, чем команда успевает прочитать. Наша первая версия предоставляла инженерам интерфейс со множеством находок, но кому-то все равно приходилось решать, какая информация имеет значение. Одна регрессия также может проявляться в виде нескольких инцидентов в оповещениях, мониторах и каналах. Теперь рабочий процесс связывает связанные инциденты, группирует их по метрикам, важным для команд, и ранжирует по их предполагаемому влиянию. Инженеры могут сосредоточиться на добавлении контекста, оценке компромиссов и принятии решений о том, что отправлять в релиз.

Оценивайте изменения в ваших агентах

Обновление навыка расследования или обновление модели может сделать агента лучше в диагностике одних случаев и хуже в других, поэтому нам необходимо проверять их влияние перед обновлением. Мы тестируем две вещи по отдельности: 1) насколько хорошо агент проводит расследование и 2) насколько полезны его сводки для инженеров.

Оценка расследований

Для расследований мы проводим бэктестинг на прошлых инцидентах в продакшене. Мы превращаем эти инциденты в набор тест-кейсов, которые можем перезапускать при изменении навыка. Агент Codex пытается расследовать и разрешить инцидент, а мы сравниваем поведение агента с фактическими данными о предыдущем разрешении. Каждый кейс начинается с нового исследователя Codex и исходного сигнала, очищенного от деталей, которые могут выдать ответ.

Исторические тесты требуют осторожности. Метрики и трассировки устаревают, а данные, собранные после восстановления, могут выдать причину. Тест полезен только тогда, когда мы понимаем, какие данные мог видеть исследователь. Агент может изучать код и делать запросы к телеметрии продакшена в заданных пределах. Он не может использовать сохраненные воспоминания (заметки из прошлых расследований), читать отчет об инциденте или видеть результаты предыдущих запусков. После этого мы также проверяем его стенограмму на предмет информации, которая могла бы испортить тест.

Мы оцениваем, когда началась проблема, насколько она была масштабной и какие запросы пострадали. Мы также оцениваем, как агент использует улики для ранжирования возможных причин и объяснения того, что остается неопределенным. Агент может правильно определить время и все равно обвинить не тот деплой, поэтому мы оцениваем это раздельно.

Оценка передачи задач от агента к инженеру

Мы оцениваем сводки задач, используя снимки сохраненных задач. Они отлично подходят для бэктестинга, поскольку создание сводок не зависит от внешних метрик или трассировок, которые устаревают. Отдельный оценщик проверяет, сможет ли инженер, не знакомый с системой, понять, что произошло и почему это важно, были ли сохранены полезные графики и подтверждается ли предложенный следующий шаг имеющимися данными.

Превращайте повторяющиеся сбои в возможности для самовосстановления

Наконец, наши агенты нуждаются в мониторинге точно так же, как и сервисы, которые они исследуют. Сломанный профайлер или отсутствующее разрешение могут помешать агенту проверить причину замедления. Такие сбои бывает трудно заметить в финальном отчете, поэтому мы ежедневно запускаем агента для поиска сбоев инструментов и ошибок доступа в сообщениях и логах последних запусков.

Мы используем Performance Factory для самовосстановления и устранения проблем, которые выявляет эта проверка. Когда одна и та же ошибка инструмента блокирует несколько расследований, агент создает задачу на ее исправление. Если причина ясна, агент предлагает исправление, а инженер проверяет изменения и принимает решение об их слиянии (merge). После объединения подобных изменений мы также используем оценки, чтобы проверить, смогут ли агенты преодолеть шаг, который ранее их блокировал.

Что дальше: более широкие области применения, проактивный мониторинг

Рабочий процесс регрессий — это лишь один из примеров паттерна фабрики агентов, который перемещает задачи через явные состояния. Агенты продвигают задачу вперед, когда готова новая работа; отдельные рецензенты оспаривают выводы; инженеры подключаются, когда следующий шаг требует принятия решений. Другие рабочие процессы могут повторно использовать тот же механизм с другими состояниями, инструкциями и событиями.

От одного рабочего процесса к множеству. Performance Factory может координировать агентов в рамках различных рабочих процессов, причем агенты в одном рабочем процессе создают задачи для другого.

В настоящее время наш рабочий процесс регрессий запускается при срабатывании оповещения. Тем не менее, мы работаем над более проактивными способами поиска замедлений и возможностей для оптимизации с помощью Performance Factory даже тогда, когда оповещения не срабатывают. Мы хотим, чтобы агенты использовали огромный объем детализированных данных о производительности, которые мы уже собираем, для выявления регрессий, пропускаемых нашими оповещениями, или обнаружения оптимизаций. Сравнивая различные типы данных (пакеты профилей ЦП и памяти, дампы кучи и трассировки запросов по разным релизам), агент может заметить небольшое увеличение использования ЦП для конкретного запроса. Затем он может открыть задачу в рабочем процессе регрессий, чтобы отследить причину этого увеличения, реализовать исправление и открыть PR для проверки инженером.

В тех случаях, когда мы уже знаем, что именно нужно искать, мы работаем над тем, чтобы кодифицировать известные сигналы в новые рабочие процессы Performance Factory. Например, наш навык оптимизации размеров сервисов помогает агентам выявлять настройки автоскейлинга, из-за которых работает больше реплик, чем требуется сервису. Когда мы научимся распознавать подобный паттерн, мы захотим создать и регулярно запускать рабочий процесс для него во всех наших сервисах, постоянно оптимизируя систему в быстро меняющейся среде. С помощью Performance Factory то, чему инженер научился на одном замедлении, может повлиять на то, как мы расследуем и исправляем следующее, даже если оно произойдет месяцы спустя в другом сервисе.

В следующий раз, когда вы будете использовать ChatGPT и заметите падение производительности, велика вероятность того, что Performance Factory уже выясняет причину. На сегодняшний день узким местом может быть ожидание, пока инженер проверит и объединит исправление. Мы уже изучаем, сможет ли агент делать это самостоятельно. Поскольку разработка продуктов с помощью Codex продолжает ускоряться, системы производительности должны становиться все более автономными и самосовершенствующимися, чтобы не отставать. Codex уже помогает нам быстрее создавать ChatGPT. Теперь он помогает нам поддерживать высокую скорость работы ChatGPT.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Отложенная загрузка инструментов: сделайте своего агента на 62,5% дешевле без смены модели или обвязки
Baseten

Отложенная загрузка инструментов: сделайте своего агента на 62,5% дешевле без смены модели или обвязки

Как Candid Health автоматизирует звонки плательщикам с помощью ElevenAgents
ElevenLabs

Как Candid Health автоматизирует звонки плательщикам с помощью ElevenAgents

Amazon начинает кампанию внутри приложений против поддерживаемого Мамдани законопроекта о доставке в Нью-ЙоркеПресса
Amazon

Amazon начинает кампанию внутри приложений против поддерживаемого Мамдани законопроекта о доставке в Нью-Йорке

Theorizer приходит в Asta
AI2 (Allen Institute for AI)

Theorizer приходит в Asta

LangSmith Tool Gateway: безопасное и управляемое использование инструментов для агентов
LangChain

LangSmith Tool Gateway: безопасное и управляемое использование инструментов для агентов

Сезон стриминга и выгоды: скидки Чёрной пятницы приходят в GeForce NOW
NVIDIA

Сезон стриминга и выгоды: скидки Чёрной пятницы приходят в GeForce NOW

Ещё от OpenAI

Ускорение исследований: неровный фронтир
OpenAI

Ускорение исследований: неровный фронтир

Генеральный директор OpenAI Сэм Альтман говорит, что «трудно представить индустрию ИИ без Дженсена»Пресса
OpenAI

Генеральный директор OpenAI Сэм Альтман говорит, что «трудно представить индустрию ИИ без Дженсена»

Совершенствование проектирования чипов с помощью моделей OpenAI
OpenAI

Совершенствование проектирования чипов с помощью моделей OpenAI

Le Groupe Figaro и OpenAI объявляют о партнерстве, чтобы сделать журналистику Le Figaro доступной в ChatGPT
OpenAI

Le Groupe Figaro и OpenAI объявляют о партнерстве, чтобы сделать журналистику Le Figaro доступной в ChatGPT

Обвиняемый по делу об установке жучков в OpenAI Альфозан предстанет перед судом в январеПресса
OpenAI

Обвиняемый по делу об установке жучков в OpenAI Альфозан предстанет перед судом в январе

ChatGPT Ads расширяет свое присутствие на рынке в 44 странах
OpenAI

ChatGPT Ads расширяет свое присутствие на рынке в 44 странах