У каждой компании есть свои собственные рабочие процессы, инструменты, краевые случаи и критерии успеха. (opens in a new window)Third Moment Research(opens in a new window) считает, что лучшие агенты должны отлично справляться с конкретной работой и улучшать свои возможности по мере использования.
Компания строит вокруг этой идеи самосовершенствующуюся систему ИИ, используя новейшие модели OpenAI для понимания поведения агентов, выявления повторяющихся слабых мест и автоматического создания тысяч синтетических сценариев на основе этих проблем. Команда использует эти сценарии для совершенствования агентов, повторяя процесс по мере возникновения новых проблем.
Codex, GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol поддерживают исследовательскую и вычислительную работу системы, позволяя Third Moment одновременно запускать 10 000 агентов в рамках расследований продолжительностью 36–48 часов. Компания также использует Daybreak для проверки безопасности сред, в которых работают агенты.
«За одну сессию GPT-6.1 Sol способна поддерживать единую нить вычислительных исследований на протяжении нескольких дней вычислений, не теряя сути».
— Адам Кахар, сооснователь Third Moment Research
Сокращение времени работы и расхода токенов с помощью Codex
Одно из первых применений Third Moment находится в сфере количественных финансов, учитывая четкие показатели успеха. Эта область предоставляет конкретные условия для изучения того, как работают агенты и с какими трудностями они сталкиваются. Команда использует Codex для поиска и решения проблем в исследовательской среде.
В одном из случаев она использовала Codex с GPT‑5.6, на тот момент новейшей моделью GPT, для анализа тысяч записанных траекторий симуляции (действий агентов и ответов среды) вместе с временными метками и кодовой базой.
Codex обнаружил узкое место: бэктестинг торговой стратегии по годовым данным об ордерах на акции США занимал несколько часов. Во время ожидания агенты неоднократно опрашивали систему на предмет завершения, расходуя токены и забивая свой контекст проверками состояния.
Проведя профилирование бэктеста и проанализировав его входные данные и использование, Codex выявил оптимизацию кэширования и метод упаковки памяти. Он поэкспериментировал с решениями и развернул исправление в продакшене, сократив время бэктеста примерно с 3 часов примерно до 3–5 минут. Это снизило использование токенов и загрязнение контекста, высвободив больший бюджет токенов агентов для дальнейших экспериментов.
Удержание агентов на задаче с помощью Codex и GPT‑6
Third Moment предоставляет каждому агенту инструменты, информацию и среду, необходимые для конкретной работы. Для количественных исследований команда запускает стандартную обертку Codex внутри среды Docker. Агенты получают терабайт данных, документацию и исследовательский репозиторий с модулями для разработки признаков, обучения моделей с поддержкой графических процессоров, торговых стратегий и симуляции.
GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol обеспечивают рассуждения, в то время как обертка Codex дает агентам инструменты для действий, создания планов, постановки целей, порождения субагентов и компактизации контекста по ходу работы.
Для борьбы с агентами, которые останавливаются до завершения задачи, Third Moment рассматривает Codex как субагент внутри внешней обертки на базе GPT‑6 Sol или GPT‑6.1 Sol. Внешняя обертка изучает траекторию, когда задача остается незавершенной, и определяет, следует ли повторить попытку, завершить задание или передать его на рассмотрение человеку.
«Обертка Codex чрезвычайно универсальна и позволяет использовать ее в самых разных областях».
— Адам Кахар, сооснователь Third Moment Research
В этой исследовательской среде агенты работают над улучшением базовой торговой системы, созданной инженерами Third Moment. Они тестируют торговые стратегии на исторических данных, оценивают, является ли улучшение значимым или шумом, и используют каждый результат для выбора следующего эксперимента. По словам Адама, их работа улучшила базовую торговую систему.
Поддержание более длительных исследований с повышенной эффективностью токенов
По словам Адама, до появления GPT‑5.5 модели могли выполнять только те эксперименты, которые предписаны пользователем. С появлением GPT‑5.5 и GPT‑5.6 модели, работающие с оберткой Codex, могли использовать результаты для проектирования последующих экспериментов. Теперь с GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol агенты могут исследовать первопричины с помощью сотен экспериментов, выполняемых параллельно с субагентами.
Этот прогресс помог агентам исследовать направления исследований, которые команда не предвидела. В одной из сессий GPT‑6.1 Sol выявила влияние неотображаемых сделок на бирже, где на эти сделки приходилась неожиданно большая доля объема. «Это был неочевидный результат, который наша исследовательская команда изначально не рассматривала», — говорит Адам.
Third Moment оценивает модели по критериям оптимизации, систем машиннного обучения и количественных исследований. Компания тестирует пограничные релизы при их максимальных настройках рассуждений, оценивая их способность ориентироваться в репозиториях, писать эффективный код и поддерживать расследование. Текущее тестирование также включает GPT‑6 Luna.
«GPT-6.1 Sol в настоящее время является нашей наиболее используемой моделью благодаря ее эффективности в отношении токенов. Она выполняет задачи с наименьшим количеством токенов, обеспечивая при этом производительность, аналогичную GPT-6 Astra».
— Джеффри Ян, сооснователь Third Moment Research
Один из бенчмарков предлагает агентам уменьшить задержку обновления действующей службы табло результатов, сохраняя при этом ее результаты. Команда измеряет прирост скорости путем деления среднего времени выполнения решения, созданного экспертом, на время выполнения решения модели на том же оборудовании при условии правильности. По словам Адама, GPT‑6 Astra обеспечила наибольший прирост скорости.
Для целевой работы, включая проверки на наличие конкретных уязвимостей безопасности в системе симуляции, команда использует более эффективные модели, такие как GPT‑5.6 Terra. Для глубоких исследований Адам считает, что более сильные рассуждения могут оправдать более высокую стоимость: «В сфере количественных финансов ценность обнаружения какого-либо интересного сигнала чрезвычайно высока».
Автоматизация тестирования безопасности с помощью Daybreak
При одновременной автономной работе 10 000 агентов Third Moment нуждается в способе тестирования безопасности своих исследовательских сред в маштабе. Команда использует платформу кибербезопасности Daybreak для автоматизации этого тестирования до запуска симуляций.
Тесты проверяют, сможет ли агент вырваться из своей исследовательской среды и получить доступ к более широкой сети. «Используя Daybreak, мы можем заставить самих агентов проводить тестирование на проникновение для симуляции, а также проверять ее инфраструктуру и безопасность», — говорит Адам.
«Без Daybreak мы не смогли бы автономно тестировать это в массовом масштабе».
— Адам Кахар, сооснователь Third Moment Research
Движение к сотням тысяч сотрудничающих агентов
Амбиции Third Moment распространяются на специализированную работу, которую компании выполняют каждый день. Для ритейлера это может означать принятие более эффективных решений по цепочке поставок при дефиците запасов или задержке поставок от поставщика. Для инженерной команды это может означать поиск узких мест производительности в большой кодовой базе. Для бизнеса, работающего с большим количеством документов, это может означать выявление случаев, когда обязательства в одном документе не соответствуют результатам, записанным в другом.
Опираясь на возможности рассуждения GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol, Third Moment планирует перейти от отдельных исследований к сотням тысяч взаимодействующих субагентов. Дорожная карта компании предполагает использование триллионов токенов для поддержки цепочек из десятков зависимых экспериментов с целью применения этих исследований для автономного совершенствования агентов по мере возникновения новых задач.
По мнению Адама, это предоставит людям больше возможностей влиять на то, как агенты учатся и работают: «Люди могут оказаться в гораздо более выгодном положении, когда они смогут думать о том, как проводить исследования и оптимизировать сами исследования, а не заниматься ими напрямую».
