Abundant создает среды обучения с подкреплением, которые такие передовые лаборатории, как OpenAI, Anthropic, Google и Meta, используют для обучения и оценки своих моделей. Лаборатории повышают возможности агентов, давая им сложные задачи, разработанные Abundant, позволяя модели попытаться их решить и оценивая результат как успешный или неуспешный.
Каждая задача представляет собой процесс развертывания обучения с подкреплением в полноценной среде. Модели требуются инструкции, четко определенная цель и верификатор для определения того, была ли задача выполнена. Но ей также необходима инфраструктура: вычислительные мощности для запуска, Dockerфайлы и изоляция. В зависимости от задачи агенту могут даже потребоваться ускорители, такие как графические процессоры.
Abundant создала более 75 000 развертываний — от оптимизации ядер графических процессоров до написания кода на длительных интервалах — каждое из которых работает в Modal Sandbox. Modal делает их инфраструктуру развертывания простой в создании и экономичной в эксплуатации, позволяя команде Abundant сосредоточиться на своем основном бизнесе.
Создание платформы развертывания на Modal
Сегодня почти вся платформа развертывания Abundant работает на Modal. Функции Modal обеспечивают работу API планировщика Abundant для запуска задач, очистки завершенных запусков и проверки развертываний. Песочницы Modal Sandboxes обеспечивают работу сред развертывания.
Первоначально Abundant решила оценить провайдеров песочниц, потому что хотела избежать прямого управления кластерами EC2, что отвлекало бы инженерные ресурсы от их основного бизнеса по созданию сред обучения с подкреплением. Modal позволила им создавать инфраструктуру непосредственно в коде, легко запускать песочницы через API и эластично масштабировать трафик по мере роста бизнеса. По состоянию на ноябрь 2026 года Abundant запускает более двух миллионов песочниц в месяц.
«Modal позволяет нам сосредоточиться на нашем основном бизнесе, не беспокоясь о том, будет ли работать наша инфраструктура. Мы можем работать с кодом и масштабировать наш трафик в зависимости от текущих потребностей клиентов».
Проектирование эффективной и надежной архитектуры совместно с командой Modal
Modal работала с командой Abundant над проектированием и созданием их архитектуры развертывания, сосредоточившись на разработке системы, при которой Abundant не приходилось бы нести большие расходы за простаивающие вычислительные мощности.
Каждое развертывание состоит из нескольких шагов: запуск задачи, попытка выполнения задачи, проверка работы и отчет о проделанной работе. На протяжении всего процесса развертывания «монитор» должен проверять, активна ли песочница Sandbox.
Хотя Abundant рассматривала возможность размещения монитора вне песочницы, в конечном итоге они решили включить монитор развертывания внутрь песочницы, а затем использовали кратковременные функции Modal Functions для запуска песочниц.
Небольшой монитор развертывания внутри песочницы выполняет периодические HTTP-вызовы: отправляет сигнал сердцебиения (heartbeat) каждые 30 секунд, передает события в реальном времени и возвращает финальный результат. Если песочница замолкает, плоскость управления попытается подключиться три раза, прежде чем завершить ее работу.
Снижение запросов ресурсов с помощью динамического выделения (bursting) CPU и памяти
Abundant также нужно было найти решение для песочниц, которые не потребляют ресурсы CPU и памяти с постоянной скоростью. Команда Modal сама подсказала эту возможность, сообщив, что Abundant может снизить требования к ресурсам CPU и памяти, используя «bursting» — уникальную функцию Modal, при которой песочницы автоматически увеличивают (и уменьшают) свой размер, когда им требуются дополнительные ресурсы.
Bursting означает, что если песочнице требуется больше ресурсов, чем она запрашивала изначально, она может использовать эти ресурсы, если на машине есть свободное место. Благодаря этой функции песочницы, которые в противном случае ограничивались бы ограничениями процессора или сталкивались с ошибками OOM (Out Of Memory), могут продолжать работу. В то время как большинство моделей с фиксированными ресурсами требуют от команд выделять песочницы под пиковое потребление, bursting позволяет запрашивать ресурсы под среднее использование, сохраняя при этом возможность справляться с пиковыми нагрузками.
Снижение требований к ресурсам и использование динамического выделения позволили команде Abundant сократить объем простаивающих вычислений, за которые они платили. Это также упростило принятие решений о том, сколько вычислительных мощностей выделять для конкретных песочниц. Из-за широкого спектра задач, разрабатываемых Abundant, индивидуальное определение объема CPU и памяти было утомительным, а риск потери прогресса из-за ошибок OOM потенциально — дорогостоящим.
Проектирование верификаторов
Верификатор, который трудно обмануть ради получения награды, делает модель более способной, поскольку модели не могут жульничать при выполнении задачи. Создание надежных верификаторов поэтому включает в себя работу до выпуска развертывания для тестирования задачи с помощью состязательных (adversarial) агентов.
В ходе ранних тестов Abundant обнаружила, что модели иногда находят копии инструкций к своим задачам, что создавало осведомленность об оценке (evaluation awareness) и искажало результаты. При проведении бенчмарков крайне важно, чтобы агенты считали, что они находятся в реальном мире и выполняют работу естественным образом, имея ту же среду и информацию, которую они увидели бы в продакшене.
Чтобы исправить это, Abundant изменила способ запуска прогонов, гарантируя, что все инструкции удаляются до завершения работы. Они также создали агента-рецензента, который работал как часть этапа верификации, просматривая трассировки агента и сигнализируя, если агент проявлял признаки осведомленности об оценке.
Результаты
У команды Abundant ушло около двух недель на внедрение архитектуры развертывания. Экономичные и надежные развертывания дали Abundant время сосредоточиться на том, что действительно важно: обеспечении высокого качества проверки задач и помощи лабораториям ИИ в тестировании и улучшении моделей.
Например, команда выпустила бенчмарк Frontier RSI, который проверяет способность агента к самосовершенствованию. Modal обеспечила более 1300 часов времени исследований агентов в рамках почти 500 испытаний агентов для получения первоначальных опубликованных результатов.
«Наша инфраструктура развертывания лежит в основе нашего первого публичного бенчмарка Frontier RSI, который тестирует передовые языковые модели и их способность к самосовершенствованию. Modal помогла нам эффективно, надежно и легко запустить более 1300 часов исследований агентов. Благодаря Modal мы можем сосредоточиться на данных и разработке открытых, многошаговых и сложных задач, чтобы сделать агентов лучше».












