Начало работы с обучением LLM на Modal

Мы уже писали о том, что обучение с подкреплением (RL) — это инфраструктурная проблема, и о том, как результаты нашей пятилетней работы обеспечивают производительную, доступную и масштабируемую инфраструктуру, на которую вы можете положиться при обучении своих моделей. Даже без учета проблем с инфраструктурой RL остается сложной задачей! В системе есть множество высокоуровневых компонентов, которые влияют на результат: вам нужны подходящие базовые модели, высокоточные среды, четкие и надежные функции вознаграждения, а также настроенные рецепты обучения, которые действительно работают.

Но если у вас в продакшене развернут агентский каркас (harness) с оценками и трассировками агентов, собранными в ходе работы этой системы, вы уже на 80% у цели. Вам просто нужен простой способ начать обучение на своих данных.

Именно поэтому мы создали Modal Dojo — библиотеку, которая предоставляет строительные блоки, оптимизированные параметры по умолчанию и средства наблюдаемости, необходимые для простого обучения LLM промышленного уровня.

Она уже доступна. Всё, что нужно — это один промпт:

Читайте далее, чтобы узнать больше о том, как и зачем мы её создали.

Ставка на открытый исходный код

Компании создают уникальную ценность, когда полностью контролируют свои интеллектуальные системы. Пост-обучение позволяет эффективно конкурировать по соотношению интеллекта задачи на доллар — в частности, за счет обучения на проприетарных данных и быстрой итерации рецептов обучения. Для эффективного выполнения этой задачи требуется полный контроль над стеком обучения, вплоть до исходного кода. И именно для этого создана платформа Modal. Мы создаем надежные и масштабируемые абстракции, которые не скрывают свое внутреннее устройство, чтобы развиваться вместе с потребностями наших пользователей.

Наша библиотека обучения опирается на несколько проверенных в бою фреймворков с открытым исходным кодом, таких как Miles и Slime. Они дают вам фундамент для построения надежного пост-обучения без необходимости зависеть от проприетарных поставщиков или изобретать велосипед с нуля. Мы даже patched и upstreamed несколько PR-запросов ourselves.

Когда вы полностью контролируете весь стек, вы можете кастомизировать его как угодно. Мы спроектировали библиотеку так, чтобы вы могли настраивать рецепты для достижения максимальной производительности, создавать сложные среды, патчить базовые фреймворки и даже изменять интерфейс панели мониторинга наблюдаемости, поставляемой «из коробки».

Обучение LLM для продакшена менее чем за 100 строк кода

Использовать нашу библиотеку обучения так же просто, как:

Давайте разберем это подробнее.

• Сначала вам нужно выбрать модель для обучения. Эта библиотека обучения прошла проверку на всем: от моделей с полумиллиардом до триллионов параметров, с возможностью использования собственных решений. Всё, что для этого нужно — запустить оценку этих моделей, чтобы определить наиболее подходящую.
• ,затем вам понадобятся данные для обучения модели. Вы можете легко загрузить их из Hugging Face, внедрить среду Harbor или использовать ваш тестовый каркас и оценки для самостоятельного создания данных. Используя продакшн-трассировки, вы можете генерировать задачи для этой среды, чтобы сформировать обучающую и тестовую выборки.
• ,Lastly, you need a recipe before you can start cooking. В то время как модель и набор данных определяют, что будет обучаться, рецепт определяет, как будет проходить обучение, задавая параметры оборудования, параллелизма, общего размера роллаутов, среды и многое другое. Мы предоставляем автоматически оптимизированные рецепты для всех поддерживаемых моделей, созданные на основе нашего опыта работы с командами, которые обучают модели для достижения исключительной производительности на передовом крае в своих областях. Но когда вам нужно адаптировать эти рецепты под ваш конкретный сценарий использования, это так же просто, как изменить несколько параметров.

,после этого вы готовы к тому, чтобы начать обучение!

,Наблюдаемость метрик

Чтобы вовремя выявлять подгонку под награду (reward hacking), отлаживать зависающие запуски и отслеживать прогресс множества параллельных запусков, вам необходима наблюдаемость ключевых метрик для оценки стабильности обучения и времени выполнения подшагов.

,Библиотека обучения Modal поставляется с панелью мониторинга наблюдаемости «из коробки». В ее основе лежит надежный сборщик метрик, созданный нами для отображения всего необходимого для отслеживания прогресса ваших запусков: кривых потерь и наград, метрик, выдаваемых фреймворком, траектории агента для каждого роллаута в процессе обучения, детализированного профилирования вплоть до подшагов, а также логов контейнеров для легкого выявления узких мест и отладки запусков.

,Это настолько просто, что с этим справится даже ваш агент!

,Агенты особенно полезны, когда вам нужно проверить гипотезы или запустить множество экспериментов параллельно. Тем не менее, они менее эффективны, если их заставляют создавать тысячи строк конфигурационных файлов и исходного кода и разбираться в них, либо самостоятельно додумываться, как исправить баги в обучении без руководства опытных экспертов.

,Всё, что может понадобиться для обучения модели, легко доступно вашим агентам. Как показано выше, API интуитивно понятен и минималистичен. С помощью CLI агенты могут легко получать статус запущенного процесса, метаданные, логи и трассировки агента. А созданный нами skills помогает направлять их действия предсказуемым и целенаправленным образом. Благодаря всему этому RL превращается в задачу, для которой ваш агент может с первой попытки построить базовое решение.

,Вот пример того, на что способен один единственный промпт:

,Если вы делаете что-то более продвинутое и вам требуется руководство, свяжитесь с нами.

,Клиенты движутся быстрее, чем когда-либо

,Мы видим, что пост-обучение на базе Modal Dojo происходит с беспрецедентной скоростью.

,Axiom Bio обучает модели для снижения непредвиденной токсичности лекарств

,Axiom Bio обучает крупные открытые модели для идентификации молекул по данным масс-спектрометрии. С помощью Modal Dojo они смогли быстро провести крупномасштабные эксперименты с длинным контекстом в рамках обучения с подкреплением.

,«Мы используем Modal для обучения моделей распознаванию молекул по данным масс-спектрометрии, что требует проведения RL с длинным контекстом на больших открытых моделях. Modal Dojo предоставил нам полный контроль над процессами обучения, позволив при этом двигаться быстро. Мы немедленно запустили обучение и масштабировали процессы до запусков DeepSeek V4.1 Flash с контекстом 64k на 64 графических процессорах B300, а всего за несколько дней взяли надежные рецепты по умолчанию и еще сильнее повысили производительность для наших задач.

— Нишкрит Десаи (Nishkrit Desai), ведущий инженер-разработчик в Axiom Bio

,Afterquery курирует экспертные данные в различных областях

,Afterquery отбирает данные от экспертов в предметной области для обучения моделей. Используя Modal Dojo, они смогли запустить автоисследования на своих существующих наборах данных для повышения производительности.

,«Мы используем Modal Dojo для обучения больших языковых моделей, таких как Kimi и DeepSeek, с длиной контекста 256k в самых разных передовых областях. Рецепты Dojo открывают возможности для автоисследований, поэтому наша исследовательская команда может тратить больше времени на проектирование экспериментов и улучшение возможностей моделей.

— Спенсер Матеега (Spencer Mateega), генеральный директор Afterquery

,Начните работу прямо сейчас

,Наша цель в Modal — помочь вам полностью контролировать свои интеллектуальные системы. К настоящему моменту мы перевели инференс LLM в продакшн с помощью Endpoints, сделали возможным тестирование альтернативных развертываний с помощью Endpoint Candidates и ускорили инференс моделей с триллионами параметров с помощью спекулятивного декодирования. Теперь мы даем вам возможность вести обучение в направлении вашей собственной границы Парето.

,Начните обучение LLM прямо сейчас.