Мы представляем Together Post-Training, новый сервис для создания кастомных моделей на нашей платформе — как на основе наград из среды с помощью RL, так и с использованием данных контролируемого обучения посредством SFT. Этот сервис разработан для того, чтобы предоставить вам гибкую и эффективную настройку моделей без тяжелого инфраструктурного бремени.
Together Post-Training позволяет с легкостью задать цикл обучения, в то время как мы совместно оптимизируем лежащие в основе системы и инфраструктуру для достижения максимального качества моделей и скорости обучения. Теперь ничто не стоит между вами и лучшей моделью, созданной исключительно для вас.
Ценность кастомных моделей
В 2026 году обучение кастомных моделей для ваших задач ИИ больше не является узкоспециализированной темой. Компании активно изучают этот подход для сокращения расходов и повышения производительности под конкретные задачи. Вместо корректировки поведения моделей и повышения их эффективности с помощью контекста или проектирования обвязок, многие AI-нативные и передовые ИИ-организации обучают специализированных агентов, достигая качества пограничных моделей за малую долю стоимости и времени выполнения. В дополнение к этому самостоятельное обучение модели дает большую автономность и гибкость: полученный чекпоинт можно развернуть в любом месте, доработать или даже использовать локально.
В Together мы хотим предоставить каждому разработчику ИИ возможность получить наилучшую модель для своей задачи максимально удобным способом. Посттренинг отличной модели требует множества итераций по очистке данных, алгоритмам обучения и протоколам оценки. Кроме того, инфраструктура для RL становится все более сложной, где существует тонкая грань между «оптимизацией эффективности» и «скрытой ошибкой, тормозящей ваши запуски». Проведение такого процесса для крупных моделей надежно и в больших масштабах сопряжено со своими собственными трудностями.
В передовых лабораториях существуют целые команды, решающие каждую из вышеперечисленных проблем. Поскольку одновременное решение всех задач требует крупных инвестиций, многие компании, которые могли бы извлечь пользу из посттренинга, никогда не начинают его либо начинают и буксуют на месте. Together Post-Training берет на себя все оптимизации и инфраструктуру, не мешая вашей работе, а наша команда внедрения на местах сотрудничает с клиентами, помогая выстроить сквозной рабочий процесс. Это позволяет каждому исследователю или профильному эксперту сосредоточиться на том, что у него получается лучше всего, пока мы заботимся обо всем остальном.
Together Post-Training вкратце
По мере того как сложность посттренинга продолжает развиваться, инструменты вокруг него также должны эволюционировать. Together Post-Training предоставляет набор общих абстракций, привычных разработчикам ML, а также контроль над ресурсами, используемыми каждым экспериментом, гарантируя при этом, что все вычисления под капотом будут быстрыми, экономичными и, самое главное, корректными.
Мы создали наш сервис так, чтобы обеспечить высочайшую степень гибкости для ваших экспериментов. Вы можете запускать обучение LoRA, включая несколько адаптеров LoRA, разделяющих одни и те же мощности GPU, а также эксперименты с полным весом для выбранных моделей. В отличие от нашего сервиса дообучения, весь цикл обучения в Together Post-Training определяете вы сами. Вы можете использовать любые данные, среды или агентские обвязки, которые лучше всего подходят для вашей конфигурации, и добавлять любые необходимые шаги (например, логирование или внешнее бенчмаркирование) на протяжении всего процесса обучения. Весь рабочий процесс выглядит следующим образом:
Все эксперименты выполняются на ресурсах Model Resources — выделенных мощностях GPU, которые принадлежат полностью вам и не конкурируют с чужими запросами за приоритет. Каждый ресурс Model Resource может содержать одну или несколько тренировочных сессий (Training Sessions), каждая из которых соответствует отдельному эксперименту с использованием одной и той же базовой модели (например, одному набору адаптеров LoRA). Это означает, что вы получаете наилучшую производительность развертывания и обучения, поскольку вам никогда не приходится конкурировать с запросами других пользователей, выполняющимися на том же оборудовании. В то же время выделенные мощности GPU означают, что вы можете запускать дообучение с полным весом, выходя за рамки LoRA при адаптации к крупным задачам, требующим интенсивного использования знаний.
После выделения ресурса модели и запуска сессии вы можете выполнять каждый шаг цикла обучения. Каждая сессия содержит экземпляр Trainer, отвечающий за выполнение шагов прямого и обратного распространения и обновление весов, а также экземпляры Generator для запуска генераций на основе стратегии (policy). Для каждой модели мы тщательно оптимизируем производительность обучения и генерации, гарантируя, что все операции выполняются быстро и числово согласованы между стеками. В случае SFT вы можете запустить ресурс модели с 0 генераторов для экономии средств. Вы сами решаете, в какой момент параметры тренера отправляются генератору; мы также поддерживаем асинхронный RL для обеспечения высокого использования GPU обоими компонентами в любой момент времени, особенно при длинных агентских генерациях.
Хотя мы поддерживаем ряд стандартных функций потерь (от перекрестной энтропии и GRPO до CISPO и DPPO), мы также позволяем вычислять кастомную цель обучения локально и отправлять ее градиенты в Trainer для вычисления обновлений.
Together Post-Training запускется с рядом ведущих моделей с открытым весом, включая Muse Spark Open, GLM 5.3, Kimi K3 и Qwen 3.8-27B. В ближайшие недели мы расширим выбор, гарантируя, что вы сможете использовать как самые мощные передовые LLM, так и эффективные небольшие модели.
Качество, производительность и эффективность
Делегирование внутренней работы инфраструктуры посттренинга может быть непростым решением. Наша команда имеет непосредственный опыт обнаружения скрытых ошибок в сложных системах машинного обучения — от раздвижения границ исследований в области RL до обучения LLM, которые обслуживали миллионы пользователей. Мы понимаем, что лучший стек обучения — это тот, который дает вам лучшую модель, а создание такой инфраструктуры требует тщательной реализации и совместного проектирования всех компонентов.
По этим причинам мы сделали качество выходных моделей нашей путеводной звездой при разработке сервиса. Одним из печально известных примеров проблем, влияющих на результаты RL, является соответствие между движками обучения и инференса: если одни и те же веса модели производят немного разные результаты из-за несовпадения численных показателей, весь прогон может показать низкую эффективность или даже разрушиться. Мы устраняем многочисленные источники дрейфа стратегии между обучением и инференсом, используя как стандартные методы, такие как Rollout Routing Replay, так и передовые оптимизации, основанные на наших исследованиях в области стабильности обучения.
Помимо качества моделей, мы также работаем над тем, чтобы сделать каждый прогон как можно более быстрым и эффективным, поскольку посттренинг требует множества итераций: чем быстрее завершается прогон и чем меньше он стоит, тем больше идей вы можете протестировать. Большая часть времени в RL тратится на генерацию прогонов, что позволяет нам использовать многолетние исследования и разработки в области инференсных продуктов Together. Наши движки генерации используют те же оптимизации, что и наш стек обслуживания. Для многошаговых агентов интеллектуальное кэширование и маршрутизация минимизируют избыточные вычисления, сохраняя при этом затраты памяти в разумных пределах. Что касается обучения, оптимизированный параллелизм и упаковка последовательностей ускоряют как шаги SFT, так и RL.
С помощью Together Post-Training вы можете настраивать масштаб каждого эксперимента под его реальные нужды и не переплачивать. Если ваш эксперимент упирается в ограничение параллелизма генерации, вы можете запросить точное количество реплик семплеров. Несколько экспериментов с LoRA могут разделять один и тот же ресурс модели, поэтому запуск серии тестов не означает выделение дополнительных GPU для каждой конфигурации. Мы тарифицируем каждый ресурс модели по принципу «GPU-минута», однако благодаря многочисленным оптимизациям наших выделенных и многоадаптерных стеков LoRA, общие затраты на обучение становятся ниже ценообразования на основе токенов сразу же при масштабировании экспериментов.
Оптимизированное развертывание после обучения
По завершении экспериментов по пост-обучению может быть важно запустить каждую полученную модель параллельно, чтобы сравнить их результаты. Теперь мы поддерживаем обслуживание нескольких LoRA-адаптеров в рамках Dedicated Model Inference: вместо запуска отдельного продакшн-развертывания для каждого прогона вы можете переключать адаптеры по своему усмотрению в рамках одного развертывания на GPU, что помогает снизить затраты на инференс.
Наконец, преобразование модели для работы с максимальной пропускной способностью в продакшне означает, что она потенциально выполняется с более низкой точностью, в другой аппаратной конфигурации и с другими ядрами по сравнению с генерацией на этапе развертывания. Благодаря сочетанию алгоритмических улучшений и оптимизаций на уровне систем мы гарантируем, что каждый чекпоинт обучения сохраняет свое качество при инференсе, даже после перехода от многоадаптерной выборки LoRA к полностью производительному слиянию для инференса в точности FP4.
Начало работы
Чтобы начать свои первые эксперименты по пост-обучению, установите последнюю версию Together SDK и ознакомьтесь с документацией. Мы также предоставляем набор руководств (cookbooks), которые помогут вам начать работу с Together Post-Training, они доступны по адресу github.com/togethercomputer/post-training-cookbook. Эти руководства содержат примеры обучения с использованием GRPO на стандартном бенчмарке GSM8K, реализации DPO в качестве пользовательской функции потерь или обучения нескольких LoRA-адаптеров в рамках одного ресурса модели. Если у вас уже есть инфраструктура, использующая сервисы пост-обучения, такие как Tinker API, мы также предлагаем простой способ миграции. Вы можете заменить одну строку в своих скриптах, а все остальное останется прежним:
Ознакомьтесь с нашим руководством по миграции на Tinker, чтобы узнать больше.
Как ИИ-компании используют Together Post-Training уже сегодня
Перед этим запуском мы работали с избранной группой организаций, раздвигающих границы возможностей кастомных моделей. Мы предоставили им ранний доступ к нашему сервису в течение последних нескольких месяцев; полученные отзывы оказались бесценными при разработке продукта, которым теперь может пользоваться каждый. Послушайте сами отзывы команд:
«У нас был отличный опыт работы с платформой Together Post-Training с первого дня. Высокая степень контроля и гибкости позволила нам начать реальные эксперименты с RL всего за пару часов. Сервис работает эффективно, позволяя запускать до пяти одновременных RL-экспериментов на одних и тех же мощностях GPU. Команда Together Research была исключительным партнером на протяжении всего процесса обучения, предоставляя нам обратную связь по выбору моделей, методам обучения, функциям вознаграждения и эффективности обучения».
– Энтони Ли (Anthony Li), заместитель директора по науке о данных, Deel
«В Jack & Jill мы создаем двух ИИ-агентов: Jack для профессионалов и Jill для компаний, которые нанимают сотрудников из сети профессионалов Jack, давших согласие на установление контактов. Мы использовали Together Post-Training для дообучения модели, которая прогнозирует, с какими кандидатами менеджер по найму захочет встретиться, что является ключевым шагом в поиске Jill. Подключение прошло легко, их команда помогла спроектировать наши эксперименты, а их инженеры на местах написали скрипты, которые привели нас к первым результатам. Мы сравнялись по качеству с моделью с закрытым исходным кодом в офлайн-оценках, используя модель с открытым исходным кодом, обслуживание которой обходится значительно дешевле».
– Оливер Норманд (Oliver Normand), инженер-основатель, Jack & Jill
«Мы сотрудничаем с командой Together с момента запуска бета-версии Post-Training в апреле. Благодаря последней итерации бесшовная самостоятельная настройка позволила быстро запустить полномасштабные агентные RL-прогоны. Сервис Post-Training зарекомендовал себя как исключительно интуитивный, гибкий и мощный инструмент для масштабирования сложных агентных рабочих нагрузок».
– Адит Джаин (Adit Jain), исследователь, Collinear AI
Создавайте с помощью Together Post-Training
С запуском Together Post-Training мы превращаем кастомизацию моделей передового уровня в надежный, гибкий и эффективный сервис. Следующий шаг за вами — извлечь из него максимум пользы. В течение первых восьми недель мы предлагаем Together Post-Training по сниженной цене 9 долларов за GPU-час использования B200. Узнайте, как начать работу уже сегодня — нам не терпится увидеть, что вы создадите.
Но вам не обязательно делать это в одиночку. Для компаний, которым нужен партнер, наши работающие на местах инженеры трудятся бок о бок с вашей командой на протяжении всего жизненного цикла пост-обучения. Они начнут с помощи в выборе правильной открытой модели и агентной обвязки для вашего сценария использования, поработают с вами над вашими данными и средами обучения, а затем помогут с оценкой и выпуском вашего собственного оптимизированного эндпоинта.
Если вы хотите сотрудничать с Together в области обучения моделей для вашей организации, смело обращайтесь к нам.
