Представьте себе мир без API для инференса LLM. Вы могли бы общаться с моделями и давать им задачи, но не смогли бы интегрировать ИИ в собственные рабочие процессы, системы и кастомные приложения. Лишь немногие компании обладали бы возможностью запускать модели на собственных производственных серверах; все остальные были бы лишены возможности создавать что-то с помощью ИИ.
Когда год назад запускался Tinker, пост-тренировка ИИ находилась в похожем положении. Для этого требовалось нанимать команду инфраструктурщиков, искать собственные графические процессоры, настраивать библиотеки программного обеспечения и заниматься отладкой ошибок и неудачных запусков. Не существовало ни одного API, который позволял бы любому человеку применять весь спектр методов дообучения на собственных данных с помощью всего нескольких строк кода.
Наша миссия в Thinking Machines — создавать ИИ, который расширяет человеческую волю и суждения. Пост-тренировка — это практическое применение данной миссии: люди обучают модели на основе собственных знаний, оценивают их по своим стандартам и развивают по мере обучения. Мы были убеждены, что рынок кастомизации моделей мал не потому, что в дообучении нет ценности, а потому, что не существовало платформы для пост-тренировки, которая была бы достаточно универсальной, надежной, быстрой и дешевой для жизнеспособности. Мы запустили Tinker, чтобы предоставить каждому тот же передовой API для пост-тренировки, который передовые лаборатории используют внутренне.
Ваши данные
Примеры и промпты
Ваш цикл
Ваш код, функция потерь и вознаграждения
API
sampleГенерация токенов
forward_backwardВычисление градиентов
optim_stepОбновление весов
save_stateСохранение состояния обучения
Инфраструктура Tinker
Tinker управляет графическими процессорами для сэмплирования и обучения, а также хранит чекпоинты.
Делаем обучение доступным
На этом новом рынке эволюция Tinker определялась потребностями наших клиентов. Нашими первыми пользователями были исследователи ИИ с опытом пост-тренировки, которые хотели избежать затрат и сложностей управления собственными графическими процессорами. Их требования определили наш фокус на инфраструктуре: распределение ресурсов, планирование, восстановление после сбоев и все остальное, необходимое для того, чтобы сложные запуски обучения проходили быстро и гладко.
Сообщество Tinker выросло и теперь включает в себя самых разных пользователей и приложения, о которых мы регулярно рассказываем в нашем аккаунте X и в нашем блоге новостей. Мы работали над тем сделать знания о пост-тренировке более доступными, делясь нашими собственными и лучшими методами наших пользователей и адаптируя их в рецепты поваренной книги Tinker, которыми может воспользоваться каждый. Такие рецепты, как SDFT для непрерывного обучения или обучение систем прогнозирования, были вдохновлены исследователями — грантополучателями Tinker и первыми клиентами.
Наконец, мы увидели подтверждение тезиса Tinker на примере корпоративных клиентов, обучающих кастомные модели, которые превосходят передовые LLM в своих задачах. Среди публично раскрытых результатов наши пользователи обучили передовые модели для финансовых оценок, проектирования оборудования, поисковых агентов, специализированного написания кода, анализа аудио и прогнозирования. Корпоративные требования сместили наш фокус в сторону скорости, безопасности и инференса.
В течение года мы выпустили десятки улучшений в этих областях, опираясь на наше сообщество и собственный опыт пост-тренировки Inkling. Мы добавили новые функции и модели, чтобы сделать Tinker лучшей платформой пост-тренировки для амбициозных проектов.
Год релизов
Скорость, надежность и производительность
Основное требование к Tinker заключается в том, чтобы клиенты могли запустить процесс любого масштаба в любой момент и быстро получить результаты.
Мы внедрили автоскейлинг, который перераспределяет емкость между моделями по мере изменения спроса, поэтому пользователи могут отправлять десятки тысяч одновременных запросов, не застревая в очереди. Мы оптимизировали ядра по всему стеку, включая ядра для LoRA, чтобы ускорить как обучение, так и сэмплирование. Мы улучшили диагностику ошибок, добавили отладку Perfetto в консоль и значительно сократили количество инфраструктурных ошибок за кулисами. Мы выпустили все эти улучшения как бесшовные развертывания (hitless deploys), поэтому обновления никогда не приостанавливают процессы обучения. Мы также дважды мигрировали Tinker на графические процессоры нового поколения с нулевым временем простоя.
Повышение эффективности позволяет нам запускать Tinker дешевле, и мы перекладываем это на наших клиентов за счет снижения цен.
Конфиденциальность и безопасность
Кастомные модели вызывают большой интерес со стороны чувствительных к безопасности отраслей, и их требования задают высокую планку. Мы ответили на них средствами контроля корпоративного уровня. Организации разделены на проекты, доступ к данным и обучению в которых регулируется членством. Администраторы получают единый вход (SSO), детализированный контроль доступа на основе ролей (RBAC), API журналов аудита и программное управление ресурсами. Данные защищены корпоративным шифрованием и приватным подключением к VPC.
Конфиденциальность была нашей гарантией с первого дня: весь контент клиентов на Tinker принадлежит клиенту, и мы никогда не используем его для обучения.
Разнообразие моделей и модальностей
Модели с открытыми весами постоянно раздвигают границы эффективности производительности, стоимости и скорости, и эти границы представлены на Tinker. Мы запустились с 14 моделями от Qwen и Llama, и все они были текстовыми. С тех пор мы добавили более 20 моделей от Qwen, Nemotron, Kimi, GLM, DeepSeek, GPT-OSS и нашей собственной Inkling, причем некоторые из них стали доступны в день их релиза. Большинство наших моделей поддерживают ввод изображений и рассуждения по документам и диаграммам. Выход Inkling в июле добавил поддержку аудио.
Наша линейка теперь включает модели размером от 4B до 1T параметров и содержит варианты с нормальным и длинным контекстом. Мы уделяем первостепенное внимание моделям, запрашиваемым нашим сообществом, и самостоятельно тестируем новые релизы, чтобы добавлять те, которые открывают новые возможности и обеспечивают наилучший опыт дообучения.
Обмен знаниями
Поваренная книга Tinker охватывает как устоявшиеся, так и новые методы контролируемого дообучения (SFT) и обучения с подкреплением, такие как дистилляция на политике (on-policy distillation). В ней представлены рецепты для нескольких конкретных приложений, таких как математика и код, поисковые агенты с использованием инструментов, модели прогнозирования, визуальные классификаторы и многоагентные среды. Это совместный проект с нашим сообществом: многие из этих рецептов были вдохновлены публичными проектами наших пользователей, и мы регулярно получаем отзывы от клиентов, которые учатся на них и адаптируют их под собственные сценарии использования.
Наша поваренная книга адаптирована как для людей, так и для агентов-программистов с помощью навыков и специальной документации.
Самодистилляция с дообучением (SDFT), разработанная исследователями MIT, использует демонстрации экспертов для направления обучения модели на основе ее собственных ответов. На графике показан рост точности использования инструментов моделью Qwen2.5-7B-Instruct по сравнению со стандартным контролируемым дообучением (SFT).
Опыт разработчика
Теперь Tinker предоставляет детальную видимость того, как продвигается каждый запуск и во сколько он обходится. Вы можете отслеживать сеансы и отменять их из консоли, отслеживать происхождение чекпоинтов, а также видеть, на что уходит время задания и чего оно ожидает. Затраты на обучение, сэмплирование и хранение теперь можно детализировать по сеансам, что упрощает составление бюджета.
Мы расширили спектр доступных методов пост-тренировки с помощью CISPO и DRO наряду с кастомными функциями потерь для RL и logprobs для топа-k (top-k logprobs) для дистилляции и скоринга. Наконец, хотя мы уверены в эффективности LoRAs, мы начали предлагать полное дообучение (full fine-tuning) в качестве функции бета-тестирования и рассматриваем возможность более широкого релиза.
Сэмплирование и производственный инференс
Каждая контрольная точка, сохраненная на Tinker, — это модель, которую можно опробовать. Tinker Playground предоставляет удобный интерфейс чата, а также позволяет использовать Tinker для инференса в продакшене через API сэмплирования, совместимый с интерфейсами OpenAI и Anthropic (в бета-версии).
Мы продолжаем работу над более полнофункциональным решением с более высокой пропускной способностью и интерактивностью. Если вы заинтересованы, пожалуйста, запишитесь в наш лист ожидания.
Превращение экспертизы в лучшие модели
Создание полезной модели объединяет три вида экспертизы: владение предметной областью, знание посттренинга и способность управлять инфраструктурой. Все это редко сочетается в одной команде за пределами крупных AI-компаний. Tinker берет на себя инфраструктуру, в то время как наши исследования и рецепты делают методы обучения более доступными. Цель состоит в том, чтобы позволить нашим пользователям превратить свое превосходство в предметных знаниях в преимущество в сфере ИИ.
Распространенный подход к применению предметной экспертизы для LLM — это промпт-инжиниринг и каркасы. Когда это упирается в потолок производительности, единственным выходом остается надежда на то, что следующее поколение универсальных LLM будет лучше работать с тем же промптом и при этом не станет непомерно дорогим. Мы верим, что экспертиза должна закладываться в обучающий сигнал, где она может напрямую повысить производительность модели в решении задачи.
Производительность ИИ в различных областях масштабируется по мере доступности высококачественных обучающих данных. Курирование этих данных является важнейшим применением экспертизы наших клиентов.
Публичные наборы данных часто ограничены, подвержены ошибкам и не отражают реальные сценарии использования. Даже когда это не так, они кодируют чьи-то чужие стандарты оценки — а не ваши. Наши пользователи обучают лучшие модели, отбирая данные на основе реальной работы. извлекли планы инструментов из собственных производственных трасс. Lightning Rod Labs использовала реальные клинические записи для обучения моделей прогнозирования. отфильтровали ошибки LaTeX, с которыми столкнулись реальные пользователи. Экспертная оценка также вкладывается в функцию вознаграждения, такую как правильная расстановка приоритетов требований для проектирования силовых трансформаторов или правильное правило подсчета очков для прогнозирования.
Внедрение экспертизы в процесс обучения требует предварительных усилий, но результатом часто становится кастомная модель, которая значительно превосходит границу соотношения затрат и производительности для конкретной задачи. Текстово-SQL модель от Bridgewater превзошла Fable 5 и GPT-5.6 Sol по точности при 15% от их стоимости. Модель Sundial превзошла все пограничные модели, кроме GPT-6 Astra, по доле исправленных ошибок LaTeX, при 7% стоимости Astra. Кастомный поисковый агент Glean работает в два раза быстрее и использует на 25% меньше токенов без снижения качества.
Специализированные знания в сочетании с тщательностью тонкой настройки могут создавать кастомные модели, которые выполняют задачу лучше, дешевле и быстрее, чем лучшие универсальные LLM.
Текст в SQL: более высокая точность при меньших затратах на инференс. ReViSQL-K2.6, обученная UIUC и Bridgewater, достигает точности 92,97% на чистом бенчмарке Text-to-SQL при выборе из 16 сэмплов (SC-16), что чуть выше показателей человека.
Тонкая настройка дает вам полный контроль над лучшими моделями. Ваш рецепт кастомизации можно применять к новым моделям с открытыми весами по мере их выпуска, и вы можете выбрать правильный баланс между производительностью, скоростью и стоимостью. По мере развертывания ваших моделей и накопления ими опыта, полученные знания можно снова интегрировать в рецепт. Если ваше текущее преимущество заключается в ваших внутренних данных, вкусе и знаниях, то тонкая настройка поможет перенести это преимущество в ИИ.
Взгляд в будущее
Кастомизация моделей все еще находится на начальной стадии внедрения в большинстве отраслей. Более качественные и разнообразные модели с открытыми весами создают больше отправных точек. Клиенты все чаще хотят превращать успешные эксперименты в системы, которые они могут использовать в повседневной работе, с требуемой для этого эффективностью и безопасностью. Во второй год существования Tinker мы планируем поддержать этот сдвиг, превратив платформу как в средство обучения, так и в инструмент для развертывания кастомных моделей в коммерческих масштабах.
Все мы вместе делаем выбор в отношении будущего ИИ. На одном пути ИИ обучается, настраивается и принадлежит нескольким лабораториям, которые извлекают и централизуют все человеческие знания. На другом — ИИ распределяется туда, где находятся человеческие знания, и обучается, настраивается и формируется его пользователями. Мы верим, что будущее, которое стоит построить, — это второе будущее, и что экосистема децентрализованных ИИ более устойчива, креативна и продуктивна, чем консолидированная монополия.
Мы создали Tinker, чтобы этот выбор был в ваших руках. Мы с нетерпением ждем возможности увидеть, что вы создадите с ее помощью!
