Решения за пенни: представляем joey-1, нашу самую быструю модель принятия решений

Многие сценарии использования LLM не требуют генерации текста; им нужны решения:

• Куда должен отправиться этот тикет?

Куда должен отправиться этот тикет?

• Следует ли пометить это сообщение?

Следует ли пометить это сообщение?

• Следует ли одобрить этот запрос?

Следует ли одобрить этот запрос?

Исторически сложилось так, что LLM отвечали на это путем генерации текста, что добавляет затраты и задержки к каждому вызову, и эти накладные расходы суммируются с каждым решением в цепочке. Модели принятия решений возвращают ответ напрямую в виде одного токена и откалиброванной оценки вероятности, кардинально снижая затраты и задержки.

LLM сегодня бывают самых разных форм и размеров, от полномасштабных моделей до вариантов flash и fast, поскольку каждая рабочая нагрузка по-своему оценивает интеллект, скорость и стоимость. Модели принятия решений тоже должны этому соответствовать. С joey-1 семейство моделей принятия решений Base Labs теперь охватывает три размера. На момент релиза каждая из них входит в число наиболее способных моделей в своем весовом классе, принимает текст и изображения, а также создана с учетом экономической эффективности и низких задержек.

По результатам нашего внутреннего тестирования (подробности скоро появятся), joey-1 является сильнейшей моделью принятия решений с 3 миллиардами параметров или меньше. В производственном масштабе joey-1 обрабатывает средний запрос на 2000 токенов с задержкой P50 end-to-end в 20 мс, что примерно в 2,5 раза быстрее, чем elephant-1 (49 мс). При цене 0,01 доллара за миллион токенов она также стоит в десять раз дешевле mammoth-1.

Наши команды исследований и пост-тренинга будут продолжать улучшать эти модели и расширять семейство, так что у вас будет подходящая модель для каждого принимаемого решения. joey-1 уже доступна в Baseten Model APIs с открытыми весами на Hugging Face.

Должна ли эта рабочая нагрузка LLM быть моделью принятия решений?

Модель принятия решений возвращает метку (решение) и оценку уверенности для этой метки за один проход вперед. Конкретно для joey-1 стоит перенести рабочую нагрузку LLM, когда:

• Объем решений высок, поэтому стоимость за вызов определяет, является ли проект экономически выгодным.

Объем решений высок, поэтому стоимость за вызов определяет, является ли проект экономически выгодным.

• Принимаемое вами решение является обязательным условием для чего-то еще, а значит, его задержка добавляется к каждому ответу.

Принимаемое вами решение является обязательным условием для чего-то еще, а значит, его задержка добавляется к каждому ответу.

Для контекста, классификация 10 миллионов тикетов поддержки в месяц при ~500 токенах каждый составляет 5 миллиардов токенов, что обходится примерно в 50 долларов в месяц на joey-1 против 500 долларов на mammoth-1. joey-1 — это надежная модель первой линии для поддержания высокой скорости и экономической эффективности рабочих нагрузок, в то время как вы все еще можете использовать более тяжелые модели, такие как elephant-1 или mammoth-1, в качестве пути эскалации, когда joey-1 не уверена.

Семейство моделей принятия решений Base Labs

Все три модели обучены Base Labs на одной и той же смеси данных и используют один и тот же API, поэтому переход между ними — это изменение в одну строку. Это делает семейство единым набором инструментов, а не тремя отдельными вариантами: mammoth-1 для решений, где точность имеет наибольшее значение, elephant-1 в качестве сбалансированного решения по умолчанию, и joey-1 для высокочастотных, чувствительных к задержкам вызовов, где на первом месте стоят скорость и стоимость.

Эти модели созданы для того, чтобы со временем становиться лучше. Base Labs, наша собственная исследовательская лаборатория, постоянно выпускает обновленные веса и новые возможности в рамках одного и того же API. Каждый релиз запускается на Baseten Model APIs, оптимизированный нашей командой производительности моделей для высокой пропускной способности и экономичного инференса, поэтому ваши рабочие нагрузки извлекают выгоду из каждого улучшения без необходимости изменения интеграции.

Artificial Analysis (Internal Replica)

От Model APIs к вашим собственным весам

joey-1 прошла пост-тренинг на базе Qwen3.5-2B от Base Labs, нашей исследовательской лаборатории, с использованием тех же данных и рецепта, что и elephant-1 и mammoth-1 с помощью Baseten Training Jobs.

Все три модели доступны в Model APIs и в виде выделенных развертываний. В Model APIs модели поддерживают окно контекста в 16 тыс. токенов и оптимизированы для рабочих нагрузок с низкими задержками.

Выделенные развертывания открывают полное окно контекста в 262 тыс. токенов, поддерживают дообученные веса и могут обеспечить еще более быстрые TTFT и TPS за счет оптимизаций под конкретную рабочую нагрузку и совместного размещения с вашими рабочими нагрузками LLM.

Чтобы создать свои собственные дообученные веса, elephant-1 и joey-1 доступны для пост-тренинга на Training Jobs. Начните работу с нашим руководством по дообучению.

Попробуйте joey-1

joey-1 доступна в Baseten Model APIs без сохранения данных по умолчанию, а веса открыты на Hugging Face. Воспользуйтесь ею.