Самые рейтинговые модели принятия решений в мире: mammoth-1 и elephant-1

Мы с гордостью представляем две лучшие в мире модели принятия решений, обученные нашей собственной исследовательской лабораторией: mammoth-1 (27B) и elephant-1 (9B)!

mammoth-1 занимает 1-е место среди 208 моделей принятия решений, а elephant-1 является ведущей моделью принятия решений с 9 млрд параметров в индексе Jev Decision Index. Обе модели являются открытыми и доступны для бесплатного тестирования в течение недели через API моделей Baseten с нулевым сохранением данных (ZDR) по умолчанию.

mammoth-1 лидирует в индексе Jev Decision Index 0.4 с результатом 71.24; elephant-1 является лучшей моделью среди 9B. В индексе Artificial Analysis Decision Index mammoth-1 набирает 65.9, а elephant-1 — 65.2.

С тех пор как TypeSafe представила Jev и System One API, модели принятия решений выделились в новую категорию. Мы провели дообучение Qwen3.5-9B и Qwen3.5-27B, чтобы создать две лучшие из них. Ниже приводится подробный обзор их возможностей, вариантов использования и того, как оценить их для вашего стека.

Что такое модели принятия решений?

В отличие от генеративных языковых моделей (LLM), модели принятия решений не генерируют текст. Вместо этого они возвращают вероятностное распределение (оценку для каждого возможного ответа, причем все оценки в сумме дают 1) по возможным ответам на каждый вопрос.

Вы можете задавать моделям принятия решений 3 типа вопросов:

• Выбор: выберите вариант из списка (например, какая команда отвечает за этот тикет: инфраструктура, биллинг, безопасность или поддержка?)

Выбор: выберите вариант из списка (например, какая команда отвечает за этот тикет: инфраструктура, биллинг, безопасность или поддержка?)

• Оценка: оцените входные данные по заданной шкале (двухбалльная шкала может представлять собой низкий или высокий уровень). Например, насколько срочно это обращение: низкая или высокая срочность?

Оценка: оцените входные данные по заданной шкале (двухбалльная шкала может представлять собой низкий или высокий уровень). Например, насколько срочно это обращение: низкая или высокая срочность?

• Булево значение: ответьте «да» или «нет» (например, является ли это электронное письмо фишинговой рассылкой?)

Булево значение: ответьте «да» или «нет» (например, является ли это электронное письмо фишинговой рассылкой?)

В чем модели принятия решений превосходят генеративные LLM?

Использование генеративных LLM для задач классификации, таких как маршрутизация тикетов или пометка спама, обходится дорого и работает медленно, поскольку объем выполняемых ими вычислений избыточен для требуемого результата задачи. Кроме того, сам по себе ответ не обеспечивает надежной меры уверенности.

Модели принятия решений, такие как elephant-1 и mammoth-1, пропускают генерацию текста, что делает их обслуживание в продакшене более дешевым и быстрым. Настраиваемые пороги уверенности помогают определить, когда принимать ответ, а когда эскалировать его. Например, тикет службы поддержки может маршрутизироваться автоматически, когда модель уверена на 90%, и передаваться человеку при более низкой уверенности. Модели также могут быть дообучены так, чтобы их уверенность лучше отражала то, как часто они правы.

Кратко говоря, модели принятия решений созданы для того, чтобы понимать запрос и принимать решение, не тратя время на написание ответа. По сравнению с моделью рассуждений, модель принятия решений может обеспечить ускорение до 10 раз.

Вот несколько сценариев использования:

• Триаж и маршрутизация тикетов

Триаж и маршрутизация тикетов

• Обнаружение спама и фишинга

Обнаружение спама и фишинга

• Защитные барьеры промптов и обнаружение джейлбрейков

Защитные барьеры промптов и обнаружение джейлбрейков

• Маршрутизация запросов между небольшими и передовыми LLM

Маршрутизация запросов между небольшими и передовыми LLM

Как работает модель принятия решений. Входные и выходные данные модели принятия решений при ответе на вопрос с выбором варианта. Здесь состояние (тикет поддержки) и вопрос о тикете (куда его направить) проходят через один прямой проход модели принятия решений elephant-1, и возвращается вероятность для каждого варианта.

Для чего созданы elephant-1 и mammoth-1

Мы создали elephant-1 и mammoth-1 как универсальные модели принятия решений, способные справляться с широким кругом задач: от маршрутизации тикетов поддержки до проверки запросов на безопасность. Мы обучили и оценили процесс принятия решений, используя данные из пяти доменов, отражающие предыдущие наработки: знания и рассуждения, язык, инструменты и автоматизация, извлечение и классификация, а также искусство и человеческий вкус.

mammoth-1 занимает 1-е место в индексе Jev Decision Index 0.4, в то время как elephant-1 делит 8-е место в общем зачете и является ведущей моделью принятия решений с 9B параметров. В отдельном индексе Artificial Analysis Decision Index elephant-1 делит 1-е место с предыдущей лучшей моделью d1-ultra.

mammoth лучше подходит, если для вашей задачи требуются более общие знания. Если вам в основном нужны быстрые рассуждения, выберите elephant-1.

Архитектура и обучение

Мы провели тонкую настройку Qwen3.5-9B и Qwen3.5-27B на 6,21 миллиона примеров принятия решений. Для обучения каждой модели мы использовали набор данных, объединяющий общедоступные датасеты с синтетически сгенерированными примерами, охватывающими основные навыки принятия решений, безопасность и отказ от ответа, а также оценочные и экспертные домены. Мы уточнили данные с помощью повторяющихся циклов обучения и оценки на elephant-1, а затем использовали финальный микс для обучения обеих моделей. Сюда вошли примеры, которые научили модель отвечать «Я не знаю», когда она не уверена в точности своего ответа. Узнайте больше о том, как мы их обучали, в нашем техническом отчете здесь.

Как выбрать правильную модель принятия решений

elephant-1 и mammoth-1 являются частью растущего семейства моделей принятия решений. Чтобы выбрать подходящую модель принятия решений для вашего рабочего процесса, мы рекомендуем оценить:

• Точность: принимает ли она правильные решения? Включите сложные случаи.

Точность: принимает ли она правильные решения? Включите сложные случаи.

• Уверенность: знает ли она, когда не уверена? Проверьте, когда принимать ответ, а когда передавать дальше, и установите соответствующий порог уверенности.

Уверенность: знает ли она, когда не уверена? Проверьте, когда принимать ответ, а когда передавать дальше, и установите соответствующий порог уверенности.

• Скорость и стоимость: измерьте задержку и стоимость одного решения при ожидаемом уровне трафика. Учитывайте повторные попытки и резервные варианты.

Скорость и стоимость: измерьте задержку и стоимость одного решения при ожидаемом уровне трафика. Учитывайте повторные попытки и резервные варианты.

Попробуйте elephant-1 и mammoth-1 сегодня

Вы можете бесплатно протестировать elephant-1 и mammoth-1 в течение недели через API моделей Baseten. Обе модели также имеют открытый исходный код на Hugging Face. Вы можете прочитать технический отчет нашей исследовательской лаборатории Base Labs здесь. Мы с нетерпением ждем возможности узнать, как вы их используете!