Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Botpsy lokalnyy personalnyy assistent na baze agentnoy yazykovoy modeli s menee
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

BotPsy: локальный персональный ассистент на базе агентной языковой модели с менее чем миллиардом параметров

Источник: Hugging Face•11 ноября 2026 г. в 05:57

BotPsy: локальный персональный ассистент на базе агентной языковой модели с менее чем миллиардом параметров

Передовые облачные LLM сопряжены с высокими эксплуатационными расходами, которые могут непредсказуемо меняться, а зависимость от сторонних моделей создает уязвимости, поскольку провайдеры могут в любой момент изменить условия доступа, ограничить его или вовсе закрыть. Кроме того, проприетарные модели предлагают ограниченные возможности кастомизации под конкретные рабочие процессы, создавая при этом риски для конфиденциальности, контроля над данными и прозрачности. К тому же далеко не каждая задача требует передового уровня интеллекта: небольшие специализированные агенты могут справляться с определенными задачами столь же эффективно и обходиться значительно дешевле в эксплуатации, поскольку многие рутинные или менее ресурсоемкие задачи можно эффективно выполнять прямо на устройстве. По мере того как интеллектуальные возможности в расчете на параметр стремительно растут, мы стремимся быть в авангарде этого перехода к производительным, ориентированным на приватность и автономным (self-hosted) моделям.

Tether AI Research представляет BotPsy — модель с 0,8 млрд параметров, предназначенную для вызова функций и агентных рабочих процессов, построенную поверх Qwen3.5-0.8B и подходящую для развертывания на устройствах. BotPsy — это «персональный ассистент», который использует инструменты для выполнения различных простых задач пользователя в таких сферах, как веб-поиск и сбор информации, путешествия и образ жизни, коммерция и финансы, бизнес и взаимодействие с клиентами, управление устройствами и транспортными средствами, файлы и документы, календарь, а также электронная почта и сообщения. Из-за малого числа параметров модель лучше всего подходит для задач низкой и средней сложности. BotPsy демонстрирует передовые (SOTA) результаты в использовании инструментов и агентных сценариях для своего масштаба, превосходя все протестированные нами модели размером до 1,2 млрд параметров (рисунки 1 и 2). Созданная для безопасной локальной работы на устройствах, она обеспечивает исключительную надежность и эффективность следования инструкциям, сохраняя конфиденциальность пользовательских данных. Будучи компактной моделью, BotPsy все еще может ошибаться и не предназначена для сценариев с высокой ценой ошибки; подробнее об этом см. в разделе «Предполагаемое использование и ограничения».

🤗 Модель (safetensors) | 📦 GGUF (bf16, Q8, Q4)

Мы примем надлежащие меры в ответ на уведомление о нарушении авторских прав. Если вы считаете, что ваша работа была использована или скопирована способом, нарушающим ваши права на интеллектуальную собственность, отправьте электронное письмо по адресу data-apps@tether.io с указанием и описанием как защищенной авторским правом работы, так и контента, предположительно нарушающего права, чтобы подать уведомление о нарушении.

Ключевые особенности

Результаты бенчмарков

  • Вдвое выше производительность по сравнению с базовой моделью: BotPsy примерно в два раза превосходит Qwen3.5-0.8B-Think по агентным возможностям на ключевых бенчмарках: результат в BFCL v4 вырос с 23,4 до 44,0, в ACEBench — с 30,1 до 58,7, а в τ-bench — с 23,2 до 51,5 (среднее значение по подмножествам retail, telecom и banking).
  • Лучший агент в своей категории: BotPsy превосходит ведущие модели в весовой категории ≤1,2 млрд параметров (Qwen3.5-0.8B-Think, LFM2.5-1.2B-Think, MiniCPM5-1B-Think) во всех шести бенчмарках на использование инструментов и агентные функции: BFCL v4, ACEBench, τ-bench, ToolSandbox, Claw-Eval и BrowseComp-Plus.
  • Превзошла даже более крупную модель: BotPsy показала наивысший балл среди всех протестированных моделей в пяти из шести бенчмарков, обойдя Qwen3.5-2B-Think (модель в 2,5 раза крупнее) на BFCL v4 (44,0 против 37,7), ACEBench (58,7 против 55,4), τ-bench (51,5 против 46,5), ToolSandbox (64,6 против 41,2) и BrowseComp-Plus (4,5 против 2,8). Лишь на Claw-Eval вперед вышла Qwen3.5-2B-Think (48,9 против 46,5).

Возможности модели

  • Более надежная работа в многошаговых сценариях: В бенчмарке τ²-bench, где агенту необходимо вести продолжительный диалог с клиентом, строго следовать правилам и действовать от имени клиента, модель набрала 82,5 балла в категории телекоммуникаций, опередив Qwen3.5-2B-Think (69,3). В многошаговых задачах BFCL v4 ее результат вырос с 7,5 до 46,1 по сравнению с базовой моделью, что почти вдвое превышает показатель Qwen3.5-2B-Think (23,8). При группировке по сферам применения результаты многошаговых сценариев модели BotPsy опережают все протестированные модели в области коммерции и услуг (58,3 против 47,4 у ближайшего конкурента, Qwen3.5-2B-Think), а также в управлении устройствами и системами (46,1 против 31,9).
  • Понимает, когда (не) следует вызывать инструменты: Действующий агент должен также знать, когда действовать не нужно. В тестах на галлюцинации BFCL v4, проверяющих, способна ли модель отказаться от вызова при отсутствии подходящего инструмента, BotPsy набрала 86,1 балла — лучший результат среди всех протестированных моделей. В особых сценариях ACEBench, когда запрос неполон, содержит неверные параметры или не может быть выполнен имеющимися инструментами, модель набрала 51,3 балла по сравнению с 13,7 у базовой модели.
  • Точное следование инструкциям с сохранением общих знаний: BotPsy специализируется на вызове инструментов, не теряя при этом общих навыков. Качество следования инструкциям заметно выросло: показатель IFEval поднялся с 59,7 до 90,8, а IFBench — с 22,0 до 55,9, что стало наивысшим баллом на IFBench среди всех протестированных моделей. Уровень общих знаний также улучшился: результат GPQA Diamond вырос с 33,2 до 38,1, а MMLU-Pro — с 41,6 до 48,9. Во всех четырех бенчмарках BotPsy превзошла любую другую протестированную модель с числом параметров 1,2 млрд или менее.

Безопасность, эффективность и развертывание

  • Безопаснее ведущих моделей в своей категории: При автоматизированном редтиминге по шести категориям угроз BotPsy генерирует небезопасные ответы лишь в 21% случаев по сравнению с 36% у базовой модели. Это самый низкий показатель среди всех моделей размером до 1,2 млрд параметров (LFM2.5-1.2B-Think: 35%; MiniCPM5-1B-Think: 47%). При атаках методом внедрения промптов (prompt injection), которые особенно критичны для агентов, читающих ненадежные выходные данные инструментов, доля небезопасных ответов снижается с 46% у базовой модели до 31%.
  • Более эффективные рассуждения и меньше зацикливаний: На вопросах, на которые правильно ответили все пять моделей, BotPsy приходит к решению, затрачивая примерно в 3 раза меньше токенов рассуждения, чем ее базовая модель на GPQA Diamond (3 690 против 11 563), и в 2,7 раза меньше на MMLU-Pro (1 912 против 5 105). Во всех попытках на IFBench частота застревания в повторяющихся циклах рассуждений снизилась с 22,9% до 1,4%, а доля запусков, достигших лимита в 32 тыс. токенов, упала с 28,3% до 0,2%. Более короткие и целенаправленные рассуждения должны способствовать снижению задержек при работе на устройствах.
  • Открытый исходный код и готовность к использованию: BotPsy будет выпущена с открытыми весами под лицензией Apache 2.0 для исследовательских и образовательных целей. Модель будет доступна в трех вариантах квантования (bf16, Q8, Q4), в виде файлов safetensors на Hugging Face, а также в формате GGUF для QVAC SDK и llama.cpp.
  • Открытый исходный код и готовность к использованию: BotPsy будет выпущена с открытыми весами под лицензией Apache 2.0 для исследовательских и образовательных целей. Модель будет доступна в трех вариантах квантования (bf16, Q8, Q4), в виде файлов safetensors на Hugging Face, а также в формате GGUF для QVAC SDK и llama.cpp.

Перспективы развития

Опираясь на фундамент BotPsy, дальнейшая разработка Tether Data, S.A. de C.V. («Tether AI Research», «мы», «наш») будет сосредоточена на расширении локальных агентных возможностей на устройствах для бесшовной интеграции с еще более широким спектром аппаратного обеспечения и локальных сервисов. Hypersearch от Tether продолжит развиваться в направлении поддержки более надежных децентрализованных пиринговых (P2P) запросов, дополнительно обеспечивая приватный зашифрованный веб-поиск в обход корпоративных трекеров. Механизмы локальной тонкой настройки QVAC Fabric будут оптимизированы для более глубокой адаптации к индивидуальным предпочтениям пользователей, рабочим процессам и специализированным средам инструментов. Будущие итерации позволят интерфейсу смартфона плавно делегировать ресурсоемкие вычислительные задачи домашним ПК или доверенным защищенным P2P-узлам во время переходов между офлайн- и онлайн-режимами. Протоколы конфиденциальности будут непрерывно совершенствоваться, гарантируя, что все персональные данные, учетные данные и решения остаются строго на локальном оборудовании. Будут внедрены функции совместной работы, обеспечивающие безопасное взаимодействие между агентами через доверенные локальные сети без ущерба для конфиденциальности пользователей. В конечном счете эти достижения утвердят BotPsy как полностью автономную, высокоэффективную персональную экосистему ИИ, предоставляющую пользователям полный контроль над их цифровой жизнью.

Методология

BotPsy основан на Qwen3.5-0.8B и проходит постобучение в четыре последовательных этапа: Supervised Fine-Tuning (SFT), Multi-teacher On-Policy Distillation (MOPD) и два раунда Reinforcement Learning (RL). На каждом этапе за отправную точку берется лучший чекпоинт предыдущего этапа и используется свой тип обучающего сигнала: имитация эталонных траекторий, распределения токенов значительно более крупных моделей-учителей и основанные на правилах вознаграждения за вызов инструментов (см. Рисунок 3).

Процедура обучения: четыре этапа, три типа обратной связи

Наш подход использует четыре этапа обучения, которые извлекают информацию из трех типов сигналов: демонстраций, специализированных учителей и верифицируемых вознаграждений.

Обучение на демонстрациях (SFT)

Сначала мы проводим полнопараметрическую тонкую настройку с учителем на диалогах с использованием инструментов. Они включают многошаговые траектории агентов из симулированных сред, воспроизведенные одиночные, параллельные и многоступенчатые вызовы, а также случаи, когда никакой инструмент вызывать не следует.

Обучение у учителей (MOPD)

Затем модель-ученик обучается с помощью on-policy дистилляции (OPD): она генерирует собственные ответы, а специализированный учитель предоставляет обратную связь по каждому токену, используя потокенную обратную дивергенцию Кульбака — Лейблера (KL) в качестве обучающего сигнала. Чтобы подготовить учителей, мы сначала обучили с помощью RL три модели Qwen3.5-4B со специализацией на использовании инструментов, общих рассуждениях и следовании инструкциям. Во время обучения каждый запрос маршрутизируется к одному из этих учителей. Этот этап в основном направлен на восстановление знаний и способности следовать инструкциям, которые снизились на этапе SFT, хотя показатели использования инструментов также растут (см. Рисунок 4).

Обучение на правилах и средах (этапы RL)

Наконец, модель обучается с помощью обучения с подкреплением с использованием DAPO [1], обучаясь исключительно на вознаграждениях, рассчитываемых правилами и верификаторами. Первый раунд сосредоточен на вызове инструментов, сопровождаясь задачами на следование инструкциям и вопросами с вариантами ответов из области STEM. Как и в Tool-N1 [2], вознаграждение за вызов инструментов сначала проверяет ход рассуждений и формат вызова инструмента. Однако вместо бинарного вознаграждения за правильность, как в Tool-N1, оно начисляет детальный частичный балл в духе ToolRL [3], сопоставляя предсказанные имена инструментов, имена аргументов и значения аргументов с эталоном.

Во втором раунде обучающая выборка расширяется за счет проверяемых задач из общей области: математика, программный код, вопросы на знание фактов (с несколькими вариантами ответов), следование инструкциям, структурированный вывод и многошаговое использование инструментов в симулированной рабочей среде. Хотя этот набор не содержит многошаговых диалогов, он еще больше улучшает многошаговый вызов функций.

Состав данных

На каждом этапе обучения используется разный набор данных (Рисунок 5). Этап SFT в основном сосредоточен на использовании инструментов и готовит почву для последующих этапов. Набор MOPD объединяет данные об использовании инструментов, знаниях и следовании инструкциям — как для дальнейшего улучшения вызова функций, так и для устранения регрессий в общих знаниях, возникших на этапе SFT. Первый этап RL снова сфокусирован преимущественно на использовании инструментов, тогда как второй этап RL смещает баланс в сторону общедоменных данных (следование инструкциям, знания, математика и код), сохраняя меньшую долю вызова инструментов.

Результаты

Использование инструментов и агенты

BotPsy примерно удваивает эффективность использования инструментов по сравнению со своей базовой моделью Qwen3.5-0.8B и является сильнейшей из пяти моделей в пяти из шести агентных бенчмарков: BFCL v4 (44,0 против 23,4), ACEBench (58,7 против 30,1), τ-bench (51,5 против 23,2), BrowseComp-Plus (4,5 против 1,9) и ToolSandbox (64,6 против 30,5). Во всех пяти тестах она также опережает Qwen3.5-2B-Think — модель, превосходящую ее по размеру в 2,5 раза (37,7, 55,4, 46,5, 2,8 и 41,2 соответственно; см. Таблицу 1). В Claw-Eval лидирует Qwen3.5-2B-Think (48,9 против 46,5).

Таблица 1: Бенчмарки использования инструментов и агентных способностей (0–100, чем выше, тем лучше). Лучший результат в строке выделен полужирным шрифтом, второй — подчеркнут; множители указывают количество параметров по сравнению с BotPsy-0.8B. Среднее значение представляет собой невзвешенное среднее шести бенчмарков. Подробную информацию о методике оценки см. в примечаниях к оценке.

Знания

Обучение использованию инструментов не привело к потере общих знаний: показатель GPQA Diamond вырос с 33,2 до 38,1, а MMLU-Pro — с 41,6 до 48,9, что является лучшим результатом среди моделей с числом параметров 1,2 млрд и менее (LFM2.5-1.2B-Think: 35,0 и 39,4; MiniCPM5-1B-Think: 15,8 и 40,0). Объем знаний по-прежнему масштабируется в основном с ростом количества параметров, и Qwen3.5-2B-Think демонстрирует результаты значительно выше (59,9 и 65,5). Таким образом, BotPsy спроектирована так, чтобы вызывать инструменты для поиска неизвестных ей фактов, а не служить моделью-энциклопедией.

Таблица 2: Бенчмарки общих знаний (0–100, чем выше, тем лучше). Лучший результат в строке выделен полужирным шрифтом, второй — подчеркнут. Подробную информацию о методике оценки см. в примечаниях к оценке.

Следование инструкциям

BotPsy лучше всех пяти моделей справляется со следованием явным инструкциям: IFEval 90,8 (базовая 59,7; Qwen3.5-2B-Think 80,0) и IFBench 55,9 (базовая 22,0; Qwen3.5-2B-Think 40,9). В тесте Multi-IF, который проверяет следование инструкциям на протяжении трех реплик на восьми языках, она набирает 67,2 балла, что сопоставимо с Qwen3.5-2B-Think (66,9) и LFM2.5-1.2B-Think (68,2). Она начинает лучше всех (84,3 на 1-м шаге, наивысший показатель среди пяти моделей), но с накоплением инструкций результат снижается быстрее (51,0 на 3-м шаге против 56,5 и 56,2 у упомянутых двух моделей). Менее ресурсоемкие языки остаются слабым местом: хинди (24,5) и русский (57,6) значительно отстают от диапазона 72–80, достигнутого на английском, китайском, французском, испанском, итальянском и португальском языках.

Таблица 3: Бенчмарки следования инструкциям (0–100, чем выше, тем лучше). Лучший результат в строке выделен полужирным шрифтом, второй — подчеркнут. Подробную информацию о методике оценки см. в примечаниях к оценке.

Многошаговые диалоги

Наибольший относительный прирост наблюдается во многоходовом взаимодействии с сохранением состояния, где BotPsy лидирует в четырех из пяти многоходовых бенчмарков (Рисунок 6). В BFCL v4 (многоходовый режим) показатель возрастает с 7,5 до 46,1, что почти вдвое выше, чем у Qwen3.5-2B-Think (23,8), а в ACEBench Agent — с 7,9 до 28,3 (Qwen3.5-2B-Think: 16,2). В τ²-bench модель удваивает свой базовый результат в ритейле (67,8 против 33,9, что немного лучше, чем у Qwen3.5-2B-Think с 65,5) и достигает 82,5 в телекоммуникациях, где агенту приходится сопровождать пользователя в процессе устранения неполадок на протяжении многих ходов (MiniCPM5-1B-Think: 74,0; Qwen3.5-2B-Think: 69,3). Она также является самой надежной из пяти моделей при выполнении одиночных вызовов (BFCL non-live: 83,0) и при отказе от вызова инструмента, когда ни один не подходит (BFCL hallucination: 86,1).

Слабые стороны

Слабыми сторонами BotPsy являются поиск с открытым концом и несколько областей, где Qwen3.5-2B-Think по-прежнему лидирует. Оценка BotPsy в BrowseComp-Plus (4,5) является лучшей среди пяти моделей, но остается низкой в абсолютном выражении, а в веб-поиске BFCL (14,0) и работе с памятью (16,3) она уступает Qwen3.5-2B-Think (19,8 и 26,1). В Claw-Eval BotPsy заметно превосходит свою базовую модель (46,5 против 39,3), но остается немного ниже Qwen3.5-2B-Think (48,9). В особых случаях ACEBench (неполные или ошибочные запросы) Qwen3.5-2B-Think также впереди (58,0 против 51,3), хотя BotPsy значительно превосходит здесь свою базу (13,7). τ³-banking — единственный многоходовый бенчмарк, в котором BotPsy не лидирует: ни одна модель не набирает выше 5 (BotPsy 4,1, без изменений относительно базы; Qwen3.5-2B-Think 4,8).

Где это работает: анализ производительности по приложениям

BotPsy может справляться с различными вариантами использования и сценариями. На Рисунке 7 сценарии бенчмарка разбиты по группам приложений, отделяя простые сценарии (один ход, один вызов инструмента) от сложных (многоходовые или с использованием нескольких инструментов). Общие баллы, приведенные в этом разделе, усреднены по всем сценариям; нижняя строка Рисунка 7 представляет собой невзвешенное среднее по семи группам, поэтому цифры в ней отличаются.

Одиночные вызовы инструментов работают хорошо везде

Простые сценарии набирают 70–79 баллов в каждой группе приложений с репрезентативной выборкой (в «Коммуникациях и социальных сетях» их всего 6). В целом BotPsy набирает 75 баллов, что примерно на 21 пункт выше базовой модели (54) и немного выше Qwen3.5-2B-Think (70).

Наибольший прирост наблюдается в многошаговых задачах

В сложных сценариях BotPsy набирает 39,5 балла в целом против 17,9 для своей базы и 30,8 для Qwen3.5-2B-Think. Наибольший прирост наблюдается в категориях «Коммуникации и социальные сети» (61 против 13 для базы), «Коммерция и услуги» (58 против 27) и «Управление устройствами и системами» (46 против 15). Qwen3.5-2B-Think лидирует только в «Личной продуктивности и работе» (64 против 58, 38 сценариев, в основном Claw-Eval), а MiniCPM5-1B-Think незначительно опережает в «Коммуникациях и социальных сетях» (61,5 против 60,5). Многошаговые задачи по-прежнему оцениваются ниже, чем одиночные вызовы, что остается главным ограничением для более сложных задач.

Многошаговый поиск информации — слабое место

Сложные сценарии поиска информации и исследований набирают 15 баллов (одиночные вызовы: 79). Большинство из них — это вопросы глубокого исследования BrowseComp-Plus, которые остаются сложными для каждой модели в этом диапазоне размеров (база: 9; Qwen3.5-2B-Think: 14).

Эффективность вывода

BotPsy достигает правильных ответов с гораздо меньшими рассуждениями, чем ее база, и с меньшим количеством ходов в многоходовых агентских задачах. Это соответствует нашему явному фокусу на эффективности рассуждений на протяжении всего обучения. Все сравнения ниже проводятся по одним и тем же вопросам или задачам (тем, которые все пять моделей решили правильно), поэтому различия в сложности не влияют на цифры. Токены рассуждений подсчитываются с помощью собственного токенизатора каждой модели.

Более короткие рассуждения при более высокой точности. По сравнению со своей базой BotPsy использует в 1,4–3,1 раза меньше токенов рассуждений на правильный ответ в GPQA Diamond (3 690 против 11 563), MMLU-Pro (1 912 против 5 105), IFEval (3 148 против 4 433) и IFBench (4 204 против 11 576), при этом набирая больше баллов во всех четырех (Рисунок 8). Это не самая «краткая» модель везде: LFM2.5-1.2B-Think пишет более короткие рассуждения в MMLU-Pro, IFEval и IFBench, а MiniCPM5-1B-Think — в IFEval и IFBench, но с меньшей точностью, чем BotPsy в каждом из случаев.

Меньше ходов, чем у базы, в многоходовых агентских задачах. В задачах τ²-bench, которые решают все пять моделей, BotPsy требует меньше ходов ассистента, чем ее база (Рисунок 9):

  • τ²-retail: 10,7 хода против 11,7 у базы (на 9% меньше) и 10,6 у Qwen3.5-2B-Think.
  • τ²-telecom: 13,1 хода против 17,6 у базы (на 26% меньше) и 13,8 у Qwen3.5-2B-Think (на 5% меньше).

Она делает это, выполняя в 2,0 раза (ритейл) и 2,6 раза (телеком) больше задач, чем база. MiniCPM5-1B-Think использует меньше ходов в ритейле (8,7), но проходит только 9,9% задач ритейла.

Предполагаемое использование и ограничения

BotPsy была разработана для продвижения современного уровня технологий и поддержки исследований и образовательных целей. Модели, разработанные на основе нашей работы, могут быть пригодны для задач в таких областях, как управление устройствами и системами (настройки, файлы и документы, часы и будильники), личная продуктивность и работа (календарь и задачи, электронная почта, инструменты для совместной работы), коммуникации (обмен сообщениями), поиск информации и исследования (веб-поиск, погода, новости), медиа и образ жизни (видео, музыка, рецепты и фитнес, фотографии) и коммерция и услуги (карты и путешествия, финансы, покупки и доставка). Из-за небольшого количества параметров она лучше всего подходит для задач низкой и средней сложности.

BotPsy была в основном обучена и протестирована на английском языке, который является рекомендуемым. Она также была оценена по Multi-IF, который охватывает семь дополнительных языков (китайский, французский, хинди, итальянский, португальский, русский и испанский): модель хорошо работает на большинстве из них, но показывает гораздо более низкие результаты на хинди и русском. BotPsy — это небольшая языковая модель, и она совершает ошибки. Она не предназначена для критически важных с точки зрения безопасности или ответственных автоматизированных решений, а также для приложений, связанных с деньгами, личной информацией, здоровьем и другими конфиденциальными темами.

Цитирование

Ссылки

[1] Yu, Qiying, et al. "DAPO: An Open-Source LLM Reinforcement Learning System at Scale." Advances in Neural Information Processing Systems 38 (2025): 113222–113244.

[2] Zhang, Shaokun, et al. "Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning." International Conference on Learning Representations (2026).

[3] Qian, Cheng, et al. "ToolRL: Reward is All Tool Learning Needs." Advances in Neural Information Processing Systems 38 (2025).

Сноски к оценке

  • Все оценки представлены в процентах (чем выше, тем лучше).
  • Все модели оценивались в режиме мышления (рассуждения).
  • Все бенчмарки, использующие внешний API, были запущены 3 ноября 2026 года.
  • ¹ BFCL v4: общий балл рассчитан по официальной взвешенной формуле (40% агентский, 30% многоходовый, 10% live, 10% non-live и 10% галлюцинации), усредненный по 3 запускам.
  • ² ACEBench: общая точность. Все модели оценивались в режиме вызова функций (FC); среднее значение по 2 запускам.
  • ³ τ-bench: среднее значение τ²-bench (ритейл, телеком) и τ³-bench (банкинг), исключая авиалинии; среднее значение по 3 запускам.
  • ⁴ Claw-Eval: официальный средний балл задачи, где каждая задача оценивается как безопасность × (0,8 × завершение + 0,2 × надежность); среднее значение по 3 запускам.
  • ⁵ BrowseComp-Plus: точность, максимум 30 шагов для всех моделей.
  • ⁶ ToolSandbox: средний показатель сходства по 8 настройкам.
  • ⁷ GPQA Diamond: точность по всем 198 вопросам, среднее по 3 запускам, с активированным режимом размышления.
  • ⁸ MMLU-Pro: точность.
  • ⁹ IFEval, IFBench: строгая точность на уровне промптов.
  • ¹⁰ Multi-IF: среднее по 3 запускам.
← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Передача KubeRay в CNCF
Anyscale

Передача KubeRay в CNCF

Cogent и OpenAI создают фабрики киберзащиты для предприятий
OpenAI

Cogent и OpenAI создают фабрики киберзащиты для предприятий

ChatGPT Plus для ветеранов и военнослужащих
OpenAI

ChatGPT Plus для ветеранов и военнослужащих

OpenAI и Anthropic сталкиваются с новым надзором в связи с вступлением в силу закона Нью-Йорка о безопасности ИИПресса
OpenAI

OpenAI и Anthropic сталкиваются с новым надзором в связи с вступлением в силу закона Нью-Йорка о безопасности ИИ

Как ИИ помогает предприятиям по переработке превращать смешанные отходы в пригодные для повторного использования материалы
NVIDIA

Как ИИ помогает предприятиям по переработке превращать смешанные отходы в пригодные для повторного использования материалы

MCP против CLI против Skills: стоимость в контексте
OpenRouter

MCP против CLI против Skills: стоимость в контексте

Ещё от Hugging Face

Оплата Hugging Face Hub через аккаунт Google Cloud
Hugging Face

Оплата Hugging Face Hub через аккаунт Google Cloud

Модели принятия решений в Hugging Face
Hugging Face

Модели принятия решений в Hugging Face

Кибератаки угрожают сделать открытый ИИ чуть менее открытым, предупреждает руководитель Hugging FaceПресса
Hugging Face

Кибератаки угрожают сделать открытый ИИ чуть менее открытым, предупреждает руководитель Hugging Face

Nemotron-Personas-Finance-Japan: Синтетический набор данных, отражающий демографию и финансовый контекст Японии
Hugging Face

Nemotron-Personas-Finance-Japan: Синтетический набор данных, отражающий демографию и финансовый контекст Японии

У ваших экспертов есть партнеры. Есть НАДЕЖДА на то, чтобы сохранить их вместе
Hugging Face

У ваших экспертов есть партнеры. Есть НАДЕЖДА на то, чтобы сохранить их вместе

Скользящее окно превосходит линейное внимание, но только на коротких ответах
Hugging Face

Скользящее окно превосходит линейное внимание, но только на коротких ответах