H2O-Lightning-4B занимает первое место в таблице лидеров открытых весов JevBench

Источник: H2O.ai•

H2O-Lightning-4B занимает первое место в таблице лидеров открытых весов JevBench

Открытая модель принятия решений с 4 миллиардами параметров опережает 103 системы с открытыми весами, включая те, что созданы на базе моделей, почти в восемь раз превосходящих ее по размеру, в бенчмарке, который одинаково оценивает интеллект, калибровку, скорость и стоимость.

МАУНТИН-ВЬЮ, Калифорния, 12 октября 2026 г. — H2O.ai, надежная суверенная платформа искусственного интеллекта для предиктивного, генеративного и агентного ИИ со встроенными средствами наблюдаемости, объявила сегодня, что H2O-Lightning-4B, ее модель принятия решений с открытыми весами, заняла первое место среди 104 систем с открытыми весами в таблице лидеров JevBench Composite Score по состоянию на 7 октября. Модель набрала 72,5 балла из 100, опередив показатель 71,5, продемонстрированный Jev — закрытой эталонной API-системой бенчмарка, при расчетной стоимости 0,021 долл. США за 1000 решений.

Большая часть работы с ИИ в банках, страховых компаниях, системах здравоохранения, телекоммуникационных компаниях и государственных ведомствах сводится к принятию решений по записям: направить этот тикет, пометить это положение, оценить эту претензию. Компания TypeSafe AI создала Jev вокруг этой идеи. Jev — это модель, которая отвечает на типизированный вопрос откалиброванной вероятностью вместо сгенерированного текста. Каждое решение требует правильного ответа, вероятности, для которой риск-команда может установить пороговое значение, задержки, соответствующей реальному рабочему процессу, и стоимости, которая остается предсказуемой при миллионах вызовов в месяц. JevBench оценивает все четыре параметра по гармоническому среднему с равным весом, поэтому слабое звено снижает общий результат. Открытая модель с 4 миллиардами параметров, набравшая больше баллов, чем закрытая эталонная система, — это тот сдвиг, которого ждали регулируемые покупатели. Владение моделью больше не означает отказ от качества.

«Для лучших решений не нужны большие модели. Классификация — один из наиболее распространенных вариантов корпоративного использования, и такие модели, как H2O-Lightning, обеспечивают качество моделей передового уровня и молниеносную скорость принятия решений примерно в 100 раз дешевле. Ведущие компании в сфере ИИ, включая Microsoft, теперь создают собственные модели принятия решений. Это не мимолетное явление», — Шри Амбати, основатель и генеральный директор H2O.ai

«Для лучших решений не нужны большие модели. Классификация — один из наиболее распространенных вариантов корпоративного использования, и такие модели, как H2O-Lightning, обеспечивают качество моделей передового уровня и молниеносную скорость принятия решений примерно в 100 раз дешевле. Ведущие компании в сфере ИИ, включая Microsoft, теперь создают собственные модели принятия решений. Это не мимолетное явление»

Шри Амбати

Основатель и генеральный директор H2O.ai

Как это работает

H2O-Lightning-4B представляет собой дообученную версию Qwen3.5-4B. Она отвечает на типизированные вопросы о принятии решений по таким записям, как документ, тикет, политика или беседа, и возвращает вероятность для каждого варианта. Она поддерживает три типа вопросов: выбор (один из набора именованных вариантов), да/нет (вероятность того, что утверждение истинно) и оценка (порядковый уровень по заданной шкале с его распределением вероятностей).

Каждое решение представляет собой один прямой проход (forward pass) и один выходной токен, поэтому стоимость определяется исключительно входными токенами. Модель работает на неизмененном vLLM 0.30.0 с небольшой стандартной библиотечной оберткой перед ним.

Результаты

H2O-Lightning-4B конкурирует в переполненной и быстро развивающейся области. TypeSafe AI установила высокую планку с помощью Jev. Независимые разработчики и корпоративные команды с тех пор добавили более 100 систем с открытыми весами в таблицу JevBench, и ее разработчики оценивают каждую запись одинаково. Категория теперь привлекает крупнейших игроков: на прошлой неделе Microsoft представила Microsoft-Decision-1, модель принятия решений с 9 миллиардами параметров, оцененную на собственном наборе внутренних бенчмарков. Верхнюю часть таблицы JevBench разделяет около одного балла, и порядок будет продолжать меняться.

В JevBench v1.6.1 модель H2O-Lightning-4B набирает 90 баллов по калибровке, 92,6 по скорости, 60 по интеллекту и 60 по стоимости. Измеренная медианная задержка составляет 29 миллисекунд на одно решение. По сравнению со второй по рейтингу системой с открытыми весами (адаптер на модели с 31 миллиардом параметров) она соответствует по калибровке, работает быстрее и стоит менее половины за 1000 решений (приблизительно 0,021 долл. против 0,045 долл.). По сравнению с эталоном Jev она работает примерно с одной третью задержки и двумя третями стоимости.

Открытая и полностью ваша

H2O-Lightning-4B выпускается под лицензией Apache 2.0 и присоединяется к проектам с открытым исходным кодом от H2O.ai, включая H2O-3, h2oGPT, LLM Studio и Danube. Организации владеют моделью, своими данными и результатами, и могут запускать ее локально, в изолированной среде (air-gapped), в частном или общедоступном облаке. Платформа H2O Sovereign AI Platform работает по тому же принципу: H2O AI Super Agent™ организует предиктивный, генеративный и агентный ИИ в единой системе со встроенными средствами наблюдаемости и направляет каждую задачу нужной модели, вместо того чтобы отправлять все в одну дорогостоящую передовую модель.

«Калибровка — это показатель, за которым мы следим пристальнее всего. Когда H2O-Lightning-4B говорит „80 процентов“, она должна быть права примерно в 80 процентах случаев, чтобы команда могла автоматизировать уверенные вызовы и отправить остальные человеку. Мы намеренно сделали путь обслуживания простым: стандартный vLLM, один прямой проход, один токен», — Джонатан К. МакКинни, технический директор H2O.ai

«Калибровка — это показатель, за которым мы следим пристальнее всего. Когда H2O-Lightning-4B говорит „80 процентов“, она должна быть права примерно в 80 процентах случаев, чтобы команда могла автоматизировать уверенные вызовы и отправить остальные человеку. Мы намеренно сделали путь обслуживания простым: стандартный vLLM, один прямой проход, один токен»

Джонатан К. МакКинни

Технический директор H2O.ai

Модель H2O-Lightning-4B доступна прямо сейчас на huggingface.co/h2oai/h2o-lightning-4b.

Читайте технический блог: https://h2o.ai/blog/2026/h2o-lightning-jevbench/

Смотрите полное демонстрационное видео: https://www.youtube.com/watch?v=2Qp04Wu0A14

Анонс Microsoft-Decision-1: https://commandline.microsoft.com/microsoft-decision-1-model-foundry/

H2O.ai создала надежную в отрасли платформу Sovereign AI Platform, потому что организации должны владеть своим ИИ: своими агентами, моделями, данными и результатами, работающими где угодно — от облака до изолированных систем.

Super Agent координирует предиктивный, генеративный и агентный ИИ в единой системе со средствами наблюдаемости и управления, помогая регулируемым организациям и организациям государственного сектора извлекать пользу из ИИ. Переход от пилотного проекта к промышленной эксплуатации требует экспертных знаний: от ведущих специалистов по обработке данных, включая грандмастеров Kaggle, до инженеров на передовой, работающих в составе команд клиентов.

Основанная на десятилетии работы с открытым исходным кодом, H2O.ai пользуется доверием более чем 20 000 организаций, включая половину компаний из списка Fortune 500. AT&T, Commonwealth Bank of Australia, Wells Fargo, Bank of America, Workday, Progressive Insurance и NIH полагаются на H2O.ai, чтобы снизить затраты и риски и владеть своим будущим в сфере ИИ.

В рамках своей программы AI for Good компания H2O.ai направляет технологии и инвестиции на поддержку некоммерческих организаций и академических кругов, решающих сложные проблемы в области здравоохранения, образования и экологии.

Узнайте больше на h2o.ai.

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →

Ещё от H2O.ai