Диффузия в масштабе: представление Mercury 3

Сегодня мы представляем Mercury 3, самую мощную диффузионную LLM из всех выпущенных на сегодняшний день. В различных бенчмарках Mercury 3 превосходит GPT-6 Luna и Claude Haiku 5.5, работая при этом в 4–8 раз быстрее со скоростью более 1000 токенов в секунду.

Mercury 3 демонстрирует, что текстовая диффузия масштабируется. Она более чем в 40 раз крупнее Mercury 1 и значительно умнее, но при этом работает так же быстро.

Партнеры из программы раннего доступа уже используют Mercury 3 для поддержки голосовых сервисов и чатов, интерактивного обучения, инженерии данных и веб-навигации:

Мы запустили Mercury 3 в рамках нашей рабочей среды производственного веб-агента в сравнении с передовыми моделями на 50 реальных задачах навигации Mind2Web. Mercury 3 справилась с 50% из них, что значительно больше, чем у GPT-6.1-Sol. При этом она использовала тот же объем токенов и такое же количество шагов агента, что и передовая модель, но за малую долю стоимости за токен.

Шухао Чжан (Shuhao Zhang), сооснователь TinyFish AI

Mercury 3 вкратце

• Качество: на уровне или выше передовых оптимизированных по скорости моделей, таких как GPT-6 Luna и Claude Haiku 5.5.

Качество: на уровне или выше передовых оптимизированных по скорости моделей, таких как GPT-6 Luna и Claude Haiku 5.5.

• Скорость: 1068 токенов в секунду на графических процессорах NVIDIA.

Скорость: 1068 токенов в секунду на графических процессорах NVIDIA.

• Контекст: 1 млн токенов по сравнению с 260 тыс. у Mercury 2.5

Контекст: 1 млн токенов по сравнению с 260 тыс. у Mercury 2.5

• Цена: $0,20 за миллион входных и $0,70 за миллион выходных токенов. На момент запуска на Mercury 3 действует скидка 50%: $0,10 за 1 млн входных и $0,35 за 1 млн выходных токенов. Кэшированные токены стоят на 90% дешевле входных.

Цена: $0,20 за миллион входных и $0,70 за миллион выходных токенов.

• На момент запуска на Mercury 3 действует скидка 50%: $0,10 за 1 млн входных и $0,35 за 1 млн выходных токенов. Кэшированные токены стоят на 90% дешевле входных.

На момент запуска на Mercury 3 действует скидка 50%: $0,10 за 1 млн входных и $0,35 за 1 млн выходных токенов. Кэшированные токены стоят на 90% дешевле входных.

Диффузия в масштабе

Когда мы выпустили Mercury 1, это было первое доказательство того, что диффузионные LLM могут создаваться для коммерческих приложений. Открытым вопросом в ИИ-сообществе оставалось то, смогут ли диффузионные LLM масштабироваться настолько, чтобы конкурировать с авторегрессионными моделями в сложных сценариях использования.

Mercury 3 отвечает на этот вопрос: да, могут. Мы масштабировали Mercury более чем в 40 раз по общему количеству параметров, а показатели интеллекта в различных стандартных бенчмарках выросли в 3 раза по сравнению с Mercury 1 (mini) и Mercury 3. Законы масштабирования, которые обеспечивали прогресс в авторегрессионных моделях, работают и для диффузии.

Mercury 3 в продакшене

Партнеры из программы раннего доступа уже используют Mercury 3 для работы приложений, чувствительных к задержкам, таких как агенты для работы с браузером, интерактивное образование, поисковые агенты реального времени и служба поддержки клиентов.

Агенты для работы с браузером

Агенты ожидают ответа от модели на каждом шаге, поэтому небольшие задержки быстро суммируются. Mercury обеспечивает высокую скорость каждого прохода, будь то навигация агента по веб-сайтам, исследование по разным источникам или анализ логов и трассировка инцидентов. Агенты завершают работу быстрее и имеют время опробовать больше подходов до того, как дать ответ.

Интерактивное образование

Обучение строится на быстрых циклах обратной связи, и любая задержка отвлекает студента от материала. Mercury осмысляет каждый запрос и отвечает практически в реальном времени, будь то голосовой репетитор, ведущий беседу, ассистент, оценивающий работы, или приложение, адаптирующее следующий вопрос под то, в чем студент только что ошибся.

Mercury 3 позволила нам предоставлять каждому студенту мгновенную обратную связь без ущерба для рассуждений. Подсказки, проверенные ответы и определения теперь возвращаются примерно за секунду, а качество оказывается не хуже или даже лучше, чем у моделей, которые мы использовали ранее. Когда студент застревает на вопросе, такая скорость заставляет его продолжать работу, а не ждать, при этом модель легко встроилась в наш существующий стек.

Майкл Тонг (Michael Tong), сооснователь и технический директор General Learning (он же RevisionDojo)

Поисковые агенты реального времени

Поисковые приложения начинают казаться «зависшими» уже после нескольких секунд задержки. Mercury 3 работает достаточно быстро, чтобы обрабатывать десятки документов и при этом отвечать, пока пользователь вовлечен в процесс.

На умных очках ответ, занимающий пять секунд, кажется нерабочим. В наших тестах API Sense поиск Octen занимал около 80 мс; узким местом была генерация моделью. Mercury 3 обеспечила наилучший баланс скорости и качества среди протестированных нами быстрых моделей: медианное время генерации составило 0,9 секунды, а медианное время отклика от начала до конца — 2,2 секунды.

Куан Цзо (Kuan Zou), основатель и генеральный директор Octen AI

Поддержка клиентов

Агенты поддержки должны отвечать быстро, часто для регулируемых бизнесов, где неверный ответ обходится дорого. Mercury поддерживает непринужденный диалог без ущерба для точности.

В компании Lorikeet мы помогаем сложным и регулируемым бизнесам создавать консьерж-сервисы для клиентов, работающие через голос, чат и электронную почту. В чате и голосе клиентам нужны быстрые ответы, но мы не можем идти на компромисс в отношении точности или правильного выполнения задачи. В ходе раннего тестирования Mercury 3 превзошла другие модели по задержке, а также показала более высокие результаты при оценках и в продакшене.

Майкл Гриббен (Michael Gribben), сотрудник технического отдела Lorikeet

Портфель продуктов реального времени

Mercury 3 — это флагманская модель в расширяющемся портфеле продуктов, обеспечивающих работу ИИ в реальном времени.

• Mercury Voice: Mercury Voice оптимизирована под экстремально низкие требования к задержке в голосовых приложениях и под минимизацию времени до получения первого токена ответа (TTFAT), а не только задержки «от начала до конца». Она уже питает агентов в Audivi AI, Altur и OpenCall.

Mercury Voice: Mercury Voice оптимизирована под экстремально низкие требования к задержке в голосовых приложениях и под минимизацию времени до получения первого токена ответа (TTFAT), а не только задержки «от начала до конца». Она уже питает агентов в Audivi AI, Altur и OpenCall.

• Mercury Decide: Mercury Decide — это модель принятия решений, созданная для классификации больших объемов данных. Она превосходит Jev в таких бенчмарках, как JevBench и LegalBench.

Mercury Decide: Mercury Decide — это модель принятия решений, созданная для классификации больших объемов данных. Она превосходит Jev в таких бенчмарках, как JevBench и LegalBench.

Начало работы

Mercury 3 доступна уже сегодня на платформе Inception API Platform, а также через OpenRouter, Baseten и Vercel. Она совместима с API OpenAI, поэтому легко интегрируется в ваш существующий стек без необходимости переписывать код. Развертывания для предприятий поддерживают выделенные мощности, автомасштабирование, средства контроля соответствия требованиям и настраиваемое хранение данных.

• Попробуйте Mercury 3 в чате

Попробуйте Mercury 3 в чате

• Попробуйте API со 100 миллионами бесплатных токенов

Попробуйте API со 100 миллионами бесплатных токенов

• Прочтите документацию по API

Прочтите документацию по API

• Корпоративные оценки: мы будем сотрудничать с вами в вопросах соответствия рабочей нагрузке, разработки оценок и производительности с учетом ваших ограничений по обслуживанию. Свяжитесь с нами.

Корпоративные оценки: мы будем сотрудничать с вами в вопросах соответствия рабочей нагрузке, разработки оценок и производительности с учетом ваших ограничений по обслуживанию. Свяжитесь с нами.

Mercury 3 запущена. Диффузия масштабируется.