Создание голосового агента, который звучит естественно, сегодня требует принятия множества решений. Вам приходится делать выбор в отношении отдельных компонентов, таких как распознавание речи, обнаружение активности голоса, очередность реплик, базовая LLM и синтез речи. Создание такого стека — это отдельный проект, а обеспечение слаженной работы всех компонентов требует дополнительного тестирования и настройки.
Eleven Realtime — это новый класс моделей «речь-в-речь», который устраняет эти препятствия. Каждая модель представляет собой полноценного голосового агента, оптимизированного для конкретных сценариев использования. Обе модели поддерживают более 90 языков и могут использовать любой из более чем 17 000 голосов из библиотеки ElevenLabs:
Сегодня мы запускаем:
- Eleven Realtime v1 Mini для естественных разговоров с низкими затратами. Это лучший выбор для ИИ-ассистентов, преподавателей и интерактивных персонажей, и его будет достаточно для большинства сценариев использования.
- Eleven Realtime v1 Max для сложных задач. Это идеальный вариант для клиентской поддержки, квалификации лидов и многоэтапных рабочих процессов, где агент должен следовать процедуре и рассуждать в процессе выполнения шагов.
Почему мы создали модели realtime
Вам не обязательно становиться экспертом по конфигурации, чтобы создать естественно звучащего голосового агента. Чтобы агент ощущался и звучал правильно, нужны небольшие оценочные суждения, требующие нюансов: например, сколько времени ждать после паузы перед ответом, как восстановиться, если пользователь перебивает агента, и как голос, промпты и модель работают вместе. В ElevenAgents все это — настройки, которые вы можете регулировать.
То же самое касается разработчиков, уже использующих realtime API. Наш API совместим с Realtime API от OpenAI, поэтому попробовать Eleven Realtime можно просто изменив эндпоинт и название модели в коде, который у вас, возможно, уже есть.
Производительность
Artificial Analysis независимо оценила обе модели по трем публичным бенчмаркам: Big Bench Audio для речевых рассуждений, Full-Duplex-Bench для динамики разговора и Speech Agent Arena для оценки предпочтений людей и успешности выполнения задач.
Речевые рассуждения
Big Bench Audio задает 1000 вопросов на рассуждение голосом и оценивает устный ответ. Realtime v1 Max ответила правильно на 98,8% вопросов, а v1 Mini — на 75,9%.
Скорость
Big Bench Audio задает 1000 вопросов на рассуждение голосом и оценивает устный ответ. V1 Max начинает говорить в среднем через 0,57 секунды, а v1 Mini — через 0,62 секунды.
Граница Парето для точности и скорости
Точность и скорость обычно рассматриваются как компромисс. Модели, набравшие наибольшее количество баллов в Big Bench Audio, отвечают дольше всех, а самые быстрые жертвуют значительной долей точности. v1 Max превосходит конкурентов по обоим этим показателям.
Динамика разговора и предпочтения людей
В тесте Full-Duplex-Bench, который проверяет паузы, очередность реплик, перебивания и фоновые реакции, v1 Mini набирает 95,8%, а v1 Max — 94,1%. В Speech Agent Arena, где люди сравнивают две модели в слепых живых разговорах, v1 Max набрала 998 баллов, а v1 Mini — 988. В задачах на использование инструментов v1 Max выполнила 87,1%, а v1 Mini — 60,3%, поэтому мы рекомендуем Max для сценариев с интенсивным вызовом инструментов.
Начало работы
В ElevenAgents (рекомендуется)
Создайте агента или откройте существующего и выберите модель Realtime из выпадающего списка. После этого у вас будет все, что предоставляет ElevenAgents для запуска агентов в промышленную эксплуатацию. Это включает каналы для телефона, веба, WhatsApp и CCaaS, рабочие процессы, базу знаний, защитные барьеры, тестирование и мониторинг.
Ознакомьтесь с документацией ElevenAgents для получения более подробной информации.
Через Realtime API
Если у вас уже есть интеграция с Realtime API от OpenAI, самый быстрый способ попробовать Eleven Realtime — сохранить свой код и изменить адрес, на который он указывает. Realtime API подключается через WebSocket и следует спецификациям OpenAI Realtime, поэтому SDK от OpenAI работает без изменений.
Realtime API подключается только через WebSocket, поэтому интеграцию WebRTC нужно сначала перевести на WebSocket. Он также работает отдельно от ElevenAgents, поэтому, если вам нужны каналы, база знаний или другие функции платформы, создавайте решение на базе ElevenAgents с самого начала.
Руководство по миграции описывает шаги и различия по сравнению с API от OpenAI.
