LiveKit Turn Detector v1.1 определяет конец реплики пользователя на 15–34% быстрее, чем v1, при том же уровне ложных прерываний. Он поставляется с v1.1-mini, версией с открытыми весами, которая работает на CPU.
Как и v1, v1.1 прослушивает аудио реплики пользователя. Он также считывает последнее сообщение агента в виде текста. v1.1-mini принимает решение только на основе аудио. Обе модели улучшают показатели в двух случаях, сложных для определения конца реплики: короткие ответы и неносители английского языка.
Короткие репликиСсылка на этот раздел
Когда агент задает прямой вопрос, пользователи часто отвечают несколькими словами, например, числом, именем или коротким «угу». Но те же слова могут начинать гораздо более длинный ответ на другие вопросы:
- Агент: «Сколько гостей?»
Агент: «Сколько гостей?»
- Пользователь: «Семь».
Пользователь: «Семь».
- Агент: «Какой ваш номер телефона?»
Агент: «Какой ваш номер телефона?»
- Пользователь: «Семь… [пауза]»
Пользователь: «Семь… [пауза]»
Чтобы различить эти два случая, v1.1 также считывает последнее сообщение агента.
Неносители английского языкаСсылка на этот раздел
Неносители языка часто делают паузы в середине предложения, чтобы подобрать слово. Модель, обученная в основном на речи носителей языка, может принять такую паузу за конец реплики, и агент перебьет пользователя слишком рано. Обе модели обучены на дополнительной речи неносителей английского языка с множеством акцентов, поэтому они дожидаются окончания этих пауз.
Результаты тестированияСсылка на этот раздел
Чтобы измерить прогресс в этих двух случаях, мы добавляем два набора для оценки английского языка в eot-bench: 1088 коротких реплик пользователей и 800 реплик от неносителей английского языка. Они присоединяются к исходному набору из 400 английских реплик и до 400 реплик на каждом из 13 других языков. Используйте их для тестирования любой модели определения конца реплики в этих случаях с помощью того же инструментария, который использовался для получения результатов ниже.
Задержка — это время, которое модель ждет после того, как пользователь перестал говорить, прежде чем завершить реплику. Бюджет отсечки ограничивает ложные прерывания, когда агент перебивает пользователя до того, как тот закончил, на уровне 5% или 10%. Меньшая задержка лучше.
Английский языкСсылка на этот раздел
Бюджет отсечки 5%
400 реплик
−15%
−24%
1088 реплик
−23%
−24%
800 реплик
−19%
−19%
2288 реплик
−19%
−17%
Проценты сравнивают каждую модель с ее предшественником.
Бюджет отсечки 10%
400 реплик
−15%
−28%
1088 реплик
−32%
−19%
800 реплик
−31%
−24%
2288 реплик
−34%
−20%
Проценты сравнивают каждую модель с ее предшественником.
МультиязычностьСсылка на этот раздел
−17%
−18%
−19%
−22%
Среднее значение по 13 языкам, до 400 реплик на каждый. Проценты сравнивают каждую модель с ее предшественником.
При том же бюджете отсечки v1.1 сокращает задержку на 15–34% для английского языка и на 17–19% для 13 других языков по сравнению с v1. v1.1-mini сокращает задержку на 17–28% на каждом наборе по сравнению с v1-mini.
Таблица лидеров eot-bench ранжирует модели по каждому набору. v1.1 занимает первое место в каждом наборе для английского языка при уровне ложных прерываний 5% и 10%. Большинство моделей определения конца реплики не охватывают все 13 других языков, поэтому таблица лидеров также содержит интерактивную тепловую карту результатов по языкам. v1.1 имеет самую низкую задержку на всех языках при обоих уровнях.
ДоступностьСсылка на этот раздел
LiveKit Turn Detector v1.1 бесплатен для агентов, размещенных в LiveKit Cloud, а самостоятельно размещенные агенты могут использовать его через LiveKit Inference. Если вы уже используете LiveKit turn detector через LiveKit Inference, вы получите v1.1 без изменения кода, и он будет принимать решения только на основе аудио. Обновитесь до Agents 1.8.12 (Python) или 1.10.0 (Node.js), чтобы ваш агент также отправлял свое последнее сообщение и длину реплики пользователя, которые v1.1 использует для коротких ответов.
v1.1-mini работает на CPU, принимает решения только на основе аудио и охватывает те же 14 языков, что и v1.1. Он поставляется с открытыми весами в SDK для агентов тех же версий, на условиях той же лицензии LiveKit Model License, что и v1-mini.
Начало работыСсылка на этот раздел
Вы можете использовать v1.1 прямо сейчас:
- Определение конца реплики в LiveKit Agents (документация)
- eot-bench на GitHub
- Наборы данных eot-bench на Hugging Face
- Краткое руководство по Voice AI
Вопросы, результаты тестирования или pull-реквесты? Присоединяйтесь к нам в сообществе LiveKit.












