Низкая задержка кажется очевидным способом улучшения голосового ИИ. Сделайте распознавание речи быстрее, и беседа тоже должна казаться быстрее. Компания AssemblyAI снизила задержку вывода примерно до 150 миллисекунд, что близко к порогу человеческого восприятия, однако некоторым клиентам все равно казалось, что система работает медленно.
Этот результат заставил меня спросить Луку Чхетиани, руководителя отдела работы в реальном времени и ведущего исследователя в AssemblyAI, почему модель с такой низкой задержкой вывода на практике все еще может казаться медленной. Его ответ сводился к общему пользовательскому опыту. Пользователи никогда не сталкиваются с моделью ASR, детектором конца фразы или LLM по отдельности. Они замечают паузу между моментом окончания мысли и моментом, когда агент начинает отвечать. Улучшение одного компонента может улучшить показатели в бенчмарке, но не исправить сам диалог.
Тот же самый подход к системе в целом определяет то, как AssemblyAI создает свои продукты. Качество моделей и удобство работы для разработчиков должны идти рука об руку. Даже высокоточная речевая модель не принесет много пользы, если командам сложно интегрировать, настраивать или развертывать ее.
Почему задержка между репликами важна в голосовом ИИ
Задержка вывода измеряет то, как быстро появляются распознанные слова. Задержка между репликами охватывает все, что происходит дальше: определение того, что говорящий закончил мысль, обработку прерываний, передачу контекста модели, генерацию ответа и запуск воспроизведения. Это различие звучит технически, но само ощущение знакомо каждому. Быстрая модель распознавания речи не может компенсировать медленное обнаружение конца фразы или агента, который колеблется в неподходящий момент.
Для Луки это меняет саму инженерную задачу. Командам необходимо изучить весь путь от окончания реплики пользователя до начала ответа агента и определить, где именно разговор теряет свой ритм.
Как выглядит надежный речевой ИИ в масштабе
Чистое аудио может делать речевые модели поразительно точными. Реальные разговоры гораздо сложнее: в них присутствуют фоновый шум, накладывающиеся голоса, некачественные микрофоны, нестабильные сети, акценты и прерывания. Бенчмарки часто не в полной мере отражают эти условия.
Когда я спросил, что означает надежность в масштабе, Лука сделал акцент на предсказуемости. Разработчикам нужно знать, как модель будет вести себя на тысячах звонков, а не только то, сможет ли она хорошо справиться с задачей один раз. Предсказуемое поведение дает продуктовым командам основу, на которую можно опираться при проектировании. Сильные агрегированные бенчмарки помогают, но непредсказуемые сбои все равно затрудняют использование модели в продакшне.
Бенчмарки речевого ИИ должны показывать, где модели дают сбой
Коэффициент ошибок в словах (WER), задержка и позиции в таблицах лидеров остаются полезными инструментами, но сравнения могут быть обманчивыми, если наборы данных, условия тестирования и методы оценки различаются. Единая оценка может скрыть те паттерны сбоев, которые продуктовой команде важнее всего понимать.
Мне понравилось, что Лука уделяет особое внимание прозрачной оценке. Разработчикам необходимо знать, в чем слабые стороны модели и где она работает хорошо. Каждый продукт по-своему балансирует между точностью, задержкой, стоимостью, размером модели, инфраструктурой и простотой интеграции. Правильный компромисс зависит от задачи клиента.
Как AssemblyAI дает речевым моделям больше контекста
Одна из деталей недавней работы AssemblyAI привлекла мое внимание: предоставление речевым моделям большей части контекста разговора. Контекст агента обеспечивает доступ к обеим сторонам диалога. Более длинные адаптивные контекстные окна помогают модели интерпретировать то, что уже было сказано, а уточнение реплик спикера улучшает атрибуцию после завершения разговора.
Здесь у голосовых агентов все еще есть потенциал для роста. Люди естественным образом корректируют свои ответы, когда собеседник звучит расстроенным, смущенным или нерешительным. Большинство голосовых агентов продолжают говорить в том же тоне и с тем же стилем ответа. Распознавание этих сигналов и адаптация в реальном времени при сохранении предсказуемости могут иметь большее значение, чем очередное незначительное улучшение узкого показателя.
Для себя я сделал простой вывод: речевой ИИ для продакшна нужно оценивать как целостную систему. Она должна отвечать в нужный момент, справляться с некачественным аудио, умно использовать контекст и четко обозначать свои ограничения для разработчиков.
В полной версии выпуска мы с Лукой также обсуждаем рассуждения в реальном времени, мультимодальные речевые системы, опыт разработчиков и будущее речевого ИИ.
Смотрите полную версию выпуска здесь: https://www.youtube.com/watch?v=4gayz_8CBvo
Готовы к разработке?
- Исследуйте: Конверсионный ИИ-движок от Agora
- Узнайте: Анатомия агентов голосового ИИ
- Присоединяйтесь: Наше сообщество разработчиков в Discord