Голосовые агенты, которые не теряют нить разговора

Директор по продукту Deepgram — о стандарте Real-Time Context, языковых моделях Think-Live и Think-Fast, а также о том, почему мы создаем платформу голосовых агентов на базе Pipecat.

Я посвятил большую часть своей карьеры новым уровням взаимодействия и лежащей в их основе инфраструктуре, которая позволяет программному обеспечению общаться с другим программным обеспечением. Вебу потребовались протокол HTTP и язык HTML, прежде чем он смог изменить то, как люди находят информацию. Мобильным устройствам потребовались API, чтобы приложения могли находить пользователей везде, где бы они ни находились. Каждый раз интерфейс, который все замечали, был ровно настолько хорош, насколько надежными были незаметные никому соединения.

Голос — на очереди, и он сталкивается с той же преградой. Я уже некоторое время утверждаю, что голос — это новая клавиатура, потому что разговор — это то, как люди на самом деле объясняют свои потребности. Мы добавляем контекст по ходу дела, делаем шаг назад, исправляем себя. Большинство голосовых агентов до сих пор не успевают за этим. Они перебивают вас, замолкают во время поиска информации, а если вы передумали на полпути, они напролом идут с первой версией того, что вы сказали. Общение с таким агентом очень похоже на заполнение формы вслух.

Сами модели за последние несколько лет стали удивительно хороши. То, что сдерживает голос сейчас, — это в основном инфраструктура, которая как раз и является той частью стека, которая мне наиболее интересна. Сегодня утром на конференции Deepgram Speak я рассказал о том, что мы с этим делаем, и хочу углубиться в этот вопрос здесь.

Мы анонсировали стандарт реального времени для контекста в голосовых системах (Real-Time Context Standard, или RCS) — открытый стандарт передачи смысла между компонентами разговорного агента, который мы разработали совместно с Pipecat. Теперь Pipecat входит в состав Deepgram, и я еще вернусь к тому, почему это важно. Мы также представили две языковые модели, созданные специально для голоса: Think-Live LLM для самого разговора и Think-Fast LLM для работы «за кадром».

Теряя все, кроме слов

Большинство голосовых агентов, которых я вижу сегодня, состоят из трех моделей подряд. Системы преобразования речи в текст передают данные в языковую модель, языковая модель — в систему преобразования текста в речь, и при каждой передаче почти все, кроме самих слов, отбрасывается. Аудиозапись содержит шепот звонящего, вздох, едва расслышанное слово, но языковая модель получает простой текст. Языковая модель может решить, что ответ должен быть мягким и кратким, а модель преобразования текста в речь получает обычную строку, не имея ни малейшего представления о том, как ее произнести.

У нас была похожая проблема и с API. Две системы могли отлично взаимодействовать друг с другом и при этом неверно истолковывать намерения друг друга, а решением стало согласование контракта. RCS — это контракт для всего, что находится за пределами слов, что часто составляет значительную часть передаваемой информации. Он добавляет три поля в формат чат-комплитов, который уже используют большинство API языковых моделей. Одно из них передает то, как звучал человек, второе указывает агенту, что с этим делать, а третье подсказывает модели синтеза речи, как именно должен быть произнесен ответ.

Если вы создавали решения с использованием вызова инструментов (tool calling), эта структура покажется вам знакомой, и это сделано намеренно. Вызов инструментов предоставил разработчикам стандартный способ для модели попросить приложение выполнить какое-либо действие (например, найти заказ), а протокол MCP превратил это в общий стандарт, который может использовать любое приложение или модель. Я уже писал ранее, что MCP начинает походить на новый API. RCS применяет ту же идею к тому, как звучит человеческий голос и как должны звучать агенты в ответ.

Сам стандарт не зависит от какого-либо конкретного вендора, поэтому любой фреймворк может реализовать RCS с любой моделью. Он также открыт для обсуждения и комментариев. Контекст помогает только тогда, когда каждый компонент в цепочке может читать и записывать его, независимо от того, кто этот компонент создал. Если вы создаете речевые модели, языковые модели или фреймворки, we’d like you implementing RCS and telling us how to improve it.

Каждой языковой модели — своя задача

Нам потребовалось некоторое время, чтобы сформулировать это простым языком, но у языковой модели голосового агента есть две задачи, которые тянут ее в разные стороны. Первая — это управление разговором. Моментально модель должна решить, закончил ли собеседник фразу или делает паузу для раздумий, и что означает «ага» — согласие или «продолжай». Вторая задача — это работа за кулисами разговора: следование бизнес-правилам, вызов нужных инструментов и составление ответа, который звучит естественно на слух.

По моему опыту, когда вы просите одну универсальную модель выполнять обе задачи, в итоге она не справляется ни с одной из них достаточно хорошо. Поэтому мы их разделили. Наша новая языковая модель Think-Live LLM предназначена для работы в моменте. Она решает, когда слушать, ждать или отвечать, благодаря чему агент перестает перебивать людей и оставлять неловкие паузы в эфире. Эта модель уже общедоступна в API Deepgram Voice Agent. Think-Fast LLM — это модель для выполнения конкретных задач. Она следует вашим правилам, вызывает инструменты прямо во время разговора и генерирует ответы, предназначенные для произнесения вслух. Она доступна в рамках раннего доступа в API Deepgram LLM. Вы можете объединить любую из них с уже знакомой вам надежной моделью или использовать обе сразу, позволив каждой выполнять ту работу, для которой она создана.

Как это работает во время реального звонка

Вот пример. Клиент звонит, чтобы перенести доставку, и пока агент проверяет доступные интервалы времени, добавляет: «вообще-то четверг лучше пятницы». В типичном конвейере это исправление либо перебивают, либо оно поступает уже после того, как агент предложил пятницу. Когда разговором управляет модель Think-Live LLM, агент сразу же принимает к сведению изменения и удерживает внимание клиента, пока Think-Fast LLM обновляет запрос и завершает поиск. Поскольку RCS способна передать нотки сомнения в голосе клиента, ответ произносится медленнее и четко подтверждает выбор четверга.

Разговор и сопутствующая работа больше не должны ждать друг друга, поэтому агент может слушать, подстраиваться и действовать одновременно — точно так же, как это делает хороший агент-человек.

Создаем на базе Pipecat открытым образом

У разработчиков, создающих голосовых агентов, до сих пор было в основном два варианта. Они могли сами собрать открытый стек и контролировать каждую интеграцию или начать работу на закрытой платформе и переписывать код, как только он перерастет ее возможности. Мы слышим то же самое от давних клиентов Deepgram: они хотят сохранить свободу выбора. Мы считаем, что им не следует от нее отказываться ради выхода в продакшен.

Именно поэтому мы создаем платформу голосовых агентов Deepgram на базе Pipecat — открытого фреймворка, на котором уже работает множество голосовых агентов. Я уже дважды участвовал в поглощениях компаний (в Apigeca и DataStax), поэтому хорошо знаю главный вопрос, который задает сообщество Open Source, когда проект переходит в другие руки. Pipecat остается проектом с открытым исходным кодом и продолжает поддерживать открытую экосистему, поэтому вы можете использовать любую модель от любого провайдера, включая те, что не принадлежат нам. Мы движемся навстречу открытому ПО, а не от него.

Pipecat — это инструмент для создания агента, а наша платформа — это среда, где вы будете запускать его в продакшене, будь то в облаке Deepgram или в вашем собственном. Платформа объединяет Pipecat, RCS и наши модели под управлением единой команды, отвечающей за их совместную работу. Это позволит вам начать работу на Pipecat уже сегодня и без проблем перенести решение в продакшен, не переписывая своего агента. Сама платформа еще впереди. Мы поделимся сроками выпуска в ближайшее время, а также расскажем об инструментах оценки, наблюдаемости и проектирования агентов, которые мы создаем для работы со всеми провайдерами моделей.

Выход голосовых агентов за рамки английского языка

Большинство людей, с которыми когда-либо будет разговаривать голосовой агент, не говорят по-английски как на родном языке. Команды, выходящие на новые рынки, обычно использовали распознавание речи от одного вендора и синтез голоса от другого, и клиенты могут заметить эти швы. Мы устраняем этот разрыв с обеих сторон разговора.

Что касается восприятия речи, Flux STT Multilingual теперь поддерживает 10 языков, а еще 31 доступен в режиме раннего доступа, причем команды, которые уже используют его, получают новые языки без необходимости миграции. Он также использует предыдущие реплики, чтобы понять смысл того, что будет дальше, что само по себе помогает удерживать нить беседы. Для транскрипции за пределами голосовых агентов Nova-3 Multilingual теперь охватывает 55 языков, что также больше прежних 10.

Что касается генерации речи, Flux TTS теперь общедоступен на испанском, португальском, французском, немецком, итальянском, нидерландском, русском, хинди и японском языках, а еще 32 языка, включая мандаринский диалект, доступны в режиме раннего доступа. Везде, где эти две стороны пересекаются, команда может слушать и отвечать на языках своих клиентов, используя одного провайдера.

Место обработки запросов имеет не меньшее значение, и это один из первых вопросов, которые задают мне корпоративные команды. Сегодня мы запускаем новую конечную точку в США в рамках более широкого плана, призванного предоставить разработчикам выбор между глобальным охватом и региональным контролем. Скоро наш Global API обеспечит более надежные соединения с более низкой задержкой из любой точки через ту конечную точку, к которой разработчики уже обращаются. Региональные конечные точки в США, ЕС, Индии и Австралии обеспечивают обработку и хранение данных Deepgram в пределах региона, поэтому вы можете выбирать охват или контроль для каждой конкретной рабочей нагрузки.

Куда движутся голосовые агенты

Каждый уровень взаимодействия, с которым мне доводилось работать, проходил схожую траекторию. Первая волна доказывает, что интерфейс вообще может работать, а следующая волна заставляет его работать так, как люди этого ожидали. Мы твердо верим, что голос станет основным способом взаимодействия людей с ИИ в течение следующих двух лет. Когда это произойдет, никто не будет удивлен тем, что агент правильно подобрал слова. Планой качества станет то, заметил ли он паузу, уловил ли исправление и выполнил ли задачу, не заставляя никого повторяться.

Каждая технологическая волна, в которой я участвовал, сводилась к общению программного обеспечения с программным обеспечением. На этот раз программа также должна уметь слушать. Мы создаем это открыто, вместе с разработчиками, которые уже строят на этом свои решения, и победит тот голосовой агент, который сможет удержать нить разговора.

Начало работы

• Хотите узнать больше о платформе Deepgram Voice Agent Platform или протестировать Think-Fast LLM в режиме раннего доступа в Deepgram LLM API? Свяжитесь с нами или обратитесь напрямую к своему менеджеру.
• К модели Think-Live LLM можно получить доступ через Deepgram Voice Agent API.
• как создавать приложения с использованием Real-Time Context Standard в Pipecat и попробовать демо here.