Голосовой ИИ, который слушает, пока говорит: внутри GPT-Live-1

Вы на полуслове объясняете проблему, а голосовой ассистент уже отвечает не на тот вопрос. Вы пытаетесь его поправить. Он продолжает говорить.

К тому моменту, когда вам снова дают слово, вы уже забыли часть того, что хотели сказать.

Это всё ещё знакомый опыт общения с голосовым ИИ. Голос может звучать отлично, и ответ может быть точным, но вести разговор всё равно сложнее, чем должно быть.

Вы начинаете подстраиваться. Делаете вопросы короче. Избегаете пауз, потому что ассистент может решить, что вы закончили. Вы выслушиваете объяснение, которое вам не нужно, потому что перебивать ненадёжно.

В итоге вы говорите так, как удобно программному обеспечению.

GPT-Live-1 решает эту проблему с помощью полнодуплексного голосового взаимодействия: способности одновременно слушать и говорить. Он также может поддерживать разговор, пока отдельный ИИ-агент выполняет то, что вы попросили.

Это даёт ему возможность обрабатывать то, что люди делают постоянно: менять запрос прямо во время объяснения.

«Вообще-то, есть ещё кое-что».

Эти шесть слов могут изменить всю задачу.

Предположим, вам помогают с роутером. Вы говорите, что соединение постоянно пропадает, и ассистент начинает объяснять, как его перезагрузить. Вы перебиваете:

«Я уже делал это дважды. Это происходит только во время видеозвонка».

Эта поправка важнее, чем остальная инструкция по перезагрузке.

Полезный ассистент должен остановиться, услышать это и продолжить разговор. GPT-Live-1 поддерживает такой обмен репликами, потому что может продолжать принимать речь, пока говорит сам.

Для разработчиков это создаёт гораздо лучшую основу для естественной обработки прерываний и вмешательства в речь.

Активное слушание также включает короткие подтверждения. Быстрое «угу» во время вашей речи даёт понять, что собеседник следит за ходом мысли.

Это называется бэкченнелинг, и GPT-Live-1 его поддерживает.

Тишина заставляет задуматься, услышал ли вас ассистент, а полный ответ может оборвать вас. Полезная середина — короткое подтверждение, которое даёт вам договорить.

Слишком частые подтверждения быстро начинают раздражать. Важнее время, а не частота.

Продолжайте разговор, пока идёт работа.

Многие запросы требуют большего, чем просто устный ответ.

Кому-то может понадобиться найти информацию, сравнить варианты, проверить данные в приложении или выполнить действие через подключённый инструмент.

GPT-Live-1 может передать эту работу отдельному агенту, оставаясь при этом в разговоре.

Представьте, что вы просите помочь выбрать авиарейс. Рабочий агент начинает проверять варианты через подключённые инструменты туристического приложения.

Пока он это делает, вы вспоминаете, что не можете уехать раньше шести.

Затем вы добавляете, что готовы заплатить немного больше, лишь бы не было долгой пересадки.

Эти детали появляются естественно. У вас не были готовы все требования, когда вы начинали разговор.

Система, построенная вокруг непрерывного разговора, может услышать эти уточнения и передать изменённый запрос агенту, выполняющему работу.

Туристические инструменты всё равно должны существовать, и приложение должно корректно обрабатывать обновления. GPT-Live-1 не становится автоматически сервисом бронирования.

Он предоставляет способ продолжать разговор, пока идёт полезная работа, вместо того чтобы превращать каждый поиск или вызов инструмента в паузу в беседе.

Такое разделение также даёт разработчикам более чёткую архитектуру.

Голосовая модель ведёт разговор. Рабочий агент выполняет задачу.

Голосовой уровень может сосредоточиться на слушании, речи и поддержании естественного взаимодействия, пока рабочий агент занимается исследованиями, процедурами, рассуждениями и подключёнными инструментами.

Переносите контекст в рамках разговора.

Приложение может предоставить GPT-Live-1 соответствующий контекст до начала звонка.

Оно может передать предыдущие сообщения или другую информацию, необходимую ассистенту, чтобы понять, почему звонит человек.

Рассмотрим клиента, который уже описал повреждённую доставку в чате поддержки.

Имея этот контекст от приложения, голосовой ассистент мог бы начать с существующей проблемы, а не просить клиента объяснять всё заново.

Это может быть небольшим изменением с точки зрения компании и значительным — с точки зрения клиента.

Повторять проблему особенно неприятно, когда вы и так пытаетесь её решить.

Важная деталь: историю предоставляет приложение. Ассистент не знает автоматически, что произошло в другом канале. Разработчикам всё ещё нужно связывать эти записи и решать, какая информация относится к разговору.

GPT-Live-1 также может обобщать более ранний разговор по мере удлинения сессии. Это помогает поддерживать непрерывность, не перенося вперёд каждое предыдущее слово.

Точные записи всё равно должны храниться в приложении, особенно когда имя, номер, адрес или подтверждённое решение необходимо сохранить без искажений.

Информацию можно добавлять и во время звонка.

Некоторые обновления полезно сообщить ассистенту без озвучивания. Другие предназначены для того, чтобы сказать человеку.

Например, приложение поддержки может сообщить ассистенту, что поиск заказа всё ещё выполняется. Звонящему не нужно голосовое объявление для каждого внутреннего шага.

Когда результат будет получен, приложение может предоставить обновление, предназначенное для озвучивания: замена отправлена, доставка ожидается в пятницу.

GPT-Live-1 поддерживает различие между фоновым контекстом и информацией, предназначенной для озвучивания.

Инструкции также могут меняться по ходу взаимодействия.

Представьте человека, который следит за объяснением по устранению неполадок и говорит:

«Помедленнее. Просто давайте мне по одному шагу за раз».

Система может подстроиться без начала нового звонка. Языковые предпочтения и просьбы о более коротких ответах обрабатываются аналогичным образом.

Есть также возможность печатать, продолжая использовать голос. Приложение может позволить пользователю ввести название продукта, номер подтверждения или вопрос для рабочего агента, а затем обсудить результат вслух.

Иногда печатать просто проще, чем говорить.

Голос — часть опыта.

GPT-Live-1 можно настроить на приветствие в начале разговора, что полезно, когда звонящий ожидает, что ассистент представится.

Он также поддерживает пользовательские голоса для проектов с соответствующим доступом, давая разработчикам больше контроля над тем, как звучит ассистент и как начинается взаимодействие.

Но узнаваемый голос не может компенсировать плохое слушание.

Следующий скачок в голосовом ИИ — это не просто сделать голоса более человечными. Это сделать разговор более естественным.

Это означает обработку пауз, прерываний, поправок, незаконченных мыслей и деталей, которые появляются с опозданием.

Разработчикам всё ещё нужно правильно реализовать важные вещи, стоящие за разговором.

Прерывание объяснения не должно случайно отменять заказ. Ассистент никогда не должен объявлять об успехе до подтверждения действия. Контекст нужно тщательно контролировать, а подключённым инструментам по-прежнему нужна надёжная логика приложения.

Но цель проста.

Вы должны иметь возможность объяснить проблему по-своему, перебить, когда что-то не так, и добавить деталь, когда вспомните её.

Чем меньше людям приходится управлять ассистентом, тем больше голосовой ИИ может ощущаться как настоящий разговор.

Готовы попробовать? Изучите интеграцию GPT-Live-1 в Agora Docs, чтобы начать.