Вы на полуслове объясняете проблему, а голосовой ассистент начинает отвечать не на тот вопрос. Вы пытаетесь его поправить. Он продолжает говорить.
К тому моменту, когда вам снова дают слово, вы уже забыли часть того, что хотели сказать.
Это всё ещё знакомый опыт общения с голосовым ИИ. Голос может звучать отлично, а ответ может быть точным, но вести разговор всё равно сложнее, чем должно быть.
Вы начинаете подстраиваться. Вы делаете вопросы короче. Избегаете пауз, потому что ассистент может решить, что вы закончили. Вы выслушиваете объяснение, которое вам не нужно, потому что перебивать кажется ненадёжным.
В итоге вы говорите так, как удобно программному обеспечению.
GPT-Live-1 решает эту проблему с помощью полнодуплексного голосового взаимодействия: возможности одновременно слушать и говорить. Он также может поддерживать разговор, пока отдельный ИИ-агент работает над тем, что вы попросили.
Это даёт ему возможность обрабатывать то, что люди делают постоянно: менять запрос прямо во время объяснения.
“Вообще-то, есть ещё кое-что.”
Эти шесть слов могут изменить всю задачу.
Предположим, вам помогают с роутером. Вы говорите, что соединение постоянно пропадает, и ассистент начинает объяснять, как его перезагрузить. Вы перебиваете:
“Я уже делал это дважды. Это происходит только во время видеозвонка.”
Эта поправка важнее, чем остальная часть инструкции по перезагрузке.
Полезный ассистент должен остановиться, услышать это и продолжить разговор. GPT-Live-1 поддерживает такой обмен репликами, потому что может продолжать принимать речь, пока говорит.
Для разработчиков это создаёт гораздо лучшую основу для естественной обработки прерываний и перебивания.
Слушание также включает небольшие подтверждения. Быстрое “мм-хм” во время вашей речи говорит вам, что собеседник следит за ходом мысли.
Это бэкченнелинг, и GPT-Live-1 его поддерживает.
Тишина заставляет задуматься, услышал ли вас ассистент, а полный ответ может вас перебить. Полезная середина — это краткое подтверждение, которое позволяет вам закончить мысль.
Слишком много таких подтверждений быстро начинает раздражать. Важен момент, а не частота.
Продолжайте разговор, пока идёт работа.
Многие запросы требуют большего, чем просто устный ответ.
Кому-то может понадобиться найти информацию, сравнить варианты, проверить данные в приложении или выполнить действие с помощью подключённого инструмента.
GPT-Live-1 может передать эту работу отдельному агенту, оставаясь при этом в разговоре.
Представьте, что вы просите помочь выбрать авиарейс. Рабочий агент начинает проверять варианты через подключённые инструменты туристического приложения.
Пока он это делает, вы вспоминаете, что не можете уехать раньше шести.
Затем вы добавляете, что готовы заплатить немного больше, лишь бы не было долгой пересадки.
Эти детали появляются естественно. У вас не были готовы все требования, когда вы начинали разговор.
Система, построенная вокруг непрерывного разговора, может услышать эти уточнения и передать изменённый запрос агенту, выполняющему работу.
Туристические инструменты всё равно должны существовать, а приложение должно корректно обрабатывать обновления. GPT-Live-1 не становится автоматически сервисом бронирования.
Он предоставляет способ продолжать разговор, пока идёт полезная работа, вместо того чтобы превращать каждый поиск или вызов инструмента в паузу в беседе.
Такое разделение также даёт разработчикам более чёткую архитектуру.
Голосовая модель ведёт разговор. Рабочий агент выполняет задачу.
Голосовой уровень может сосредоточиться на слушании, речи и поддержании естественного взаимодействия, пока рабочий агент занимается исследованиями, процедурами, рассуждениями и подключёнными инструментами.
Сохраняйте контекст на протяжении всего разговора.
Приложение может предоставить GPT-Live-1 соответствующий контекст до начала звонка.
Оно может передать предыдущие сообщения или другую информацию, необходимую ассистенту, чтобы понять, почему звонит человек.
Рассмотрим клиента, который уже описал повреждённую доставку в чате поддержки.
С этим контекстом, предоставленным приложением, голосовой ассистент мог бы начать с существующей проблемы, а не просить клиента объяснять всё заново.
Это может быть небольшим изменением с точки зрения компании и большим — с точки зрения клиента.
Повторять проблему особенно неприятно, когда вы уже пытаетесь её решить.
Важная деталь: историю предоставляет приложение. Ассистент не знает автоматически, что произошло в другом канале. Разработчикам всё ещё нужно связывать эти записи и решать, какая информация относится к разговору.
GPT-Live-1 также может обобщать более ранний разговор по мере удлинения сессии. Это помогает поддерживать непрерывность, не перенося вперёд каждое предыдущее слово.
Точные записи всё равно должны храниться в приложении, особенно когда имя, номер, адрес или подтверждённое решение должны быть сохранены без ошибок.
Информацию можно добавлять и во время звонка.
Некоторые обновления полезно сообщить ассистенту незаметно. Другие готовы для озвучивания человеку.
Например, приложение поддержки может сообщить ассистенту, что поиск заказа всё ещё выполняется. Звонящему не нужно голосовое объявление для каждого внутреннего шага.
Когда результат будет получен, приложение может предоставить обновление, предназначенное для озвучивания: замена отправлена, ориентировочная доставка — в пятницу.
GPT-Live-1 поддерживает различие между фоновым контекстом и информацией, предназначенной для озвучивания.
Инструкции также могут меняться по ходу взаимодействия.
Представьте человека, который следит за объяснением по устранению неполадок и говорит:
“Помедленнее. Давайте по одному шагу за раз.”
Система может подстроиться без начала нового звонка. Языковые предпочтения и просьбы о более коротких ответах могут обрабатываться аналогичным образом.
Есть также возможность печатать, продолжая использовать голос. Приложение может позволить пользователю ввести название продукта, номер подтверждения или вопрос для рабочего агента, а затем обсудить результат вслух.
Иногда печатать просто проще, чем говорить.
Голос — часть опыта.
GPT-Live-1 можно настроить на приветствие, что полезно, когда звонящий ожидает, что ассистент представится.
Он также поддерживает пользовательские голоса для проектов с необходимым доступом, давая разработчикам больше контроля над тем, как звучит ассистент и как начинается взаимодействие.
Но узнаваемый голос не может компенсировать плохое слушание.
Следующий скачок в голосовом ИИ — это не просто сделать голоса более человечными. Это сделать разговор более естественным.
Это означает умение обрабатывать паузы, прерывания, поправки, незаконченные мысли и детали, которые появляются с опозданием.
Разработчикам всё ещё нужно правильно настроить важные вещи, которые стоят за разговором.
Прерывание объяснения не должно случайно отменять заказ. Ассистент никогда не должен объявлять об успехе, пока действие не подтверждено. Контекстом нужно управлять осторожно, а подключённые инструменты всё ещё требуют надёжной логики приложения.
Но цель проста.
Вы должны иметь возможность объяснить проблему по-своему, перебить, когда что-то не так, и добавить деталь, когда вспомните её.
Чем меньше людям приходится управлять ассистентом, тем больше голосовой ИИ может ощущаться как настоящий разговор.
Готовы попробовать? Изучите интеграцию GPT-Live-1 в Agora Docs, чтобы начать.
