Вы еще не закончили объяснять проблему, как голосовой помощник начинает отвечать не на тот вопрос. Вы пытаетесь его исправить. Он продолжает говорить.
К тому времени, когда у вас появляется еще одна возможность вставить слово, вы уже забыли часть того, что хотели сказать.
Это все еще знакомая ситуация при работе с голосовым ИИ. Голос может звучать отлично, а ответ — быть точным, но сам разговор все равно требует больше усилий, чем следовало бы.
Вы начинаете подстраиваться. Вы делаете вопросы короче. Вы избегаете пауз, потому что помощник может решить, что вы закончили. Вы выжидаете ненужное вам объяснение, потому что прерывать его кажется ненадежным способом.
В конце концов, вы начинаете говорить так, чтобы софт просто работал.
GPT-Live-1 решает эту проблему с помощью полнодуплексного голосового взаимодействия: возможности слушать и говорить одновременно. Он также может поддерживать беседу, пока отдельный ИИ-агент работает над тем, о чем вы попросили.
Это дает ему возможность справляться с тем, что люди делают постоянно: менять запрос прямо во время его объяснения.
«Кстати, есть еще кое-что».
Эти шесть слов могут изменить всю задачу.
Предположим, вам помогают настроить роутер. Вы говорите, что соединение постоянно прерывается, и помощник начинает объяснять, как его перезагрузить. Вы прерываете его:
«Я уже делал это дважды. Это происходит только тогда, когда я нахожусь в видеочате».
Это исправление важнее, чем все остальные инструкции по перезагрузке.
Полезный помощник должен остановиться, услышать это и продвинуть разговор вперед. GPT-Live-1 поддерживает такой обмен репликами, поскольку может продолжать принимать речь во время собственного выступления.
Для разработчиков это создает гораздо лучшую основу для естественной обработки прерываний и вклинивания в разговор.
Слушание также включает в себя небольшие подтверждения. Быстрое «угу», пока вы говорите, дает понять, что собеседник следит за ходом мыслей.
Это называется обратной связью (backchanneling), и GPT-Live-1 поддерживает ее.
Тишина может заставить вас задуматься, услышал ли вас помощник, в то время как полноценный ответ может перебить вас. Полезная золотая середина — это краткое подтверждение, которое позволяет вам закончить мысль.
Слишком частые подтверждения быстро начинают раздражать. Тайминг важнее частоты.
Продолжайте разговор, пока идет работа
Многим запросам требуется нечто большее, чем просто устный ответ.
Кому-то может понадобиться что-то найти, сравнить варианты, проверить информацию в приложении или выполнить действие с помощью подключенного инструмента.
GPT-Live-1 может передать эту работу отдельному агенту, оставаясь при этом в диалоге.
Представьте, что вы просите помочь выбрать рейс. Работающий агент начинает проверять варианты через подключенные инструменты приложения путешествий.
Пока он это делает, вы вспоминаете, что не можете уехать раньше шести.
Затем вы добавляете, что предпочли бы заплатить немного больше, чем иметь длинную пересадку.
Эти детали поступают естественным образом. У вас не было готовы все требования, когда вы только начали говорить.
Система, построенная вокруг непрерывного разговора, способна услышать эти обновления и передать измененный запрос агенту, выполняющему работу.
Инструменты для путешествий все равно должны существовать, и приложение должно правильно обрабатывать обновления. GPT-Live-1 не превращается автоматически в службу бронирования.
Он предоставляет способ продолжать разговор во время выполнения полезной работы, вместо того чтобы превращать каждый поиск или вызов инструмента в паузу в беседе.
Это разделение также дает разработчикам более четкую архитектуру.
Гочевая модель управляет разговором. Работающий агент решает задачу.
Голосовой уровень может сосредоточиться на прослушивании, речи и поддержании естественности взаимодействия, в то время как работающий агент занимается поиском, процедурами, рассуждениями и подключенными инструментами.
Перенос контекста через весь разговор
Приложение может предоставить GPT-Live-1 соответствующую предысторию до начала звонка.
Оно может передать предыдущие сообщения или другую информацию, необходимую помощнику для понимания того, почему кто-то звонит.
Рассмотрим клиента, который уже описал поврежденную доставку в чате поддержки.
Имея этот контекст, предоставленный приложением, голосовой помощник может начать с существующей проблемы, а не просить клиента объяснять все заново.
С точки зрения компании это может быть небольшое изменение, а с точки зрения клиента — огромное.
Повторение проблемы особенно разочаровывает, когда вы и так пытаетесь ее решить.
Важная деталь заключается в том, что историю предоставляет приложение. Помощник автоматически не знает, что произошло на другом канале. Разработчикам все равно нужно связать эти записи и решить, какая информация относится к разговору.
GPT-Live-1 также может суммировать предыдущий разговор по мере удлинения сеанса. Это помогает поддерживать непрерывность, не перенося каждое предыдущее слово дальше.
Точные записи по-прежнему остаются в приложении, особенно когда необходимо точно сохранить имя, номер, адрес или подтвержденное решение.
Информация также может добавляться во время звонка.
Некоторые обновления полезно знать помощнику молча. Другие готовы к тому, чтобы сообщить их человеку.
Например, приложение поддержки может сообщить помощнику, что поиск заказа все еще выполняется. Звонящему не нужно голосовое объявление для каждого внутреннего шага.
Когда результат поступает, приложение может предоставить обновление, предназначенное для произнесения вслух: замена отправлена, а предполагаемая дата доставки — пятница.
GPT-Live-1 поддерживает это различие между фоновым контекстом и информацией, предназначенной для озвучивания.
Инструкции также могут меняться по мере развития взаимодействия.
Представьте себе человека, который следует объяснению по устранению неполадок и говорит:
«Потише. Давайте по одному шагу за раз».
Система может подстроиться без начала нового звонка. Предпочтения по языку и запросы на более короткие ответы могут обрабатываться аналогичным образом.
Есть также возможность печатать текст, продолжая использовать голос. Приложение может позволить пользователю ввести название продукта, номер подтверждения или вопрос для работающего агента, а затем обсудить результат вслух.
Иногда печатать просто проще, чем что-то произносить.
Голос — это часть опыта
GPT-Live-1 можно запрограммировать на то, чтобы первыми приветствовать человека, что полезно, когда звонящий ожидает, что помощник представится.
Он также поддерживает пользовательские голоса для проектов с необходимым доступом, давая разработчикам больше контроля над тем, как звучит помощник и как начинается взаимодействие.
Но узнаваемый голос не может компенсировать плохое умение слушать.
Следующий скачок в голосовом ИИ — это не просто придание голосам более человечного звучания. Это обеспечение того, чтобы разговор протекал более естественно.
Это означает умение справляться с паузами, прерываниями, исправлениями, незавершенными мыслями и деталями, которые поступают с опозданием.
У разработчиков по-прежнему остаются важные задачи за кулисами разговора.
Прерывание объяснения не должно случайно отменять заказ. Помощник никогда не должен объявлять об успехе до того, как действие подтверждено. Контекстом необходимо управлять осторожно, а подключенные инструменты по-прежнему нуждаются в надежной логике приложения.
Но цель проста.
Вы должны иметь возможность объяснить проблему по-своему, прервать, когда что-то идет не так, и добавить деталь, когда вспомните ее.
Чем меньше людям приходится управлять ассистентом, тем больше голосовой ИИ начинает восприниматься как реальный разговор.
Готовы попробовать? Ознакомьтесь с интеграцией GPT-Live-1 в документации Agora, чтобы начать работу.