Как создать голосового ИИ-ассистента: голосовой ИИ в фирменном стиле бренда

Представьте, что вы звоните в розничный магазин, чтобы запросить возврат средств, вас приветствует похожий на человека ИИ, и деньги поступают на ваш банковский счет в течение нескольких минут. Каждое взаимодействие происходит бесшовно, без необходимости привлечения сотрудников службы поддержки. Голосовые ИИ-ассистенты, способные справляться со сложными задачами, которые раньше считались фантастикой, теперь стали реальностью.

Все больше предприятий обращаются к голосовым ИИ-ассистентам для работы с клиентами. Работая на базе передовых голосовых агентов и генеративного ИИ, эти ассистенты обеспечивают сопоставление намерений, быстрый отклик и функциональные интеграции для самых разных задач.

Благодаря таким инструментам, как ElevenAgents, внедрять голосовых ассистентов в рабочие процессы техподдержки стало проще, чем когда-либо. Чтобы создать голосового ИИ-ассистента, определите его задачи, а затем объедините технологии преобразования речи в текст, большую языковую модель (LLM) и синтез речи в единый конвейер реального времени. Добавьте свою базу знаний и бизнес-инструменты, пропишите системные инструкции и правила на случай сбоев, протестируйте скорость отклика и безопасность, а также оцените результаты после запуска.

В этом руководстве показано, как создать голосового ИИ-ассистента, который тесно соответствует вашему бренду.

Резюме

• Голосовой ИИ-ассистент объединяет технологии преобразования речи в текст, LLM и синтеза речи для создания разговорного ИИ, способного совершать реальные действия.
• Поддерживайте задержку отклика «туда и обратно» на уровне менее 500 мс с помощью обнаружения голосовой активности (VAD), чтобы голос ИИ звучал естественно и сокращал количество брошенных звонков.
• Интегрируйте ассистента с внутренней базой знаний и инструментами для обеспечения контекстно-зависимых, точных и полезных ответов ИИ в различных сценариях.
• Применяйте средства защиты, которые требуют явного условного подтверждения и переключения на живого оператора при обработке эмоционально окрашенных или сложных запросов.
• Используйте ElevenAPI для доступа к высокоточным интерактивным речевым и аудиомоделям, предназначенным для живого взаимодействия.

Что такое голосовой ИИ-ассистент?

Голосовой ИИ-ассистент — это программное обеспечение, которое понимает устную речь и позволяет пользователям взаимодействовать с подключенными системами. Оно объединяет технологии преобразования речи в текст, модели ИИ и синтеза речи для превращения бесед в действия.

Помимо расшифровки текста, голосовые ИИ-ассистенты могут выполнять задачи, такие как запуск приложений, извлечение данных и управление устройствами. В зависимости от используемой голосовой модели, некоторые ИИ-ассистенты могут звучать практически неотличимо от записей человеческой речи.

Тем не менее, голосовые ИИ-ассистенты — это не новая технология. Многие потребители пользуются Siri, Alexa и Google Assistant — коммерческими голосовыми помощниками, которые реагируют на простые команды. Но по мере развития технологий ИИ все больше организаций создают голосовых ИИ-ассистентов для более сложных корпоративных рабочих процессов.

Например, компания Admiral, предоставляющая страховые услуги, создала голосового ИИ-ассистента для поддержки миллионов клиентов. ИИ-ассистент отвечает на запросы, извлекает документы и освобождает операторов от рутинных задач.

Если вы планируете создать голосового ИИ-ассистента для коммерческих или производственных задач, читайте дальше. Мы проведем вас через этапы его создания, используя пример голосового ИИ-ассистента на Python для демонстрации ключевых деталей реализации.

Как создать голосовой ИИ-ассистент: определите задачи вашего голосового ИИ-ассистента

Голосовой ИИ обычно автоматизирует службу поддержки в контакт-центрах. Тем не менее, учитывая широкие возможности голосового ИИ-ассистента, вы можете создать его практически для любого сценария использования, включая продажи, продуктовые задачи и HR.

Независимо от сферы применения вашего голосового агента, убедитесь, что он соответствует бизнес-логике. Чтобы создать высокоэффективного голосового ассистента, проконсультируйтесь с экспертами в предметной области относительно типичных проблем конечных пользователей. Затем составьте карту пути взаимодействия с клиентом и установите измеримые показатели.

Например, если вы используете голосовой ИИ для воронки продаж, агент должен уметь задавать вопросы для предварительной квалификации.

Наш ИИ-представитель по развитию продаж (SDR), Дом, справился с этой задачей, достигнув 92% точности квалификации.

Выберите метрики успеха, каналы и пути эскалации

При развертывании в корпоративной среде агент должен стабильно работать для достижения конкретных целей. Чем уже цель, тем проще оценивать и настраивать агента.

Поэтому задавайте такие вопросы на ранних этапах разработки:

• Какова допустимая задержка отклика?
• Каков ожидаемый коэффициент удержания?
• Должен ли агент общаться на нескольких языках?
• Может ли ИИ-ассистент обрабатывать базовые запросы от начала до конца без вмешательства человека?
• При каких обстоятельствах агент должен переводить звонок на поддержку человека?

Создавать с использованием исходных API или применять ElevenAgents?

Прежде чем писать код, решите, какую часть стека голосовых технологий вы хотите контролировать самостоятельно. Вы можете самостоятельно связать технологии преобразования речи в текст, LLM и синтеза речи через ElevenAPI или использовать ElevenAgents — управляемую платформу, объединяющую эти компоненты.

Создание на базе исходных API дает полный контроль над каждым слоем. Вы выбираете LLM, пишете код оркестрации и управляете очередностью реплик, прерываниями, телефонией и мониторингом. Этот путь подходит для команд с особыми требованиями к архитектуре, и именно его использует руководство по Python в этом материале.

ElevenAgents объединяет модели, инструменты, базу знаний и рабочие процессы в единой панели управления. Платформа подключается к провайдерам телефонии, таким как Twilio и Amazon Connect, а также к бизнес-инструментам, включая Salesforce, Zendesk и HubSpot. Она также включает средства симуляции и автоматического тестирования перед запуском, а также аналитику показателей успеха, CSAT и расшифровок после него.

Используйте эти вопросы для выбора:

• Скорость: ElevenAgents позволяет команде настраивать и запускать агента прямо из панели управления, в то время как работа с исходными API означает создание и поддержку всего конвейера своими силами.
• Контроль: исходные API позволяют настраивать каждый шаг с помощью кода, в то время как ElevenAgents закрывает стандартные потребности посредством конфигурации.
• Операционная деятельность: ElevenAgents включает тестирование и аналитику, в то время как при работе с исходными API вам потребуется создать собственный мониторинг.
• Команда: ElevenAgents подходит для междисциплинарных команд, состоящих из сотрудников продуктовых отделов, техподдержки и операционных специалистов, тогда как исходные API подходят командам с выделенными инженерами.

Практичный подход заключается в том, чтобы сначала проверить сценарий использования в ElevenAgents, а затем перенести отдельные уровни в кастомный код только там, где требуется больший контроль.

Спроектируйте архитектуру голосового ИИ-ассистента

После определения бизнес-цели сопоставьте функции агента с подходящими технологиями. Голосовой ИИ-ассистент опирается на несколько ключевых компонентов, которые работают вместе для преобразования речи в текст, запуска действий и выдачи связного ответа.

• Модель преобразования речи в текст фиксирует устные высказывания, определяет фонемы и создает расшифровку беседы.
• ИИ-движок, который может представлять собой как простой алгоритм на основе правил или библиотеку обработки естественного языка, так и большую языковую модель (LLM), выступает в роли мозга голосового ассистента.
• Модель синтеза речи озвучивает разговорные ответы с использованием похожих на человеческие голоса и следует правилам бренда.

ElevenLabs предоставляет модели преобразования речи в текст и синтеза диалоговой речи, которые помогают продуктовым и инженерным командам проектировать архитектуру своих голосовых ИИ-ассистентов. Наши модели поддерживают нюансы интонации, эмоциональное восприятие и низкую задержку отклика. Вы можете получить доступ к голосовым моделям через ElevenAPI.

Для моделей ИИ ваш выбор во многом зависит от целей и требований голосового помощника. Хотя такие языковые модели (LLM), как модели OpenAI GPT, Gemini и Claude, отлично справляются с рассуждениями, им требуется дополнительная точная настройка для удовлетворения специфических потребностей предметной области. Иногда использование более простой нейронной сети или парсера на основе правил оказывается более практичным.

Помимо голосовых моделей и ИИ, вам также потребуется пользовательское программное обеспечение, которое извлекает определенные сущности из разговоров или запросов пользователей. Например, когда звонящий говорит «Я хочу поговорить с отделом продаж», ваш код должен распознать «отдел продаж» и запустить соответствующее действие.

Создавайте ключи API и подключайте преобразование речи в текст, языковую модель (LLM), инструменты и преобразование текста в речь

Прежде чем подключаться к моделям речи и языка. Аналогичным образом вам понадобятся ключи API для выполнения запросов API при интеграции инструментов внешних сервисов в ваш голосовой помощник.

• Чтобы создать ключ API ElevenLabs, нажмите здесь.
• Чтобы использовать LLM от OpenAI, получите свой ключ здесь.
• Если вы подключаетесь к сторонним CRM, ERP и другим инструментам, обратитесь к официальной документации, чтобы создать ключ API и найти поддерживаемые API.

После получения ключей API сохраните их в своей среде разработки.

Затем вы инициируете инструменты, LLM и аудиомодели и получаете к ним доступ, передавая правильные аргументы в API.

1. Сначала подключитесь к ElevenLabs Scribe v2 Realtime для выполнения автоматического распознавания речи. ElevenLabs Scribe v2 Realtime позволяет создавать голосовых агентов с низким временем отклика, которые преобразуют разговоры в текст менее чем за 150 мс (без учета времени сети и приложения).

Ниже представлен фрагмент кода Python, который захватывает запись с микрофона с помощью ElevenLabs Scribe v2 Realtime.

2. Затем вы отправляете стенограмму в языковую модель с мощными возможностями рассуждения для генерации ответа. В этом примере мы используем OpenAI GPT-4o mini.

Вот как отправить стенограмму в LLM в вашем коде Python.

3. После получения ответа от LLM преобразуйте его в реалистичный устный ответ с помощью ElevenLabs v4 Turbo. Наша модель преобразования текста в речь обладает высокой эмоциональностью, создана для взаимодействия в реальном времени и имеет сверхнизкую задержку около 100 мс (относится только ко времени вывода модели. Фактическая задержка от конца до конца будет зависеть от таких факторов, как ваше местоположение и используемый тип конечной точки).

Приведенный ниже код показывает агента, использующего WebSocket для потоковой передачи голосовых ответов с помощью API ElevenLabs Text to Dialogue.

Ваш агент автоматического распознавания речи должен уверенно справляться с многоуровневыми разговорами. Для этого вам нужен голосовой агент, способный определять, когда речь начинается и заканчивается.

Проектируйте беседы, которые звучат естественно и не отклоняются от темы

Обычные системы интерактивного голосового ответа (IVR) не работают за пределами сценариев, для которых они запрограммированы. Когда их просят решить проблемы, не определенные в их правилах, эти системы IVR не могут предоставить удовлетворительные ответы. Более того, они не всегда звучат естественно, что ухудшает клиентский опыт.

С передовыми моделями ИИ и голоса голосовой помощник может отвечать более естественно и справляться с нестандартными ситуациями. Вы можете спроектировать различные сценарии, которые агент должен предвидеть, и путь эскалации для случаев, которые он не может решить. Например, некоторые клиенты звонят, чтобы узнать статус доставки, в то время как другие могут быть разочарованы дефектными продуктами и настаивать на разговоре с менеджером по работе с клиентами.

Пишите системные инструкции, правила смены говорящих и запасные ответы

Для обработки различных сценариев вы создаете специальный логический код и системные подсказки в приложении голосового агента ИИ.

Например, приведенная ниже системная подсказка обнаруживает разочарование и говорит LLM отвечать более эмпатично.

Разговоры с ИИ никогда не должны казаться поспешными или прерванными. Голосовая модель должна определять, когда пользователь перестал говорить, и вовремя отвечать. ElevenLabs Scribe v2 Realtime позволяет активировать VAD при прослушивании ввода с микрофона. В отличие от обычного VAD, который полагается исключительно на продолжительность тишины, ElevenLabs Scribe v2 Realtime использует алгоритмы глубокого обучения, чтобы определить, закончил ли клиент говорить.

Чтобы включить VAD, установите параметр в своем коде при взаимодействии с API Speech to Text.

Затем предоставьте вежливые, уважительные запасные ответы, если агент не может удовлетворительно ответить на запрос клиента. Аналогичным образом агент ИИ может столкнуться с ошибкой при расшифровке разговоров. Ваш код должен справляться с техническими трудностями и открыто общаться с клиентами.

Для предоставления запасных ответов вы используете условную логику в своем коде. Например, приведенный ниже фрагмент кода перехватывает статус ошибки из API Speech to Text и запускает соответствующие ответы.

Создайте уровень знаний и инструментов для получения надежных ответов

LLM обладают сильными возможностями рассуждения, что позволяет голосовому помощнику ИИ отвечать естественным образом. Однако разговорный ответ не всегда означает точность. Без базовых данных LLM могут галлюцинировать, из-за чего голосовой агент выдает правдоподобные, но неточные ответы.

Например, когда вы спрашиваете GPT-4o mini о продукте, который вы недавно выпустили, он не может уверенно дать ответ. Для этого вам нужно подключить LLM к вашей внутренней базе знаний с помощью системы дополненной генерации с извлечением (RAG). RAG позволяет LLM ссылаться на внутренние руководства по продуктам и выдавать точный ответ.

Добавьте извлечение, действия API, разрешения и передачу управления человеку

Чтобы использовать RAG, вам нужно создать векторную базу данных. Векторная база данных хранит документы в виде числовых представлений в многомерном пространстве. Следующий фрагмент кода показывает, как голосовой агент извлекает релевантные документы из векторного хранилища перед запросом к LLM.

Помимо RAG, вашему голосовому помощнику на базе ИИ, скорее всего, потребуется доступ к CRM, ERP и другим корпоративным системам. Это позволяет голосовому помощнику выводить необходимую информацию, такую как данные клиентов, история транзакций и рыночные тенденции, в качестве контекста при формировании ответов.

Например, вы можете интегрировать ElevenLabs с HubSpot с помощью API. Таким образом вы сможете решать распространенные проблемы, используя базу знаний CRM, создавать тикеты и эскалировать поддержку с полным контекстом разговора.

Вот фрагмент кода, который позволяет голосовому помощнику создать тикет поддержки в HubSpot.

Хотя голосовые агенты на базе ИИ могут ускорить решение проблем, клиенты должны знать свои варианты, особенно когда изменения, которые они вносят, могут существенно повлиять на их счета. В отличие от текстовых чат-ботов, словесное перечисление вариантов требует больше мер предосторожности. Как только они сделали выбор, отменить его во время звонка может быть сложно.

В этом случае мы рекомендуем аутентифицировать вызывающего абонента и запросить устное подтверждение. Например, если клиент хочет отменить покупку, ваш голосовой агент должен явно спросить: «Вы уверены, что хотите отменить заказ?» и дождаться ответа.

Ниже мы приводим пример.

Как проверить личность звонящего с помощью голосового агента на базе ИИ

Прежде чем голосовой агент ИИ поделится деталями счета или внесет изменения в учетную запись, он должен подтвердить, с кем разговаривает. Номер телефона звонящего является полезным сигналом, но не доказывает личность. Объедините его с другими проверками:

• Сопоставьте номер звонящего с записью клиента в вашей CRM.
• Запрашивайте только те детали, которые знает только владелец счета, например, дату последнего заказа.
• Проверяйте ответы с помощью вызова инструмента по вашим записям и никогда не полагайтесь на LLM в оценке их правильности.
• Ограничьте возможности неавторизованного звонящего, например, разрешив проверку статуса заказа, но не его отмену.

Не допускайте попадания паролей, полных номеров платежных карт и кодов аутентификации в разговор, как это предписано в системном промпте выше.

ИИ-голосовой агент с возможностью перевода живого звонка и эскалации

Прямой перевод передает звонящего оператору-человеку без необходимости повторяться. При теплом переводе голосовой агент передает стенограмму и контекст человеку до установления соединения. Распространенные триггеры включают:

• Звонящий просит соединить с человеком.
• Звонящий звучит расстроенно или разговор становится эмоционально напряженным.
• Агент не может решить запрос после использования запасных ответов.
• Для выполнения запроса требуется одобрение человека.

В некоторых случаях ИИ-агент должен передать звонок оператору-человеку. Часто голосовой агент обнаруживает намерения, указывающие на разочарование, или определенные слова, которые запускают перевод. В вашем коде перевод звонка должен происходить бесшовно и быть скрытым от клиентов.

Перед переключением вы передаете стенограмму, данные клиента и другой вспомогательный контекст в службу поддержки. ElevenLabs предоставляет инструмент перевода на номер, который направляет звонки, обрабатываемые ИИ-агентами, на SIP-транк или номер телефона Twilio.

Нижеприведенный фрагмент кода демонстрирует передачу вызова в конференцию Twilio.

Создайте ИИ-голосового помощника без кода в ElevenAgents

Если вам не нужен кастомный код, вы можете запустить такого же помощника в ElevenAgents. Шаги повторяют описанную выше архитектуру, но вы настраиваете каждый слой в панели управления, а не пишете его.

• Создайте агента и опишите его задачи в системном промпте, включая тон, область применения и условия для эскалации.
• Выберите голос из библиотеки голосов (Voice Library), либо создайте или склонируйте собственный, а также установите языки, на которых должен говорить агент.
• Добавьте свою базу знаний, чтобы агент мог отвечать на основе ваших документов.
• Подключите инструменты и интеграции, такие как CRM или служба поддержки, чтобы агент мог совершать действия.
• Настройте перевод на оператора-человека для звонков, с которыми помощник не может справиться.
• Запустите симуляции и автоматические тесты для проверки поведения перед запуском.
• Разверните агента на номере телефона или канале, а затем проанализируйте показатели успешности, CSAT и стенограммы.

Рекомендации по тестированию и измерению в разделах ниже применимы независимо от того, создаете ли вы решение с кодом или без него.

Как создать ИИ-голосового помощника, соответствующего вашему бренду

Организации могут адаптировать голос ИИ-агента в соответствии со своим брендом. Единый тон на протяжении всего разговора помогает укрепить доверие. С ElevenLabs есть несколько способов настройки голоса вашего ИИ-агента.

• Библиотека голосов ElevenLabs (ElevenLabs Voice Library) предлагает более 20 000 естественных ИИ-голосов на более чем 90 языках. От энергичных до спокойных и уверенных — вы можете выбрать и использовать любой вариант, соответствующий тону вашего бренда.
• Функция клонирования голоса ElevenLabs (ElevenLabs Voice Design) позволяет создать уникальный голосовой профиль с помощью текстового запроса. Опишите темп, тон, эмоции и другие речевые характеристики, чтобы получить желаемый голос.
• Клонирование голоса ElevenLabs (ElevenLabs AI voice cloning) создает цифровую копию вашего голоса путем анализа образца ваших речевых записей.

Помимо передачи эмоций и нюансов, важно также проверять произношение ИИ-голоса, особенно для специальных имен. При необходимости создайте словарь произношений, к которому сможет обращаться ваша голосовая модель.

Проверьте задержку, прерывания, точность и безопасность перед запуском

Перед запуском тщательно протестируйте ИИ-голосового агента, чтобы убедиться в его надежной работе в различных сценариях.

• Тест задержки: Агент, которому требуется более 700 мс на ответ, будет звучать для клиентов неестественно. В зависимости от вашей настройки, скорость сети, LLM, голосовые модели и сторонние API могут влиять на задержку. В идеале задержка в диалоге должна составлять менее 500 мс.
• Тест прерываний: Проверьте, справляется ли агент с прерываниями в ходе разговора. В частности, агент должен сбрасывать исходящие аудиофреймы, останавливать синтез речи (TTS) и возобновлять захват голосового ввода без потери контекста.
• Тест смены реплик: Когда пользователь перестает говорить, агент должен естественным образом перехватить инициативу. Оцените, вовремя ли агент вступает в разговор и не прерывает ли он пользователя на полуслове. Подробное руководство о том, как ElevenLabs управляет сменой реплик, читайте здесь.
• Тест точности: Любая неточность на уровне распознавания речи (STT) распространяется дальше по цепочке. Убедитесь, что голосовой помощник способен понимать речь даже в шумной обстановке. Кроме того, голосовая модель должна стабильно и точно транскрибировать речь с различными акцентами.
• Тест безопасности: Убедитесь, что защитные механизмы предотвращают поведение системы, нарушающее политику бренда. Если взаимодействие становится эмоционально напряженным, агент должен обеспечить теплый перевод на оператора-человека в соответствии с заранее заданными правилами.

Измеряйте результаты и совершенствуйте разработку голосового помощника

Успешное прохождение внутренних критериев тестирования готовит вашего ИИ-голосового агента к развертыванию в реальных условиях. Однако это не конечная цель жизненного цикла разработки. Итерации после развертывания не менее важны для того, чтобы ваш ИИ-голосовой агент продолжал успешно решать запросы клиентов.

Вы используете обратную связь на основе метрик разговорного ИИ для выявления пробелов в работе вашего ИИ-помощника. Затем вы постепенно дорабатываете логику приложения, интеграции API, выбор моделей и другие компоненты технологического стека для повышения производительности разговорного ИИ.

Отслеживайте доходимость до конца, успешность решений, удовлетворенность клиентов и типы сбоев

Непрерывно оценивайте своего ИИ-помощника по отраслевым стандартам. Некоторые из метрик для отслеживания включают:

• Доходимость (Containment): отслеживает, какая доля разговоров успешно завершается ИИ-агентом.
• Уровень эскалации (Escalation rate): измеряет количество звонков, которые в итоге требуют вмешательства человека.
• Частота ошибок в словах (Word error rate): показатель точности, указывающий, насколько точно ИИ расшифровывает аудио.
• Частота галлюцинаций (Hallucination rate): отражает случаи, когда LLM генерируют неточные, но правдоподобные ответы.
• CSAT: отзывы клиентов, показывающие, насколько они удовлетворены ИИ-голосовым агентом.

Узнайте больше о метриках разговорного ИИ.

Начните работу с ElevenAPI для создания ИИ-голосовых помощников

ElevenAPI упрощает разработку ИИ-голосовых помощников. Используя ведущие модели преобразования текста в речь и речи в текст, вы можете создавать контекстно-зависимых агентов разговорного ИИ, которые идеально вписываются в рабочий процесс вашего предприятия. Наши голосовые и аудиомодели стабильно обеспечивают высокую точность и низкую задержку, гарантируя естественный клиентский опыт.

Получите ключ API ElevenAPI здесь и изучите нашу официальную документацию, чтобы приступить к созданию.

Часто задаваемые вопросы: Создание ИИ-голосового помощника