Как создавать многоязычные ИИ-агенты для службы поддержки

Язык не всегда линеен. Клиент может начать звонок на английском, но посреди разговора перейти на испанский. Такое случается, но большинство голосовых агентов продолжают отвечать на английском. Звонящий повторяется, переходит на ломаный английский или просит перевести на оператора — в любом случае ваш ИИ-агент его подвел.

Однако все не обязательно должно быть так сложно. Вам также не нужно нанимать десятки двуязычных операторов или переводить весь ваш справочный центр. ИИ-агенты делают многоязычную поддержку клиентов масштабируемой для бизнеса любого размера и с любым бюджетом. Один агент может обслуживать клиентов на разных языках, но он должен уметь определять, когда звонящий меняет язык, и подстраиваться под эти изменения.

Вот как создать ИИ-агент, который определяет язык клиента, переключается прямо во время разговора и запоминает предпочтения для следующего раза (как по телефону, так и в мессенджерах).

Что такое многоязычный ИИ-агент?

Многоязычный ИИ-агент — это ИИ-агент, который распознает язык клиентов и отвечает им на нескольких языках. Умные многоязычные агенты определяют, какой язык использует клиент, и переключают собственный язык в ответ.

В мессенджерах и функциях чата это сделать проще. Современные языковые модели (LLM) читают и пишут на десятках языков, поэтому текстовый агент обычно может отвечать на том языке, на котором пишет клиент. Это легко.

Но с голосом все сложнее. Телефонный разговор проходит через три системы:

• Преобразование речи в текст переводит голос звонящего в слова

Преобразование речи в текст переводит голос звонящего в слова

• LLM читает текст и принимает решение, что сказать

LLM читает текст и принимает решение, что сказать

• Преобразование текста в речь превращает ответ обратно в аудио

Преобразование текста в речь превращает ответ обратно в аудио

LLM может идеально понимать испанский, но если система распознавания речи все еще ожидает английский, переданная в LLM расшифровка не сработает. Все три уровня должны переключаться одновременно.

Как создать многоязычный ИИ-агент

Мы будем использовать Twilio ConversationRelay, которая обрабатывает преобразование речи в текст и текста в речь для голосовых ИИ-агентов. Она также позволяет подключить LLM по вашему выбору. Сначала нужно настроить языки до их распознавания, а затем обеспечить их обнаружение перед переключением.

1. Выберите голосовые провайдеры, поддерживающие ваши языки

Для каждого языка, который может услышать ваш агент, требуется провайдер распознавания речи для расшифровки и голос для воспроизведения. Доступность языков, покрытие и качество различаются в зависимости от вашего провайдера, поэтому начните с языков, на которых говорят ваши клиенты, а затем убедитесь, что каждый из них поддерживается.

В ConversationRelay вы добавляете один элемент <Language> для каждого языка, который может использоваться во время звонка. Каждый элемент сопоставляет языковой код с собственным провайдером синтеза речи, голосом, провайдером транскрипции и речевой моделью. Это означает, что голос для испанского языка может предоставляться другим провайдером, чем для английского, если так звучит лучше.

Однако добавление элемента <Language> не активирует его автоматически. Оно сообщает ConversationRelay, что именно использовать при переходе разговора на этот язык.

2. Автоматическое определение языка звонящего

ConversationRelay автоматически определяет язык звонящего, если установить для языка распознавания речи значение multi (для этого требуется Deepgram в качестве провайдера транскрипции). Провайдер распознавания речи определяет язык каждого высказывания, и каждое транскрибированное сообщение, получаемое вашим агентом, приходит с тегом этого языка в поле lang.

Опять же, это происходит для каждого отдельного высказывания. Вашему агенту не нужно угадывать язык по словам, и он уловит момент, когда звонящий переключится посреди разговора, потому что тег изменится в следующем высказывании.

• Теги приходят в виде основных языковых кодов: обнаруженные языки возвращаются как en или es, без регионального суффикса вроде en-US. Если ваш код сопоставляет языки с определенными голосами, учитывайте это.

Теги приходят в виде основных языковых кодов: обнаруженные языки возвращаются как en или es, без регионального суффикса вроде en-US. Если ваш код сопоставляет языки с определенными голосами, учитывайте это.

• Функция синтеза речи также умеет выполнять определение: установка для языка синтеза речи значения multi позволяет ElevenLabs определять язык по тексту, отправляемому вашим агентом, благодаря чему голос следует за ответом.

Функция синтеза речи также умеет выполнять определение: установка для языка синтеза речи значения multi позволяет ElevenLabs определять язык по тексту, отправляемому вашим агентом, благодаря чему голос следует за ответом.

Если вы заранее знаете, какие языки ожидать, ConversationRelay также поддерживает языковые подсказки ( language hints). Благодаря речевой модели Deepgram Flux ваши элементы <Language> выступают в роли подсказок, которые настраивают систему на распознавание нужных языков. Flux также работает с новым атрибутом ignoreBackchannel, который фильтрует слова-паразиты вроде «угу» и «ага», чтобы они не прерывали агента посреди ответа. В Twilio заявляют о поддержке английского, испанского, французского, немецкого и других языков.

3. Переключение языков прямо во время разговора

ConversationRelay переключает языки посреди разговора с помощью языкового сообщения, которое ваш агент отправляет через WebSocket-соединение. Это изменяет язык распознавания речи или синтеза речи (или оба сразу) без перезапуска звонка.

Типичный сценарий выглядит следующим образом:

• Звонящий переходит на испанский. Следующее транскрибированное сообщение поступает с тегом es.

Звонящий переходит на испанский. Следующее транскрибированное сообщение поступает с тегом es.

• Ваш агент замечает изменения. Ваш код сравнивает новый тег с текущим языком.

Ваш агент замечает изменения. Ваш код сравнивает новый тег с текущим языком.

• Ваш агент отправляет языковое сообщение. Оно устанавливает новые языки транскрипции и синтеза речи.

Ваш агент отправляет языковое сообщение. Оно устанавливает новые языки транскрипции и синтеза речи.

• Разговор продолжается на испанском языке. Голос меняется на тот, который вы настроили для испанского, и агент продолжает работу.

Разговор продолжается на испанском языке. Голос меняется на тот, который вы настроили для испанского, и агент продолжает работу.

Для более точного контроля вы также можете устанавливать язык для отдельных текстовых токенов, отправляемых вашим агентом. Это помогает в случаях, когда в ответе смешиваются языки, например, когда англоязычный агент зачитывает испанский адрес.

4. Поддержание согласованности LLM на разных языках

Смена голоса — это лишь полдела. LLM также нуждается в четких инструкциях о том, что делать при смене языка.

Следующие правила проектирования промптов могут помочь:

• Отвечайте на текущем языке клиента: передавайте обнаруженный язык в контекст агента на каждом шагу и давайте ему указание отвечать на этом языке.

Отвечайте на текущем языке клиента: передавайте обнаруженный язык в контекст агента на каждом шагу и давайте ему указание отвечать на этом языке.

• Храните факты независимо от языка: номера заказов, цены и детали политики компании должны поступать из ваших инструментов и базы знаний в неизменном виде, независимо от языка разговора.

Храните факты независимо от языка: номера заказов, цены и детали политики компании должны поступать из ваших инструментов и базы знаний в неизменном виде, независимо от языка разговора.

• Решите, как обрабатывать смешанный ввод: некоторые клиенты переключаются между языками прямо посреди предложения. Укажите агенту, какому языку следовать — последнему использованному или доминирующему.

Решите, как обрабатывать смешанный ввод: некоторые клиенты переключаются между языками прямо посреди предложения. Укажите агенту, какому языку следовать — последнему использованному или доминирующему.

Посмотрите наш вебинар за октябрь 2026 года «Один агент — много языков» («One agent, many languages»), чтобы узнать, как реализовать эти решения по проектированию промптов и резервному копированию в ConversationRelay.

5. Запоминайте язык клиента для следующего раза

Если на прошлой неделе клиент говорил по-испански, можно с уверенностью предположить, что на этой неделе он предпочтет то же самое. Сохраните это предпочтение.

Twilio Conversation Memory сохраняет характеристики и наблюдения в профиле каждого клиента. Руководство по интеграции Twilio Agent Connect и Flex показывает, что как только вы обновили языковую характеристику в профиле клиента на испанский, агент начинает общаться с этим клиентом по-испански.

Все очень просто. При следующем звонке ваш агент считывает эту характеристику и начинает разговор по-испански с самого первого приветствия.

Многоязычные агенты для голосовой связи и обмена сообщениями

Клиенты не следуют линейному пути. Они переключаются между каналами. Но их языковые предпочтения не должны ограничиваться одним каналом. Можно с уверенностью предположить (по крайней мере, по умолчанию), что если ваш клиент предпочитает общаться по телефону по-испански, он, вероятно, захочет писать сообщения тоже по-испански.

Twilio Agent Connect маршрутизирует звонки (Voice), SMS, WhatsApp, RCS и чат через единый обработчик сообщений, поэтому один агент с одним набором языковых правил охватывает каждый канал. В каналах обмена сообщениями LLM считывает язык клиента напрямую из текста. В голосовой связи ConversationRelay управляет определением и переключением языков, как описано выше.

Языковая характеристика в профиле клиента объединяет все это воедино. Клиент, который пишет по-порттугальски в понедельник и звонит в четверг, попадает на агента, который уже умеет говорить по-порттугальски.

Эскалация: передача диалога житкому оператору, владеющему языком

Путь эскалации должен опираться на то, что ваши агенты уже узнали. Это означает, что когда испаноязычный клиент хочет поговорить с живым человеком, вы перенаправляете его на испаноязычного представителя.

Встроенный инструмент передачи в Agent Connect принимает необязательные атрибуты маршрутизации, и эти атрибуты отображаются как атрибуты задачи TaskRouter в Twilio Flex. Передайте обнаруженный язык в качестве атрибута, и Flex сможет направить разговор агенту, который на нем говорит.

Клиент остается на той же линии или в том же чате на протяжении всего процесса, а история разговора передается вместе с переводом управления.

Встречайте клиентов на их языке (и в их канале)

Работайте умнее, чтобы вашим клиентам приходилось прилагать меньше усилий. Многоязычный агент позволяет вам общаться с клиентом на его языке в предпочитаемом им канале. Настройте языки, запустите определение для каждой реплики, переключайтесь в тот же момент, когда это делает клиент, и запоминайте предпочтение на будущее.

Если вы беспокоитесь о скорости голосового ИИ, ознакомьтесь с нашим руководством по базовой задержке в голосовых агентах на базе ИИ.

Часто задаваемые вопросы

Каковы лучшие платформы для создания многоязычных ИИ-агентов, способных определять язык и переключаться посреди разговора?

Twilio ConversationRelay определяет язык звонящего при каждой реплике, если включен многоязычный режим с использованием Deepgram, и переключает языки распознавания речи и синтеза речи прямо во время звонка с помощью языкового сообщения. Agent Connect распространяет этого же агента на SMS, WhatsApp, RCS и чат.

Как голосовой ИИ-агент определяет, на каком языке говорит звонящий?

Twilio ConversationRelay использует провайдера распознавания речи для определения языка каждой реплики и помечает им каждое расшифрованное сообщение. Ваш агент считывает этот тег и может переключить язык, как только это сделает звонящий.

Может ли ИИ-агент переключать языки посреди телефонного звонка?

Twilio ConversationRelay позволяет вашему агенту отправлять языковое сообщение, которое изменяет языки распознавания и синтеза речи прямо во время звонка без перезапуска разговора. Голос переключается на тот, который настроен для нового языка.

Сколько языков может поддерживать многоязычный ИИ-агент?

Twilio ConversationRelay поддерживает языки, предоставляемые его провайдерами распознавания и синтеза речи, с настройкой по одному языковому элементу на каждый язык. Охват и качество различаются в зависимости от провайдера, поэтому уточняйте поддержку каждого языка, на котором говорят ваши клиенты.

Как перенаправить многоязычного клиента на живого агента, который говорит на его языке?

Инструмент передачи Twilio Agent Connect передает атрибуты маршрутизации в Flex в качестве атрибутов задач TaskRouter. Включите обнаруженный язык, и Flex сможет направить разговор агенту, который на нем говорит, с прикрепленной историей.