Хотя людей невозможно полностью заменить, приближение к человечности — это главная задача при масштабировании голосового ИИ. Под человечностью в данном контексте понимаются естественный ритм и четкое, стабильное качество голоса. Тот самый разговорный ритм, который возникает при общении тет-а-тет.

Низкая задержка играет важнейшую вспомогательную роль, обеспечивая бесперебойность разговора. Выбранная вами базовая голосовая сеть поддерживает низкую задержку и высокое качество звука.

Я каждую неделю общаюсь с компаниями, занимающимися голосовым ИИ. Те из них, которые масштабируются быстрее всего, рано поняли, что лежащая в их основе сеть имеет такое же значение, как и модель поверх нее.

Почему человечность — это проблема задержки

Когда вы масштабируете продукт на базе голосового ИИ, конечные пользователи реагируют вовсе не на ваш промпт-инжиниринг. Они реагируют на ритм разговора. А именно, на паузу между моментом, когда они перестают говорить, и моментом, когда ваш агент начинает говорить. Человеческий разговор строится на быстром чередовании реплик. Стоит допустить полсекунды тишины, как люди сразу же начинают раздражаться от того, что говорят с ботом. Они начинают излишне объяснять, перебивают агента, вешают трубку. Это общеизвестный факт.

Всегда является лучшей практикой (а иногда и требованием), чтобы люди знали, когда они общаются с ИИ-агентом, а не с человеком. Но мы являемся ярыми сторонниками эффективных, комфортных разговоров, которые помогают клиентам получить то, что им нужно. Все хотят низкой задержки, потому что лаг делает взаимодействие с ИИ менее неловким и более естественным. Гораздо сложнее продемонстрировать ее наличие и еще сложнее поддерживать ее по мере масштабирования.

Задержка в голосовом ИИ — это не одно число. Это стек:

Время отклика модели до первого токена
Уровни распознавания и синтеза речи (STT и TTS) по обе стороны от нее
И под всем этим — голосовая сеть, передающая вызов

Команды тратят большую часть своего бюджета на оптимизацию верхней части этого стека. Они настраивают конечные точки, выбирают более быстрый TTS, меняют модели. Все это помогает. Но нижняя граница того, чего вы можете достичь, задается нижележащей сетью. Чем лучше ваша ядро-сеть, тем ниже задержка вашего ИИ. Никакие программные ухищрения не компенсируют вызов, который перескакивает через провайдеров разного качества до того, как попадет к вашему агенту.

Собственная сеть против сети сетей

Когда вы заключаете договор с провайдером голосовых API или SIP-транков, вы наследуете то, чем является его сеть. В целом существует две модели.

Первая — это собственная управляемая сеть. Bandwidth управляет собственной сетью с 1999 года в качестве CLEC в США и национального оператора в более чем 30 странах. Когда вызов поступает, он остается в инфраструктуре, принадлежащей нам от начала и до конца. Мы контролируем маршрутизацию, мы контролируем качество обслуживания, и мы точно знаем, что происходит на каждом участке вызова.

Вторая модель больше похожа на сеть сетей. Вызовы передаются через совокупность провайдеров разного качества. Вызов может быть нормальным в один день у одного нижележащего провайдера и заметно отличаться на следующий день у другого. Для обычного голосового приложения вы можете этого не заметить. Для голосового ИИ, где вы пытаетесь удержать общую задержку туда и обратно ниже порога, при котором люди начинают воспринимать лаг, эта ежедневная вариативность означает разницу между агентом, который работает безупречно, и агентом, который явно испытывает трудности.

Именно это я имею в виду, когда говорю компаниям, что мы предлагаем более стабильный и предсказуемый опыт. Это не маркетинговое заявление. Это прямой результат владения сетью, а не аренды ее частей.

Что на самом деле означает «масштабирование»

Я постоянно наблюдаю одну и ту же закономерность. Стартап в области голосового ИИ создает концептуальное доказательство (PoC) на базе того провайдера, у которого проще всего пройти регистрацию. Они подтверждают жизнеспособность сценария использования. Трафик растет. И тут все начинает шататься.

Этот сбой обычно не выглядит как единый драматический сбой. Это деградация качества. Вызовы не проходят. Сервис начинает работать странно. И это не обязательно проблема провайдера в строгом смысле. Это проблема объема. Если у 1% ваших вызовов возникают проблемы, когда у вас 100 клиентов, это один или два человека. Тот же 1% при 1000 клиентов означает, что 10 или 20 человек каждый день получают негативный опыт. Это создает механизм оттока клиентов.

Чем больше вы масштабируетесь, тем больше вы подвергаете себя риску возникновения сбоев. И разница между провайдерами проявляется именно тогда, когда это важнее всего. То, как ваш партнер помогает вам проводить триаж и устранять проблемы при больших объемах, имеет решающее значение.

В Bandwidth мы сделали себе имя благодаря тому, как мы выстраиваем партнерские отношения с нашими клиентами в вопросах прозрачности и поиска неисправностей. Владение сетью означает, что мы действительно можем видеть, что происходит во время вызова, и подсказать вам, связана ли проблема с сетью, маршрутизацией или чем-то в вашем стеке. Когда сеть представляет собой черный ящик сторонних разработчиков, никто не сможет вам этого сказать.

Почему команды гипермасштабируемого голосового ИИ приходят к нам

Большинство компаний, занимающихся голосовым ИИ, начинают не с чистого листа. Более крупные из них продают свои решения в кол-центры и на предприятия, у которых уже где-то циркулирует голосовой трафик. Задача клиента обычно состоит в том, чтобы дополнить существующий IVR или сценарий вызова ИИ-агентом, а не изобретать голос с нуля.

Когда вы выступаете в роли вендора голосового ИИ в таком разговоре, ваш нижележащий телеком-партнер выполняет за вас львиную долю работы. Конечный клиент будет судить о вашем продукте по качеству связи. Если звук плохой или задержка нестабильна, для них это ваш продукт, независимо от того, чья сеть его фактически передает.

Для гиперскейлеров в этой сфере три вещи имеют наибольшее значение после прохождения этапа концептуального доказательства:

Качество звука при больших объемах. Аудио операторского класса обеспечивается за счет собственной сети с прямыми подключениями к ТфОП (PSTN), а не за счет надстройки поверх чужого стека.
Стабильная задержка. Не просто хороший медианный показатель, а узкое распределение. P95 и P99 имеют такое же значение, как и P50, когда вы обрабатываете миллионы минут.
Партнер, который может двигаться с вашей скоростью. Скорость появления новых функций в голосовом ИИ сейчас невероятно высока. Мы выпускаем обновления быстрее, чем когда-либо за последние годы, а это значит, что мы не отстаем от клиентов, которые масштабируются с такой же скоростью.

Что мы только что выпустили и что ждет нас впереди

Конкретный пример того, что я имею в виду под скоростью партнера. Одной из главных проблем с затратами и рисками для компаний, занимающихся голосовым ИИ, всегда было управление участками вызова. Традиционная схема такова: клиент звонит на номер, ИИ выполняет свою работу во время вызова, и вызов возвращается обратно. В итоге у вас появляется несколько участков вызова, и вы несете ответственность за продолжительность каждого участка. Если ИИ передает управление человеку, и этот человек говорит еще десять минут, вы платите за десять минут, в течение которых вам не нужно было присутствовать.

Более эффективный способ — предоставить SIP-домен или URI для маршрутизации. ИИ принимает вызов, выполняет свою работу и перенаправляет звонок обратно, чтобы вы больше не участвовали в нем. Маршрутизация входящих вызовов на SIP-домен уже доступна в Bandwidth Voice. Функция SIP Refer теперь доступна, и для компаний, использующих перевод вызовов на живых операторов, это позволяет существенно сэкономить. Вместо того чтобы платить за минуты, пока клиент общается с оператором-человеком, вы платите только за время работы ИИ на том участке разговора, где он действительно задействован.

Что спросить у вашего голосового партнера

Если вы работаете в команде голосового ИИ и задумываетесь о том, кто стоит за вашей инфраструктурой, задайте следующие вопросы:

Владеете ли вы собственной сетью и управляете ли ею самостоятельно, или осуществляете маршрутизацию через сторонних провайдеров?
Как выглядит ваш профиль задержек и насколько он стабилен изо дня в день?
Когда что-то идет не так при больших объемах, с кем я буду общаться и как быстро они смогут провести диагностику?
Какие новые возможности вы выпускаете специально для сценариев использования голосового ИИ в текущем квартале?

То качество, которое мы называем человечностью, дается нелегко. Это серьезная инженерная задача, и модель — лишь ее часть. Голосовая сеть, лежащая в основе вашего агента, определяет, будет ли ваш продукт звучать действительно естественно или неуклюже.

Если вы масштабируете голосовой ИИ и хотите обсудить, как ваша сеть влияет на задержки, свяжитесь с нами. Именно об этом я каждый день общаюсь с клиентами.