Инфраструктура голосового ИИ: разбор стека 2026 года

Инфраструктура голосового ИИ — это набор моделей, соединений, инструментов и сервисов, который позволяет ИИ-агенту прослушивать звонок, принимать решения, выполнять действия в других системах и отвечать вслух. И благодаря ведущим провайдерам, таким как ElevenLabs, всё это происходит за долю секунды.

Рабочий голосовой агент функционирует на основе стека уровней, который включает распознавание речи, управление очередностью реплик, большую языковую модель, оркестрацию, инструменты, извлечение знаний, синтез речи, телефонию и мониторинг.

В этом руководстве описывается архитектура ИИ-агента, лежащая в основе работающего голосового агента. Каждый раздел раскрывает функции отдельного уровня, его значение в общей инфраструктуре и то, как его реализует ElevenAgents, используя Eleven v4 в качестве примера голосового слоя.

Как устроена инфраструктура голосового ИИ

Голосовой агент преобразует аудио в текст, производит рассуждения на основе этих входных данных, генерирует ответ, а затем снова превращает этот ответ в аудио, которое слышит клиент. Эта цепочка действий формируется надежным стеком архитектуры ИИ-агента.

Вот основные уровни, составляющие инфраструктуру голосового ИИ в 2026 году:

• Распознавание речи: технология автоматического распознавания речи (ASR) преобразует аудио звонящего в текст для дальнейшей обработки.
• Управление очередностью реплик: определяет, когда звонящий закончил говорить и когда следует прекратить разговор, обеспечивая более плавную и отзывчивую беседу.
• Языковая модель (модели): интерпретирует расшифрованный запрос и генерирует ответ после извлечения необходимого контекста.
• Оркестрация: уровень ИИ-оркестрации перенаправляет диалог между промптами, субагентами, инструментами и людьми.
• Инструменты и MCP: подключают агента к внешним системам, таким как CRM-платформы или контакт-центры, для выполнения задач.
• Знания и память: предоставляют факты и контекст звонящего с помощью дополненной генерации знаний (RAG).
• Синтез речи: использует технологию Text to Speech для преобразования текстового ответа в аудио.
• Передача данных и телефония: осуществляет передачу аудио между агентом и звонящим.
• Защитные механизмы, тестирование и мониторинг: поддерживают агента в рамках задачи и позволяют измерять его эффективность.

В совокупности эти компоненты обеспечивают работу в режиме реального времени между ИИ-агентами и звонящими клиентами.

Схема архитектуры голосового ИИ

Поток не является прямой линией. ElevenAgents начинает говорить после получения «достаточного количества слов и запятой» от языковой модели, что означает воспроизведение аудио до того, как будет готов полный ответ. Вызовы внешних сервисов и поиск информации выполняются в середине реплики. Прерывания могут поступать и обрабатываются агентом естественным образом в процессе генерации речи.

Два способа построения архитектуры голосового ИИ

ElevenAgents поддерживает два голосовых режима. В пользовательском режиме (Custom) вы самостоятельно выбираете языковую модель, модель Text to Speech и настройки распознавания речи.

В режиме реального времени (Realtime) вы выбираете модель Eleven Realtime, и ElevenLabs управляет этими настройками за вас. Eleven Realtime v1 Mini используется по умолчанию и обладает минимальной задержкой и стоимостью. Eleven Realtime v1 Max выполняет рассуждения перед ответом, что подходит для более сложных инструкций и случаев, когда требуется многоэтапное использование инструментов.

Системный промпт, выбранный голос, инструменты, подключенная база знаний и настройки реплик работают одинаково в обоих режимах. Пользовательский режим является лучшим выбором, когда вам требуется конкретная языковая модель, кастомная LLM или определенная модель TTS (для оптимизации производительности или задержки).

Распознавание речи: превращение аудио в текст

Распознавание речи, также называемое ASR или преобразованием речи в текст, является первым уровнем стека.

Что оно делает

Модель непрерывно расшифровывает аудио звонящего по мере того, как он говорит. Такая непрерывная работа позволяет остальной части конвейера начать обработку до окончания предложения, что сокращает задержку. Продвинутые модели справляются со всем: от сильных акцентов и разной скорости речи до фонового шума.

Почему это важно для инфраструктуры голосового ИИ

Расшифровка — пожалуй, один из важнейших уровней в стеке, поскольку любые ошибки на этом этапе будут распространяться на все последующие стадии. Неправильно расслышали номер бронирования? Действие выполнено не по тому клиенту. Ошиблись в названии лекарства? Потенциальная катастрофа.

В своем стандарте Trust Framework for Healthcare компания ElevenLabs показывает, насколько высоки ставки из-за одного не расслышанного слога: гидроксизин против гидралазина.

Как это делает ElevenAgents

ElevenAgents использует Scribe v2 Realtime, которая расшифровывает речь примерно за 150 мс. ElevenLabs обучила ее работе в условиях фонового шума, с различными акцентами и идентификаторами, такими как имена, адреса электронной почты и ID. В многоязычном бенчмарке FLEURS для 30 языков компания ElevenLabs отметила самую низкую частоту ошибок в словах среди всех ASR-моделей с низким уровнем задержки.

Его можно включить в разделе Advanced конфигурации агента. В том же упомянутом выше техническом документе ElevenLabs сообщает, что Scribe v2 Medical лидирует среди всех моделей в общедоступном бенчмарке Eka Medical ASR с частотой ошибок в словах 7,0% на момент публикации.

Точная (и быстрая) расшифровка предоставляет последующим уровням чистые входные данные без добавления значительной задержки.

Управление очередностью реплик: понимание того, когда говорить, а когда остановиться

Управление очередностью реплик (turn taking) — это набор правил, определяющих, когда агент отвечает, а когда слушает. Способность эффективно понимать реплики в диалоге и реагировать на них отличает живую беседу от устаревшего телефонного меню IVR.

Что оно делает

Компонент управления очередностью реплик выполняет несколько функций в инфраструктуре голосового ИИ:

• Определение голосовой активности (VAD): VAD классифицирует входящий аудиосигнал как речь или тишину десятки раз в секунду.
• Определение окончания реплики: оценивает, закончил ли звонящий говорить, используя тон, ритм и контекст слов.
• Вклинивание (Barge-in): позволяет звонящему прервать агента, после чего агент замолкает, давая пользователю возможность продолжить.
• Краткие подтверждения (Backchannels): короткие реплики одобрения вроде «угу», которые не перехвают инициативу в разговоре.

Почему это важно

Пауза продолжительностью около 200 ms is the typical gap between speakers в человеческой беседе. Агент, который отвечает слишком рано, перебивает звонящих, а тот, кто ждет слишком долго, создает паузы, из-за которых звонок кажется зависшим или не реагирующим.

Например, представьте звонящего, который говорит: «Я бы хотел забронировать пятницу во второй половине дня, но...» — и делает паузу. Таймер тишины срабатывает на паузе и упускает уточнение. Модель, которая считывает слова и ритм, ждет, позволяя пользователю закончить: «...это не может быть между 15:00 и 17:00, так как я буду занят».

Один агент неверно истолковывает намерение звонящего и назначает встречу на неправильное время. Другой, обладая эффективными способностями управления очередностью реплик, гарантированно избегает указанного периода времени.

Как это делает ElevenAgents

ElevenAgents использует собственную модель управления очередностью реплик, которая анализирует тон, ритм и контекст слов вместо того, чтобы полагаться только на таймеры тишины. Когда звонящий перебивает агента, сигнал об остановке срабатывает менее чем за 200 мс.

Компания ElevenLabs фиксирует медианное время около ~150 мс от запроса до звучания речи с Eleven v4 Turbo на ElevenAgents.

Поведение настраивается с помощью параметров Conversation flow:

Параметр

Что он контролирует

Уровень инициативы в диалоге (Turn eagerness)

Режим «С энтузиазмом» (Eager) отвечает при первой же возможности. «Нормальный» (Normal) — сбалансированный вариант по умолчанию. «Пациент» (Patient) ждет дольше и подходит для телефонных номеров, адресов и электронной почты.

Прогностическая реплика

Запускает ответ языковой модели до того, как вызывающий абонент подтвердит завершение. Это сокращает задержку, но может увеличить стоимость работы LLM.

Прерывания

Отключайте их, когда каждое слово должно быть услышано, например, в юридических заявлениях и инструкциях по безопасности.

Список игнорирования

Слова вроде «хорошо» или «так», которые не должны прерывать агента.

Инструмент пропуска хода

Позволяет агенту сохранять молчание, когда абонент говорит «дайте мне минуту».

Тайм-аут хода

Делает ход после 1–30 секунд молчания. Используйте от 5 до 10 секунд для обычных разговоров и от 10 до 30, когда абонентам требуется время на раздумья.

Мягкий тайм-аут

Воспроизводит заполняющую речь, например «Хммм... да», когда модель отвечает медленно. Диапазон от 0,5 до 8 секунд, рекомендуется 3 секунды.

Обнаружение шумной среды

Функция корпоративного уровня, которая обнаруживает фоновые голоса и просит абонента перейти в более тихое место (не чаще одного раза за разговор).

Рабочие процессы могут изменять готовность к ходу прямо во время звонка. Ваше клиентское приложение также получает событие vad_score — вероятность от 0 до 1 того, что пользователь говорит.

Правильно настроенная очередность ходов определяет, воспринимает ли абонент агента как внимательного или резкого. Подробнее об этих концепциях читайте в нашем полном руководстве по очередности ходов.

Языковая модель: Рассуждение и генерация ответа

Большая языковая модель (LLM) является уровнем рассуждений. Она считывает стенограмму, инструкции и текущий разговор, после чего пишет ответ или принимает решение о вызове инструмента.

Что она делает

Скриптовый голосовой бот распознает горстку команд. LLM интерпретирует запросы, сформулированные самыми разными способами, удерживает контекст между ходами и решает, когда нужно получить информацию или перевести звонок.

Почему это важно

Модели различаются глубиной рассуждений, скоростью и стоимостью. Для живого голосового разговора время отклика имеет такое же значение, как и качество ответов, поэтому выбор модели — это решение, балансирующее между задержкой и стоимостью.

Как это реализовано в ElevenAgents

ElevenAgents предоставляет единый интерфейс для моделей от Google, OpenAI и Anthropic, а также для открытых моделей, размещенных на сервере ElevenLabs. Вы также можете подключить собственную LLM, указав эндпоинт и сохранив учетные данные в виде секретов. ElevenLabs перевыставляет счета за сторонние LLM по базовой цене провайдера без наценки.

Вы можете выбирать модель для каждого субагента отдельно. В руководстве The Enterprise Conversational Agent Playbook, Volume 2 рекомендуется оставлять высокопроизводительные модели для сложных рассуждений, а для таких задач, как классификация намерений и ответы на часто задаваемые вопросы, использовать более дешевые модели с низкой задержкой.

У провайдеров случаются сбои. Каскадирование LLM справляется с ними: если основная модель возвращает ошибку API, выдает тайм-аут или пустой ответ, ElevenAgents пробует резервную цепочку. Тайм-аут по умолчанию при переключении с основного на резервный вариант составляет 4 секунды (его можно настроить в диапазоне от 2 до 15 секунд), при этом система делает не менее 3 попыток среди доступных моделей.

Пользовательская LLM, используемая в качестве основной модели, повторяет попытку как минимум 3 раза, если вы не задали собственный порядок резервного копирования. Правильный выбор модели для каждой задачи позволяет сделать агента одновременно быстрым и недорогим.

Оркестрация: Маршрутизация работы между агентами и людьми

Оркестрация агентов координирует промпты, субагентов, инструменты и людей, участвующих в выполнении задачи. Она определяет, что произойдет дальше в любой момент звонка.

Что она делает

Один агент с одним длинным промптом становится трудноуправляемым по мере накопления обязанностей. Оркестрация разбивает работу на этапы, каждый со своими инструкциями, моделью и инструментами, и переводит абонента между ними.

Почему это важно

Меньшие по размеру промпты проще тестировать и дешевле запускать, поскольку каждое взаимодействие загружает меньше текста. Разделение потока позволяет дешевой модели обрабатывать первичную сортировку и FAQ, передавая управление более мощной модели только тогда, когда запрос этого требует.

Как это реализовано в ElevenAgents

Рабочие процессы (Workflows) в ElevenAgents представляют собой визуальный конструктор графов разветвленных разговоров.

Узлы включают в себя следующие типы:

• Субагент: Изменяет или переопределяет базового агента, включая его промпт, LLM, голос, инструменты и базу знаний.
• Произнести (Say): Произносит одно сообщение: либо буквальный текст, либо реплику, сгенерированную LLM.
• Диспетчерский инструмент (Dispatch tool): Выделенный шаг, гарантирующий вызов инструмента, с раздельными путями успешного выполнения и сбоя.
• Обновить состояние (Update state): Назначает динамические переменные по мере прохождения потока.
• Перевод на агента (Agent transfer): Передает вызов другому агенту.
• Перевод на номер (Transfer to number): Переводит звонок с ИИ-агента на человека через телефонную сеть.
• Завершить вызов (End call): Завершает разговор.

Связи между узлами содержат условия на естественном языке, которые LLM оценивает в реальном времени. Поток техподдержки может начинаться с субагента маршрутизации на быстрой модели, перенаправлять вопросы по выставлению счетов субагенту биллинга на более мощной модели и завершаться узлом перевода на номер, когда абонент просит соединить с живым человеком. После запуска вкладка Workflow в аналитике отображает количество входов, среднее время пребывания, завершения и распределение связей для каждого узла.

Оркестрация превращает одиночного агента в систему, которую вы можете проектировать, измерять и улучшать по одному узлу за раз.

Инструменты и MCP: Предоставление агенту возможности действовать

Вызов функций (Function calling), также известный как вызов инструментов (tool calling), позволяет агенту запрашивать действия у внешнего программного обеспечения, интегрированного в ваш технологический стек.

Это превращает интерфейс вопросов и ответов в агентную систему ИИ, способную выполнять работу и взаимодействовать с другими инструментами от вашего имени.

Что это делает

Представьте абонента, который просит перенести завтрашнюю встречу на пятницу. Агент находит бронирование, проверяет доступность на пятницу, обновляет систему планирования и подтверждает изменения. Каждый шаг представляет собой вызов инструмента, совершающий реальное действие.

Почему это важно

Инструменты — это то, с помощью чего разговоры приводят к конкретным результатам. Для каждого инструмента требуются четкие входные и выходные данные, а агент должен знать об успехе вызова, прежде чем сообщать об этом абоненту.

Как это реализовано в ElevenAgents

ElevenAgents поддерживает клиентские инструменты, которые выполняются в приложении пользователя, инструменты вебхуков, вызывающие внешние API, инструменты на основе кода, выполняющие пользовательский JavaScript в изолированной среде на инфраструктуре ElevenLabs, инструменты MCP и встроенные системные инструменты.

Системные инструменты включают завершение вызова, определение языка, перевод на агента, перевод на номер, пропуск хода, воспроизведение тонального набора с клавиатуры и обнаружение голосовой почты. Вы можете добавлять фоновое аудио во время работы инструмента и контролировать, могут ли абоненты прерывать агента во время выполнения.

Протокол контекста модели (Model Context Protocol, MCP) — это открытый стандарт того, как приложения предоставляют контекст и инструменты языковым моделям. ElevenAgents подключается к MCP-серверам по протоколам SSE и потоковому HTTP. Администраторы рабочей области включают эту функцию первыми, так как по умолчанию MCP отключен для всех рабочих областей. Затем вы выбираете режим утверждения для каждого сервера: Всегда спрашивать (Always Ask), Детализированное утверждение инструментов (Fine-Grained Tool Approval) или Без утверждения (No Approval).

Клиентские события, такие как client_tool_call и mcp_tool_call, сообщают об активности инструментов, а событие MCP сообщает о четырех состояниях: загрузка, ожидание утверждения, успех и сбой. Надежные инструменты дают агенту реальные возможности в физическом мире, а четкие правила утверждения держат эти возможности под контролем.

Знания и память: Факты и контекст абонента

Генерация с дополненным извлечением (RAG) предоставляет агенту факты из вашего собственного контента, такого как внутренняя база данных фактов или более обширный журнал истории клиентов. Память и персонализация обеспечивают контекст об абоненте, что позволяет вашему агенту улучшать персонализацию и пользу для вашего бизнеса.

Что это делает

Языковая модель имеет ограничение по дате обучения и не имеет доступа к вашей документации или записям. RAG выполняет поиск по базе знаний для каждого запроса, извлекает наиболее релевантные фрагменты и передает их модели, чтобы обеспечить дополнительный контекст, необходимый для получения полезного ответа.

Данные персонализации сообщают агенту, кто звонит и что для него важно.

Почему это важно

Основа ответов на проверенном контенте обеспечивает их точность. Скорость поиска также имеет значение, так как каждая добавленная им миллисекунда увеличивает время ожидания ваших клиентов. Функции персонализации также избавляют абонентов от необходимости повторять информацию при разных звонках, поскольку у ваших агентов будут под рукой записи CRM в начале каждого нового сеанса.

Как это реализовано в ElevenAgents

Вы добавляете документы в базу знаний в виде файлов (PDF, DOCX, TXT, MD, HTML или EPUB размером до 20 МБ каждый), URL-адресов или вставленного текста. Документ использует полный контекст, когда извлеченный из него текст помещается в промпт (примерно до 300 000 символов). Для больших документов используется RAG. Поиск может выполняться на каждом шаге или по запросу, а режимом использования по умолчанию является «Авто», который задействует RAG, когда он включен и документ проиндексирован.

ElevenLabs работает непосредственно над скоростью поиска. В технической статье «Как мы уменьшили задержку RAG» (How we reduced RAG latency) задокументировано снижение средней задержки RAG с 326 мс до 155 мс с использованием моделей, размещенных на собственной инфраструктуре ElevenLabs.

Для контекста абонента ElevenAgents использует динамические переменные в формате {{ var_name }}, которые заполняют сообщения, системные промпты и инструменты. Для входящих вызовов через Twilio, SIP-транк, WhatsApp и SMS ElevenAgents может запрашивать данные об инициализации с вашего сервера до начала разговора. Ваш сервер ищет абонента по caller_id и возвращает переменные, например из вашей CRM, с размером ответа до 256 КБ. После звонка веб-хуки после вызова передают результаты оценки и извлеченные данные в ваши внешние системы.

В совокупности поиск и персонализация дают агенту как правильные факты, так и правильного собеседника.

Синтез речи: придание голоса агенту

Преобразование текста в речь (TTS) превращает ответ языковой модели в разговорную аудиозапись. Это тот слой, который абонент слышит на самом деле.

Что он делает

Модель преобразует текст в аудио с естественным темпом и эмоциональной подачей. Во время живого звонка она передает аудио по частям (чанками), поэтому воспроизведение начинается еще до того, как будет сгенерирован полный ответ.

Почему это важно

Задержка и качество воспроизведения влияют на то, как абоненты оценивают разговор. Для работы в реальном времени важны два показателя: время генерации аудио и время до того, как абонент услышит первый звук. Имена, названия лекарств и технические термины также требуют правильного произношения, иначе абоненты потеряют доверие к агенту.

Как Eleven v4 управляет голосовым слоем

Eleven v4 — это самая эмоциональная модель преобразования текста в речь от ElevenLabs на сегодняшний день, созданная на базе совершенно новой архитектуры. Eleven v4 Turbo представляет собой вариант с низкой задержкой для использования в реальном времени, например для агентов, оптимизированный для работы с ElevenAgents как единая система.

Eleven v4 Turbo

Показатель

Средняя задержка инференса

Около 100 мс

Среднее время до первого произнесенного слова

Около 150 мс

Языки

90+

ElevenLabs измерила показатели задержки в сентябре 2026 года при потоковой передаче через WebSocket без учета сетевой задержки. Eleven v4 занял первое место в рейтинге Artificial Analysis Provider Voice Arena Leaderboard в сентябре 2026 года*, и около 75% слушателей отдали ему предпочтение в слепых тестах**.

* Artificial Analysis, Provider Voice Arena Leaderboard, сентябрь 2026 г.

** На основе прямого тестирования предпочтений пользователей по сравнению с Cartesia Sonic 3.6, Inworld TTS-2, Google Gemini 3.8 Flash-Lite TTS и Google Gemini 3.8 Flash TTS.

Eleven v4 поддерживает встроенные аудиотеги, такие как [laughs] для передачи интонаций, и поддержку фонем IPA для произношения. В агентах для здравоохранения этот контроль произношения охватывает медицинские термины. ElevenAgents добавляет элементы управления на уровне агента поверх этого. Поддержка нескольких голосов позволяет одному агенту переключаться между голосами для бесед с несколькими персонажами. Скорость варьируется от 0.7x до 1.2x. Каждый дополнительный язык может использовать собственный голос. Словари произношения принимают нотацию IPA или CMU для конкретных слов.

Быстрый первый звук и точный, выразительный голос делают агента похожим на собеседника.

Телефония и транспорт: подключение агента к абонентам

Транспортный порт переносит аудио между абонентом и агентом. В зависимости от того, какой канал связи вы используете, интеграции, которые вы включите в свою голосовую инфраструктуру ИИ, будут меняться.

Что он делает

Телефонные звонки передаются по телефонной сети и SIP, в то время как разговоры через браузер и приложения используют WebRTC или WebSocket. Виджет веб-сайта оборачивает подключение браузера в готовый интерфейс.

Почему это важно

У каждого канала свои требования к настройке и ограничения по звуку, поэтому определяйтесь с каналами заранее. Развертывание, ориентированное на телефонную связь, требует поддержки транков и управления номерами. Развертывание продукта требует SDK.

Как это реализовано в ElevenAgents

• SIP-транкинг: соединяет вашу телефонную систему напрямую с ElevenLabs для входящих и исходящих вызовов. Он работает с Twilio, Vonage, Sinch, Infobip, Telnyx и другими стандартными провайдерами. Сигнализация работает по протоколу TCP на порту 5060 или TLS 1.2 и выше на порту 5061, а для аудио используется G.711 или G.722. Планируйте не менее 100 Кбит/с на один вызов. Лимиты одновременных вызовов зависят от вашего тарифного плана, а при включенной очереди вызовов абоненты будут ожидать ответа.
• Собственная интеграция с Twilio: импортируйте приобретенный номер Twilio для входящих и исходящих вызовов. Проверенные идентификаторы вызывающего абонента работают только для исходящих вызовов.
• Пакетные вызовы: загрузите список получателей в формате CSV или XLS, и каждый дополнительный столбец станет динамической переменной. Вы можете запустить их немедленно или запланировать запуск. Пакеты используют меньшее из двух значений: 50% от лимита параллелизма вашего рабочного пространства или 70% от лимита параллелизма вашего агента, что оставляет емкость для входящих вызовов.
• WebRTC и WebSocket: SDK по умолчанию используют WebRTC для голоса и WebSocket для текстовых разговоров. Частные агенты проходят аутентификацию с помощью подписанной URL-ссылки или токена разговора, созданного на вашем сервере. Конечная точка WebSocket: wss://api.elevenlabs.io/v1/convai/conversation.
• SDK: Python, JavaScript, React, React Native, Swift, Kotlin и Unity.
• Виджет: добавьте элемент <elevenlabs-convai> на страницу. Он поддерживает только голос, голос плюс текст, а также чат-режимы, причем агент может показывать быстрые ответы и карусели.

Один агент может обслуживать телефон, веб, WhatsApp, SMS и электронную почту, что позволяет командам создавать решение один раз и развертывать его по всем каналам.

Защитные механизмы ( guardrails ): удержание агента в рамках задачи

Защитные механизмы — это элементы управления, которые удерживают поведение агента в заданных границах. Они работают параллельно с проверкой фактов (grounding), поскольку защитный механизм ограничивает то, что говорит агент, не делая лежащие в основе факты корректными. Защитные механизмы работают параллельно с разговорами агента, помогая делать диалоги с вашим ИИ-агентом соответствующими требованиям и точными.

Что они делают

ElevenAgents применяет защитные механизмы на трех уровнях. Системный промпт задает разрешенное и запрещенное поведение, в идеале под заголовком # Guardrails. Валидация пользовательского ввода проверяет сообщения на предмет инъекций промптов. Валидация ответов проверяет каждый ответ перед отправкой.

Почему это важно

Агент, который отклоняется от темы или выдумывает правила, быстро подрывает доверие. Агент службы поддержки должен получать политику возврата средств из утвержденного источника перед тем, как дать ответ, а защитный барьер (guardrail) обеспечивает соблюдение этой границы.

Как это реализовано в ElevenAgents

В сентябре 2026 года ElevenLabs представила Guardrails 2.0. Вот краткий обзор конфигураций в этой новой системе, которые помогают защитным барьерам работать эффективно:

• Фокус (Focus): удерживает агента в рамках темы и в соответствии с его системным промптом.
• Манипуляции (Manipulation): обнаруживает инъекции промптов и завершает разговоры, представляющие риск.
• Контент (Content): помечает такие категории, как материалы с элементами сексуального характера, насилия или политически чувствительные темы.
• Пользовательские (Custom): бизнес-правила, написанные вами на естественном языке, которые оцениваются при каждом ответе.

Режим выполнения определяет баланс задержки. Потоковый режим (Streaming mode) позволяет начать воспроизведение ответа до завершения проверки, поэтому в начале звонка до его прерывания может воспроизвестись менее 500 мс аудио, и ElevenLabs рекомендует его для голосовых агентов. Блокирующий режим (Blocking mode) ожидает валидации и добавляет примерно от 200 до 500 мс.

При срабатывании пользовательского защитного барьера соответствующее действие либо завершает звонок, либо повторяет попытку генерации ответа до трех раз с написанным вами отзывом. Ваш клиент может прослушивать событие guardrail_triggered.

Многоуровневые защитные барьеры с выбранным профилем задержки поддерживают предсказуемое поведение агента, не замедляя каждый ответ.

Тестирование и эксперименты: доказательство работоспособности агента

Тестирование проверяет агента перед запуском. Эксперименты проверяют изменения на живом трафике после запуска.

Что это делает

У ElevenAgents есть три типа тестов для агентов. Симуляция (Simulation) проводит полный разговор с симулированным пользователем и проверяет, достигается ли заданный результат, выполняя до 50 шагов (по умолчанию 5). Тесты следующего ответа (Next Reply) оценивают только следующее сообщение агента на соответствие вашим критериям. Тесты вызовов инструментов (Tool Call) проверяют, использует ли агент правильный инструмент с правильными параметрами, сопоставляемыми по точному значению, регулярному выражению или с помощью оценки LLM. В симуляциях вы можете имитировать отсутствие инструментов, все инструменты или выбранные.

Почему это важно

Один успешный прогон показывает, что агент может справиться с задачей. Многократный запуск тестов показывает, как часто он будет это делать. API принимает параметр repeat_count от 2 до 20, а результаты показывают процент успешных прогонов (pass rate). Зеленый цвет означает 100%, желтый — 80% или выше, а красный — ниже 80%. Ошибки сгруппированы по причинам. Промпты, модели, рабочие процессы и интеграции — всё это влияет на поведение, поэтому тестирование продолжается и после запуска.

Как работают эксперименты

Эксперименты — это A/B тесты, построенные на версионировании агентов. вы разветвляете свою конфигурацию, изменяете одну переменную (например, системный промпт, рабочий процесс, голос, инструменты, базу знаний или настройки LLM) и направляете часть реального трафика на этот вариант. ElevenLabs рекомендует начинать с 5–10%.

Маршрутизация является детерминированной по идентификатору разговора (conversation ID), поэтому конкретный пользователь остается на той же ветке, а проценты в сумме должны составлять 100%. CARS24, клиент ElevenLabs, наращивал трафик через 5%, 10%, 20%, 50% и 100% с двухдневной паузой на каждом шаге, как описано в отчете.

Предпусковые тесты и живые эксперименты в совокупности превращают изменения в измеримые улучшения.

Наблюдаемость (Observability): измерение происходящего в продакшене

Наблюдаемость — это способность видеть, что сделал агент, как он себя проявил и, в случае необходимости, где именно он потерпел неудачу. Агент, который отлично работает в тестах, может вести себя иначе с реальными абонентами, что делает полную наблюдаемость и ведение проверяемых журналов (auditable records) обязательным условием.

Что это делает

Почему это важно

Ключевые показатели эффективности (KPI)