Продукт
Baseten Voice Agent Stack — это настраиваемая инфраструктура с низкой задержкой для создания и запуска масштабируемых голосовых агентов промышленного уровня.
Авторы
Baseten Voice Agent Stack предоставляет командам больше контроля над тем, как они запускают, настраивают и масштабируют голосовых агентов в рабочей среде. Baseten Realtime Voice, эталонный агент, созданный на базе этого стека, достигает медианной задержки ответа менее секунды при 32 одновременных сессиях. Оба решения сейчас находятся в стадии закрытого тестирования, присоединиться к списку ожидания можно здесь.
Сегодня мы запускаем Baseten Voice Agent Stack и Baseten Realtime Voice, чтобы помочь командам создавать высокопроизводительные, настраиваемые голосовые агентные системы промышленного уровня, которые можно легко развертывать и администрировать на Baseten.
- Baseten Voice Agent Stack — это инфраструктура для запуска голосовых агентов промышленного уровня на базе Baseten Dedicated Inference. Она запускает оркестратор и каждую модель внутри тесной внутрикластерной сети для обеспечения оптимальной сквозной задержки, масштабирует каждый компонент независимо и позволяет выбирать или дообучать любую модель в конвейере.
Baseten Voice Agent Stack — это инфраструктура для запуска голосовых агентов промышленного уровня на базе Baseten Dedicated Inference. Она запускает оркестратор и каждую модель внутри тесной внутрикластерной сети для обеспечения оптимальной сквозной задержки, масштабирует каждый компонент независимо и позволяет выбирать или дообучать любую модель в конвейере.
- Baseten Realtime Voice — это сверхбыстрый и недорогой API для голосовых агентов с качеством уровня передовых моделей, построенный на базе Baseten Voice Agent Stack. Он обладает сверхнизкой задержкой ответа, стоит около $0,01 за минуту аудио и поддерживает протокол OpenAI Realtime, поэтому существующих агентов можно перенести с минимальными изменениями.
Baseten Realtime Voice — это сверхбыстрый и недорогой API для голосовых агентов с качеством уровня передовых моделей, построенный на базе Baseten Voice Agent Stack. Он обладает сверхнизкой задержкой ответа, стоит около $0,01 за минуту аудио и поддерживает протокол OpenAI Realtime, поэтому существующих агентов можно перенести с минимальными изменениями.
Оба решения сейчас находятся в стадии закрытого тестирования, и вы можете записаться в наш список ожидания здесь.
Baseten Voice Agent Stack
Baseten Voice Agent Stack объединяет все инфраструктурные примитивы, критически важные для голосовой агентной системы промышленного уровня, в одном месте — от оптимизации среды выполнения вывода и эффективного сетевого взаимодействия между моделями до автоматического масштабирования трафика, отказоустойчивости между облаками и поддержки дообучения моделей. Это позволяет разработчикам сосредоточиться на выборе правильных моделей и создании проприетарной бизнес-логики своего агента.
Полный список ключевых функций представлен в следующей таблице:
Baseten Realtime Voice: сверхбыстрый и очень недорогой API для голосовых агентов
Чтобы продемонстрировать возможности Baseten Voice Agent Stack, мы создали Baseten Realtime Voice — эталонного голосового агента, который запускает полный каскад оптимизированных Baseten речевых моделей с открытыми весами (см. сноску 1) вместе с кастомным оркестратором на базе Pipecat. Он поддерживает опциональное делегирование, объединяя быструю модель-собеседника для ведения диалога с более мощной моделью-мыслителем для рассуждений и вызова инструментов.
В нашей конфигурации Baseten Realtime Voice:
- Набирает 93% в Full-Duplex-Bench, что является самым высоким показателем среди всех систем с открытым исходным кодом на Artificial Analysis.
Набирает 93% в Full-Duplex-Bench, что является самым высоким показателем среди всех систем с открытым исходным кодом на Artificial Analysis.
- Набирает 73,5% в τ²-Bench Voice (см. сноску 2), что более чем вдвое превышает базовый каскадный показатель.
Набирает 73,5% в τ²-Bench Voice (см. сноску 2), что более чем вдвое превышает базовый каскадный показатель.
- Стоит меньше за минуту ($0,012), чем любой другой хостинговый API для преобразования речи в речь, который мы оценивали при 32+ одновременных потоках.
Стоит меньше за минуту ($0,012), чем любой другой хостинговый API для преобразования речи в речь, который мы оценивали при 32+ одновременных потоках.
Baseten Realtime Voice в действии: голосовой агент, созданный на базе Baseten Voice Agent Stack
Голосовой агент, созданный на базе Baseten Voice Agent Stack, может делегировать сложный вопрос модели для рассуждений и выполнять поиск в интернете.
Наш подход к созданию Baseten Realtime Voice
Совместное размещение каскада и оркестратора
Простого совместного размещения моделей недостаточно. Даже если все три компонента размещены на Baseten, удаленный оркестратор все равно добавляет сотни миллисекунд сетевых задержек (round trips) на каждый ответ.
Baseten Voice Agent Stack запускает оркестратор вместе с моделями, устраняя эти задержки.
Полный контроль над моделями
Наш стек голосовых агентов является агностическим по отношению к моделям на каждом этапе каскада.
Когда компонент привязан к одному поставщику, ваш агент может улучшаться только с той скоростью, с которой этот поставщик выпускает новые возможности, или пока вы не перейдете к другому провайдеру. Мы используем другой подход: мы предоставляем основные примитивы оркестрации, позволяющие использовать любую комбинацию STT, LLM и TTS, которую вы уже можете разместить на Baseten. Это включает в себя наши лучшие в своем классе среды выполнения для моделей с открытыми весами и быстрорастущую библиотеку партнерских моделей Baseten for Model Labs, которые обеспечивают возможности передовых лабораторий при экономике выделенного развертывания.
Стек также поддерживает популярные сторонние API, поэтому вы можете комбинировать выделенные и хостинговые компоненты, что позволяет постепенно переносить каждую часть каскада на выделенную инфраструктуру.
Зачем дообучать голосовых агентов?
Полный контроль над моделями также открывает возможность дообучения на каждом уровне каскада. Например, если вы управляете агентом в такой вертикали, как здравоохранение или финансовые услуги, возможность дообучить вашу STT-модель на отраслевом жаргоне и специфических диалогах может значительно улучшить качество работы агента по сравнению с готовыми решениями.
Что касается LLM, мы видим большие успехи в дообучении LLM для компаний, занимающихся голосовыми агентами, что улучшает поведение агента в реальных сценариях звонков. Кроме того, мы разработали рецепты тонкой настройки на Baseten Training для TTS, чтобы проводить обучение с учителем на ваших голосовых данных для повышения выразительности и естественности речи вашего агента.
Делегирование для улучшения возможностей рассуждения
Голосовые агенты должны оставаться отзывчивыми, даже когда они ищут информацию или выполняют действие. Благодаря делегированию модель-собеседник, размещенная локально, обрабатывает разговорные ответы, в то время как асинхронно передает задачи на рассуждение и такие возможности, как веб-поиск, более мощным внешним моделям.
Это позволяет пользователям получать быстрые ответы от одной модели, при этом используя возможности рассуждения более мощной внешней модели.
Запуск инструментов и MCP на стороне сервера для сокращения задержки вызова инструментов
Мы поддерживаем вызов инструментов как на стороне клиента, так и на стороне сервера, а также поддержку MCP-сервера, поэтому агенты могут легко подключаться к существующим базам знаний и выполнять действия.
Инструменты на стороне сервера выполняются непосредственно на оркестраторе, который размещен вместе с остальной частью каскада на Baseten, что позволяет избежать дополнительных сетевых запросов от клиента. Это дополнительно снижает общую задержку ответа и ограничивает накладные расходы на реализацию на стороне клиента, поэтому диалоги остаются отзывчивыми, даже когда агент выполняет действия.
Быстрая интеграция с API, совместимым с OpenAI realtime
Мы разработали Baseten Realtime API, чтобы сделать миграцию с закрытых Realtime API максимально простой. Он соответствует основному протоколу OpenAI Realtime, поэтому рабочие процессы, построенные на вызове инструментов на стороне клиента и сервера, делегировании, MCP и голосовом управлении, переносятся с минимальными изменениями, что мы подтвердили с первыми партнерами по дизайну на их существующих потоках агентов.
Поскольку вы контролируете модели, он также поддерживает то, чего нет во многих закрытых API: усиление ключевых слов (keyword boosting), настраиваемые подтверждения, клонирование голоса и нативный доступ к нашим Model APIs и хостинговым инструментам. Он работает в режимах audio-in/audio-out и text-in/audio-out.
Бенчмарки
Задержка
Наши постоянно оптимизируемые версии ведущих моделей речи с открытым исходным кодом, включая Whisper, Qwen3-ASR и Qwen3-TTS, лидируют в сторонних бенчмарках по задержке финальной транскрипции и времени до первого аудио (TTFA). Эти оптимизации для каждой модели снижают порог задержки ответа (turn-latency) в каскадных системах, а настройка оркестратора удерживает фактическую задержку ответа максимально близко к этому порогу.
При контексте до 16K токенов медианная задержка ответа остается стабильной на уровне ~1 с при количестве одновременных сессий от 1 до 56. Более длинные контексты могут увеличивать задержку ответа, поэтому настраиваемая суммаризация контекста позволяет удерживать каждую сессию в рамках целевой длины контекста, сохраняя ограниченный объем памяти и высокую производительность даже при более высокой конкурентности.
Стоимость
В масштабе полностью выделенный каскад является наиболее экономически эффективным способом запуска голосовых агентов, который мы нашли, — примерно 0,01 доллара США за минуту аудио на поток.
Начиная с 32 одновременных потоков, стоимость минуты ниже, чем у любого хостингового speech-to-speech API, с которым мы сравнивали. Это связано с тем, что выделенное ценообразование дополнительно амортизирует стоимость оборудования с каждой дополнительной одновременной сессией. Сравнение также является консервативным для провайдеров с оплатой за токены, так как мы не учитываем кэшированные токены, за которые они выставляют счета при каждом ответе. Вызовы, делегированные более крупным моделям рассуждения (reasoning models), оплачиваются за токен, как стандартные эндпоинты LLM.
Автомасштабирование отдельных компонентов
Когда каждый компонент каскада работает на Baseten, каждый из них масштабируется независимо в соответствии с собственной целью по конкурентности, что позволяет удерживать строгие хвосты задержки p90 и p95. Это также рычаг управления затратами. Компоненты STT, LLM и TTS каскадного агента часто насыщаются с разной скоростью, поэтому вместо масштабирования всего каскада каждый раз, когда один компонент достигает своего предела, мощность масштабируется только для того компонента, которому она необходима. Это поддерживает высокую загрузку GPU при одновременном снижении стоимости минуты аудио.
Рассуждение и вызов инструментов
Скорость и стоимость имеют значение только в том случае, если агент действительно может выполнять задачи. τ²-Bench Voice измеряет именно это, тестируя реальные задачи поддержки клиентов через живые полнодуплексные телефонные звонки.
Baseten Realtime Voice набирает 73,5% в английском сегменте таблицы лидеров, включая 93,9% в телекоме — области с самыми длинными цепочками вызовов инструментов с включенным делегированием. Это делает его ведущим стеком с открытым исходным кодом в таблице лидеров и самой высокооцененной каскадной системой в списке, более чем в два раза превосходя базовый каскадный уровень (31,2% pass@1). Архитектура «talker-thinker» обеспечивает этот результат: совместно размещенный «говорящий» поддерживает отзывчивость ответов, в то время как более сильный «думающий» отвечает за оркестрацию вызовов инструментов.
Динамика разговора
Естественный разговор зависит от тайминга: понимания того, когда звонящий закончил говорить, а когда нужно промолчать. Для решения этой задачи Baseten Realtime Voice использует комбинированный подход с VAD и классификатором обнаружения смены хода (turn detection), построенный на ведущих решениях с открытым исходным кодом из TurnBench, и мы вложили значительные средства в его настройку для шумного реального аудио. В сегменте Artificial Analysis бенчмарка Full-Duplex-Bench, который измеряет очередность разговора и обработку прерываний, он набирает 93% (взвешенно), что является самым высоким показателем среди полнодуплексных систем с открытым исходным кодом.
Будущая работа
Наше внимание сосредоточено на поддержке более сложных потоков оркестрации и упрощении переноса существующих конвейеров голосовых агентов на Baseten, где вы по-прежнему сможете использовать вышеуказанные возможности со своей собственной логикой оркестрации. Мы также изучаем новые парадигмы голосовых агентов за пределами каскадного конвейера. К ним относятся полнодуплексные разговоры с нативными моделями speech-to-speech и омни-модели в паре с выделенными TTS-головками. Кроме того, мы продолжим совершенствовать саму оркестрацию — с новыми примитивами для планирования между компонентами каскадного конвейера.
Присоединяйтесь к списку ожидания
И Baseten Voice Agent Stack, и Baseten Realtime Voice сейчас находятся в стадии закрытого превью, и вы можете записаться в наш список ожидания здесь. Чтобы узнать больше о поддерживаемых функциях и API, ознакомьтесь с нашей документацией и recipes.
Сноски
- Конфигурация Baseten Realtime Voice, измеренная в этом посте, состоит из STT: Qwen3-ASR (1xRTX-6000), LLM: Gemma-4-31B (1xB200), TTS: Qwen3-TTS (1xRTX-6000) и модели GLM-5.3 Fast Delegate на Baseten Model APIs
Конфигурация Baseten Realtime Voice, измеренная в этом посте, состоит из STT: Qwen3-ASR (1xRTX-6000), LLM: Gemma-4-31B (1xB200), TTS: Qwen3-TTS (1xRTX-6000) и модели GLM-5.3 Fast Delegate на Baseten Model APIs
- Успех задачи: Artificial Analysis τ-Voice, полнодуплексные модели (2026-11-10); GPT-Live-1 (Astra) 1 попытка, GPT-Realtime-2.1 High 2 попытки. Стоимость хостинга: стоимость Artificial Analysis за час входящего аудио (подмножество Big Bench Audio) ÷ 60; включает тарифицируемый вывод и рассуждение. Стоимость Baseten: цена по прайсу $18,39/час ÷ 32 одновременные сессии, при полной загрузке ■ † Исключая стоимость за токен делегирования GLM-5.3 Fast § Оценка Baseten составляет 73,5% pass^1 на тестовом стенде Sierra τ²-Bench Voice, по собственной оценке; не измерялось Artificial Analysis, не подлежит прямому сравнению
Успех задачи: Artificial Analysis τ-Voice, полнодуплексные модели (2026-11-10); GPT-Live-1 (Astra) 1 попытка, GPT-Realtime-2.1 High 2 попытки. Стоимость хостинга: стоимость Artificial Analysis за час входящего аудио (подмножество Big Bench Audio) ÷ 60; включает тарифицируемый вывод и рассуждение. Стоимость Baseten: цена по прайсу $18,39/час ÷ 32 одновременные сессии, при полной загрузке ■ † Исключая стоимость за токен делегирования GLM-5.3 Fast § Оценка Baseten составляет 73,5% pass^1 на тестовом стенде Sierra τ²-Bench Voice, по собственной оценке; не измерялось Artificial Analysis, не подлежит прямому сравнению












