Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Razvertyvanie golosovyh agentov s pomoschyu pipecat deepgram i amazon sagemaker
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Развертывание голосовых агентов с помощью Pipecat, Deepgram и Amazon SageMaker AI

Фото: x_OI (Pixabay) — https://pixabay.com/photos/microphone-vintage-cromatic-mic-5340340/

Источник: Amazon Web Services, Inc.•5 октября 2026 г. в 11:24

Развертывание голосовых агентов с помощью Pipecat, Deepgram и Amazon SageMaker AI

Узнайте, как развернуть голосового агента реального времени в AWS, используя Pipecat для оркестрации речевых моделей Deepgram в Amazon SageMaker AI с двунаправленной потоковой передачей и Claude в Amazon Bedrock, обеспечивая низкую задержку и сохраняя аудио внутри вашего VPC.

Pipecat использует трехслойную архитектуру для интеграции речевых моделей, запущенных на Amazon SageMaker AI. Понимание этого паттерна поможет вам подключить и другие модели помимо сервисов Deepgram, включенных в пример. Исходный код всех слоев находится в репозитории Pipecat в каталоге pipecat/services/aws/sagemaker/.

Слой 1: SageMakerBidiClient

На базовом уровне Pipecat предоставляет SageMakerBidiClient — многократно используемый HTTP/2-клиент, обрабатывающий протокол двунаправленной потоковой передачи SageMaker. Он управляет аутентификацией SigV4, жизненным циклом сеанса и фреймингом бинарных и текстовых сообщений:

Клиент подключается к runtime.sagemaker.<регион>.amazonaws.com:8443 и использует InvokeEndpointWithBidirectionalStream из AWS SDK. Параметры model_invocation_path и model_query_string сопоставляются с внутренней маршрутизацией контейнера, что позволяет направлять запросы к различным API моделей на одном эндпоинте.

Слой 2: Обертка сервиса (TTSService или STTService)

Обертка сервиса расширяет базовый класс TTSService или STTService из Pipecat и реализует протокол, специфичный для конкретной модели. Например, DeepgramSageMakerTTSService преобразует интерфейс run_tts(text) в Pipecat в сообщения протокола WebSocket для Deepgram:

Фоновая задача (_process_responses) непрерывно считывает данные из двунаправленного потока (BiDi stream), разделяя бинарные аудиоданные и JSON-сообщения управления (Flushed, Warning, Error, Close) и направляя их соответствующему обработчику.

Обертка STT следует тому же паттерну с model_invocation_path="v1/listen", отправляя «сырое» аудио с помощью send_audio_chunk() и анализируя JSON-ответы с результатами распознавания от Deepgram. Она также отправляет сообщения KeepAlive каждые 5 секунд для поддержания соединения в периоды тишины и Finalize, когда модуль VAD обнаруживает конец речи, чтобы выдать промежуточные результаты.

Слой 3: Интеграция в конвейер (Pipeline)

Фабрика сервисов (backend/voice-agent/app/services/factory.py) выбирает провайдера во время выполнения на основе переменных среды. Переключайтесь между облачными API и эндпоинтами SageMaker без изменения кода конвейера:

Интеграция собственной модели

Чтобы добавить новую речевую модель, развернутую на Amazon SageMaker AI с поддержкой двунаправленной потоковой передачи, следуйте этому паттерну:

  • Определите протокол контейнера. Выясните путь маршрута (например, /v1/synthesize), параметры запроса и формат сообщений, ожидаемый вашим контейнером модели (JSON-команды, бинарное аудио или и то, и другое). Ваш контейнер должен принимать соединения WebSocket на порту 8080 по пути /invocations-bidirectional-stream, куда Amazon SageMaker AI перенаправляет объединенный поток.
  • Расширьте базовый класс сервиса. Создайте подкласс TTSService или STTService и реализуйте необходимые методы: для TTS метод run_tts(text) отправляет текст, возвращает чанки TTSAudioRawFrame и обрабатывает сигналы сброса/завершения (flush/completion); для STT метод run_stt(audio) отправляет чанки аудио, а процессор ответов выдает TranscriptionFrame при поступлении результатов распознавания.
  • Настройте BiDi-клиент. Установите model_invocation_path и model_query_string в соответствии с маршрутизацией вашего контейнера. SageMakerBidiClient берет на себя аутентификацию и HTTP/2-фрейминг.
  • Обрабатывайте события жизненного цикла. Реализуйте _connect() для запуска сеанса и фоновых задач, _disconnect() для корректного завершения работы и handle_interruption(), если ваша модель поддерживает отмену посреди потока.

Любой контейнер модели, предоставляющий интерфейс двунаправленной потоковой передачи на Amazon SageMaker AI, может быть обернут с использованием этого паттерна. Это включает модели из сторонних маркетплейсов и пользовательские модели, развернутые с помощью vLLM или Triton. Чтобы внести свой вклад в виде новой обертки сервиса, сделайте форк репозитория Pipecat, реализуйте свой класс сервиса по описанному выше паттерну и откройте пулл-реквест. Вы можете использовать агент кодирования на базе ИИ, такой как Claude Code или Kiro, чтобы создать заготовку реализации на основе существующих оберток Deepgram в качестве примера.

← Все статьи

О чём эта статья

Ещё в разделе «Облака и инфраструктура»

Все →
Уязвимости NGINX HTTP/2: как выявить затронутые образы и применить обновления безопасности
Aqua Security

Уязвимости NGINX HTTP/2: как выявить затронутые образы и применить обновления безопасности

Генеральный директор Microsoft Сатья Наделла назвал сбой в Outlook «идеальным штормом». Вот что пошло не такПресса
Microsoft

Генеральный директор Microsoft Сатья Наделла назвал сбой в Outlook «идеальным штормом». Вот что пошло не так

Основное руководство по созданию фундамента данных для агентного ИИ
AWS

Основное руководство по созданию фундамента данных для агентного ИИ

AWS для софтверных компаний — Центр ресурсов ANZ
AWS

AWS для софтверных компаний — Центр ресурсов ANZ

Создание учетной записи
AWS

Создание учетной записи

Генеральный директор Microsoft Сатья Наделла сохраняет уверенность в Nvidia после ухода ХуангаПресса
Microsoft

Генеральный директор Microsoft Сатья Наделла сохраняет уверенность в Nvidia после ухода Хуанга

Ещё от AWS

Основное руководство по созданию фундамента данных для агентного ИИ
AWS

Основное руководство по созданию фундамента данных для агентного ИИ

AWS для софтверных компаний — Центр ресурсов ANZ
AWS

AWS для софтверных компаний — Центр ресурсов ANZ

Создание учетной записи
AWS

Создание учетной записи

Создание контента
AWS

Создание контента

AWS для медиа и развлечений | Управление жизненным циклом медиаконтента
AWS

AWS для медиа и развлечений | Управление жизненным циклом медиаконтента

Ресурсы по устойчивому развитию
AWS

Ресурсы по устойчивому развитию