15 октября 2026 г.
Автор:
Сегодня мы запускаем публичную бета-версию Twilio Video Media SDK. Этот новый серверный SDK помогает компаниям и разработчикам подключать видеосвязь в реальном времени к системам ИИ путем безопасной потоковой передачи аудио и видео из Twilio Video Rooms в их серверные системы. Этот запуск является частью нашего обязательства по созданию надежной основы для взаимодействия с клиентами на базе ИИ, предоставляя компаниям инструменты для создания более интеллектуального, отзывчивого и взаимосвязанного клиентского опыта.
Представьте, что клиент обращается за помощью в критической ситуации, когда одного текста недостаточно. Чат-бот может помочь с простыми вопросами, но некоторые ситуации требуют визуального контекста, эмпатии и участия человека. Именно здесь видеозвонок в реальном времени, поддерживаемый ИИ, может помочь командам предоставлять ответы быстрее и обеспечивать более персонализированную поддержку.
Почему это важно? Многие разговоры с клиентами сейчас обрабатываются ИИ-агентами по телефону или в чате, но все еще остаются важные моменты, требующие живого человеческого общения. Когда вам нужно увидеть, что происходит, показать что-то или по-настоящему понять проблему, видео — это самый личный и эффективный способ помочь.
С помощью Twilio Video Media SDK вы можете создавать более интеллектуальные и безопасные видеоинтерфейсы, которые при этом остаются персонализированными. Вы можете добавлять новые функции с использованием ИИ, обеспечивать безопасность конфиденциальной информации и повышать эффективность работы групп поддержки без необходимости дополнительной настройки со стороны клиентов.
Как работает Twilio Video Media SDK
Twilio Video Media SDK — это серверный программный пакет, который позволяет вашему приложению подключаться напрямую к Twilio Video Room в качестве безопасного виртуального участника. Эта архитектура позволяет вашей серверной части получать отдельные аудио- и видеодорожки напрямую, без сложных обходных путей или рендеринга на стороне клиента.
Такой подход дает важные преимущества как для бизнеса, так и для клиентов:
- Безопасный серверный доступ к медиаданным: отдельные аудио- и видеодорожки могут направляться на ваш защищенный сервер, что сохраняет конфиденциальность чувствительной информации и позволяет соблюдать требования безопасности и защиты данных, включая сценарии использования, подпадающие под действие HIPAA и GDPR.
- Логика ИИ для всех каналов: команды могут использовать одну и ту же логику ИИ (например, для транскрибации или анализа тональности) в чатах, мессенджерах, голосовой связи и видео, чтобы клиенты и группы поддержки не теряли контекст при переключении между каналами, что позволяет продолжать поддержку без прерываний.
- Больше возможностей для экспериментов: разработчики могут тестировать новые модели ИИ, промпты и рабочие процессы, что упрощает проверку новых идей и добавление функций без необходимости перестраивать ваши видеосистемы.
Что можно создать с помощью Video Media SDK
Twilio Video Media SDK позволяет предоставлять интеллектуальные, безопасные видео- и аудиоинтерфейсы на базе ИИ. Сделав свой сервер виртуальным участником каждого звонка, вы открываете широкий спектр сценариев использования:
- Мультимодальные ИИ-ассистенты: создавайте более интеллектуальных разговорных агентов, подключая аудио и видео в реальном времени к передовым моделям ИИ. Ваш ИИ может как видеть, так и слышать пользователей во время звонков, сохраняя контекст в SMS, голосовой связи и видео.
- Автоматизированная медицинская документация: транслируйте аудио консультации в системы клинической транскрибации в реальном времени. Мгновенно создавайте безопасные, соответствующие требованиям HIPAA клинические заметки непосредственно в системах EHR.
- Удаленная верификация и выездные проверки: передавайте видео в реальном времени в специализированные модели компьютерного зрения для проверки личности (KYC), оценки ущерба или обнаружения объектов — повышая скорость и точность во время сервисных звонков.
- Серверные проверки качества и соответствия: проводите визуальные инспекции, аудит присутствия переводчиков и модерацию контента на стороне сервера, обеспечивая качество и соответствие требованиям без разрядки аккумулятора устройства или влияния на производительность звонка.
Лидеры бизнеса готовятся к будущему
Ранние пользователи, такие как GLOBO Language Solutions, находятся в авангарде языкового доступа в здравоохранении. Будучи лидером в области технологий устного перевода и коммуникации с пациентами, GLOBO использует SDK от Twilio для повышения качества в реальном времени, обеспечения соответствия требованиям и интеграции ИИ в процесс ухода за пациентами.
«В GLOBO мы считаем, что высококачественный языковой доступ должен быть доступен в каждой точке взаимодействия с пациентом, независимо от канала. С помощью Twilio Video Media SDK наша команда может безопасно использовать видео по запросу в высокотребовательных регуляторных средах, таких как здравоохранение, и экспериментировать с новейшими инструментами ИИ. Гибкость и контроль серверного подхода Twilio позволяют нам быстро внедрять инновации, соединяя наших клиентов с нужными людьми и ресурсами в нужный момент, через мессенджеры, голос и теперь — иммерсивное видео».
- Франческа Майр, старший вице-президент по инновациям и опыту, GLOBO
Строим более интеллектуальное будущее вместе
Twilio продолжает инвестировать в будущее взаимодействия с клиентами. Video Media SDK — это фундаментальный шаг к клиентскому опыту, где ИИ-агенты, эксперты-люди и коммуникации в реальном времени работают вместе по всем каналам.
Попробуйте публичную бета-версию Video Media SDK сегодня, чтобы увидеть, как она может улучшить ваш клиентский опыт. Изучите документацию, ознакомьтесь с кратким руководством или свяжитесь с нами, чтобы начать работу. Мы приветствуем ваши отзывы, сценарии использования и запросы на партнерство, поскольку мы продолжаем формировать будущее взаимодействия с клиентами на базе ИИ.
Дополнительные ресурсы
- Обзор Video Media SDK
- Краткое руководство по Video Media SDK
- Документация Video Media SDK
Энди О'Дауэр — вице-президент и полевой технический директор (Field CTO) в Twilio, где он руководит работой по превращению агентного ИИ в производственную коммуникационную инфраструктуру. Он сотрудничает с руководством Twilio по исследованиям, разработкам и выводу продуктов на рынок в вопросах ИИ-стратегии платформы. Ранее он руководил продуктами Voice, Video и Flex, которыми пользуются миллионы разработчиков и которые приносят сотни миллионов долларов годовой выручки. Энди был клиентом Twilio еще до того, как стал руководителем в компании, создавая решения на базе платформы в стартапах с венчурным финансированием и публичных компаниях. Он более 20 лет занимается созданием программных платформ и команд для них, живет в Эвергрине, штат Колорадо.
