LiveKit Agents позволяют разработчикам создавать голосовые и мультимодальные ИИ-агенты, которые слушают, отвечают и выполняют действия в режиме реального времени. Благодаря Recall.ai эти агенты теперь могут присоединяться к встречам в Zoom, Google Meet и Microsoft Teams.
Recall.ai берет на себя подключение к встрече, поэтому вы можете запускать своего агента на LiveKit, не создавая и не поддерживая отдельные интеграции для каждой платформы для проведения встреч.
Команда Recall.ai подготовила пример приложения, чтобы показать, как это работает. Оно использует агента LiveKit с аватаром Runway, который присоединяется к Google Meet, отвечает на вопросы, делится веб-страницами, отправляет сообщения в чат и реагирует на команды участников встречи.
Мы воспользуемся этим примером, чтобы разобрать интеграцию и показать, как инструменты функций LiveKit могут взаимодействовать со встречей через API Recall.ai.
В демо используется Google Meet, но интеграция также поддерживает Zoom и Microsoft Teams.
Как отправлять агентов LiveKit на свои встречиСсылка на этот раздел
Recall.ai присоединяется к встрече и подключает свой звук и медиапоток агента к комнате LiveKit. LiveKit берет на себя управление разговором, включая обработку речи, вывод модели и вызовы инструментов.
В примере есть два процесса: воркер LiveKit, запускающий агента, и небольшой Python-лаунчер, который создает бота Recall.ai.
Output Media API от Recall.ai поддерживает потоковую передачу медиа с веб-страницы на встречу. Благодаря интеграции с LiveKit бот может получать медиа напрямую из LiveKit, без необходимости использовать веб-страницу для рендеринга вывода камеры агента.
Перед запуском примера вам нужно включить интеграцию LiveKit в вашем рабочем пространстве Recall.ai в разделе Agents → LiveKit и настроить ее с помощью учетных данных вашего проекта LiveKit.
Подключение агента LiveKit к встречеСсылка на этот раздел
Лаунчер принимает URL-адрес Google Meet и создает бота Recall.ai, используя следующую конфигурацию из app/recall_client.py:
Здесь важны два поля:
- output_media.camera.kind установлено в значение livekit, что говорит Recall.ai использовать интеграцию LiveKit для вывода камеры бота.
- agent_name сообщает Recall.ai, какой зарегистрированный агент LiveKit должен обрабатывать сессию.
Со стороны LiveKit воркер регистрируется с тем же именем агента:
И лаунчер, и воркер считывают LIVEKIT_AGENT_NAME из переменных окружения. Они также должны использовать тот же проект LiveKit, который настроен в Recall.ai.
Когда бот подключается, Recall.ai включает ID бота и региональный URL API в метаданные задания LiveKit. Агент использует эти данные для отправки запросов обратно в Recall.ai, когда ему нужно выполнить какое-либо действие на встрече.
Валидация URL и конфигурация бота в лаунчере в настоящее время написаны для Google Meet. Базовая интеграция поддерживает также Zoom и Microsoft Teams, хотя для работы с этими платформами в лаунчер потребуется внести несколько изменений.
Дайте агенту задачуСсылка на этот раздел
Как только агент сможет присоединиться к встрече, следующим шагом будет предоставление ему возможности взаимодействовать с участниками.
Инструменты функций LiveKit позволяют агенту вызывать функции Python в ответ на запрос. В этом демо некоторые из этих функций вызывают API Recall.ai для демонстрации веб-страниц, отправки сообщений в чат и управления ботом.
Например, кто-то на встрече может сказать:
«Ассистент, поделись https://example.com».
«Ассистент, поделись https://example.com».
Агент вызывает инструмент, который отправляет запрос на демонстрацию экрана в Recall.ai:
Вы можете заметить, что камера бота использует livekit, но демонстрация экрана использует веб-страницу.
Это сделано намеренно. LiveKit обеспечивает речь и аватар агента, в то время как Recall.ai отображает демонстрируемую веб-страницу. Использование прямой интеграции с LiveKit не мешает боту использовать Output Media на основе веб-страниц для другого контента.
Демо также отслеживает последний URL, которым поделились. Если кто-то скажет:
«Ассистент, отправь эту ссылку в чат».
«Ассистент, отправь эту ссылку в чат».
Агент может опубликовать URL, не прося повторить его.
Другие инструменты позволяют участникам остановить демонстрацию, выключить или включить звук агента, а также попросить его покинуть встречу.
Поскольку модель запрашивает действия, влияющие на реальную встречу, функции Python также должны проверять, что именно их просят сделать. Например, инструмент демонстрации экрана принимает только публичные HTTPS-ссылки.
Когда Recall.ai принимает запрос на начало демонстрации экрана, инструмент не сообщает агенту, что страница уже видна. Он сообщает, что запрос был сделан, так как встреча может все еще обрабатывать его.
Убедитесь, что агент знает, когда отвечатьСсылка на этот раздел
На встрече не каждый вопрос адресован агенту. Если он будет отвечать на все, что слышит, он может начать перебивать других участников.
В демо Recall.ai используется простое правило: участники должны обращаться к агенту «Ассистент» или «livekit demo».
Пример проверяет завершенные транскрипты речи на наличие этих фраз, прежде чем передавать запрос агенту или позволять ему прерывать текущий ответ.
Он также рассматривает отключение звука и игнорирование запросов как две разные вещи.
Отключение звука мешает агенту говорить, но он все еще может использовать инструменты. Кто-то может выключить звук агента во время презентации и попросить его опубликовать ссылку в чате.
Игнорирование запросов останавливает агента от ответов или выполнения действий, пока участник явно не попросит его снова слушать. Когда прослушивание возобновляется, агент остается с выключенным звуком, если он был выключен ранее.
Эти элементы управления специфичны для демо. Другим приложениям может потребоваться агент, который участвует более активно, или тот, который реагирует только на ограниченный набор команд.
Запуск демоСсылка на этот раздел
Теперь, когда мы разобрались, как работает интеграция, перейдем к тестированию примера приложения. Полный код находится в .
Вам понадобятся Python 3.12 и uv, а также:
- Рабочее пространство Recall.ai с включенной интеграцией LiveKit и API-ключом
- Проект LiveKit Cloud с доступом к LiveKit Inference
- API-ключ Runway с доступом к Characters и пресетом персонажа
- Встреча в Google Meet для тестирования
Клонируйте репозиторий и установите зависимости:
Добавьте свои учетные данные и настройки модели в .env. Учетные данные проекта LiveKit должны совпадать с теми, что настроены в вашем рабочем пространстве Recall.ai.
Запустите воркер LiveKit:
Как только воркер зарегистрируется, откройте другой терминал и запустите лаунчер:
Откройте http://127.0.0.1:8000, введите URL встречи Google Meet и нажмите «Send agent».
Как только бот присоединится и аватар подключится, вы можете попробовать:
- «Ассистент, сколько будет два плюс два?»
- «Ассистент, поделись https://example.com».
- «Ассистент, отправь эту ссылку в чат».
- «Ассистент, выключи звук и напиши 'Привет из демо' в чате».
- «Ассистент, включи звук».
- «Ассистент, покинь встречу».
Лаунчер создан для локального тестирования и не включает аутентификацию приложения, поэтому не выставляйте его в публичный доступ. Агент также не может читать содержимое веб-страниц, которыми он делится, или взаимодействовать с ними.
Расширение демоСсылка на этот раздел
В демо используется небольшой набор действий для встреч, но вы можете применить этот же шаблон к другим сценариям использования. Агент может искать документацию и делиться ею во время звонка, публиковать ресурсы в чате или помогать модерировать дискуссию.
Агент LiveKit по-прежнему управляет логикой беседы и инструментов. Recall.ai берет на себя подключение к Zoom, Google Meet или Microsoft Teams и предоставляет API, необходимые для взаимодействия с совещанием.
Ознакомьтесь с репозиторием с примером, чтобы попробовать самостоятельно, или прочитайте документацию по LiveKit Agents и , чтобы узнать подробности.












