LangSmith Bring Your Own Cloud (BYOC) теперь работает на AWS (GA), Azure (Beta) и Google Cloud (Beta). Ваши трассировки, оценки, наборы данных, промпты и развертывания агентов остаются в вашем собственном облачном аккаунте — в выбранном вами облаке, — а LangChain управляет для вас плоскостью данных (data plane), включая оркестрацию, масштабирование и обновление платформы.
Как BYOC разделяет LangSmith
Вы сами решаете, где запускаются ваши агенты и где хранится ваша телеметрия, не выполняя при этом работу по самостоятельному обслуживанию LangSmith. Чтобы это стало возможным, BYOC разделяет LangSmith на две части. LangChain управляет плоскостью управления (control plane), которая содержит аутентификацию, настройки организаций и рабочих пространств, метаданные биллинга, хэшированные ключи API и статические ресурсы пользовательского интерфейса. Вы владеете плоскостью данных (data plane), в которой хранится все конфиденциальное: от трассировок, промптов и наборов данных до экспериментов, развертываний агентов и секретов рабочих пространств.
Организация может содержать несколько плоскостей данных, каждая в своем конкретном аккаунте и регионе, и каждая плоскость данных содержит свои рабочие пространства. Это позволяет разделять плоскости данных по регионам, средам или бизнес-подразделениям.
Например, команда платформы может запускать производственную и тестовую плоскости данных в отдельных аккаунтах AWS, в то время как бизнес-подразделение, стандартизированное на Azure, запускает собственное отдельное развертывание BYOC в Azure. Трассировки каждой команды попадают в аккаунт, принадлежащий этой команде.
Почему мы создали BYOC
До сих пор команды со строгими требованиями к соблюдению нормативных требований развертывали и поддерживали саморазворачиваемую (self-hosted) версию LangSmith. Это позволяло удерживать данные в пределах собственного периметра, но требовало выделенных инженеров платформы для патчинга состояниезависимых сервисов, настройки баз данных и выполнения миграций схем.
С помощью BYOC компания LangChain подготавливает и обслуживает LangSmith внутри вашей собственной виртуальной сети. Представьте команду, которая запускает агентные приложения в нескольких средах. При использовании self-hosted варианта каждое обновление компонентов выполнения означало координацию простоев и управление пользовательскими развертываниями Helm в каждой среде. С BYOC данные в вашей плоскости данных остаются в вашем VPC, в то время как LangChain занимается масштабированием, обновлением схем и зависимостями среды выполнения.
Что заметили клиенты AWS
С момента запуска BYOC на AWS в августе многие команды выбрали запуск LangSmith в собственном облаке с помощью BYOC. Они отмечают три основных преимущества:
- Непрерывные обновления. LangChain выпускает обновления платформы, поэтому командам больше не нужно планировать окна обслуживания или управлять обновлениями Helm.
- Новейшие функции LangSmith. Новые функции появляются в плоскостях данных BYOC вскоре после их выхода в LangSmith Cloud, без необходимости ждать следующего релиза self-hosted версии.
- Автоматическое масштабирование. Сервисы масштабируются в зависимости от нагрузки, благодаря чему команды получают стабильное время безотказной работы и бесперебойную работу по мере роста использования.
Именно этот спрос подтолкнул нас к быстрому внедрению BYOC для Azure и Google Cloud, чтобы команды могли получить тот же опыт работы в любом выбранном ими облаке.
Как BYOC выглядит в каждом облаке
У каждого облака есть свои сетевые политики, модель идентификации и требования безопасности, поэтому BYOC строится на основе собственных архитектурных блоков каждого облака. Во всех трех облаках плоскости данных BYOC также запускают конечные точки Managed Deep Agents.
Azure: BYOC запускает плоскость данных внутри выделенной виртуальной сети с частной конечной точкой AKS API. Мы развертываем Istio и KEDA с помощью Helm для маршрутизации входящего трафика и масштабирования на основе событий, а системная телеметрия направляется в Azure Monitor. Поддержка LangSmith Sandboxes в Azure появится в ближайшее время.
Google Cloud: На момент запуска плоскости данных Google Cloud могут работать в любом регионе и управляться из плоскости управления LangSmith в США. Ресурсы используют имена с префиксом пространств имен, поэтому они не конфликтуют с вашей существующей инфраструктурой.
AWS: BYOC работает внутри вашей существующей VPC, а база данных располагается в выбранных вами подсетях. Команды безопасности могут подключать собственные группы безопасности к каждой роли приложения, благодаря чему плоскость данных соответствует уже используемым у вас политикам проверки входящего и исходящего трафика.
Переход с self-hosted версии без необходимости начинать все сначала
Self-hosted версия LangSmith давала полный контроль над тем, где хранятся ваши данные, но требовала значительных затрат на обслуживание. BYOC сохраняет данные в вашем аккаунте, пока мы запускаем инфраструктуру, и вы можете перенести с собой существующие данные из self-hosted версии.
Переход состоит из двух частей. Ресурсы вашего рабочего пространства переносятся с помощью нашего инструмента миграции с открытым исходным кодом migration tool, который считывает данные из вашего self-hosted инстанса, оставляя его нетронутым и работающим во время переноса. Для каждого облака он охватывает пользователей и роли, наборы данных, эксперименты и промпты. Он также переносит конфигурации очередей аннотаций, правила автоматизации, панели мониторинга и ресурсы Fleet.
Ваши трассировки, запуски и отзывы переносятся как отдельный этап, который LangChain выполняет за вас с помощью внутренних инструментов. Миграция трассировок уже доступна на AWS.
Открытый исходный код и общедоступный Terraform
LangChain и LangGraph имеют открытый исходный код. Модули Terraform, лежащие в основе BYOC, общедоступны по адресу github.com/langchain-ai/terraform, как и инструмент миграции. Шлюз LLM (LLM Gateway) на вашей плоскости данных по умолчанию обращается к моделям от 11 провайдеров, а также к любой конечной точке, совместимой с OpenAI или Anthropic, поэтому вы можете выбирать как модель провайдера, так и облако.
Начало работы
Свяжитесь с отделом продаж, чтобы развернуть плоскость данных BYOC на AWS, Azure или Google Cloud. В документации описаны архитектура, модель разделения ответственности, миграция, использование и часто задаваемые вопросы в разделе FAQ, а также представлена инструкция для Создания плоскости данных API (Create Data Plane API) в справочнике по API.
