Промпты являются важной частью поведения приложений на базе LLM, но команды часто управляют ими вместе с кодом приложения или в отдельных ноутбуках и конфигурационных файлах. Из-за этого изменения промптов зависят от релизов приложений, и бывает трудно понять, какая именно версия работает в каждой конкретной среде. Когда изменение влияет на качество, задержку или стоимость работы приложения, командам также нужен способ связать такое поведение с версией промпта, которая его вызвала.
Prompt Management в Datadog Agent Observability предоставляет централизованный реестр, где вы можете создавать, версионировать, развертывать и получать промпты независимо от цикла релизов вашего приложения. Prompt Management работает совместно с Prompt Tracking, связывая управляемые версии промптов с вызовами LLM, которые их используют, что помогает понять, как изменения промптов соотносятся с поведением приложения.
В этой статье мы объясним, как вы можете:
- Управлять версиями промптов в едином месте
Управлять версиями промптов в едином месте
- Развертывать изменения промптов независимо от релизов приложений
Развертывать изменения промптов независимо от релизов приложений
- Управлять тем, как версии промптов доставляются в ваши приложения
Управлять тем, как версии промптов доставляются в ваши приложения
- Связывать изменения промптов с производительностью приложений
Связывать изменения промптов с производительностью приложений
Управлять версиями промптов в едином месте
По мере того как команды дорабатывают приложения на базе LLM, разработку промптов становится сложно координировать. Различные версии могут находиться в коде приложения, файлах конфигурации или средах разработки, что затрудняет определение промпта, работающего в продакшене, или его сравнение с более ранней версией.
Prompt Management предоставляет командам централизованный реестр промптов, используемых их LLM-приложениями. Каждый управляемый промпт имеет стабильный идентификатор (Prompt ID) и историю версий. Вы можете обновлять промпт, в то время как приложения продолжают ссылаться на тот же идентификатор, а также изучать более ранние версии, чтобы понять, как промпт изменялся.
Страница Prompts объединяет управляемые промпты и промпты, перехваченные с помощью Prompt Tracking, в единый каталог. Если Agent Observability уже отслеживает промпт в вашем приложении, вы можете зарегистрировать его для управления, вместо того чтобы воссоздавать заново. Вы также можете создавать промпты напрямую в Datadog и определять переменные для контента, который ваше приложение передает во время выполнения.
При редактировании управляемого промпта Datadog сохраняет предыдущие версии вместо того, чтобы перезаписывать их. История версий и сравнение помогают командам проверять изменения промптов и при необходимости возвращаться к более ранним версиям.
Развертывать изменения промптов независимо от релизов приложений
Prompt Management разделяет развертывание промптов и развертывание приложений. Вместо встраивания каждой ревизии промпта в код приложения, ваше приложение запрашивает управляемый промпт во время выполнения по его стабильному идентификатору Prompt ID. Datadog сопоставляет этот запрос с соответствующей развернутой версией.
Это разделение дает командам большую гибкость в доработке поведения промптов, так как они могут опубликовать новую версию промпта и развернуть ее в среде без выпуска новой сборки приложения. Если изменение промпта приводит к нежелательным результатам, вы можете развернуть более раннюю версию без отката несвязанных изменений приложения.
Приложения также могут сохранять локальный промпт в качестве резервного варианта на случай сбоя получения управляемого промпта. Это позволяет командам внедрять управляемые промпты, сохраняя при этом резервное поведение, определяемое на уровне приложения.
Prompt Management поддерживает получение промптов во время выполнения в Python. Сведения о предварительных требованиях и деталях реализации, включая поддерживаемые версии ddtrace, аутентификацию и резервное поведение, см. в документации по Prompt Management.
Управлять тем, как версии промптов доставляются в ваши приложения
Различным этапам разработки промптов часто требуются разные версии одного и того же промпта. Команде может потребоваться одна версия в разработке, другая на стейджинге и стабильная версия в продакшене без необходимости поддерживать отдельные идентификаторы промптов для каждой среды.
Prompt Management позволяет развертывать версии с одним и тем же Prompt ID в разных средах. Приложения могут получать версию, связанную с их средой, в то время как разработчики также могут запросить точную версию, когда им нужно воспроизвести или проверить определенное поведение.
Для более точного контроля Prompt Management использует функции Datadog Feature Flags для поддержки правил таргетинга. Внутри одной среды вы можете оставить одну версию промпта по умолчанию, а другую версию отправлять запросам, соответствующим заданным вами атрибутам. Это дает командам возможность выборочно применять изменения промптов без создания отдельных промптов или изменения развертываний приложений.
Эти элементы управления обеспечивают единый путь продвижения изменений промптов через разработку в продакшн. Команды могут сохранять стабильный Prompt ID, самостоятельно определяя, какую версию получают различные среды или таргетированные запросы.
Связывать изменения промптов с производительностью приложений
Управление версиями промптов решает лишь одну часть жизненного цикла разработки промптов. Командам также необходимо понимать, что происходит после того, как версия попадает в их приложение.
Когда Agent Observability включен, Prompt Management работает в паре с Prompt Tracking для связывания управляемых версий промптов со спанами LLM. Затем Datadog может сопоставить отдельный промпт с информацией о его использовании и производительности.
На странице Prompts вы можете сравнить версии по объему вызовов, задержке (latency), использованию токенов и стоимости. Вы также можете просматривать историю версий, анализировать различия между промптами и переходить к трейсам, в которых использовалась конкретная версия. Этот контекст помогает командам выяснить, совпадают ли изменения в поведении приложения с обновлением промпта.
Например, если после обновления промпта изменилась задержка или объем используемых токенов, вы можете определить версию, связанную с затронутыми вызовами LLM, и изучить соответствующие трейсы. Prompt Tracking также позволяет фильтровать Trace Explorer по имени, идентификатору или версии промпта, предоставляя еще один способ расследования запросов, связанных с изменениями.
Получение промптов и Prompt Tracking остаются независимыми функциями. Приложения могут получать управляемые промпты без включения Agent Observability, в то время как Agent Observability предоставляет спаны LLM и метаданные промптов, необходимые для анализа использования и производительности промптов. Подробные сведения об инструментировании и корреляции см. в документации по Prompt Tracking.
Управление изменениями промптов с помощью Datadog Agent Observability
Prompt Management предоставляет командам LLM-приложений централизованный версионируемый реестр для изменения промптов независимо от релизов приложений. Команды могут развертывать различные версии в разных средах, управлять тем, как версии доставляются до трафика приложений, и возвращаться к более ранним версиям без изменения используемого приложением Prompt ID.
В сочетании с Prompt Tracking функция Prompt Management также связывает эти версии с вызовами LLM и данными о производительности, помогая командам исследовать, как изменения промптов влияют на поведение приложения.
Datadog Agent Observability предоставляется бесплатно для клиентов Datadog, отправляющих до 40 000 LLM-спанов в месяц. Чтобы узнать больше о начале работы с Agent Observability, см. страницу продукта и документацию.
Если у вас нет учетной записи Datadog, зарегистрируйтесь для получения 14-дневной бесплатной пробной версии, чтобы управлять промптами для ваших LLM-приложений и контролировать их.
