Фуад Вахаби (Fouad Wahabi)
Руководитель разработки ПО
Алекс Барксдейл (Alex Barksdale)
Старший инженер-программист
Кай Син Тай (Kai Xin Tai)
Старший менеджер по продукту
Удай Теннети (Uday Tennety)
Руководитель направления технологического партнерства
Командам, создающим агенты на базе открытых моделей, размещенных на Fireworks AI, таких как GPT-OSS, Kimi, GLM, Qwen и MiniMax, нужен надежный способ измерения того, дают ли их LLM-приложения и агенты точные, безопасные и полезные ответы с высокой эффективностью. Теперь Datadog Agent Observability поддерживает Fireworks AI в качестве провайдера моделей, что позволяет получить сквозную видимость ваших агентов на базе Fireworks AI — от трейсов и использования токенов до оценок качества. Вы можете использовать собственный API-ключ Fireworks AI и модели, размещенные на Fireworks AI, для проведения оценок методом LLM-as-a-judge (LLM в роли судьи) и экспериментов в Agent Observability Playground.
В этой статье мы покажем, как интеграция Fireworks AI от Datadog позволяет запускать оценки LLM-as-a-judge с помощью моделей Fireworks AI и экспериментировать с этими моделями в Agent Observability Playground. Вы можете тестировать промпты на моделях Fireworks AI в Playground, а затем просматривать результаты вместе с остальными данными Agent Observability.
Запуск оценок LLM-as-a-judge с помощью моделей Fireworks AI
После того как вы один раз подключите свою учетную запись Fireworks AI, все доступные в ней модели станут доступны везде, где Agent Observability позволяет выбрать провайдера моделей. Оценщики LLM-as-a-judge используют модель для оценки входных и выходных данных вашего LLM-приложения, что позволяет в больших масштабах выявлять такие проблемы, как галлюцинации, ответы не по теме или негативные отзывы пользователей.
Используя модели Fireworks AI в качестве судьи, вы можете подобрать модель под конкретную задачу: более крупную модель, такую как gpt-oss-120b, для детальной проверки качества, эндпоинт маршрутизатора с низкой задержкой для высокопроизводительной оценки или собственную дообученную модель для специфических критериев предметной области. Поскольку оценки выполняются в вашей учетной записи Fireworks AI, использование моделей подчиняется настроенным вами правилам выставления счетов и управления, а для каждого оценщика вы можете самостоятельно выбрать баланс между стоимостью и качеством. Кроме того, вам не нужно создавать отдельный пайплайн для экспорта трейсов, вызова модели и записи оценок обратно.
Затем Datadog выполняет оценку ваших производственных трейсов с помощью выбранной модели Fireworks AI, оценивая ваши LLM-трейсы по таким параметрам, как достоверность, релевантность теме или тональность, наряду с остальными данными наблюдаемости. Результаты отображаются рядом с каждым спаном, и вы можете отслеживать их с течением времени, фильтровать трейсы по оценке и настраивать оповещения об ухудшении показателей.
Эксперименты с моделями Fireworks AI в Playground
Agent Observability Playground от Datadog позволяет дорабатывать промпты до их отправки в продакшен. Например, если вы управляете службой поддержки онлайн-турагентства, вам может быть важно узнать, сможет ли открытая модель точно отвечать на вопросы о возвратах и отмене бронирования и достаточно ли она быстра для живого чата. В Playground вы можете протестировать свой системный промпт и реальный вопрос клиента на модели gpt-oss-120b и сразу увидеть ответ вместе с количеством токенов и задержкой.
После этого вы можете переключиться на другие модели Fireworks AI, включая эндпоинты маршрутизатора с низкой задержкой, такие как Nexus Auto, чтобы сопоставить качество ответа со скоростью и стоимостью. Вы также можете открыть полный трейс для любого запуска, чтобы точно увидеть, что модель получила на вход и что вернула. Когда промпт начнет давать хорошие результаты, запустите его на датасете с реальными вопросами клиентов, чтобы убедиться, что он работает стабильно и за пределами одного примера. Получив модель и промпт, которым вы доверяете, выберите «Get Code» (Получить код), чтобы скопировать конфигурацию в свое приложение. Те же модели Fireworks AI могут обеспечивать работу оценщиков, контролирующих приложение в продакшене.
Начало работы с Fireworks AI и Datadog
Интеграция с Fireworks AI уже доступна всем клиентам Datadog Agent Observability. Чтобы подключить свою учетную запись и узнать больше об оценках и Playground, обратитесь к документации по интеграции Fireworks AI.
Если вы впервые используете Datadog, вы можете начать работу, воспользовавшись 14-дневной бесплатной пробной версией. Впервые используете Fireworks AI?
