Отман Абу-Амаль
Директор по исследованиям в области ИИ
Бен Коэн
Штатный научный сотрудник
Афшин Ростамизаде
Штатный научный сотрудник
Амит Талвалкар
Главный научный сотрудник
Омри Сасс
Старший директор по продукту
Дэниел Шан
Штатный инженер
Сегодня мы представляем Scout 1.0, первую модель ИИ от Datadog, специализирующуюся на расследовании производственных инцидентов. Scout обеспечивает работу Bits Investigation, нашего ИИ-агента SRE. Мы обучили Scout снижать затраты на логический вывод (inference), чтобы расследования стали достаточно дешевыми для проведения на порядок чаще и на более ранних этапах жизненного цикла инцидента.
Основные моменты:
- Scout достигает лучшего соотношения цены и производительности в наших целевых сценариях по сравнению с универсальными передовыми моделями (Рисунок 1). Scout 1.0 medium соответствует GPT-6.1 Sol high и Claude Opus 5.5 high при оценке затрат на логический вывод в 3–8 раз ниже, а также показывает сопоставимые результаты с Fable medium и Astra medium при затратах в 12 и 19 раз ниже соответственно. При масштабировании во время тестирования Scout 1.0 xhigh соответствует Fable xhigh при затратах в 4 раза ниже.
Scout достигает лучшего соотношения цены и производительности в наших целевых сценариях по сравнению с универсальными передовыми моделями (Рисунок 1). Scout 1.0 medium соответствует GPT-6.1 Sol high и Claude Opus 5.5 high при оценке затрат на логический вывод в 3–8 раз ниже, а также показывает сопоставимые результаты с Fable medium и Astra medium при затратах в 12 и 19 раз ниже соответственно. При масштабировании во время тестирования Scout 1.0 xhigh соответствует Fable xhigh при затратах в 4 раза ниже.
- Мы создали Scout, используя нашу собственную инфраструктуру распределенного обучения с подкреплением, и широко опирались на реальные исторические инциденты и данные телеметрии для построения высококачественных обучающих симуляций, которые не содержат никаких данных клиентов. Для получения более подробной технической информации ознакомьтесь с нашим полным отчетом.
Мы создали Scout, используя нашу собственную инфраструктуру распределенного обучения с подкреплением, и широко опирались на реальные исторические инциденты и данные телеметрии для построения высококачественных обучающих симуляций, которые не содержат никаких данных клиентов. Для получения более подробной технической информации ознакомьтесь с нашим полным отчетом.
- Инженерные команды Datadog и небольшая группа клиентов в рамках закрытого предварительного просмотра уже используют Scout для расследования производственных оповещений. Зарегистрируйтесь для участия в предварительном просмотре, чтобы попробовать его в своей среде и оставить отзыв до общего выпуска.
Инженерные команды Datadog и небольшая группа клиентов в рамках закрытого предварительного просмотра уже используют Scout для расследования производственных оповещений. Зарегистрируйтесь для участия в предварительном просмотре, чтобы попробовать его в своей среде и оставить отзыв до общего выпуска.
Bits как служба быстрого реагирования на каждое оповещение
Наша цель — сделать Bits постоянно работающей службой быстрого реагирования, собирающей доказательства и определяющей вероятные причины до того, как к работе приступит инженер. Каждое расследование Bits включает в себя формирование гипотез, запрос телеметрии и принятие решения о том, подтверждают ли доказательства сделанный вывод (Рисунок 2). Эти шаги требуют многократных вызовов модели. Снижая стоимость логического вывода модели, мы даем командам больше возможностей для проведения расследований в своих средах. Эффективность Scout позволяет расширить поддержку большего числа оповещений и глубже исследовать сложные проблемы, обеспечивая более широкий охват, снижая нагрузку на дежурных инженеров и высвобождая больше времени для разработки.
Более низкая стоимость логического вывода также позволяет практично расходовать дополнительные вычислительные мощности на более сложные или критически важные задачи. Например, Scout 1.0 xhigh использует больше вычислений на инцидент для повышения качества расследования, и эта дополнительная глубина расследования снижает нагрузку на инженеров и давление даже во время самых серьезных инцидентов.
Обучение и оценка Scout для SRE-расследований
Мы построили Scout 1.0 на базе GLM-5.3 Flash и дообучили его с использованием обучения с подкреплением в симуляциях расследований. Мы используем исторические инциденты и телеметрию из реальных оповещений для создания реалистичных симуляций с известными причинами. Scout тренируется, используя инструменты, смоделированные на основе Bits Investigation, для сбора доказательств и проверки конкурирующих объяснений. Его обучение вознаграждает за нахождение причины и подтверждение своих выводов доказательствами.
Мы также создали собственную инфраструктуру обучения на базе инструментов с открытым исходным кодом, включая системы симуляции, оценки и обучения моделей, необходимые для запуска обучения с подкреплением в масштабе.
Чтобы проверить, переносятся ли эти навыки на реальные инциденты, мы создали AlertEval. Инженеры Datadog отобрали тысячи точек оценки в рамках нашего рабочего процесса реагирования на инциденты. AlertEval опирается на эту работу, объединяя реальные оповещения, архивированную телеметрию и объяснения первопричин, написанные инженерами.
Мы создаем Scout и Bits Investigation вместе, обучая модель для инструментов, которые использует Bits, и улучшая эти инструменты на основе того, что мы узнаем из его расследований.
Мы также оценили Scout на SREGym, стороннем бенчмарке, чтобы проверить его производительность вне AlertEval. Мы снова обнаружили, что Scout 1.0 medium значительно улучшает производительность базовой модели GLM-5.3-Flash, превосходя GLM-5.3 при более чем 4-кратном снижении затрат. Благодаря дополнительному масштабированию во время тестирования мы обнаружили, что Scout 1.0 high конкурентоспособен с лучшими моделями на этом бенчмарке, при этом сохраняя как минимум 2-кратную экономию затрат по сравнению со всеми конкурентами (10-кратная экономия по сравнению с моделями класса Astra/Fable).
В дальнейшем мы планируем моделировать более широкий спектр сбоев и продолжать улучшать качество расследований при одновременном снижении затрат на логический вывод. Мы также планируем расширить этот подход за пределы расследований, чтобы помочь командам автономно устранять проблемы для более быстрого восстановления сервиса. Вместе эти достижения выводят Bits за рамки роли службы быстрого реагирования и приближают его к тому, чтобы стать единственным участником реагирования во время инцидента, быстрее разрешая проблемы и снижая нагрузку на дежурных.
Присоединяйтесь к предварительному просмотру Scout 1.0 Bits Investigation
Клиенты, участвующие в предварительном просмотре, уже используют Bits Investigation на базе Scout для своих производственных оповещений. Зарегистрируйтесь для участия в предварительном просмотре, чтобы попробовать его в своей среде и оставить отзыв до общего выпуска.
Спасибо всем, кто помогал создавать Scout; ознакомьтесь с нашим техническим отчетом для получения полного списка авторов и благодарностей.
*Оценки измеряют соответствие экспертным эталонным объяснениям по шкале 0–100; это не проценты решенных инцидентов. Затраты — это оценочные затраты на логический вывод на одно расследование относительно Scout 1.0 medium. Более низкая стоимость отображается справа.
