При оценке AI-моделей для целей наблюдаемости (observability) недостаточно просто сгенерировать правдоподобный запрос или объяснение. Командам необходимо знать, подтверждаются ли выводы агента телеметрией, действительно ли работают внесенные им изменения в дашборды и способен ли он стабильно выдавать надежные результаты.
Именно поэтому мы создали o11y-bench — открытый бенчмарк от Grafana Labs для оценки AI-моделей в задачах наблюдаемости и SRE. И сегодня мы рады поделиться двумя новостями: o11y-bench теперь является частью индекса Specialized Intelligence Index от Fireworks, платформы для обучения и инференса AI, а также мы выпускаем o11y-bench 1.1 с обновлениями, которые делают оценку более обоснованной, последовательной и воспроизводимой.
Добавление o11y-bench в Specialized Intelligence Index
Индекс Specialized Intelligence объединяет созданные специалистами бенчмарки для сравнения производительности открытых, закрытых и специализированных AI-моделей в отраслевых задачах: от здравоохранения и финансов до кибербезопасности и разработки ПО. Он помогает командам определять лучшие модели для своих рабочих нагрузок, понимать, в чем заключается ценность специализации, и оценивать баланс между качеством, стоимостью и скоростью.
Благодаря o11y-bench now part of the index команды SRE, платформ-инжиниринга и наблюдаемости могут оценить работу AI-моделей на реальных сценариях наблюдаемости — от запросов к метрикам, логам и трейсам до расследования инцидентов и управления дашбордами Grafana — наряду с бенчмарками для других специализированных доменов и вариантов использования.
Запуск бенчмарка с инференсом Fireworks
Теперь o11y-bench также поддерживает Fireworks в качестве провайдера инференса в своем стандартном агенте на базе LiteLLM. Это означает, развертываемых внутри их собственных аккаунтов Fireworks, используя тот же воспроизводимый рабочий процесс, что и для других провайдеров.
Интеграция integration обрабатывает учетные данные Fireworks, имена развертываний и настройки рассуждений, что позволяет настраивать запуски бенчмарка единообразно. Это упрощает воспроизведение результатов из индекса или оценку моделей, размещенных на Fireworks, в соответствии с вашими собственными требованиями.
Как o11y-bench оценивает модели в реальных задачах наблюдаемости
Наблюдаемость заслуживает собственного места в оценке моделей. Во время инцидента сложная часть редко заключается в генерации валидного кода PromQL, LogQL или TraceQL. Инженеру или агенту приходится находить нужный сигнал, использовать правильный диапазон времени, связывать данные из разных типов телеметрии, отличать симптом от причины, а иногда и изменять постоянное состояние, не ломая при этом то, от чего зависят другие инженеры.
o11y-bench оценивает эти и другие возможности в работающем стеке Grafana. Агенты используют MCP-сервер Grafana для работы с синтетической, но реалистичной телеметрией и выполнения 64 задач в шести областях:
- Prometheus и PromQL
Prometheus и PromQL
- Многоэтапные расследования инцидентов
Многоэтапные расследования инцидентов
- Рабочие процессы API Grafana
Рабочие процессы API Grafana
- Создание, редактирование и исправление дашбордов
Создание, редактирование и исправление дашбордов
Эти задачи достаточно конкретны для оценки, но в то же время отражают реальные трудности, с которыми инженеры сталкиваются в повседневной работе с наблюдаемостью. Например, запрос может быть синтаксически корректным, но выбирать не ту серию данных, а дашборд может отображаться, несмотря на ошибки в переменных, источнике данных или сохраненном запросе.
По этой причине o11y-bench начинает с результатов (outcomes). Он сравнивает утверждения агента с фактами, прочитанными из той же среды, и проверяет состояние, которое агент оставляет после себя. Другими словами, убедительного ответа недостаточно — результаты должны подтверждаться фактами.
Почему важна согласованность
Каждая задача o11y-bench запускается три раза. Бенчмарк измеряет не просто то, может ли модель решить задачу один раз, но и то, насколько стабильно она справляется с ней при повторных попытках.
Такая стабильность особенно важна для наблюдаемости. Модель, которая пришла к правильному ответу один раз, в следующий раз может последовать по ложному пути или выдать неподтвержденное значение. Во время инцидента такая нестабильность может стоить времени и затруднить доверие команд к результатам.
o11y-bench отдает приоритет показателю Pass^3 (среднему баллу бенчмарка по результатам трех запусков), а также сообщает Pass@3, который фиксирует, удалось ли модели добиться успеха хотя бы один раз. Изучение обоих показателей помогает отделить случайные победы от воспроизводимой производительности.
Улучшение бенчмарка: что нового в o11y-bench 1.1
Наряду с включением o11y-bench в Specialized Intelligence Index, мы выпускаем , которая делает оценку более ориентированной на результат, воспроизводимой и устойчивой к ответам, которые звучат убедительно, но не подкреплены фактами из среды.
Улучшения разделены на три направления:
- Обоснованные результаты: Вместо поощрения определенного подхода или формулировки o11y-bench проверяет результат: совпадают ли утверждения модели с фактами, корректны ли ее сохраненные изменения и соответствует ли ее поведение требованиям задачи. Полученные цифры сверяются с эталонными значениями, а указанные трейсы считываются из Tempo для проверки того, что они подтверждают утверждения агента.
Обоснованные результаты: Вместо поощрения определенного подхода или формулировки o11y-bench проверяет результат: совпадают ли утверждения модели с фактами, корректны ли ее сохраненные изменения и соответствует ли ее поведение требованиям задачи. Полученные цифры сверяются с эталонными значениями, а указанные трейсы считываются из Tempo для проверки того, что они подтверждают утверждения агента.
- Детерминированная оценка: Правка дашбордов оценивается с помощью сравнения сохраненного состояния до и после изменений (diffs). Если эталонный запрос пуст или завершается ошибкой, результат рассматривается как ошибка оценки, а не как фактор, влияющий на процент успешных прохождений.
Детерминированная оценка: Правка дашбордов оценивается с помощью сравнения сохраненного состояния до и после изменений (diffs). Если эталонный запрос пуст или завершается ошибкой, результат рассматривается как ошибка оценки, а не как фактор, влияющий на процент успешных прохождений.
- Воспроизводимая, откалиброванная оценка: Сохраненные факты позволяют пересчитывать результаты без повторного запуска агента, а сценарии остаются стабильными с течением времени. Контрольный пропуск без использования инструментов не справился ни с одной из 64 задач, показав, что одних правдоподобных ответов недостаточно для прохождения.
Воспроизводимая, откалиброванная оценка: Сохраненные факты позволяют пересчитывать результаты без повторного запуска агента, а сценарии остаются стабильными с течением времени. Контрольный пропуск без использования инструментов не справился ни с одной из 64 задач, показав, что одних правдоподобных ответов недостаточно для прохождения.
Поскольку o11y-bench 1.1 использует обновленную систему оценки и калибровки задач, его результаты несопоставимы напрямую с версией 1.0. Версия 1.1 устанавливает новую базовую линию для будущих сравнений.
Открытые бенчмарки создают лучшие бенчмарки
Задачи, среды, логика оценки и результаты o11y-bench полностью открыты (open source). Это означает, что любой желающий может изучить работу бенчмарка, воспроизвести его результаты и помочь выявить области для улучшения.
Добавление o11y-bench в Specialized Intelligence Index расширяет эту работу до масштабов более широкой инициативы по оценке моделей. Мы рады видеть, что наблюделость представлена наряду с другими специализированными доменами, и предоставить инженерным командам больше аргументов для оценки моделей, используемых в их рабочих процессах.
Мы также ожидаем, что бенчмарк продолжит развиваться. Новые модели, агентские обвязки, инструменты наблюдаемости и режимы сбоев выявят пробелы и создадут возможности для улучшения оценки. Как и всегда, мы приветствуем отзывы и вклад со стороны сообщества в рамках этого процесса.
Чтобы начать:
- Изучите бенчмарк: ознакомьтесь с задачами, категориями и подробными результатами на o11ybench.ai.
Изучите бенчмарк: ознакомьтесь с задачами, категориями и подробными результатами на
