Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Pochemu upravlenie ii agentami nachinaetsya s nablyudaemosti
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Почему управление ИИ-агентами начинается с наблюдаемости

Источник: LangChain•20 ноября 2026 г. в 01:31

Почему управление ИИ-агентами начинается с наблюдаемости

Надежная стратегия управления ИИ-агентами

ИИ-приложения могут варьироваться от простых внутренних чат-ботов до критически важных для бизнеса агентов, взаимодействующих с клиентами, но все решения на базе больших языковых моделей (LLM) способны рассуждать самостоятельно, поэтому внедрение управления стало ключевым фактором при любом уровне освоения ИИ. Недавние заголовки новостей о нарушениях безопасности агентов вызвали еще большую срочность в установлении управления в качестве обязательного условия для использования и разработки ИИ.

Хотя необходимость управления агентами широко признана в большинстве организаций, многие все еще пытаются понять, с чего начать. Существуют некоторые рекомендации по управлению агентами сверху вниз от регулирующих органов, таких как OWASP Agentic AI Threats & Mitigations, NIST AI Risk Management Framework или AI Agents under EU Law. В этих руководствах описываются риски, связанные с агентами, но не определяется, как смягчить эти проблемы или проверить эффективность управления.

Когда команды, с которыми мы работаем, выпускают агентов с соблюдением стандартов управления, мы выделяем две основные общие стратегии:

Централизация видимости всех агентов. Организациям нужен единый обзор агентов, работающих в компании, чтобы дорогостоящие операции, несанкционированное использование и неконтролируемые агенты не оставались без внимания. Такая видимость позволяет устанавливать ограничения для агентов и проверять их поведение, чтобы удостовериться в соблюдении защитных барьеров.

Понимание поведения отдельных агентов. Агенты не детерминированы, поэтому один и тот же агент может выбирать разные пути и вызывать разные инструменты для одних и тех же входных данных. Возникающие проблемы часто специфичны для задачи и пути выполнения каждого агента, поэтому командам необходим доступ к полной траектории каждого запуска агента, чтобы понимать его действия и получать оповещения о неожиданном поведении.

Что такое наблюдаемость агентов

В основе обеих этих стратегий лежит наблюдаемость агентов — способность записывать, проверять и анализировать каждый шаг, предпринимаемый вашим ИИ-агентом. Обычно это означает отслеживание шагов и атрибутов вашего агента, возможность быстро запрашивать эти данные и получать к ним доступ, а также использование возможностей для интерпретации поведения агента в масштабе.

Наблюдаемость является краеугольным камнем для стратегий управления, поскольку защитный барьер или лимит расходов/использования не гарантируют, что агент будет им следовать, и агенты должны тщательно мониториться для проверки того, что эти барьеры работают должным образом. Метрики наблюдаемости предоставляют данные для непрерывного укрепления общей системы управления.

Профилактическое и детектирующее управление агентами

Методы управления агентами в компании можно разделить на профилактические и детектирующие.

Профилактическое управление: Защитные барьеры, применяемые во время выполнения для блокировки запрещенных действий, включая лимиты, идентификацию агентов и политики в отношении инструментов, доступа к данным, моделей и стоимости. Тестирование перед выпуском — еще одна профилактическая мера, при которой агенты оцениваются на соответствие установленным стандартам качества и безопасности с обязательным пороговым значением перед релизом.

Детектирующее управление: Мониторинг поведения агентов вскоре после выполнения для выявления вызывающих опасения действий, проблем с качеством и неожиданных изменений в поведении. Эти меры включают онлайн-оценки, оповещения, распознавание образов, проверку человеком, а также обнаружение регрессии и дрейфа.

Оба типа управления зависят от наблюдаемости. Профилактическое управление опирается на трассировки для проверки того, что защитные барьеры работают должным образом, и использует результаты тестов для значительного улучшения агентов перед выпуском. Детектирующее управление использует трассировки для оценки поведения, выявления проблем и определения того, что необходимо исправить в продакшене.

Профилактическое управление подтверждается наблюдаемостью

Профилактические элементы контроля начинаются с предсказаний о том, как агент будет себя вести, и обеспечиваются защитными барьерами и шлюзами. Эти элементы управления должны быть протестированы и проверены до развертывания в продакшене, а также должны непрерывно мониториться для аудита их работоспособности во время выполнения агента.

Тестирование перед выпуском с помощью оценок и краудсорсинга угроз (red-teaming)

Тестирование перед выпуском дает командам способ установить порог качества, которому должны соответствовать агенты перед релизом. Например, компания может потребовать, чтобы каждая команда оценивала своих агентов по эталонному набору данных и достигала определенного порога показателей качества — например, менее 2% галлюцинаций, отсутствие утечки персональных данных или более 90% точности по сравнению с разметкой человека — перед развертыванием.

Трассировка — это подробная информация о вызове агента, а траектории — это хронологическое, удобочитаемое разговорное представление сеанса ИИ-агента. Централизованная трассировка предоставляет пользователям видимость всех создаваемых в организации агентов и позволяет подтвердить, что предпродакшн-тестирование вообще происходит, а траектории делают более длительные действия агента интерпретируемыми.

После предварительного запуска оценки ее трассировки и траектории показывают, где агент находился по каждой метрике. Эти записи выявляют причины сбоев и указывают на пути улучшения поведения агента.

Трассировки также показывают командам, где агенту требуются дополнительные защитные барьеры. Некоторые ограничения могут быть установлены до запуска агента, например, маскирование персональных данных перед вызовом LLM или завершение работы при вызове заблокированного инструмента. Другие ограничения выявляются только путем запуска оценок при разработке или тестирования агентов на устойчивость с помощью состязательных тестовых примеров. Эти тесты показывают, когда агенту требуются более специфические барьеры, например, ограничение на сумму возврата денег, которую может выдать агент службы поддержки.

Проверка в продакшене с помощью трассировок и траекторий

Защитные барьеры во время выполнения являются ключевой профилактической мерой, но установки этих барьеров недостаточно для подтверждения того, что они работают при каждом запуск агента. Перед выпуском агента командам необходимо обеспечить возможность аудита, чтобы подтвердить работоспособность этих барьеров при каждом вызове агента, а также способы объяснения того, что произошло в случае их сбоя.

Трассировка и траектории имеют решающее значение для записи и понимания поведения агента в продакшене и служат аудиторским следом для регулирующих органов, служб безопасности и команд, позволяя подтвердить наличие защитных барьеров или расследовать случаи их обхода.

Возможность аудита имеет ключевое значение, поскольку агенты могут находить альтернативные пути достижения цели, включающие нежелательные промежуточные шаги (иногда называемые «манипулированием» путем к желаемому конечному состоянию), которые не проявлялись при тестировании перед выпуском. Например, агент без доступа на запись к базе данных может получить доступ к той же таблице через песочницу, или агент поддержки с лимитом одобрения возвратов может разделить один крупный возврат на два меньших, чтобы обойти ограничение. Тонкие изменения в агенте, такие как дрейф модели или сбои инструментов, могут усугубить эти эффекты.

Детектирующее управление строится на наблюдаемости

Детектирующее управление использует наблюдаемое поведение агентов для проверки того, работают ли агенты в рамках конкретных стандартов организации, установки проверок качества на уровне агентов, выявления нарушений или деградации и отправки оповещений о них, а также для инициирования улучшений при необходимости. Все эти операции зависят от возможности проверки и анализа трассировок агентов в продакшене.

Онлайн-оценки, панели мониторинга и оповещения

Онлайн-оценки выполняются автоматически на основе актуальных трассировок для проверки поведения агентов на соответствие стандартам качества и безопасности. Они позволяют выявлять такие проблемы, как утечка персональных данных, чрезмерные циклы вызова инструментов и раскрытие конфиденциальных данных, а также специфические для домена сбои. Например, агент службы поддержки, обрабатывающий запросы на возврат средств, может оцениваться по тому, проверяет ли он личность клиента и детали заказа перед оформлением возврата.

Панели мониторинга объединяют такие сигналы, как оценки качества, паттерны сбоев, показатели ошибок, задержку, стоимость за выполнение и поведенческие тенденции, предоставляя командам наглядную информацию о качестве, безопасности, надежности и операционной эффективности агентов с течением времени. Благодаря более детальному обзору команды могут выявлять возникающие проблемы, исследовать их первопричины и понимать, приводят ли изменения к улучшению производительности.

Оповещения превращают эти метрики в практические задачи. Например, команды могут устанавливать пороговые значения для качественных оценок, таких как случаи утечки персональных данных или галлюцинации, а также для операционных метрик, таких как частота ошибок, повторные попытки или стоимость.

Эти функции, работающие на основе метаданных из трассировок или оценок, вычисленных по траектории агентов, помогают командам выявлять вызывающее опасения поведение по мере его возникновения и направлять проблемы нужным людям для проверки и устранения.

Выявление закономерностей и дрейфа по трассировкам агентов

Определенные ухудшения работы или риски агентов становятся очевидными только при анализе закономерностей в трассировках.

В случае с агентом службы поддержки разговоры могут начать включать запросы, выходящие за рамки первоначальной сферы применения агента. Хотя агент может вежливо отказаться без генерации ошибки, удовлетворенность в этой конкретной категории снизится, почти не повлияв на общий уровень удовлетворенности. В этом сценарии отдельная трассировка может выглядеть корректно и без ошибок, но при сравнении и кластеризации поведенческих паттернов падение удовлетворенности по определенной теме станет очевидным.

Инструменты наблюдаемости, такие как отчеты LangSmith Insights, автоматически объединяют большие объемы данных трассировки в общие модели поведения агентов, режимы сбоев и заданные метрики, помогая командам выявлять проблемы, которые могут быть пропущены при индивидуальных оценках или оповещениях.

Обнаружение регрессий и дрейфа также помогает командам определить, приводят ли изменения в агенте к новым сбоям или ухудшают ранее надежное поведение. Офлайн-оценки выполняются на наборах данных, созданных на основе проверенных трассировок, которые представляют собой корректно обработанные кейсы. Команды могут тестировать агента на том же наборе данных ежедневно для обнаружения регрессий и дрейфа, или тестировать новые конфигурации агентов на этих наборах данных для сравнения оценок до и после изменений.

Категоризация тенденций в больших масштабах также помогает определить, когда общее изменение затрагивает сразу нескольких агентов, позволяя командам предотвращать риски до того, как они перерастут в серьезные проблемы в продакшене.

Диагностика и проверка

Оценки и оповещения могут выявлять вызывающее опасения поведение, но они не могут предсказать каждый сценарий сбоя. В недетерминированных системах пространство проблем велико и не ограничено, а агенты могут ухудшать свои показатели по мере изменения контекста, инструментов и условий работы, даже если сам агент не подвергался изменениям.

Экспертная проверка помогает командам исследовать случаи, когда автоматических проверок недостаточно. Эксперты в предметной области могут проводить аудит помеченных трассировок, оценивать поведение агентов и переносить корректно обработанные примеры в эталонные наборы данных для текущего тестирования.

В нашем примере с агентом службы поддержки рецензенты могут изучить разговоры, в которых агент отклонил запросы, выходящие за рамки его компетенции, чтобы понять, справился ли он с ними должным образом.

Наблюдаемость делает этот процесс более управляемым, выводя на передний план запуски, наиболее важные для проверки, например, с низкими оценками корректности или помеченными действиями, избавляя проверяющих от необходимости вручную изучать тысячи трассировок.

Трассировки также содержат сигналы о сбоях и нарушениях регламентов, которые существующие оценки, защитные механизмы или оповещения могут пропустить. Тем не менее, ручное чтение производственных трассировок в больших объемах зачастую непрактично, поэтому командам необходимы способы автоматического выявления этих проблем на основе сигналов трассировки.

LangSmith Engine может анализировать трассировки для выявления повторяющихся сбоев, предлагать исправления и тестировать их на трассировках, связанных с данной проблемой. Агент службы поддержки может неоднократно пытаться вызвать несуществующий инструмент при обработке определенного типа запроса на возврат средств. Engine может помочь выявить это повторяющееся поведение, предложить исправление и протестировать его на затронутых трассировках перед развертыванием.

Полученные результаты также используются для превентивного управления: например, вновь обнаруженный сбой может привести к ужесточению защитного механизма или созданию нового регрессионного теста. Таким образом, детектирующее управление помогает командам постоянно совершенствовать средства контроля, регулирующие поведение агента.

Управление через наблюдаемость обеспечивает более быстрый цикл итераций

Среди более чем 16 000 производственных агентов, развернутых на LangSmith, 87% команд внедрили трассировку еще до своего первого развертывания. Превентивные средства контроля определяются и проверяются на основе наблюдаемого поведения, а детектирующие средства контроля работают поверх него.

Благодаря управлению на основе централизованной трассировки команды лучше понимают своих агентов, быстрее обнаруживают и устраняют проблемы, а также избегают создания каждого защитного слоя и слоя наблюдаемости с нуля. Это можно сравнить с ремнем безопасности: команды едут с большей уверенностью, зная, что они защищены средствами безопасности. Команды могут выпускать релизы быстрее, когда они уверены, что в системе предусмотрены механизмы, обеспечивающие прозрачность и проверяемость работы агента в продакшене.

Для получения более подробной информации о том, как управление агентами реализуется с помощью LangSmith, см. наш блог: Building Governed Agents: A Framework for Cost, Control, and Compliance.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Tencent Hy4 доступна на Together AI
Together AI

Tencent Hy4 доступна на Together AI

Совместная работа с коллегами-ИИ на мобильных устройствах в голосовом режиме
Perplexity

Совместная работа с коллегами-ИИ на мобильных устройствах в голосовом режиме

Netflix, Amazon, Fox поборются за права на мужской чемпионат мира по футболу 2030 года; Disney выбываетПресса
Amazon

Netflix, Amazon, Fox поборются за права на мужской чемпионат мира по футболу 2030 года; Disney выбывает

Что такое RAG как услуга (RaaS)? Варианты использования и ведущие провайдеры
Perplexity

Что такое RAG как услуга (RaaS)? Варианты использования и ведущие провайдеры

Fibo 2.0 уже на Civitai: прочитайте пункт о коммерческом использовании дважды
OrcaRouter

Fibo 2.0 уже на Civitai: прочитайте пункт о коммерческом использовании дважды

FIBO 2.0 против HY-Image 3.5: одна таблица объявляет ничью
OrcaRouter

FIBO 2.0 против HY-Image 3.5: одна таблица объявляет ничью

Ещё от LangChain

LangSmith Tool Gateway: безопасное и управляемое использование инструментов для агентов
LangChain

LangSmith Tool Gateway: безопасное и управляемое использование инструментов для агентов

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам
LangChain

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам

Защита конфиденциальных данных в трассировках: новые средства управления в LangSmith
LangChain

Защита конфиденциальных данных в трассировках: новые средства управления в LangSmith

Что мы узнали при создании проактивных агентов
LangChain

Что мы узнали при создании проактивных агентов

Почему мы перестроили LangSmith вокруг агента
LangChain

Почему мы перестроили LangSmith вокруг агента

От задач к целям
LangChain

От задач к целям