Итак, вы начали внедрять агентов в своей организации. Возможно, они автоматизируют рутинные рабочие процессы или даже обеспечивают внешнюю поддержку клиентов. Но готовы ли вы к тому, что произойдет, если один из них даст сбой? Скажем, агент внес изменения, которые не должен был делать, или совершил действие без соответствующих разрешений. Кто будет реагировать? Кто несет ответственность? И как предотвратить повторение подобного?
Именно на эти вопросы мы помогаем ответить в 10-м эпизоде нашей серии Data & AI Weekly под названием «Когда управление ИИ дает сбой: кто несет ответственность, если агенты ошибаются». Дэниел Такабаяши, штатный инженер по внедрению (Staff Forward Deployed Engineer) в Redpanda, работает напрямую с клиентами, развертывающими агентные системы. В этом эпизоде он рассказывает о том, где и почему такие проекты терпят неудачу, почему вопрос ответственности должен обсуждаться еще на этапе планирования ИИ-проекта и как снизить риски с помощью надлежащего управления ИИ.
Читайте далее основные моменты беседы или посмотрите полный эпизод, чтобы узнать обо всех идеях Дэниела.
Почему команды сейчас задаются вопросами об управлении ИИ?
Согласно недавнему отчету Gartner под названием «Когда управление ИИ дает сбой, страдают доходы и руководители», к 2028 году более 50% неудачных ИИ-проектов будут связаны не с проблемами производительности моделей, а со слабой подотчетностью.
Управление ИИ быстро превращается из дополнительной инициативы в обязательную. Проверки закупок и безопасности теперь начинают тестировать управление ИИ так же, как они проверяют соответствие требованиям SOC II. Компании вынуждены соответствовать нормативным требованиям Закона ЕС об ИИ (EU AI Act), независимо от того, находятся ли они в ЕС или нет — подобно тому, как GDPR начал влиять на организации по всему миру.
Это означает, что ежегодной проверки и инвентаризации ваших ИИ-систем в таблице будет недостаточно. Как отмечает Дэниел, чем сложнее становятся ваши агентные системы, тем труднее будет их отслеживать и тем сложнее будет минимизировать ущерб.
Как выглядит слабая подотчетность в сфере ИИ?
С годами опасения по поводу ИИ-проектов сместились от «Достаточно ли это хорошо для продакшена?» к «Есть ли у нас навыки для обучения?» и затем к «Масштабируемо ли это?».
Теперь открытым остается вопрос наблюдаемости: как контролировать недетерминированных агентов, если вы не знаете конечного результата? По словам Дэниела, слишком много компаний забывают определить риски и ответственность в самом начале. Когда что-то идет не так, люди внезапно начинают искать виноватых и задавать вопросы вроде:
- Кто главный?
- Кто должен реагировать на проблему?
- Как нам предотвратить это в будущем?
Gartner описывает этот сценарий в отчете: клиент указывает на несправедливое ценообразование в системе котировок на базе ИИ, юридический отдел спрашивает, кто это одобрил, отдел продаж интересуется, можно ли продолжать рассылать котировки, а совет директоров спрашивает, почему никто не провел оценку рисков.
Дэниел делится лучшими практиками внедрения подотчетности в ИИ в эпизоде Data & AI Weekly, включая то, когда и как следует оценивать риски.
Почему риски растут по мере усложнения ИИ-проектов
Дэниел приводит несколько примеров использования, основанных на реальных проектах клиентов, чтобы показать, как быстро сложность (и риск) нарастают, когда организация развертывает несколько агентов и ИИ-инструментов.
Его примеры начинаются с относительно простого случая (IT-агент), а затем демонстрируют, как компания может продолжать выстраивать сложную сеть агентов на основе этого первоначального примера. Вот краткая схема того, как может функционировать IT-агент:
По мере того как компания продолжает развивать свою сеть агентов, эти простые требования к наблюдаемости быстро превращаются в сложную паутину систем, агентов и разрешений. Применять подотчетность постфактум становится гораздо сложнее, поэтому Дэниел рекомендует обсуждать эти темы на ранних этапах ваших ИИ-проектов.
Ниже приведено краткое изложение примеров использования, которые обсуждает Дэниел, а также их расширяющиеся навыки, интеграции и требования к наблюдаемости. (Посмотрите полный эпизод Data & AI Weekly для более подробного разбора каждого примера.)
С чего начать?
Независимо от того, на каком этапе вашего агентного пути вы находитесь, вам следует уделить первоочередное внимание оценке потребностей в наблюдаемости, если вы еще этого не сделали. Дэниел предложил два приоритетных направления для работы:
- Централизуйте наблюдаемость, чтобы вы могли отслеживать, наблюдать и контролировать весь агентный конвейер в одном месте. Единая платформа управления ИИ значительно упрощает инженерам создание, устранение неполадок и развертывание агентов, обеспечивая при этом контроль наблюдаемости и подотчетности.
- Определите риски в начале проекта наряду с показателями успеха. Команды привыкли определять, как выглядит успех, но часто забывают, что оценка и минимизация рисков не менее важны.
Сделайте подотчетность частью своей разработки с помощью Redpanda Agentic Data Plane
Модели редко являются слабым звеном. Большая потенциальная проблема заключается в том, знаете ли вы, что делают ваши агенты, к каким системам они обращаются и кто несет ответственность за результат, когда что-то идет не так. Сначала обеспечьте наблюдаемость и заранее назначьте ответственных лиц и определите риски, чтобы последующие средства контроля (оповещения, оценки, аварийные выключатели) имели под собой основу.
Если вы хотите применить это на практике, Redpanda Agentic Data Plane предоставляет единый управляемый шлюз между вашими приложениями и агентами со встроенными функциями идентификации, аудита, ограничения области действия и аварийного отключения. Самое приятное, что он работает с любой моделью, API, базой данных и облаком. Посмотрите на Agentic Data Plane в действии.
Посмотрите полный эпизод Data & AI Weekly, чтобы узнать больше
Если ваша команда сталкивается с проблемами наблюдаемости ИИ после развертывания, посмотрите полный эпизод «Когда управление ИИ дает сбой: кто несет ответственность, если агенты ошибаются», чтобы узнать:
- Как выглядит слабая наблюдаемость ИИ в повседневной работе и почему она должна предшествовать оценкам, аварийным выключателям и системам самовосстановления
- Как сложность нарастает по мере повторного использования агентов, на примерах из реальной жизни
- Что нужно определить до начала разработки: показатели успеха, риски и людей, ответственных за них
- Почему централизованное управление ИИ имеет решающее значение по мере расширения ваших агентных проектов
Если вы ищете единую платформу управления ИИ для корпоративных агентов, попросите нашу команду провести индивидуальную демонстрацию Redpanda Agentic Data Plane.












