Права AI-агентов: ведение учета отказов

Источник: Alation•

Права AI-агентов: ведение учета отказов

Права AI-агента определяют, что ему разрешено делать. Для управления также необходима запись о том, в чем ему было отказано, кем и когда. Узнайте, о чем спросят перед аудитом.

Многие поставщики решений для корпоративных данных сегодня продают контекст, и среди них — Alation, Snowflake и Databricks.¹ Уровень, который объясняет агенту значение метрики, происхождение цифры и то, какое именно определение фактически использует бизнес, стал наиболее оспариваемой позицией в этой категории.

Гораздо сложнее найти в публичных материалах любой компании переносимую запись о том, в чем агенту было отказано, кем и когда.

В результате возникает неравномерная готовность. Компания Grant Thornton выяснила, что организации, внедряющие ИИ, часто не могут показать, как принимаются решения или кто несет ответственность за результат.³ Организация, оказавшаяся в таком положении, реализовала лишь половину задачи. На наш взгляд, пропущенная половина — это как раз то, что отделяет организации, способные защитить свой ИИ, от тех, которые не могут этого сделать: компании, выходящие вперед, могут объяснить, как их ИИ принимает решения, назвать владельцев результатов и описать, что происходит при сбое.³

Наиболее резкая формулировка этой критики прозвучала от аналитика и автора Forbes¹², который незадолго до этого писал о собственных продуктах Alation для управления агентами.

В сентябре Виктор Дей опубликовал эксклюзивное интервью в Forbes о шести продуктах, которые Alation добавила в AIOS на мероприятии revAlation — от Semantic Model Mastering до реестра управления ИИ, подключающегося к агентам на базе Snowflake Cortex, Databricks MLflow, Microsoft Copilot Studio, Microsoft Foundry, Amazon SageMaker и Amazon Bedrock.⁴ Это была далеко не мягкая статья.

Дей начал с проблемы, которая кажется слишком мелкой, чтобы иметь значение. Спросите, сколько активных клиентов у бизнеса, и два отдела могут дать разные ответы, причем каждый из них будет обоснован. Отдел продаж может считать людей, все еще пользующихся продуктом. Финансовый отдел может считать людей, принесших доход за квартал. Агент выбирает один из вариантов, идеально рассчитывает его и выдает число, за точностью которого скрывается лежащее в его основе предположение.⁵

То, вокруг чего постоянно крутился материал Дея, — это вопрос на уровень выше. Alation заявляет, что ее реестр обновляет оценку рисков агента, когда набор данных, лежащий в основе отчета, не проходит проверку качества. Решение о том, реагировать ли на это предупреждение, как пишет Forbes, заключается в том, следует ли приостановить работу агента и какая именно система имеет полномочия вмешаться.⁶

Он высказал более широкую версию этого аргумента, когда принял участие в подкасте AI Radicals (Сезон 4, Эпизод 11).¹¹

Контекст говорит агенту, что означают данные. Он ничего не говорит о том, что ему разрешено делать.

Дей согласен с тем, что контекст является основой работающего агента, и именно поэтому его возражения против остановки на этом этапе заслуживают серьезного внимания.

«Если вы посмотрите на это и захотите понять, как работает агентирование, все сводится к контексту… Ему необходимо иметь правильное понимание на основе правильных данных из чистого источника и в нужном объеме», — рассказал он ведущему Сатьену Сангани. Он опирается на базовое правило, которое уже знает каждый инженер и специалист по работе с данными: «мусор на входе — мусор на выходе» (garbage in and garbage out).¹¹

Затем он усложняет задачу: «Что я считаю более важным, чем контекст, или столь же важным, как контекст, — это также права доступа, — сказал Дей. — К каким данным он прикасался? К каким точкам он прикасался? Был ли получен отказ, или ему было запрещено выполнять определенные действия? Если нет, то кто это сделал? В какой момент?»¹۱

Свидетельства, которые многим предприятиям будет трудно предоставить: запись об отказах

Компании редко рассказывают истории об агентах, которым сказали «нет». Это молчание отражает более широкую проблему: многие организации не уверены, что смогут продемонстрировать эффективность управления своим ИИ.

«Мы всегда говорим о том, чего добились агенты… — отмечает Дей. — Но я хочу услышать о тех случаях, когда их агентские реализации давали сбой, или конкретному агенту было отказано в выполнении определенной задачи, — сказал он. — Кто отказал? Что стояло за этим?»¹¹

Это вопрос аналитика, но также и аудитора. На наш взгляд, серьезная проверка оценивает не только то, что система сделала. Она спрашивает, что системе было запрещено делать и у кого были полномочия на этот запрет. Ближайшие показатели говорят сами за себя: проведенное компанией Grant Thornton в 2026 году исследование AI Impact Survey, охватившее 950 топ-менеджеров и руководителей высшего звена, показало, что 78% респондентов не уверены в своей готовности успешно пройти независимый аудит управления ИИ в течение 90 дней.⁷ Тот же опрос показал, что лишь 20% организаций имеют протестированный план реагирования на инциденты в случае сбоя ИИ.⁸

Дей не нагнетает панику по поводу сроков. Он считает, что многие предприятия все еще заняты пилотными проектами, что компании среднего бизнеса и малый/средний бизнес пока не входят в поле зрения этих вендоров, а реальные показатели внедрения появятся еще через полтора-два года. При этом он считает, что распространение уже идет полным ходом: «Агенты сходят с ума, и агенты растут», — заявил он.¹¹

Эти два наблюдения указывают на одно и то же. Численность агентов растет уже сейчас, а расплата за это придет позже. Это делает настоящий момент самым подходящим и наименее затратным для начала ведения учета.

Происхождение (lineage) может подсказать, откуда взялся ответ. Запись о том, что агент пытался сделать и в чем ему было отказано, — это совершенно другой артефакт.

Мониторинг агента — это не то же самое, что возможность его остановить

Системы наблюдаемости (observability) показывают, что агент сделал после совершения действия, что принципиально отличается от наличия полномочий предотвратить это действие. Сегодня во многих архитектурах присутствует первое, но отсутствует второе.

Сангани сам сформулировал открытые вопросы: «Какие агенты входят в плоскость управления (control plane)? Когда они в нее не входят? Как мне вообще узнать, что собирается делать агент? Как мне контролировать те элементы управления, которые я ему предоставляю?»¹¹

Ответ Дея ставит на один уровень четыре возможности. «Но не менее важны права доступа, системы защиты (guardrailing), наблюдаемость и прозрачность в отношении того, к чему агент прикасался, что он сделал, почему он это сделал и на каких данных», — сказал он.¹¹

Архитектурная проблема, лежащая в основе этого, очевидна, если ее визуализировать. Реестр Alation может сигнализировать о том, что отчет опирается на некорректные данные в шести связанных платформах. Вопрос о том, стоит ли приостанавливать работу агента и какая система обладает полномочиями для этого, — отдельное решение.⁶ Предупреждение легко пересекает границы платформ. Полномочия — нет.

В Forbes отметили, что вопрос о том, кто обладает полномочиями вмешиваться, остается открытым.⁶ Сангани заявил Forbes, что универсального стандарта открытых знаний не существует, поэтому экспорт определения не гарантирует, что другая система интерпретирует его идентично.⁹ Если это справедливо для смыслов, то это, вероятно, еще сложнее применимо к полномочиям, что может быть одной из причин, почему составляющая прав доступа остается недоработанной.

Почему контекст привлекает внимание, а права доступа — нет

Несбалансированный фокус на контексте в ущерб правам доступа — это не упущение. Это предсказуемый результат кривой спроса, которая активируется только после сбоя, а также стандартов, которые еще не обладают авторитетом во всех системах.

Начнем с кривой спроса. Дей иллюстрирует ее на примере собственной работы. Допустим, он пишет материал об управлении данными. Когда позже что-то идет не так, «я вижу, как люди возвращаются к этой статье двухнедельной давности, и у нее внезапно появляется еще сорок тысяч просмотров», — говорит он.¹¹ Вопросы прав доступа становятся критически важными в течение недели после инцидента и снова переходят в разряд теоретических к следующему кварталу.

Наконец, переносимость. Здесь имеет значение тезис Сангани, озвученный в Forbes, о том, что не существует универсального стандарта открытых знаний.⁹ Если это справедливо для смысла, то для авторитета все еще хуже. Разрешение, которое не переносится между системами, — это просто предпочтение. Команды, создающие маркетплейс дата-продуктов, могут столкнуться с этим в тот самый момент, когда один и тот же продукт обслуживает агентов на двух платформах.

Четыре вопроса, на которые стоит ответить до инцидента

Лидеру в сфере работы с данными не нужна новая модель зрелости, чтобы закрыть этот пробел, но ему необходимо уметь ответить на четыре вопроса об уже работающих агентах: Какие агенты в настоящее время имеют доступ к управляемым данным? Что разрешено делать каждому из них? Кто утвердил каждое действие? Где фиксируются отказы и в какой форме? Какая система обладает полномочиями остановить агента посреди выполнения задачи?

Проработка этих вопросов может привести к сокращению списка доверенных агентов и увеличению списка бесхозных, в чем и заключается суть. Это также согласует подход Сангани к тому, как предприятия должны расширять сферу ответственности агента с самого начала: начиная с того, что он назвал «отправной точкой нулевого доверия», и расширяя область применения по мере того, как агент заслуживает этого доверия, а не потому, что улучшилась базовая модель.¹⁰ Дей приходит к тому же выводу с другой стороны и по более простой причине: «Модели мощные, но не настолько», — сказал он.¹¹ Определение критически важных элементов данных и четкой операционной модели дата-продуктов — это то, что делает эти четыре вопроса разрешимыми, а не риторическими.

Права доступа идут по траектории самого управления данными

Дей говорит, что управлению данными уделялось недостаточно внимания, пока инциденты не сделали его срочной задачей, и сейчас права доступа могут оказаться на том же пути.

По его словам, он наблюдал ту же тенденцию в квантовых вычислениях, освещением которых он занялся четыре-пять лет назад, когда этим занималось лишь несколько авторов. «Даже оркестровка данных или управление данными… Я думаю, раньше они не были исследованы, но теперь, когда происходят инциденты… люди стали говорить об этом больше», — сказал он.¹¹

Те компании, которые создают журнал отказов до того, как он им понадобится, — это те компании, которые не будут собирать его в условиях аудита. Все остальные в итоге могут восстанавливать его по логам, под давлением времени, для регулятора.

Формулировка Дея об этой паре — самая простая из всех, что кто-либо предлагал. «Это в основном как сказать ребенку… что ты это знаешь, но тебе нельзя это делать ни при каких обстоятельствах».¹¹

Либо обе половины, либо ни одной.

Хотите узнать, как управляемый контекст и доверенные данные могут поддержать вашу стратегию внедрения агентов? Запишитесь на демонстрацию сегодня.

ИСТОЧНИКИ И ПРИМЕЧАНИЯ

Каждое внешнее утверждение на этой странице поддается независимой проверке. Общедоступные источники перечислены здесь.

  • Snowflake и Databricks предлагают собственные бизнес-определения и средства управления; Atlan предлагает Active Ontology и инструменты контекста; AIOS от Alation связывает агентов с корпоративными данными и бизнес-контекстом. — Forbes, 17 сентября 2026 г.

Snowflake и Databricks предлагают собственные бизнес-определения и средства управления; Atlan предлагает Active Ontology и инструменты контекста; AIOS от Alation связывает агентов с корпоративными данными и бизнес-контекстом. — Forbes, 17 сентября 2026 г.

Один из вендоров заявляет, что его возможности на этапе выполнения обеспечивают соблюдение политик там, где работают агенты, и блокируют нарушающие правила действия до того, как они произойдут. — Пресс-релиз вендора, 5 октября 2026 г. (дата обращения: 19 октября 2026 г.).

  • Организации, внедряющие ИИ, часто не могут показать, как принимаются решения или кто несет за них ответственность; ведущие организации могут показать, как принимаются решения, кто отвечает за результаты и что происходит, когда что-то идет не так. — Grant Thornton, отчет об исследовании влияния ИИ за 2026 г. https://www.grantthornton.com/services/advisory-services/artificial-intelligence/2026-ai-impact-survey

Организации, внедряющие ИИ, часто не могут показать, как принимаются решения или кто несет за них ответственность; ведущие организации могут показать, как принимаются решения, кто отвечает за результаты и что происходит, когда что-то идет не так. — Grant Thornton, отчет об исследовании влияния ИИ за 2026 г.

  • Эксклюзивное интервью; на revAlation анонсировано шесть новых или расширенных продуктов AIOS; реестр управления ИИ с шестью коннекторами (Snowflake Cortex, Databricks MLflow, Microsoft Copilot Studio, Microsoft Foundry, Amazon SageMaker, Amazon Bedrock). — Forbes, 17 сентября 2026 г.

Эксклюзивное интервью; на revAlation анонсировано шесть новых или расширенных продуктов AIOS; реестр управления ИИ с шестью коннекторами (Snowflake Cortex, Databricks MLflow, Microsoft Copilot Studio, Microsoft Foundry, Amazon SageMaker, Amazon Bedrock). — Forbes, 17 сентября 2026 г.

  • Пример активных клиентов (определения для отдела продаж и финансового отдела). — Forbes, 17 сентября 2026 г.

Пример активных клиентов (определения для отдела продаж и финансового отдела). — Forbes, 17 сентября 2026 г.

  • Alation заявляет, что неудачная проверка качества обновляет оценку рисков агента; реагирование на предупреждение требует отдельного решения о приостановке работы агента и о том, какая система имеет полномочия вмешаться. — Forbes, 17 сентября 2026 г.

Alation заявляет, что неудачная проверка качества обновляет оценку рисков агента; реагирование на предупреждение требует отдельного решения о приостановке работы агента и о том, какая система имеет полномочия вмешаться. — Forbes, 17 сентября 2026 г.

  • 78% руководителей не уверены в том, что смогут пройти независимый аудит управления ИИ в течение 90 дней; опрос 950 бизнес-лидеров (высшее руководство и руководители, подчиняющиеся непосредственно высшему руководству), проведенный с 23 февраля по 18 марта 2026 г. — Grant Thornton, отчет об исследовании влияния ИИ за 2026 г.

78% руководителей не уверены в том, что смогут пройти независимый аудит управления ИИ в течение 90 дней; опрос 950 бизнес-лидеров (высшее руководство и руководители, подчиняющиеся непосредственно высшему руководству), проведенный с 23 февраля по 18 марта 2026 г. — Grant Thornton, отчет об исследовании влияния ИИ за 2026 г.

  • Только 20% организаций имеют проверенный план реагирования на инциденты, связанные с ИИ. — Grant Thornton, отчет об исследовании влияния ИИ за 2026 г.

Только 20% организаций имеют проверенный план реагирования на инциденты, связанные с ИИ. — Grant Thornton, отчет об исследовании влияния ИИ за 2026 г.

  • Сангани: универсального стандарта открытых знаний не существует; экспорт определения не гарантирует, что другая система интерпретирует его идентично. — Forbes, 17 сентября 2026 г.

Сангани: универсального стандарта открытых знаний не существует; экспорт определения не гарантирует, что другая система интерпретирует его идентично. — Forbes, 17 сентября 2026 г.

  • Сангани выступает за «отправную точку нулевого доверия» при расширении обязанностей ИИ. — Forbes, 17 сентября 2026 г.

Сангани выступает за «отправную точку нулевого доверия» при расширении обязанностей ИИ. — Forbes, 17 сентября 2026 г.

  • Цитаты и пересказы Виктора Дея (Victor Dey) и Сатьена Сангани (Satyen Sangani), AI Radicals, Сезон 4, Эпизод 11. Разделы: «Является ли контекст для ИИ-агентов мимолетным модным словечком?»; «Так ли важны разрешения, как контекст для ИИ-агентов?»; «Истории о сбоях ИИ-агентов, которые должны освещать журналисты»; «Почему ИИ-агентам нужны управление, наблюдаемость и защитные механизмы?»; «Аргументы в пользу корпоративной панели управления ИИ-агентами и имеющиеся на данный момент доказательства»; «Почему так много предприятий до сих пор застряли на этапе пилотных проектов ИИ?»; «Что предприятиям следует исправить в первую очередь, чтобы получить пользу от ИИ-агентов?»; «Почему темы ИИ и данных привлекают внимание только после инцидента?»; «Как инциденты и трафик ИИ-чат-ботов меняют аудиторию материалов по управлению». — Alation. https://www.alation.com/podcast/episodes/ai-agent-control-plane-victor-dey/

Цитаты и пересказы Виктора Дея (Victor Dey) и Сатьена Сангани (Satyen Sangani), AI Radicals, Сезон 4, Эпизод 11. Разделы: «Является ли контекст для ИИ-агентов мимолетным модным словечком?»; «Так ли важны разрешения, как контекст для ИИ-агентов?»; «Истории о сбоях ИИ-агентов, которые должны освещать журналисты»; «Почему ИИ-агентам нужны управление, наблюдаемость и защитные механизмы?»; «Аргументы в пользу корпоративной панели управления ИИ-агентами и имеющиеся на данный момент доказательства»; «Почему так много предприятий до сих пор застряли на этапе пилотных проектов ИИ?»; «Что предприятиям следует исправить в первую очередь, чтобы получить пользу от ИИ-агентов?»; «Почему темы ИИ и данных привлекают внимание только после инцидента?»; «Как инциденты и трафик ИИ-чат-ботов меняют аудиторию материалов по управлению». — Alation.

https://www.alation.com/podcast/episodes/ai-agent-control-plane-victor-dey/

  • Виктор Дей — автор Forbes, аналитик и писатель, освещающий темы ИИ и новых технологий. — Forbes, 17 сентября 2026 г.

Виктор Дей — автор Forbes, аналитик и писатель, освещающий темы ИИ и новых технологий. — Forbes, 17 сентября 2026 г.

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →

Ещё от Alation