Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kto neset otvetstvennost kogda rabotnikom yavlyaetsya agent
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Кто несет ответственность, когда работником является агент?

Источник: Sysdig•20 ноября 2026 г. в 20:27

Кто несет ответственность, когда работником является агент?

Если с вашей работой что-то идет не так, вы знаете, что несете ответственность. Но чем заменяется ответственность, когда работу выполняет ИИ-агент?

Эта статья написана приглашенным автором Мэттом Адамсом (Matt Adams), вице-президентом и руководителем направления безопасности ИИ в компании Sapiens, который примет участие вместе с нами в мероприятии Ground Truth London, посвященном безопасности рабочих нагрузок ИИ.

Если вы работаете в организации и по вашей вине что-то идет не так, вы знаете, что несете ответственность. У вас есть трудовой контракт, и если вы совершите серьезную ошибку, на capacidades последствия. Большинство из нас редко думает об этом, но на этом во многом держится вся безопасность. Например, политика допустимого использования работает главным образом потому, что люди знают: если ее проигнорировать, кто-то задаст вопросы.

Агенту все это безразлично. У него есть цель, и он сделает все возможное, изо всех сил, чтобы ее достичь. Обычно здесь нет никакого злого умысла. Ему просто нет дела до того, что произойдет после завершения задачи.

Вопрос, который я постоянно задаю руководителям по безопасности, звучит так: чем заменяется ответственность, когда работу выполняет агент?

Выяснение того, что на самом деле задействовано

Ответственность начинается с понимания того, кто или что выполняет работу. Пару лет назад в одной организации с жестким регулированием, где я работал, об этом в основном заботились за нас. Веб-фильтры были настолько строгими, что ИИ-сервисы были недоступны, если они не были явно разрешены. Никто не мог до них добраться, поэтому инвентаризацию проводить было не нужно.

Сейчас немногие организации находятся в таком положении, поэтому первая задача — найти работающие процессы и данные, которые покидают систему.

То, что вы ищете, может вообще не выглядеть как программное обеспечение. Во многих организациях, с которыми я общался, кто-то написал навык или промпт, который хорошо справляется с задачей, и поделился им с коллегами. Иногда это проходит проверку перед публикацией, а иногда представляет собой файл Markdown, отправленный в чате. Значительная часть того, что управляет этими инструментами, написана простым текстом, из-за чего проблему гораздо труднее обнаружить, чем незнакомый исполняемый файл. В конце концов, рискованный файл с инструкциями и чьи-то заметки с совещания могут выглядеть практически одинаково.

Если обобщить, нельзя привлечь к ответственности то, о существовании чего вы не знаете. Полезная инвентаризация также фиксирует, кто стоит за каждым агентом, поскольку именно этот человек несет ответственность. По моему опыту, руководители службы безопасности чаще всего недооценивают то, насколько широко ИИ уже используется, поэтому инвентаризация должна стоять на первом месте.

Наблюдение извне за агентом

Когда вы знаете, что работает, более сложным вопросом становится то, как удержать это в определенных рамках.

Модели, лежащие в основе этих агентов, носят вероятностный характер. Какими бы хорошими они ни становились, их можно обмануть, заставив делать то, чего делать не следует, и они могут совершать ошибки. Указание агенту в промпте того, чего делать нельзя, помогает, но это требование он будет выполнять не всегда. Средство контроля должно быть реализовано там, где агент не сможет его изменить.

Изоляция — это самое надежное из таких средств контроля, но каждое ограничение делает агента менее полезным, и люди будут искать обходные пути для инструментов, которые не справляются с работой. Ключ к успеху заключается в том, чтобы предоставить каждому агенту доступ, необходимый для его задачи, и ничего лишнего. Прозрачность покажет, правильно ли вы провели эту границу и можете ли вы (или где именно можете) безопасно ослабить бразды правления.

Затем идет запись того, что сделал агент. Если она поступает только от самого агента или от среды, в которой он работает (фреймворка, внутри которого агент функционирует), она настолько же надежна, насколько надежен тот объект, за которым вы пытаетесь надзирать. Собственный отчет агента все равно полезен, так как он показывает, к чему агент стремился. Просто он не может быть единственной записью, поскольку он наименее надежен в тот момент, когда он вам нужнее всего.

Поэтому для надзора нужны две вещи вне агента и его рабочей среды: представление о том, что на самом деле произошло в системе, и возможность остановить агента и откатить изменения назад, когда что-то выглядит подозрительно. Ни то, ни другое не должно зависеть от степени сотрудничества со стороны агента.

Полезно относиться к агентам так же, как группы безопасности относятся к людям с привилегированным доступом. Программы защиты от внутренних угроз долгое время полагались на наблюдаемое поведение, а не на самоотчеты, и тот же принцип применим к агентам. Наблюдайте за тем, что агент сделал, а не за тем, что он говорит, будто сделал.

Разрешение на использование большего числа агентов

Если все сделано правильно, это позволяет организации одобрять больше агентов. Большинство организаций, с которыми я общаюсь, хотят разрешить более широкий спектр агентов, подключенных к большему количеству источников данных и выполняющих полезную работу. Что обычно их сдерживает, так это беспокойство о том, что никто не заметит, если агент уйдет туда или сделает то, чего делать не следовало. Хорошая видимость и эффективные защитные механизмы решают эту проблему, и как только они внедрены, вы можете двигаться быстрее.

Возьмем агента для написания кода, которому нужно читать данные из производственной базы данных для отладки проблемы. Без средств контроля безопасным ответом будет «нет». С ролью только для чтения для этой задачи, отсутствием доступа к чему-либо еще и журналом каждого выполняемого им запроса вы можете одобрить его.

Прозрачность также меняет роль безопасности. Я не считаю, что служба безопасности должна иметь последнее слово при решении вопроса о том, какие ИИ-инструменты использует организация. Команда безопасности естественным образом будет стремиться к хорошим результатам в области безопасности, иногда в ущерб тому, чего пытается достичь бизнес. Решение принадлежит подразделению данных и ИИ или директору по искусственному интеллекту (Chief AI Officer), если таковой имеется. Если таковых еще нет, лучше всего возложить это на того, кто отвечает за программу внедрения ИИ, часто это CIO или CTO.

Конечно, служба безопасности должна иметь четкий голос при обсуждении наряду с другими заинтересованными сторонами, и после одобрения инструмента безопасность по-прежнему отвечает за его защитные механизмы.

Этот голос просто имеет больший вес, когда он подкреплен доказательствами. Независимый взгляд на то, что агенты делают на самом деле, позволяет службе безопасности с некоторой уверенностью сказать бизнесу, насколько далеко можно зайти без риска. И это более полезная роль для службы безопасности, чем быть последним барьером.

Прежде чем утвердить вашего следующего агента

Никто из тех, с кем я общался, пока не дал исчерпывающего ответа на вопрос о том, чем заменить ответственность агента. Самое близкое, что я нашел, — это запись о том, что агент сделал на самом деле, привязанная к человеку, который запустил его, и которую сам агент не может изменить. Прежде чем одобрить вашего следующего агента, я призываю вас ответить на следующие вопросы:

  • Знаете ли вы, какие агенты и инструменты используются в вашей организации, включая те, которые никто не одобрял?
  • У кого остается последнее слово в отношении следующего агента и что службе безопасности нужно им показать, чтобы обосновать это решение?
  • Можете ли вы остановить агента посреди действия, не полагаясь на его содействие?
  • Если бы агент завтра сделал то, чего делать не следовало, смогли бы вы восстановить произошедшее, не полагаясь на его собственный отчет?

Я буду разбирать эти вопросы вместе с Ричардом Смитом (Richard Smith), основателем Codification, и Алессандро Ло Прете (Alessandro Lo Prete) из исследовательской группы по угрозам компании Sysdig на панели Ground Truth: London 9 декабря. Если эти вопросы также входят в ваш список, присоединяйтесь к нам.

← Все статьи

О чём эта статья

Ещё в разделе «Облака и инфраструктура»

Все →
ARTEX и атакующий инструмент на базе LLMjacking пять месяцев спустя
Sysdig

ARTEX и атакующий инструмент на базе LLMjacking пять месяцев спустя

Vercel получает сертификат ISO/IEC 42001:2023
Vercel

Vercel получает сертификат ISO/IEC 42001:2023

Пусть ваши продуктовые дашборды сами отчитываются перед вами с агентом Dashboard Reporter Agent
Datadog

Пусть ваши продуктовые дашборды сами отчитываются перед вами с агентом Dashboard Reporter Agent

Qwen3 TTS теперь доступна на Together AI
Together AI

Qwen3 TTS теперь доступна на Together AI

Позвольте вашему ИИ-агенту настроить Datadog с помощью Agentic Onboarding
Datadog

Позвольте вашему ИИ-агенту настроить Datadog с помощью Agentic Onboarding

Переосмысление процессов верификации и валидации для программно-определяемых транспортных средств
HCLTech

Переосмысление процессов верификации и валидации для программно-определяемых транспортных средств

Ещё от Sysdig

ARTEX и атакующий инструмент на базе LLMjacking пять месяцев спустя
Sysdig

ARTEX и атакующий инструмент на базе LLMjacking пять месяцев спустя

Безопасность выполнения для Amazon EKS Auto Mode с помощью Sysdig
Sysdig

Безопасность выполнения для Amazon EKS Auto Mode с помощью Sysdig

NGINX2Root: пять RCE-уязвимостей в NGINX, путь к правам root в ядре Linux и способы обнаружения эксплуатации
Sysdig

NGINX2Root: пять RCE-уязвимостей в NGINX, путь к правам root в ядре Linux и способы обнаружения эксплуатации

Анонс сервера Sysdig MCP для мониторинга
Sysdig

Анонс сервера Sysdig MCP для мониторинга

Java4Shell (CVE-2026-114938): RCE без аутентификации в OpenJDK и проблема избыточности образов и функций
Sysdig

Java4Shell (CVE-2026-114938): RCE без аутентификации в OpenJDK и проблема избыточности образов и функций

HTTPd (CVE-2026-119618): Обнаружение повреждения кучи и RCE в Apache HTTP Server mod_http2
Sysdig

HTTPd (CVE-2026-119618): Обнаружение повреждения кучи и RCE в Apache HTTP Server mod_http2