Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/5 klyuchevyh vyvodov ot ekspertov po bezopasnosti na konferentsii all day ai 202
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

5 ключевых выводов от экспертов по безопасности на конференции All Day AI 2026

Источник: Anaconda•19 ноября 2026 г. в 21:15

5 ключевых выводов от экспертов по безопасности на конференции All Day AI 2026

Безопасность ИИ-агентов означает ограничение того, к чему агенты могут получать доступ, что могут изменять или запускать. Ознакомьтесь с пятью выводами экспертов по безопасности на конференции All Day AI 2026.

Вредоносная зависимость крадет SSH-ключи. Агент выходит за пределы сетевых ограничений своей «песочницы» из-за ошибки в прокси-сервере пакетов, который ему было разрешено использовать. Когда агенты могут совершать действия в системе, что ограничивает ущерб?

Доклады по безопасности на конференции All Day AI сделали риски осязаемыми. Этот материал, дополняющий обзор трека для разработчиков, охватывает учетные данные, артефакты и зависимости, лежащие в основе этих систем, а также средства контроля, ограничивающие возможные негативные последствия. Спикеры проанализировали эти риски 22 октября на конференции All Day AI — независимой онлайн-конференции, которую коллеги из Anaconda и Kilo помогли организовать под руководством Брайана Туркотта, старшего инженера по связям с разработчиками в Anaconda.

Пять спикеров подошли к этому вопросу через призму идентификации, изоляции, проверки во время выполнения и цепочки поставок ИИ. Мой вывод: ограничивайте то, к чему агент может получить доступ, что может изменить или выполнить, и обеспечивайте соблюдение этих ограничений вне модели, чтобы они не зависели от того, следует ли агент инструкциям.

Пять выводов по безопасности

1. Установите жесткие ограничения на то, что может делать агент

Крис Хьюз, основатель Resilient Cyber, выступил с основным докладом по безопасности ИИ. Его выступление под названием «Согласованность и незащищенность» («Aligned and Unsecured») доказывало, что сообщество по безопасности ИИ и сообщество по кибербезопасности говорят на разных языках. «Согласованность (…) снижает частоту ошибок агентов, но безопасность ограничивает цену этих ошибок. И нам нужно и то, и другое».

Самым неприятным моментом стало его мнение о человеке в контуре управления (human-in-the-loop). Ссылаясь на цифру, которую он приписал Anthropic, он сказал, что пользователи одобряют 93% of Claude Code permission prompts, и заключил: «Мы в основном просто штампуем всё, что пытаются сделать модель и агенты. Мы не успеваем за их действиями и активностью. Мы — узкое место». Отказы и классификаторы, по его словам, «по сути, являются лишь «лежачими полицейскими»». Жесткие границы должны находиться в обвязке вокруг модели, то есть в программном обеспечении, которое запускает агента и контролирует, к чему он может прикасаться.

Суть аргумента Хьюза в том, что этап одобрения мало что дает, если люди привычно нажимают «ОК». Его совет заключался в том, чтобы наложить на агента принудительные ограничения: уникальная идентификация, учетные данные, предоставляемые только при необходимости, политика в виде кода (правила доступа, написанные на языке политик, таком как Rego для Open Policy Agent, которые система применяет автоматически), ограниченный исходящий трафик (сетевой доступ ограничен только одобренными направлениями) и «песочница». Я бы добавил, что человеческое суждение по-прежнему важно, и система также должна иметь границы, которые сработают, если проверяющий что-то упустит.

2. Держите средства контроля «песочницы» вне досягаемости агента

Хьюз рассказал о том, что нужно контролировать, в то время как Мадху Акула, независимый инженер по безопасности, подчеркнул, где именно должны находиться эти ограничения. Он рассматривал агентов как ненадежные рабочие нагрузки и применял практики из области безопасности контейнеров, такие как принцип наименьших привилегий, изоляция на уровне ядра и правила исходящего сетевого трафика. Его правило для доступа к файлам, исходящего трафика и учетных данных заключается в том, чтобы настраивать их вне «песочницы», потому что контроль, который агент имеет право изменять, может быть ослаблен или отключен. Тот же принцип он применил к мониторингу: держите его конфигурацию и работу вне контроля агента.

Его живая демонстрация началась с вредоносной зависимости на ноутбуке разработчика. В четыре этапа она украла SSH-ключи с хоста, передала их на командный сервер, собрала API-ключи из окружения, а затем прочитала отравленный README, который давал агенту указание опубликовать учетные данные и удалить файлы. Он запустил ту же цепочку внутри изолированной «песочницы» с брокером учетных данных (сервисом, который предоставляет агенту кратковременные учетные данные вместо хранения ключей в его окружении) и политикой запрета исходящего трафика по умолчанию, и на каждом этапе атака блокировалась. Один вектор атаки был особенно примечателен для тех, кто управляет пакетами. В одном из сценариев побега из «песочницы», который он продемонстрировал, агент обнаружил уязвимость подделки запроса на стороне сервера (SSRF) в прокси-сервере реестра артефактов, который извлекал зависимости, и использовал прокси для доступа в интернет. То, откуда приходят пакеты, является частью поверхности атаки агента.

3. Проверяйте то, что загружается, и сохраняйте возможность отката

Приложение T-Life от T-Mobile проверяет функциональные модули и ИИ-модели на устройстве, прежде чем они будут запущены на 53 миллионах устройств. Ранджит Кумар Рагаван из T-Mobile описал, как это работает и где, по его мнению, команды допускают ошибки: они часто относятся к модели как к статичному изображению или JSON-файлу, а не как к исполняемому коду. Та же логика применима ко всему, что загружает агент.

Ответ T-Mobile — это одно правило для всего, что приложение загружает во время выполнения, включая модели: подписывать их у источника, регистрировать их SHA-256 хэш в доверенном реестре и проверять этот хэш на устройстве каждый раз при загрузке. Метка версии — это не идентификатор, потому что строки версий можно перезаписать; хэш — это идентификатор. Если проверка не проходит, файл не запускается. И поскольку подпись доказывает, откуда пришел файл, а не то, как он будет себя вести, проверка сочетается с «аварийным выключателем» на стороне сервера и автоматическим откатом к последней модели, прошедшей проверку. По его словам, пять независимых команд работают таким образом, достигая 99,9% сессий без сбоев. Урок заключается в том, что проверка должна происходить в момент выполнения, а не при загрузке, и необходим способ отменить то, что невозможно предсказать. Это была самая полная история о проверке во время выполнения, которую я слышал за весь день.

4. Знайте цепочку поставок ИИ, которую вы на самом деле используете

Проверки Рагавана выполняются при загрузке модели. Хасан Ясар из Института программной инженерии Университета Карнеги-Меллона перенес вопрос на более ранний этап, ко всему, от чего зависит система до того, как она попадет на устройство. Языковые модели смешивают инструкции и данные в одном потоке, что усложняет границы, на которые полагается традиционная безопасность. Его ответ заключался в том, чтобы рассматривать ИИ-систему как программное обеспечение с цепочкой поставок, состоящей из четырех уровней: базовая модель и ее предварительно обученные веса; данные и внутренние хранилища для поиска; навыки агента, плагины и серверы протокола контекста модели (MCP); и среда выполнения.

Его конвейер DevSecOps добавляет четыре шлюза:

  • первый очищает обучающие данные
  • второй отклоняет небезопасные форматы файлов, такие как Python pickle, которые могут выполнять код при загрузке файла
  • третий запускает автоматизированное «красное тестирование» (red-teaming)
  • четвертый хэширует веса модели и генерирует спецификацию материалов ИИ (AIBOM), которую он описал как запись дайджестов весов модели, происхождения набора данных, хэшей системных промптов и идентификаторов MCP-серверов.

Его заключительный совет: «если вы не знаете, из чего состоят ваши системы, вы не сможете построить ничего из этого, поэтому сначала изучите свою систему».

5. Сократите то, что вы поставляете, затем расставьте приоритеты для оставшегося

Последний доклад перешел от агента к программному обеспечению под ним. Расс Андерссон начал с двух приоритетов: сосредоточить исправление уязвимостей на рисках и использовать сканирование по руководству по технической реализации безопасности (STIG) для проверки конфигураций. Его аргумент заключался в том, что находить уязвимости стало проще, а их устранение не поспевает за этим процессом. Сама по себе серьезность уязвимости не измеряет вашу реальную подверженность риску.

Его решение начинается с сужения проблемы: сканировать продакшен вместо того, чтобы полагаться на сканирование реестра, удалять неиспользуемые компоненты и ранжировать оставшиеся по степени подверженности угрозам и признакам эксплуатации.

Практический вывод заключается в том, чтобы уменьшить объем того, что нуждается в защите, прежде чем решать, что исправлять в первую очередь.

Составьте контрольный список безопасности агента

Эти пять докладов предлагают контрольный список:

  • Наделите каждого агента собственной индивидуальностью с ограниченными учетными данными, которые внедряются только при необходимости.
  • Запускайте его в песочнице, элементы управления файлами, исходящим трафиком и мониторингом которой он не может изменить.
  • Подписывайте и хешируйте каждый артефакт, который он загружает во время выполнения, включая веса моделей. Если проверка не прошла, артефакт не загружается (блокировка при сбое).
  • Относитесь к skills, плагинам и серверам MCP как к зависимостям с подтвержденным происхождением.
  • Тщательно отбирайте поставляемые компоненты, чтобы список уязвимостей был достаточно коротким для принятия мер.

Какое место занимает Anaconda

Правила песочницы и исходящего трафика, продемонстрированные Akula, должны обеспечиваться инфраструктурой, которой управляет ваша команда платформы. Anaconda вносит свой вклад в тестирование поведения ИИ и управление компонентами, которые загружает система.

AI Security & Guardrails через Enkrypt AI от Anaconda проводит тестирование на проникновение для моделей, агентов и соединений MCP перед релизом, применяет защитные механизмы во время выполнения, которые обнаруживают и блокируют небезопасное поведение, управляет доступом агентов к инструментам и данным с помощью соблюдаемых политик и генерирует готовые к проверке доказательства соответствия требованиям. Эти средства контроля работают в паре с элементами управления идентификацией, песочницей и сетью, которые использует ваша команда. В качестве примера реализации в материале Kilo’s sandbox breakdown объясняется, как происходит ограничение записи в файловую систему и сетевого доступа, а также где эти защитные механизмы прекращают действовать. Тематическое исследование Enkrypt Financial Research Agent case study делает проблему тестирования более осязаемой: злоумышленники могли заставить агента пропустить шаги верификации и принять утверждения о полномочиях без их проверки.

Работа с цепочкой поставок начинается с того, что вы поставляете. Курирование пакетов Anaconda является частью AI Artifacts. Anaconda собирает пакеты Python из исходного кода, документирует их зависимости и предоставляет спецификации состава программного обеспечения (SBOM) для своих пакетов и AIBOM для моделей в своем каталоге. Advisory и SBOM API делают эти перечни доступными для других инструментов безопасности: команды могут получать SBOM пакета по хешу артефакта и синхронизировать тщательно отобранные рекомендации по уязвимостям от Anaconda. Чтобы подробнее узнать о том, как модели, навыки, серверы MCP и пакеты Python расширяют поверхность атаки агента, см. Agentic AI Security: The Attack Surface Is What Agents Load.

Посмотрите записи

Посмотрите эти пять докладов на канале Anaconda в YouTube. Чтобы посмотреть все сессии по всем четырем потокам, зарегистрируйтесь на сайте alldayai.com, чтобы получить доступ к записям 2026 года. Если вы уже зарегистрировались, откройте вкладку Schedule на платформе мероприятия и выберите View Recording.

Часто задаваемые вопросы

Что такое All Day AI 2026?

All Day AI — это нейтральная по отношению к вендорам онлайн-конференция, состоявшаяся 22 октября 2026 года и включавшая четыре потока 30-минутных сессий практиков. В ее проведении помогали коллеги из Anaconda и Kilo. Брайан Тюркотт (Brian Turcotte) поделился тем, что сработало, а что нет, в статье Open-Sourcing the Playbook Behind All Day AI, а я освещал поток для разработчиков в .

Где должны располагаться средства контроля безопасности для агентов ИИ?

Пять спикеров в этом обзоре вынесли их за пределы модели: в систему идентификации и учетные данные агента, песочницу, в которой он работает, исходящий сетевой трафик, артефакты, загружаемые во время выполнения, и цепочку поставок, стоящую за этими артефактами. Инструменты вокруг агента также относятся к этой цепочке поставок; в Know Your AI Toolchain: Lessons from the Cursor Marketplace Incident рассматривается недавний пример.

Что такое спецификация состава ИИ (AIBOM)?

AIBOM расширяет спецификацию состава программного обеспечения (SBOM) на системы ИИ. Документация SBOM показывает, как просматривать SBOM пакетов Anaconda, а в обзоре каталога моделей поясняется, что AIBOM каждой модели доступен в формате CycloneDX через API платформы.

Чем курирование пакетов отличается от их сканирования?

Сканирование проверяет пакет после того, как он был собран и добавлен в вашу среду. Курирование переносит эти проверки на более ранний этап: пакеты проверяются на наличие вредоносного ПО перед распространением, а новые версии из вышестоящих репозиториев могут задерживаться для проверки до того, как кто-либо их установит.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Как читать бенчмарк OCR, прежде чем начать ему доверять
Datalab

Как читать бенчмарк OCR, прежде чем начать ему доверять

Ignite 2026: Создание экосистемы передовых технологий
Microsoft

Ignite 2026: Создание экосистемы передовых технологий

ИИ повлияет на продажи на сумму 75,8 млрд долларов в Cyber Week 2026: что нужно знать онлайн-продавцам
Ordoro

ИИ повлияет на продажи на сумму 75,8 млрд долларов в Cyber Week 2026: что нужно знать онлайн-продавцам

Черная пятница на Amazon 2026 продлится 12 дней: что нужно знать продавцам
Ordoro

Черная пятница на Amazon 2026 продлится 12 дней: что нужно знать продавцам

Elastic и HoneyHive объединяют усилия для развития наблюдаемости и оценки ИИ
Elastic

Elastic и HoneyHive объединяют усилия для развития наблюдаемости и оценки ИИ

Intuit объявляет результаты за первый квартал и заключает соглашение о продаже Mailchimp компании Bending Spoons
Intuit

Intuit объявляет результаты за первый квартал и заключает соглашение о продаже Mailchimp компании Bending Spoons

Ещё от Anaconda

Kilo Desktop для Data Science и исследований теперь общедоступен
Anaconda

Kilo Desktop для Data Science и исследований теперь общедоступен

Помогайте своей команде писать код быстрее и исследовать больше с помощью Kilo Desktop
Anaconda

Помогайте своей команде писать код быстрее и исследовать больше с помощью Kilo Desktop

AI Red Teaming: что тестировать и как реагировать на результаты
Anaconda

AI Red Teaming: что тестировать и как реагировать на результаты

Финтех-гигант, созданный по обе стороны Америк. Справится ли ваша ИИ-команда?
Anaconda

Финтех-гигант, созданный по обе стороны Америк. Справится ли ваша ИИ-команда?

Только 22% команд безопасности на нашей интерактивной ролевой игре имели протестированный регламент действий для ИИ-агентов
Anaconda

Только 22% команд безопасности на нашей интерактивной ролевой игре имели протестированный регламент действий для ИИ-агентов

Enkrypt AI от Anaconda включена в список типичных поставщиков средств тестирования безопасности ИИ в двух отчетах Gartner® Hype Cycle™
Anaconda

Enkrypt AI от Anaconda включена в список типичных поставщиков средств тестирования безопасности ИИ в двух отчетах Gartner® Hype Cycle™