Обнаружение теневого ИИ теперь распространяется на рабочие станции разработчиков

Источник: JFrog•

Обнаружение теневого ИИ теперь распространяется на рабочие станции разработчиков

JFrog AI Security расширяет возможности обнаружения теневого ИИ на рабочие станции разработчиков, выявляя скрытые навыки, MCP-серверы и плагины до того, как они станут угрозой.

ZIP-файлы, которыми обмениваются коллеги и которые содержат новые навыки агентов, локально разработанные MCP-серверы, передаваемые между разработчиками, и локально хранящиеся новоиспеченные агенты — все это на вид безобидные файлы, которые часто используются в средах корпоративной разработки программного обеспечения. К сожалению, эти локально хранящиеся файлы далеко не безобидны: они могут содержать ИИ-компоненты, которые никогда не обнаруживались и не регистрировались как одобренный артефакт в ваших приложениях.

Такие навыки мы называем «теневым ИИ» (Shadow AI). Зачастую они находятся на частных рабочих станциях разработчиков, которые нередко не подлежат централизованному контролю. Хорошая новость заключается в том, что теперь вы можете обнаруживать «локальный теневой ИИ». Развертывая JFrog AI Security, вы можете распространить обнаружение теневого ИИ из ваших репозиториев на ноутбуки и рабочие станции, где эти агенты кодирования действительно запускаются и где выполняется работа. Давайте разберем это подробнее.

Неконтролируемые исполняемые файлы: как ИИ-компоненты обходят средства защиты

До недавнего времени создание программного обеспечения следовало строгому, безопасному процессу: одобренный код и инструменты поступают из доверенных официальных источников, проверяются на наличие уязвимостей и должны соответствовать политикам безопасности компании, прежде чем кому-либо будет разрешено их использовать.

В сегодняшнюю «эпоху ИИ» вы больше не можете полагаться на этот традиционный процесс для ИИ-компонентов. Поскольку ИИ-инструменты и разработчики могут мгновенно и по первому требованию внедрять непроверенные файлы, скрипты и плагины — зачастую прямо из GitHub, веток Slack или даже генерируемые самим агентом, — эти компоненты полностью обходят стандартные проверки безопасности. Это превращает контролируемый и предсказуемый рабочий процесс в нечто мгновенное, случайное и неконтролируемое.

Некоторые примеры включают в себя:

  • Навыки (Skills): наборы инструкций и скриптов, определяющих, как агент выполняет задачу.
  • MCP-серверы: серверы Model Context Protocol, коннекторы, позволяющие агентам взаимодействовать с такими системами, как базы данных, Jira или Slack.
  • Плагины: устанавливаемые пакеты, объединяющие навыки, MCP-серверы и многое другое.

Все эти непроверенные компоненты представляют собой серьезные потенциальные проблемы безопасности. Возможно, лучше всего это иллюстрируют хуки (Hooks), когда авторы единолично решают, что и на какой машине запускается при каждом вызове агента, не консультируясь при этом с остальной частью команды.

По сути, мы получаем два пути: управляемый путь (Managed Path), где компоненты сканируются и проверяются, и локальный путь (Local Path), где компоненты теневого ИИ остаются незамеченными.

Два пути для ИИ-компонентов: один контролируется JFrog, другой не имеет преград и проверок

Безопасность за пределами репозитория: защита рабочих станций разработчиков

До сих пор JFrog AI Security обнаруживала теневой ИИ в вашей цепочке поставок ПО путем выявления ИИ-моделей в ваших репозиториях JFrog Artifactory и вызовов внешних ИИ-сервисов в ваших сборках. Это заложило основу для того, что мы обнаруживаем на управляемом пути вашей цепочки поставок ПО, и это работало довольно хорошо до сих пор.

Теневой ИИ сложнее обнаружить, чем сторонний код и пакеты с открытым исходным кодом, которые внедряются в среду разработки через хорошо налаженный централизованный процесс сборки и не хранятся на локальных машинах.

Ранее основные риски на машинах разработчиков были связаны с расширениями или инструментами, над которыми у DevOps был полный контроль. Риск сегодня заключается в том, что вредоносные или несоответствующие требованиям ИИ-компоненты, используемые агентами кодирования, представляют собой новый тип риска, возникающий автономно без видимости и контроля над ноутбуками и рабочими станциями разработчиков. Это требует дополнительного уровня защиты, который прозрачно обнаруживает теневой ИИ на локальных машинах, не влияя на производительность разработчиков.

В дополнение к обнаружению ИИ-компонентов на машинах разработчиков, JFrog AI Security также предоставляет службам безопасности и администраторам платформ важную информацию о потенциальных угрозах, включая:

  • Каков уровень риска? Навык, способный выполнять команды оболочки (shell), несет гораздо больший риск, чем тот, который только читает файлы.
  • Разрешено ли это политикой организации? MCP-сервер GitHub на ноутбуке может быть приемлемым, если он совпадает с тем, который вы одобрили, но представляет проблему, если кто-то создал его из случайного репозитория. JFrog планирует добавить эту функцию в следующем релизе.

Вот как это работает на практике:

Обнаружение включается путем установки плагина JFrog Agent Plugin на каждую рабочую станцию разработчика и работает в три этапа:

  • Обнаружение (Discover). Выявляет потенциально рискованные навыки, MCP-серверы, плагины, хуки, команды и мониторы.
  • Локальное сканирование (Scan Locally). Запускает легкое детерминированное сканирование на основе правил на каждой рабочей станции, где установлен плагин, разработанное так, чтобы один и тот же ввод всегда давал один и тот же результат.
  • Отчетность (Report). Отправляет метаданные, идентификаторы компонентов, результаты проверок и анализ рисков на платформу JFrog Platform.

Как компоненты теневого ИИ на рабочих станциях разработчиков становятся видимыми

Централизованный обзор управляемых и неуправляемых ИИ-компонентов

JFrog AI Security преобразует подробные отчеты об ИИ-компонентах в единую универсальную инвентаризационную ведомость. Каждая запись содержит название компонента, его тип, среду (harness), которая о нем сообщила (Claude Code, Cursor и т. д.), количество рабочих станций, на которых он был обнаружен, локальный анализ рисков, происхождение в JFrog и временную метку обнаружения.

Два ключевых показателя помогают расставить приоритеты среди потенциальных угроз для устранения:

Оценка рисков (Risk Assessment) показывает базовые результаты проверки безопасности для каждого рейтинга при выборе:

  • Доступ к оболочке + WebFetch (Shell Access + WebFetch): высокий риск утечки данных.
  • Неограниченная запись/редактирование (Unscoped Write/Edit): изменение файлов за пределами указанных каталогов.
  • Режим BypassPermissions (BypassPermissions Mode): выполнение действий без требуемого одобрения.

Происхождение (Origin) документирует, существует ли компонент уже на платформе JFrog Platform:

  • JFrog Artifactory или JFrog Catalog: выбранный компонент соответствует компоненту, уже управляемому платформой JFrog Platform.
  • Нет совпадений (No Match): компонент не соответствует ни одному компоненту, управляемому на вашей платформе JFrog Platform.

Получите полный обзор ваших ИИ-компонентов

Ваши разработчики могут уже использовать ИИ-компоненты, которые не прошли проверку или не были одобрены. Обнаружение теневого ИИ на рабочих станциях поможет вам понять степень серьезности и риски, связанные с каждым неуправляемым ИИ-компонентом.

JFrog AI Security гарантирует, что управляемые и неуправляемые ИИ-компоненты подчиняются тем же правилам, что и любой другой выпускаемый вами артефакт: одна универсальная цепочка поставок, одна система учета без исключений для теневого ИИ.

Увидите обнаружение теневого ИИ и управление им в действии: закажите демонстрацию JFrog AI Security.

Этот блог предоставляется исключительно в общеинформационных целях. Он не является юридическим советом, советом по соблюдению требований или безопасности и не гарантирует каких-либо результатов в области безопасности. В нем отражена информация, доступная по состоянию на дату публикации, указанную в верхней части этого поста, и она может не обновляться. Результаты зависят от вашей среды, ситуации и конфигурации. Возможности продукта различаются в зависимости от редакции и модели развертывания и регулируются вашим соглашением с JFrog. JFrog является зарегистрированным товарным знаком компании JFrog Ltd. в США. Все остальные товарные знаки, упомянутые в этом документе, являются собственностью их соответствующих владельцев.

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →

Ещё от JFrog