Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kak snizit riski svyazannye s prilozheniyami sozdannymi sotrudnikami grazhdanski
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Как снизить риски, связанные с приложениями, созданными сотрудниками-«гражданскими разработчиками» с помощью ИИ

Источник: Tenable®•6 октября 2026 г. в 15:32

Как снизить риски, связанные с приложениями, созданными сотрудниками-«гражданскими разработчиками» с помощью ИИ

Инструменты ИИ позволяют сотрудникам без технического образования создавать рабочие приложения за считанные минуты с помощью текстовых запросов. Хотя такие приложения повышают продуктивность, они могут создавать серьезные риски для безопасности и данных. В начале Месяца осведомленности о…

Инструменты ИИ позволяют сотрудникам без технического образования создавать рабочие приложения за считанные минуты с помощью текстовых запросов на естественном языке. Хотя такие приложения, созданные с помощью ИИ, повышают продуктивность, они могут создавать серьезные риски для безопасности и данных. В начале Месяца осведомленности о кибербезопасности мы рассказываем о том, как Tenable внедрила структурированную систему управления, которая позволяет нашим «сотрудникам-разработчикам» создавать безопасные и соответствующие требованиям приложения с помощью ИИ.

Основные выводы

  • Несанкционированные приложения, которые нетехнический персонал создает с помощью инструментов ИИ, часто минуют этапы контроля качества и тестирования, создавая риски «теневого ИИ». Без надзора со стороны ИТ-отдела и службы безопасности такие приложения могут быть запущены в эксплуатацию с критическими уязвимостями и ошибками конфигурации, а также со слабой защитой данных.
  • Даже когда «сотрудники-разработчики» соблюдают политики и процессы своих организаций, количество приложений, которые они создают с помощью инструментов ИИ, может стать чрезмерным и мешать работе ИТ-команд и специалистов по безопасности.
  • Управление работает лучше, чем тотальные запреты, поскольку запрет на разработку с помощью ИИ обычно приводит к тому, что сотрудники начинают скрывать свою деятельность по созданию приложений. В Tenable обнаружили, что внедрение структурированной многоуровневой системы управления обеспечивает сотрудникам-разработчикам необходимые барьеры безопасности и соответствия требованиям.
  • Эффективная система управления должна сочетать лидерство на уровне коллег и обучение. В то время как лидеры по внедрению ИИ в каждом отделе отвечают за одобрение инструментов, управление очередями запросов на разработку приложений и отслеживание рентабельности (ROI) приложений, «сотрудники-разработчики» должны проходить обязательное обучение по вопросам безопасности и соответствия требованиям.

Инструменты ИИ упрощают для нетехнических сотрудников создание рабочих приложений за считанные минуты. Даже те сотрудники, которые никогда не написали ни строчки кода, не говоря уже о настройке базы данных, присоединяются к тренду «vibe-coding» с использованием ИИ, часто при поддержке своих руководителей.

Сначала хорошие новости: эти приложения, созданные с помощью ИИ, могут помочь повысить продуктивность сотрудников за счет автоматизации рабочих процессов и оптимизации операций. А если сотрудники могут создавать свои собственные приложения, нагрузка на ваших постоянно занятых профессиональных разработчиков снижается.

Теперь плохие новости: если сотрудники создают и развертывают их без надзора со стороны ИТ-отдела и службы безопасности, эти приложения становятся активами «теневого ИИ» с проблемами безопасности и соответствия требованиям, которые подвергают риску ваши системы и данные.

Даже в тех случаях, когда сотрудники-разработчики придерживаются корпоративных рекомендаций, огромное количество создаваемых ими приложений, разработанных с помощью ИИ, может легко перегрузить ИТ-команды и специалистов по безопасности. Эта тенденция усиливается по мере того, как бизнес-лидеры призывают нетехнический персонал использовать ИИ для разработки собственных программных инструментов.

Так как же организации справиться с этой угрозой со стороны сотрудников-разработчиков? Спойлер: драконовский, всеобъемлющий запрет не сработает и, по сути, даст обратный эффект, поскольку сотрудники могут начать намеренно скрывать свою деятельность по разработке приложений с помощью ИИ.

В этом блоге, первом в еженедельной серии Tenable, посвященной Месяцу осведомленности о кибербезопасности, мы поделимся извлеченными уроками и конкретными передовыми методами нашей внутренней команды по кибербезопасности, направленными на создание политик и средств контроля, призванных снизить риск «теневого ИИ» со стороны ваших сотрудников-разработчиков.

Риски, связанные с приложениями от сотрудников-разработчиков

Киберриски, связанные с несанкционированными приложениями, которые создают сотрудники-разработчики, не новы. Проблема стала актуальной много лет назад, когда платформы разработки low-code / no-code получили широкое распространение.

Конечно, инструменты генеративного ИИ, способные создавать полнофункциональные приложения по запросу на естественном языке, усугубили проблему, превратив практически любого человека в разработчика. И в отличие от платформ low-code / no-code, размещенных как программное обеспечение как услуга (SaaS) и контролируемых организацией, продукты генеративного ИИ, как правило, являются потребительскими инструментами, к которым сотрудники могут получить доступ и использовать индивидуально.

Эти приложения от сотрудников-разработчиков могут создавать широкий спектр рисков безопасности и соответствия требованиям, что задокументировано организациями, включая Open Worldwide Application Security Project (OWASP) в своем OWASP Citizen Development Top 10 списке.

Ниже мы выделяем распространенные проблемы безопасности и соответствия требованиям в приложениях, созданных сотрудниками-разработчиками с помощью ИИ без разрешения и надзора со стороны ИТ-отделов и отделов безопасности:

  • Из-за отсутствия тестирования, сканирования и проверок качества их код может содержать критические уязвимости и опасные ошибки конфигурации, а также включать рискованные компоненты с открытым исходным кодом.
  • Они могут небезопасно получать доступ к критически важным системам компании и хранить конфиденциальные данные.
  • Они не будут обновляться, исправляться, отслеживаться, логироваться и не будут включены в планы резервного копирования и аварийного восстановления.
  • Они могут иметь чрезмерные разрешения и привилегии, а системы управления идентификацией и доступом (IAM) организации не будут их защищать.

Даже когда сотрудники-«разработчики» предупреждают ИТ-команды и службы безопасности и привлекают их к работе, организации обнаруживают, что количество таких приложений выросло настолько, что их проверка, одобрение и внедрение стали обременительными.

Другими словами, в средней крупной организации могут быть сотни сотрудников, создающих приложения, которые, по их мнению, заслуживают внимания. ИТ-отдел и служба безопасности внезапно сталкиваются с трудной задачей оценки каждого из них и принятия решения о том, действительно ли они стоят затрат и усилий на безопасное развертывание и поддержку в течение всего жизненного цикла.

Если для работы этих приложений требуются токены ИИ, расходы могут быстро возрасти. Например, нередко сотрудники-разработчики используют свой законный доступ к бизнес-приложениям для создания собственных локальных озер данных, чтобы помочь работе своих приложений, созданных с помощью ИИ. Помимо проблемы стоимости, создание таких изолированных озер данных приводит к опасному разрастанию данных.

Пятиуровневая модель управления использованием ИИ

В Tenable мы разрешаем нетехническим сотрудникам-разработчикам создавать рабочие приложения, и поэтому мы не застрахованы от рисков, описанных выше. Однако мы обнаружили, что создание прочного фундамента управления помогает предотвратить проблемы — не только те, что связаны с сотрудниками-разработчиками, но и с использованием ИИ сотрудниками в целом.

В частности, Tenable внедрила комплексную пятиуровневую систему управления ИИ, где на одном конце исполнительное руководство задает направление, а на другом — повседневное использование сообществом, регулируемое четкими политиками и надзором со стороны коллег.

В случае с сотрудниками-разработчиками это означает, например, что правила «можно» и «нельзя» при разработке с помощью ИИ определяются не отдельными бизнес-подразделениями самостоятельно, а устанавливаются единообразно по всей компании.

Это пять уровней модели управления ИИ в Tenable.

  • Уровень 1: Стратегия

Исполнительный персонал определяет курс, обеспечивая стратегическое согласование, руководство по инвестициям и расстановку приоритетов для инициатив в области ИИ.

  • Уровень 2: Управление

Совет по управлению ИИ и Технический совет по ИИ создают политики и руководящие документы по ИИ, такие как списки одобренных инструментов ИИ. Они несут прямую ответственность за соблюдение нормативных требований, конфиденциальность данных и риски моделей, а также контролируют внедрение, архитектуру и проектирование инструментов ИИ.

  • Уровень 3: Исполнение

Функциональные руководители по ИИ и эксперты по НИОКР реализуют конкретные варианты использования, управляют внедрением в отделах и измеряют результаты продуктивности.

  • Уровень 4: Обеспечение

Рабочая группа по обеспечению, возглавляемая ИТ-отделом, отделом обучения и развития (L&D) и отделом корпоративных коммуникаций, занимается практическим обучением, распределением ресурсов и демонстрациями для предприятия.

  • Уровень 5: Сообщество

Специальные каналы в Slack для вопросов по использованию ИИ, инженерии ИИ и других тем предлагают сотрудникам поддержку и форум для краудсорсинга решений.

Что касается непосредственно гражданских разработчиков, эта модель управления ИИ помогает Tenable гарантировать, что наши ИТ-специалисты и эксперты по безопасности устанавливают базовые средства защиты, ограничительные меры и элементы контроля для приложений, созданных с помощью ИИ. Это связано с тем, что группы в рамках структуры управления отвечают за требования по таким вопросам, как конфиденциальность данных, соблюдение нормативных требований и риски моделей, а также за внедрение, проектирование и архитектуру инструментов ИИ.

Критическая роль функциональных руководителей по ИИ

Ключевым элементом снижения рисков, связанных с гражданскими разработчиками, являются функциональные руководители по ИИ в Tenable, которые находятся на третьем уровне структуры управления — исполнении.

Изначально задуманная как группа простых координаторов проектов, теперь она действует в рамках строгой системы управления с прямыми полномочиями и ответственностью за утверждение навыков работы с ИИ, операционные очереди и внедрение ИИ в масштабах всей организации.

Эти руководители несут ответственность за все использование, разработку и развертывание ИИ в своих соответствующих отделах. Например, функциональные руководители по ИИ есть в отделах продаж, технической поддержки, маркетинга, кадров, юридическом, информационной безопасности, финансов, инженерии, управления продуктами и ряде других отделов.

Функциональные руководители по ИИ активно участвуют в вариантах использования в своих отделах. Контролируя все запросы на новые навыки, коннекторы и доступ к данным, функциональные руководители по ИИ могут, например, выявить использование непроверенных внешних компонентов ИИ в приложениях гражданских разработчиков до того, как они попадут в эксплуатацию.

Важность обучения по вопросам безопасности ИИ для гражданских разработчиков

Проблемы безопасности и соблюдения нормативных требований, связанные с использованием ИИ, включая приложения, созданные гражданскими разработчиками, обычно возникают из-за недостатка знаний о том, как предотвратить эти проблемы. Именно поэтому Tenable привязала доступ к инструментам ИИ непосредственно к обязательному обучению по вопросам безопасности и ответственного использования, а также дополнила его живыми вебинарами, готовыми курсами, углубленным изучением конкретных инструментов и еженедельными сессиями демонстрации результатов. Таким образом, сотрудники в целом, и гражданские разработчики в частности, знают, что у них есть доступ к проверенным ресурсам и экспертной поддержке коллег.

Взгляд в будущее

Революция гражданских разработчиков пришла всерьез и надолго. Нетехнические сотрудники, оснащенные инструментами генеративного ИИ, будут продолжать создавать приложения, особенно по мере того, как их руководители команд будут подталкивать их к экспериментам с «вайб-кодингом».

В Tenable мы обнаружили, что внедрение надежной структуры управления обеспечивает критически важную основу для снижения рисков, связанных с использованием ИИ сотрудниками, и, в частности, предлагает гражданским разработчикам ограничительные меры для безопасного создания приложений на базе ИИ, которые помогают повысить их продуктивность и эффективность.

Решили ли мы полностью проблемы безопасности и соблюдения нормативных требований, связанные с приложениями, созданными гражданскими разработчиками? Далеко нет. Риски от «вайб-кодинга» сотрудников, наряду с рисками от использования ИИ в целом, постоянно меняются. Но мы считаем, что наша структура управления дает нам прочную основу для решения этих и других проблем использования ИИ по мере их возникновения и развития.

Наша серия блогов, посвященная Месяцу осведомленности о кибербезопасности, продолжится на следующей неделе, когда мы рассмотрим проблемы, с которыми сегодня сталкиваются организации критической инфраструктуры.

← Все статьи

О чём эта статья

Ещё в разделе «Кибербезопасность»

Все →
Java4Shell (CVE-2026-114938): RCE без аутентификации в OpenJDK и проблема избыточности образов и функций
Sysdig

Java4Shell (CVE-2026-114938): RCE без аутентификации в OpenJDK и проблема избыточности образов и функций

Как наш подход к аудиту, технологии и люди обеспечивают качество
PwC

Как наш подход к аудиту, технологии и люди обеспечивают качество

Уязвимость Java4Shell: как командам безопасности выявить и снизить риски?
Aqua Security

Уязвимость Java4Shell: как командам безопасности выявить и снизить риски?

Проблема безопасности подписи моделей ИИ
GlobalSign

Проблема безопасности подписи моделей ИИ

Как найти, нейтрализовать и устранить критическую уязвимость Java4Shell (CVE-2026-114938) прямо сейчас
Qualys

Как найти, нейтрализовать и устранить критическую уязвимость Java4Shell (CVE-2026-114938) прямо сейчас

Компрометация Microsoft agent-framework: похититель учетных данных нацелен на Azure и CI-конвейеры
Wiz

Компрометация Microsoft agent-framework: похититель учетных данных нацелен на Azure и CI-конвейеры

Ещё от Tenable

Tenable One Adversary View использует возможности рассуждения Claude Mythos для анализа вашей среды
Tenable

Tenable One Adversary View использует возможности рассуждения Claude Mythos для анализа вашей среды

США призывают организации критической инфраструктуры как можно скорее защитить системы охлаждения после атак на европейские супермаркеты и банки крови
Tenable

США призывают организации критической инфраструктуры как можно скорее защитить системы охлаждения после атак на европейские супермаркеты и банки крови

Оборона в масштабе всего штата: как организации SLED могут защитить критически важную инфраструктуру в эпоху ИИ
Tenable

Оборона в масштабе всего штата: как организации SLED могут защитить критически важную инфраструктуру в эпоху ИИ

Brotli2Shell: Часто задаваемые вопросы об уязвимости в декодере Google Brotli (CVE-2026-111497)
Tenable

Brotli2Shell: Часто задаваемые вопросы об уязвимости в декодере Google Brotli (CVE-2026-111497)

Обнаружение уязвимостей PHP2Shell и устранение их последствий с помощью решений Tenable
Tenable

Обнаружение уязвимостей PHP2Shell и устранение их последствий с помощью решений Tenable

Экономика злоумышленников: как субъекты угроз реагируют на PHP2Shell
Tenable

Экономика злоумышленников: как субъекты угроз реагируют на PHP2Shell