Инструменты ИИ позволяют сотрудникам без технического образования создавать рабочие приложения за считанные минуты с помощью текстовых запросов на естественном языке. Хотя такие приложения, созданные с помощью ИИ, повышают продуктивность, они могут создавать серьезные риски для безопасности и данных. В начале Месяца осведомленности о кибербезопасности мы рассказываем о том, как Tenable внедрила структурированную систему управления, которая позволяет нашим «сотрудникам-разработчикам» создавать безопасные и соответствующие требованиям приложения с помощью ИИ.
Основные выводы
- Несанкционированные приложения, которые нетехнический персонал создает с помощью инструментов ИИ, часто минуют этапы контроля качества и тестирования, создавая риски «теневого ИИ». Без надзора со стороны ИТ-отдела и службы безопасности такие приложения могут быть запущены в эксплуатацию с критическими уязвимостями и ошибками конфигурации, а также со слабой защитой данных.
- Даже когда «сотрудники-разработчики» соблюдают политики и процессы своих организаций, количество приложений, которые они создают с помощью инструментов ИИ, может стать чрезмерным и мешать работе ИТ-команд и специалистов по безопасности.
- Управление работает лучше, чем тотальные запреты, поскольку запрет на разработку с помощью ИИ обычно приводит к тому, что сотрудники начинают скрывать свою деятельность по созданию приложений. В Tenable обнаружили, что внедрение структурированной многоуровневой системы управления обеспечивает сотрудникам-разработчикам необходимые барьеры безопасности и соответствия требованиям.
- Эффективная система управления должна сочетать лидерство на уровне коллег и обучение. В то время как лидеры по внедрению ИИ в каждом отделе отвечают за одобрение инструментов, управление очередями запросов на разработку приложений и отслеживание рентабельности (ROI) приложений, «сотрудники-разработчики» должны проходить обязательное обучение по вопросам безопасности и соответствия требованиям.
Инструменты ИИ упрощают для нетехнических сотрудников создание рабочих приложений за считанные минуты. Даже те сотрудники, которые никогда не написали ни строчки кода, не говоря уже о настройке базы данных, присоединяются к тренду «vibe-coding» с использованием ИИ, часто при поддержке своих руководителей.
Сначала хорошие новости: эти приложения, созданные с помощью ИИ, могут помочь повысить продуктивность сотрудников за счет автоматизации рабочих процессов и оптимизации операций. А если сотрудники могут создавать свои собственные приложения, нагрузка на ваших постоянно занятых профессиональных разработчиков снижается.
Теперь плохие новости: если сотрудники создают и развертывают их без надзора со стороны ИТ-отдела и службы безопасности, эти приложения становятся активами «теневого ИИ» с проблемами безопасности и соответствия требованиям, которые подвергают риску ваши системы и данные.
Даже в тех случаях, когда сотрудники-разработчики придерживаются корпоративных рекомендаций, огромное количество создаваемых ими приложений, разработанных с помощью ИИ, может легко перегрузить ИТ-команды и специалистов по безопасности. Эта тенденция усиливается по мере того, как бизнес-лидеры призывают нетехнический персонал использовать ИИ для разработки собственных программных инструментов.
Так как же организации справиться с этой угрозой со стороны сотрудников-разработчиков? Спойлер: драконовский, всеобъемлющий запрет не сработает и, по сути, даст обратный эффект, поскольку сотрудники могут начать намеренно скрывать свою деятельность по разработке приложений с помощью ИИ.
В этом блоге, первом в еженедельной серии Tenable, посвященной Месяцу осведомленности о кибербезопасности, мы поделимся извлеченными уроками и конкретными передовыми методами нашей внутренней команды по кибербезопасности, направленными на создание политик и средств контроля, призванных снизить риск «теневого ИИ» со стороны ваших сотрудников-разработчиков.
Риски, связанные с приложениями от сотрудников-разработчиков
Киберриски, связанные с несанкционированными приложениями, которые создают сотрудники-разработчики, не новы. Проблема стала актуальной много лет назад, когда платформы разработки low-code / no-code получили широкое распространение.
Конечно, инструменты генеративного ИИ, способные создавать полнофункциональные приложения по запросу на естественном языке, усугубили проблему, превратив практически любого человека в разработчика. И в отличие от платформ low-code / no-code, размещенных как программное обеспечение как услуга (SaaS) и контролируемых организацией, продукты генеративного ИИ, как правило, являются потребительскими инструментами, к которым сотрудники могут получить доступ и использовать индивидуально.
Эти приложения от сотрудников-разработчиков могут создавать широкий спектр рисков безопасности и соответствия требованиям, что задокументировано организациями, включая Open Worldwide Application Security Project (OWASP) в своем OWASP Citizen Development Top 10 списке.
Ниже мы выделяем распространенные проблемы безопасности и соответствия требованиям в приложениях, созданных сотрудниками-разработчиками с помощью ИИ без разрешения и надзора со стороны ИТ-отделов и отделов безопасности:
- Из-за отсутствия тестирования, сканирования и проверок качества их код может содержать критические уязвимости и опасные ошибки конфигурации, а также включать рискованные компоненты с открытым исходным кодом.
- Они могут небезопасно получать доступ к критически важным системам компании и хранить конфиденциальные данные.
- Они не будут обновляться, исправляться, отслеживаться, логироваться и не будут включены в планы резервного копирования и аварийного восстановления.
- Они могут иметь чрезмерные разрешения и привилегии, а системы управления идентификацией и доступом (IAM) организации не будут их защищать.
Даже когда сотрудники-«разработчики» предупреждают ИТ-команды и службы безопасности и привлекают их к работе, организации обнаруживают, что количество таких приложений выросло настолько, что их проверка, одобрение и внедрение стали обременительными.
Другими словами, в средней крупной организации могут быть сотни сотрудников, создающих приложения, которые, по их мнению, заслуживают внимания. ИТ-отдел и служба безопасности внезапно сталкиваются с трудной задачей оценки каждого из них и принятия решения о том, действительно ли они стоят затрат и усилий на безопасное развертывание и поддержку в течение всего жизненного цикла.
Если для работы этих приложений требуются токены ИИ, расходы могут быстро возрасти. Например, нередко сотрудники-разработчики используют свой законный доступ к бизнес-приложениям для создания собственных локальных озер данных, чтобы помочь работе своих приложений, созданных с помощью ИИ. Помимо проблемы стоимости, создание таких изолированных озер данных приводит к опасному разрастанию данных.
Пятиуровневая модель управления использованием ИИ
В Tenable мы разрешаем нетехническим сотрудникам-разработчикам создавать рабочие приложения, и поэтому мы не застрахованы от рисков, описанных выше. Однако мы обнаружили, что создание прочного фундамента управления помогает предотвратить проблемы — не только те, что связаны с сотрудниками-разработчиками, но и с использованием ИИ сотрудниками в целом.
В частности, Tenable внедрила комплексную пятиуровневую систему управления ИИ, где на одном конце исполнительное руководство задает направление, а на другом — повседневное использование сообществом, регулируемое четкими политиками и надзором со стороны коллег.
В случае с сотрудниками-разработчиками это означает, например, что правила «можно» и «нельзя» при разработке с помощью ИИ определяются не отдельными бизнес-подразделениями самостоятельно, а устанавливаются единообразно по всей компании.
Это пять уровней модели управления ИИ в Tenable.
- Уровень 1: Стратегия
Исполнительный персонал определяет курс, обеспечивая стратегическое согласование, руководство по инвестициям и расстановку приоритетов для инициатив в области ИИ.
- Уровень 2: Управление
Совет по управлению ИИ и Технический совет по ИИ создают политики и руководящие документы по ИИ, такие как списки одобренных инструментов ИИ. Они несут прямую ответственность за соблюдение нормативных требований, конфиденциальность данных и риски моделей, а также контролируют внедрение, архитектуру и проектирование инструментов ИИ.
- Уровень 3: Исполнение
Функциональные руководители по ИИ и эксперты по НИОКР реализуют конкретные варианты использования, управляют внедрением в отделах и измеряют результаты продуктивности.
- Уровень 4: Обеспечение
Рабочая группа по обеспечению, возглавляемая ИТ-отделом, отделом обучения и развития (L&D) и отделом корпоративных коммуникаций, занимается практическим обучением, распределением ресурсов и демонстрациями для предприятия.
- Уровень 5: Сообщество
Специальные каналы в Slack для вопросов по использованию ИИ, инженерии ИИ и других тем предлагают сотрудникам поддержку и форум для краудсорсинга решений.
Что касается непосредственно гражданских разработчиков, эта модель управления ИИ помогает Tenable гарантировать, что наши ИТ-специалисты и эксперты по безопасности устанавливают базовые средства защиты, ограничительные меры и элементы контроля для приложений, созданных с помощью ИИ. Это связано с тем, что группы в рамках структуры управления отвечают за требования по таким вопросам, как конфиденциальность данных, соблюдение нормативных требований и риски моделей, а также за внедрение, проектирование и архитектуру инструментов ИИ.
Критическая роль функциональных руководителей по ИИ
Ключевым элементом снижения рисков, связанных с гражданскими разработчиками, являются функциональные руководители по ИИ в Tenable, которые находятся на третьем уровне структуры управления — исполнении.
Изначально задуманная как группа простых координаторов проектов, теперь она действует в рамках строгой системы управления с прямыми полномочиями и ответственностью за утверждение навыков работы с ИИ, операционные очереди и внедрение ИИ в масштабах всей организации.
Эти руководители несут ответственность за все использование, разработку и развертывание ИИ в своих соответствующих отделах. Например, функциональные руководители по ИИ есть в отделах продаж, технической поддержки, маркетинга, кадров, юридическом, информационной безопасности, финансов, инженерии, управления продуктами и ряде других отделов.
Функциональные руководители по ИИ активно участвуют в вариантах использования в своих отделах. Контролируя все запросы на новые навыки, коннекторы и доступ к данным, функциональные руководители по ИИ могут, например, выявить использование непроверенных внешних компонентов ИИ в приложениях гражданских разработчиков до того, как они попадут в эксплуатацию.
Важность обучения по вопросам безопасности ИИ для гражданских разработчиков
Проблемы безопасности и соблюдения нормативных требований, связанные с использованием ИИ, включая приложения, созданные гражданскими разработчиками, обычно возникают из-за недостатка знаний о том, как предотвратить эти проблемы. Именно поэтому Tenable привязала доступ к инструментам ИИ непосредственно к обязательному обучению по вопросам безопасности и ответственного использования, а также дополнила его живыми вебинарами, готовыми курсами, углубленным изучением конкретных инструментов и еженедельными сессиями демонстрации результатов. Таким образом, сотрудники в целом, и гражданские разработчики в частности, знают, что у них есть доступ к проверенным ресурсам и экспертной поддержке коллег.
Взгляд в будущее
Революция гражданских разработчиков пришла всерьез и надолго. Нетехнические сотрудники, оснащенные инструментами генеративного ИИ, будут продолжать создавать приложения, особенно по мере того, как их руководители команд будут подталкивать их к экспериментам с «вайб-кодингом».
В Tenable мы обнаружили, что внедрение надежной структуры управления обеспечивает критически важную основу для снижения рисков, связанных с использованием ИИ сотрудниками, и, в частности, предлагает гражданским разработчикам ограничительные меры для безопасного создания приложений на базе ИИ, которые помогают повысить их продуктивность и эффективность.
Решили ли мы полностью проблемы безопасности и соблюдения нормативных требований, связанные с приложениями, созданными гражданскими разработчиками? Далеко нет. Риски от «вайб-кодинга» сотрудников, наряду с рисками от использования ИИ в целом, постоянно меняются. Но мы считаем, что наша структура управления дает нам прочную основу для решения этих и других проблем использования ИИ по мере их возникновения и развития.
Наша серия блогов, посвященная Месяцу осведомленности о кибербезопасности, продолжится на следующей неделе, когда мы рассмотрим проблемы, с которыми сегодня сталкиваются организации критической инфраструктуры.
.png)
