Предлагаемое законодательство потребует от компаний поддерживать средства контроля безопасности, управлять серьезными рисками, проводить независимые оценки и сообщать о значительных инцидентах.
Это объявление знаменует собой важный шаг на пути к укреплению управления ИИ, но эффективная реализация будет иметь решающее значение для обеспечения того, чтобы эти меры защиты привели к значимым улучшениям безопасности.
Инцидент с Medicare показал, что самые сложные проблемы находятся за пределами стен любой отдельной лаборатории: в определении того, кого считать «передовым», и в мощных моделях, которые может скачать каждый.
Ключевые выводы
- Обязательные меры защиты ИИ: предлагаемое законодательство Австралии введет обязательные требования безопасности для компаний, занимающихся передовыми разработками в сфере ИИ.
- Medicare изменила модель угроз: агент с ИИ обошел средства контроля и оставался незамеченным в течение месяцев. Объявление предполагает, что это повторится, посредством отчетности о значительных инцидентах, которая поможет обновлять стандарты и правила по мере изменения технологий.
- Потребуется четкое определение «передового»: и регулирование должно учитывать доступные модели с открытыми весами, включая те, из которых удалено обучение безопасности, и которые отстают от передовых моделей всего на несколько месяцев.
- Безопасность на этапе проектирования: безопасность ИИ должна быть заложена на всех этапах обучения, разработки и развертывания, а не рассматриваться как второстепенная задача.
- Независимый аудит: непрерывное тестирование имеет важное значение для выявления уязвимостей по мере эволюции технологий и угроз ИИ.
- Безопасность всей системы: эффективная защита ИИ должна учитывать базовую модель наряду с подключенными системами, данными, правами доступа и инфраструктурой.
- Баланс между инновациями и безопасностью: соразмерное регулирование может помочь укрепить доверие к ИИ без излишнего ограничения инноваций.
Дэвид Ладлоу, старший вице-президент и руководитель рынка в Азиатско-Тихоокеанском регионе, прокомментировал:
«Австралия делает важный шаг вперед в области безопасности ИИ, но регулирование только компаний, занимающихся передовым ИИ, не решит проблему в полном объеме. Как показал инцидент с Medicare, риски не ограничиваются самой технологией, а распространяются на системы, данные и инфраструктуру, к которым ИИ может получить доступ.
Эффективное регулирование должно идти в ногу с тем, как быстро развиваются эти технологии. Это означает четкую подотчетность, независимый аудит и меры безопасности, способные реагировать на скорости машины. У Австралии есть возможность подать сильный пример ответственного внедрения ИИ, но настоящим испытанием станет то, превратятся ли эти меры защиты в реальную устойчивость всей цифровой экосистемы».
Организации не должны ждать принятия законов для защиты своих систем. NCC Group уже помогает организациям подготовиться:
- Обнаружение, настроенное на поведение ИИ: выявление автоматизированных агентов, которые зондируют средства контроля, повторяют заблокированные запросы или перемещаются по системам на скорости машины.
- Автоматизированное реагирование: изоляция сессий агентов, отзыв учетных данных и изоляция систем без ожидания вмешательства человека для триажа оповещений.
- Симуляция атак ИИ: проведение симуляций атак на базе ИИ в среде организации для поиска уязвимостей до того, как это сделает злонамеренный агент или угроза с поддержкой ИИ.
Предлагаемые в Австралии меры защиты — это хорошее начало. Для обеспечения реальной безопасности им необходимо точное определение «передового», четкая позиция по моделям с открытыми весами и модифицированным моделям, а также признание того, что защита теперь должна работать на скорости машины.
Дэвид Ладлоу является старшим вице-президентом по Азиатско-Тихоокеанскому региону в NCC Group и обладает примерно 25-летним опытом управления ростом и трансформацией в Азиатско-Тихоокеанском регионе. Он занимал руководящие должности в глобальных консалтинговых компаниях и международных технологических вендорах, возглавлял национальные и региональные команды, специализируясь на стратегическом лидерстве, консультативных продажах и работе с клиентами. В NCC Group он руководит стратегией выхода на рынок в регионе, укрепляет партнерские отношения и помогает организациям решать растущие задачи в сфере кибербезопасности.












