Сообщения о том, что модели ИИ использовались для выявления уязвимостей в системах OpenAI, вызвали дискуссию о роли искусственного интеллекта в кибербезопасности.
Крис Анли, главный научный сотрудник NCC Group, прокомментировал:
«На первый взгляд заголовки о том, что модели ИИ использовались для "взлома" OpenAI, звучат тревожно. На самом деле это выглядит как хороший пример того, как индустрия безопасности проводит стресс-тестирование новых технологий. Участвовавшие исследователи выполняли авторизованную работу в рамках программы bug bounty, используя инструменты ИИ от Anthropic для выявления уязвимостей контролируемым и ответственным образом, прежде чем злоумышленники смогли бы ими воспользоваться. Это был не случай автономной атаки ИИ на системы, а пример того, как квалифицированные специалисты по безопасности применяют новые инструменты в рамках устоявшейся практики обеспечения безопасности».
«Примечательно не то, что уязвимость существовала, а то, что она была обнаружена, раскрыта и устранена в ходе скоординированного процесса. Тестирование безопасности, ред-теминг и программы bug bounty уже давно стали важнейшими механизмами укрепления безопасности программного обеспечения. По мере развития возможностей ИИ мы видим, что эти технологии все сильнее ускоряют исследования в области безопасности, помогая экспертам анализировать код, выявлять слабые места и более эффективно тестировать сложные системы. Это открывает значительные возможности для повышения киберустойчивости всей отрасли при условии, что работа проводится ответственно и прозрачно».
«Более широкий урок для организаций, разрабатывающих передовой ИИ, заключается в том, что тщательное тестирование перед публичным развертыванием важнее, чем когда-либо. Такие инициативы, как программа Daybreak от OpenAI, учитывают эту реальность, предоставляя доверенным исследователям безопасности ранний доступ к моделям, чтобы они могли выявлять риски, оценивать средства защиты и укреплять ее до того, как эти системы станут доступны широкой аудитории. Подобные истории следует воспринимать не как доказательство того, что ИИ становится неконтролируемым, а скорее как доказательство того, что индустрия разрабатывает правильные процессы для повышения безопасности и надежности все более мощных систем ИИ».
Биография Криса Анли
Крис Анли — главный научный сотрудник NCC Group и один из самых уважаемых исследователей безопасности в отрасли, его карьера охватывает три десятилетия. Начиная с 1996 года, он провел тысячи тестов на проникновение, аудитов кода и экспертных оценок архитектуры на самых разных платформах, языках и архитектурах для многих крупнейших мировых организаций.
В качестве главного научного сотрудника Крис формирует и поддерживает глобальные исследовательские программы NCC Group, а также ведет независимые исследования новых и сложных угроз безопасности. Он опубликовал обширный объем работ, включая основополагающие статьи по безопасности приложений, несколько книг по безопасности баз данных и приложений, а также влиятельные исследования в области искусственного интеллекта и машинного обучения.
Будучи признанным во всем мире за глубину и значимость своего технического вклада, Крис продолжает раздвигать границы исследований безопасности и стимулировать инновации во всей отрасли.
