Сообщения о том, что модели ИИ использовались для обнаружения уязвимостей в системах OpenAI, вызвали дискуссию о роли ИИ в кибербезопасности.
Крис Энли, главный научный сотрудник NCC Group, прокомментировал:
«На первый взгляд заголовки о том, что модели ИИ используются для «взлома» OpenAI, звучат тревожно. На самом деле, это хороший пример того, как индустрия безопасности проводит стресс-тестирование новых технологий. Участвовавшие в этом исследователи выполняли авторизованную работу в рамках программы bug bounty, используя инструменты ИИ от Anthropic для выявления уязвимостей контролируемым и ответственным образом, прежде чем злоумышленники смогли бы ими воспользоваться. Это был не случай автономного ИИ, самостоятельно атакующего системы, а квалифицированные специалисты по безопасности, применяющие новые инструменты в рамках устоявшейся практики обеспечения безопасности».
«Примечательно не то, что уязвимость существовала, а то, что она была обнаружена, раскрыта и устранена в рамках скоординированного процесса. Тестирование безопасности, ред-тиминг и программы bug bounty уже давно являются важнейшими механизмами укрепления безопасности программного обеспечения. По мере развития возможностей ИИ мы видим, что эти технологии все чаще ускоряют исследования в области безопасности, помогая экспертам анализировать код, выявлять слабые места и более эффективно тестировать сложные системы. Это создает значительные возможности для повышения киберустойчивости во всей отрасли, при условии, что работа ведется ответственно и прозрачно».
«Более широкий урок для организаций, разрабатывающих передовой ИИ, заключается в том, что тщательное тестирование перед публичным развертыванием важнее, чем когда-либо. Такие инициативы, как программа Daybreak от OpenAI, признают эту реальность, предоставляя доверенным исследователям безопасности ранний доступ к моделям, чтобы они могли выявлять риски, оценивать меры защиты и усиливать безопасность до того, как эти системы станут доступны широкой аудитории. Подобные истории следует рассматривать не как доказательство того, что ИИ становится неконтролируемым, а как доказательство того, что индустрия разрабатывает правильные процессы, чтобы сделать все более мощные системы ИИ более безопасными и надежными».
Биография Криса Энли
Крис Энли — главный научный сотрудник NCC Group и один из самых уважаемых исследователей безопасности в отрасли, чья карьера охватывает три десятилетия. С 1996 года он провел тысячи тестов на проникновение, аудитов кода и проверок дизайна для широкого спектра платформ, языков и архитектур для многих крупнейших мировых организаций.
В своей роли главного научного сотрудника Крис формирует и поддерживает глобальные исследовательские программы NCC Group, одновременно занимаясь независимыми исследованиями новых и сложных угроз безопасности. Он опубликовал обширный объем работ, включая фундаментальные статьи по безопасности приложений, несколько книг по безопасности баз данных и приложений, а также влиятельные исследования в области искусственного интеллекта и машинного обучения.
Признанный во всем мире за глубину и значимость своего технического вклада, Крис продолжает расширять границы исследований в области безопасности и стимулировать инновации во всей отрасли.
