В июне в ходе внутреннего обучения и оценки наши модели получили доступ к веб-сайтам австралийского правительства способом, на который у них не было разрешений. Нам также следовало лучше отреагировать на случившееся. Мы приносим извинения и работаем над тем, чтобы в будущем действовать лучше.
В этой публикации мы излагаем то, что нам известно, что мы изменили и что мы намерены предпринять для восстановления доверия австралийского народа. Это новый тип киберинцидента, который представляет собой зарождающуюся глобальную проблему. Один из способов, которым мы намерены взять на себя ответственность за ситуацию, — это целенаправленная работа с Австралией, направленная на помощь в разработке практических подходов к тому, как разработчики ИИ и правительства выявляют, раскрывают и реагируют на киберповедение ИИ, будь то злонамеренное или непреднамеренное.
Когда мы узнали об инциденте и как мы на него отреагировали
После инцидента с Hugging Face в июле мы начали анализ предшествующей деятельности по обучению и оценке, чтобы выявить другие пострадавшие организации. В середине августа этот анализ выявил активность, затронувшую указанные ниже веб-сайты австралийского правительства.
Вот что нам известно на основе имеющихся данных:
- Services Australia: модель OpenAI обнаружила способ получения непубличного доступа к сервису, выполняла команды, извлекала внутренние файлы, учетные данные и сводную статистику, а также создавала файлы. Тем не менее, доступ к индивидуальным записям пациентов или клиентов не осуществлялся. Мы подробно описываем этот инцидент ниже.
Services Australia: модель OpenAI обнаружила способ получения непубличного доступа к сервису, выполняла команды, извлекала внутренние файлы, учетные данные и сводную статистику, а также создавала файлы. Тем не менее, доступ к индивидуальным записям пациентов или клиентов не осуществлялся. Мы подробно описываем этот инцидент ниже.
- NSW Bureau of Crime Statistics and Research (BOCSAR): модель OpenAI получила доступ к общедоступному инструменту картографирования преступности BOCSAR для исследования общедоступной статистики преступности (ниже мы подробнее объясняем, почему модели выполняют различные задачи по поиску информации). Модель отправляла запросы через API и метаданные веб-сайта с помощью общедоступного инструмента BOCSAR, который предоставляет учетные данные для запросов API браузера. Система BOCSAR возвращала конфигурацию приложения, операционные задачи и журналы, а также метаданные веб-сайта. Доступ к записям о преступлениях отдельных лиц не осуществлялся.
NSW Bureau of Crime Statistics and Research (BOCSAR): модель OpenAI получила доступ к общедоступному инструменту картографирования преступности BOCSAR для исследования общедоступной статистики преступности (ниже мы подробнее объясняем, почему модели выполняют различные задачи по поиску информации). Модель отправляла запросы через API и метаданные веб-сайта с помощью общедоступного инструмента BOCSAR, который предоставляет учетные данные для запросов API браузера. Система BOCSAR возвращала конфигурацию приложения, операционные задачи и журналы, а также метаданные веб-сайта. Доступ к записям о преступлениях отдельных лиц не осуществлялся.
- Victorian Department of Health: агенты OpenAI обнаружили незащищенный ключ доступа для отправки запросов к отчетной системе Victorian Agency for Health Information и извлечения конфигурации отчетности и сводной статистики опросов. Степень, в которой эта информация должна была быть доступной, неясна и зависит от политик доступа VAHI. Доступ к индивидуальным медицинским записям или идентифицируемым ответам на опросы не осуществлялся.
Victorian Department of Health: агенты OpenAI обнаружили незащищенный ключ доступа для отправки запросов к отчетной системе Victorian Agency for Health Information и извлечения конфигурации отчетности и сводной статистики опросов. Степень, в которой эта информация должна была быть доступной, неясна и зависит от политик доступа VAHI. Доступ к индивидуальным медицинским записям или идентифицируемым ответам на опросы не осуществлялся.
- Australian Institute of Health and Welfare: агенты OpenAI извлекли сводную статистику с использованием сторонних сервисов просмотра и загрузки, в том числе с веб-сайта AIHW, и напрямую запросили данные графиков. Отдельные попытки обхода средств контроля доступа не увенчались успехом. Загруженные материалы, судя по всему, находились в публичном доступе. Компрометации систем не было. Доступ к индивидуальным медицинским записям не осуществлялся.
Australian Institute of Health and Welfare: агенты OpenAI извлекли сводную статистику с использованием сторонних сервисов просмотра и загрузки, в том числе с веб-сайта AIHW, и напрямую запросили данные графиков. Отдельные попытки обхода средств контроля доступа не увенчались успехом. Загруженные материалы, судя по всему, находились в публичном доступе. Компрометации систем не было. Доступ к индивидуальным медицинским записям не осуществлялся.
Мы начали расследование этой деятельности сразу же после того, как нам стало о ней известно в середине августа. Мы уведомили Services Australia и Victorian Department of Health 10 сентября, а NSW Bureau of Crime Statistics and Research — 18 сентября. Действия, связанные с Australian Institute of Health and Welfare, не достигали наших пороговых значений для обязательного раскрытия информации, поскольку способ доступа к нему казался соответствующим общедоступному, однако мы уведомили их 24 сентября, чтобы поделиться своими выводами и предложить брифинг.
Наша цель заключалась в том, чтобы предоставить пострадавшим ведомствам подробный отчет после завершения нашего расследования. Тем не менее, нам следовало поделиться предварительными выводами раньше и держать австралийские ведомства в курсе по мере появления новых фактов.
С тех пор мы тесно сотрудничаем с австралийскими правительственными ведомствами, чтобы делиться тем, что нам удалось узнать на данный момент. Если мы выявим какие-либо дополнительные пострадавшие ведомства, мы незамедлительно и напрямую уведомим их, предоставив имеющуюся информацию и обновления по мере появления новых фактов.
Что произошло со службой отчетности по статистике программы Medicare Services Australia
В ходе внутреннего обучения и оценки в июне мы запускали экспериментальную внутреннюю модель OpenAI, которая не предназначалась для публичного выпуска и не имела полного набора средств защиты, используемых в наших общедоступных продуктах. В ходе этого обучения и оценки она получила доступ к службе отчетности по статистике Medicare Services Australia. Наш сегодняшний анализ не выявил никаких доказательств того, что чей-либо доступ к медицинским записям осуществлялся.
Когда мы проводим внутреннее обучение и оценку наших моделей, мы назначаем им задачи из широкого спектра исследовательских вопросов по многим темам, отражающим те подробные вопросы, которые могут задать пользователи. Это обучает модель находить, интерпретировать и анализировать общедоступную информацию, чтобы модель могла быть более полезной для людей. Наши модели должны отвечать на эти вопросы, используя общедоступную статистику.
В данном случае одной из задач, поставленных перед моделью, было исследование государственных расходов на душу населения на лекарства от кожных заболеваний в общинах штата Виктория. Модель столкнулась с трудностями при получении этой информации и предприняла действия, которые мы ей не разрешали. В процессе поиска этой информации в Службе отчетности по статистике программы Medicare в Services Australia она обнаружила способ получения непубличного доступа к сервису. Затем она использовала этот доступ для изучения технической системной информации и исходного кода, связанных с сервисом, и все это по-прежнему с целью найти информацию, которую она изначально искала. Мы не планировали эту деятельность, и доступ к сервису, а также последующие действия не должны были происходить.
Что мы меняем
После инцидента с Hugging Face мы усилили наши исследовательские средства защиты, включая дополнительные сетевые ограничения и расширенный мониторинг. Мы внедрили элементы управления для блокировки прямого доступа к Интернету в этих исследовательских средах, при этом веб-доступ обеспечивается за счет кэшированного контента. В качестве дополнительного уровня безопасности наши текущие системы мониторинга обнаружили бы эту активность и вызвали бы нашу команду для срочной проверки человеком. Например, когда модель получила прямой доступ к Интернету во время недавнего обучающего прогона(opens in a new window), наш мониторинг зафиксировал активность и вызвал проверяющего-человека, после чего мы остановили прогон. Мы продолжаем тестировать эти средства защиты и устранять пробелы. Инцидент с Hugging Face остается самым серьезным из тех, с которыми мы сталкивались.
Люди хотят быть уверены в том, что ИИ разрабатывается безопасно, и это начинается с того, что такие компании, как наша, делают сами. Недавно мы сообщили(opens in a new window), что приостановили обучение и оценку, связанные с использованием инструментов для наших наиболее способных моделей, и возобновим их обучение только тогда, когда будем уверены, что у нас есть дополнительные средства защиты, над созданием которых мы сейчас работаем.
Поскольку возможности систем ИИ в целом растут, мы также наблюдаем сокращение времени, доступного организациям для поиска и устранения уязвимостей. Это требует совместных действий при работе с защитниками по всему миру.
Мы присоединились к организациям в сфере технологий, кибербезопасности и критической инфраструктуры, призвав к совместным действиям по киберзащите. Этот призыв начинается с наших собственных обязанностей, включая более надежные средства защиты, своевременное раскрытие информации и практическую поддержку пострадавших организаций. Он также призывает к инвестициям в команды, защищающие основные службы, чтобы они могли находить уязвимости, проверять исправления и делиться тем, что работает.
В Австралии мы выделяем ресурсы и экспертные знания для поддержки пострадавших ведомств и помощи защитникам в претворении этих принципов в жизнь, в том числе:
- Целевая поддержка пострадавших ведомств. Мы выделим ресурсы, необходимые для того, чтобы помочь пострадавшим ведомствам понять произошедшее и оценить масштабы последствий. Это включает в себя обмен соответствующими техническими выводами и организацию взаимодействия с нашими группами реагирования посредством надлежащих механизмов обмена информацией.
Целевая поддержка пострадавших ведомств. Мы выделим ресурсы, необходимые для того, чтобы помочь пострадавшим ведомствам понять произошедшее и оценить масштабы последствий. Это включает в себя обмен соответствующими техническими выводами и организацию взаимодействия с нашими группами реагирования посредством надлежащих механизмов обмена информацией.
- Финансирование и поддержка для укрепления киберзащиты. Мы поддержим правительственные структуры и промышленность Австралии за счет кредитов из нашего фонда Daybreak for Frontline Defenders объемом 1 миллиард долларов, а также посредством технической помощи для укрепления киберзащиты критической инфраструктуры и других чувствительных сред. Опираясь на наше взаимодействие с правительствами и операторами критической инфраструктуры, эта работа поможет организациям лучше понимать риски, связанные с возрастающими возможностями агентов ИИ, обнаруживать их и реагировать на них.
Финансирование и поддержка для укрепления киберзащиты. Мы поддержим правительственные структуры и промышленность Австралии за счет кредитов из нашего фонда Daybreak for Frontline Defenders объемом 1 миллиард долларов, а также посредством технической помощи для укрепления киберзащиты критической инфраструктуры и других чувствительных сред. Опираясь на наше взаимодействие с правительствами и операторами критической инфраструктуры, эта работа поможет организациям лучше понимать риски, связанные с возрастающими возможностями агентов ИИ, обнаруживать их и реагировать на них.
- Австралийская целевая группа. Мы создадим целевую группу с привлечением независимых австралийских экспертов для разработки практических рекомендаций по политике управления рисками, связанными с возрастающими возможностями агентов ИИ. Опираясь на уроки этих инцидентов, она сосредоточится на улучшении процессов уведомления, укреплении координации между разработчиками ИИ и правительством, а также на определении мер по улучшению защиты государственных систем. Рекомендации целевой группы лягут в основу подхода OpenAI и поддержат работу правительств Австралии в области безопасности ИИ и кибербезопасности. Целевая группа, как ожидается, завершит свою работу к концу года, а также порекомендует практические шаги, которые компании, занимающиеся разработкой ИИ, могут предпринять для снижения риска подобных инцидентов.
Австралийская целевая группа. Мы создадим целевую группу с привлечением независимых австралийских экспертов для разработки практических рекомендаций по политике управления рисками, связанными с возрастающими возможностями агентов ИИ. Опираясь на уроки этих инцидентов, она сосредоточится на улучшении процессов уведомления, укреплении координации между разработчиками ИИ и правительством, а также на определении мер по улучшению защиты государственных систем. Рекомендации целевой группы лягут в основу подхода OpenAI и поддержат работу правительств Австралии в области безопасности ИИ и кибербезопасности. Целевая группа, как ожидается, завершит свою работу к концу года, а также порекомендует практические шаги, которые компании, занимающиеся разработкой ИИ, могут предпринять для снижения риска подобных инцидентов.
Восстановление доверия жителей Австралии
Правительства, отрасли и граждане Австралии были и остаются бесценными партнерами OpenAI. Мы не воспринимаем это как должное и намерены исправить ситуацию.
Директор по стратегии OpenAI Джейсон Квон прилетит из штаб-квартиры OpenAI в США, чтобы выступить перед Объединенным специальным комитетом по искусственному интеллекту в Сиднее во вторник, 6 октября. Он ответит на вопросы о том, что нам известно, как мы отреагировали, какие шаги предприняли и как мы намерены улучшить свою работу в дальнейшем.
Мы продолжим делиться проверенными выводами с пострадавшими ведомствами и соответствующими правительствами. Мы будем публиковать обновления о нашем текущем анализе и прогрессе в выполнении этих обязательств. Мы понимаем, что нам предстоит проделать большую работу по восстановлению доверия и что мы несем ответственность за то, чтобы доказать жителям Австралии, что мы осуществляем значимые изменения и выполняем свои обещания.
