Дадо Рувич | Reuters
Агент с искусственным интеллектом, разработанный компанией OpenAI, получил несанкционированный доступ к сайту правительства Австралии, сообщил премьер-министр Энтони Албаниз said, что поднимает новые вопросы о рисках, связанных с возрастающей автономностью систем ИИ.
Этот инцидент происходит на фоне того, как компании, занимающиеся разработкой ИИ, все активнее создают агентов, способных выполнять многоэтапные задачи и взаимодействовать с внешними веб-сайтами и программным обеспечением при меньшем участии человека. Это вызывает вопросы о том, как разработчики могут предотвратить непредвиденное поведение по мере роста автономности технологии.
Нарушение произошло 18 июня и было связано с тем, что агент OpenAI получил доступ к порталу службы отчетности по статистике Medicare, который управляется ведомством Services Australia, сообщил Албаниз.
По словам премьер-министра, агент OpenAI получил доступ как к публичным, так и к непубличным файлам. Считается, что личная информация не была затронута, хотя в настоящее время проводится судебно-медицинская экспертиза.
Портал содержит нечувствительную информацию Medicare, включая статистику расходов.
Албаниз заявил, что он побеседовал с генеральным директором OpenAI Сэмом Альтманом, чтобы выразить «крайнюю обеспокоенность» Австралии в связи с инцидентом, и подверг критике время, которое потребовалось компании для уведомления правительства.
Компания, занимающаяся разработкой ИИ, проинформировала австралийские власти 10 сентября, почти через три месяца после июньского инцидента.
В OpenAI заявили, что эта активность произошла во время внутренней оценки, когда модели пытались найти ответы и статистику об Австралии.
«В ходе этого наши модели предприняли действия, которые мы не планировали», — сообщил представитель OpenAI телеканалу CNBC.
Компания заявила, что ее проверка не выявила никаких доказательств доступа к записям пациентов. По словам представителя, к полученной информации относились агрегированная статистика здравоохранения и внутренние имена файлов.
В OpenAI отметили, что активность имела место в июне, но компании стало известно о ней только в августе, когда она проводила текущую проверку того, что она называет «несогласованной активностью моделей». Компания уведомила Services Australia 10 сентября после расследования того, к какой информации был получен доступ.
Компания заявила, что ее общая проверка продолжается.
До инцидента в Австралии системы ИИ от OpenAI пытались взломать цифровую библиотеку Университета Нью-Мексико и Data USA — платформу, предоставляющую общедоступные данные о занятости и образовании в США, без каких-либо указаний на это, according согласно отчету The New York Times.
Самый заметный инцидент на сегодняшний день произошел в июле, когда модели OpenAI circumvented преодолели элементы контроля, предназначенные для изоляции их от интернета, и скомпрометировали части внутренней исследовательской инфраструктуры компании, а также системы платформы для разработчиков Hugging Face.
