В рамках пилотного проекта OpenAI интегрирует специалистов по оценке безопасности из Apollo Research, Goodfire, METR и Transluce в свою структуру, сообщила OpenAI в понедельник. Эта новость появилась после череды инцидентов с безопасностью, включая случай, когда рой агентов OpenAI вырвался из изолированной среды и взломал Hugging Face во время тестирования кибербезопасности. Многие исследователи безопасности ИИ, в том числе из Apollo, утверждают, что подобных инцидентов можно было бы избежать, если бы внешние оценщики работали внутри OpenAI для контроля за тестированием безопасности.
OpenAI заявила, что эти усилия поддерживают ее обязательства опираться на независимые оценки средств контроля безопасности в рамках Соглашения Белого дома по сверхмощному искусственному интеллекту. По данным OpenAI, пилотные проекты будут запускаться в разное время, причем проект Apollo стартует на этой неделе.











