Джасмин Ван, Томек Корбак и Микита Балесни, три исследователя безопасности, которых OpenAI уволила на прошлой неделе, опубликовали открытое письмо, в котором опровергают заявления компании о том, что они ненадлежащим образом обращались с конфиденциальной информацией в нарушение установленных процедур, и предупреждают, что их увольнение создает эффект запугивания, который негативно отразится на корпоративной культуре.
«Мы обеспокоены тем, что внутренние и внешние сообщения о нашем увольнении заставили наших бывших коллег бояться высказываться и действовать так, как еще на прошлой неделе было неотъемлемой частью работы в OpenAI», — написали исследователи в четверг в открытом письме Комитету по безопасности, Консультативной группе по безопасности и Консультативному совету по миссии OpenAI.
Исследователи были уволены на прошлой неделе после того, как их обвинили в передаче конфиденциальной информации компании сторонней организации по безопасности ИИ. В OpenAI заявили, что они нарушили политику компании, «получив доступ к конфиденциальной информации компании и работая с ней».
«ИИ — это не обычная технология, а OpenAI — не обычная компания, — написали Ван, Корбак и Балесни. — Те из нас, кто работает над безопасностью, видят риски раньше других, и мы полагаемся на тесное сотрудничество с внешними экспертами, чтобы понять, как их устранить. Свобода делать это без страха, а также наличие четко определенных внутренних процедур, обеспечивающих эту работу, сами по себе являются важнейшим механизмом безопасности».
Они заявили, что их увольнение представляет собой более масштабный сдвиг в культуре OpenAI, которая раньше поощряла сотрудников «поднимать вопросы безопасности и открыто выражать несогласие». По их словам, сотрудники теперь «не понимают, на чем они стоят», когда поведение, которое якобы было нормальным месяц назад, внезапно становится основанием для увольнения.
«Учитывая серьезные опасения по поводу безопасности, связанные с разработкой ИИ, сотрудники не должны работать в среде, где страх и неясные правила препятствуют работе по обеспечению безопасности ИИ и ослабляют подотчетность перед третьими лицами, — написали они. — Подобные увольнения, проведенные и озвученные так внезапно, подавляют открытую культуру, которую OpenAI ценила в прошлом».
В письме трое исследователей отрицают свою причастность к утечке информации в The Information о менее контролируемых архитектурах в новейших моделях OpenAI, которые затрудняют мониторинг цепочки рассуждений. Они также отрицают взаимодействие с внешними сторонами вне рамок своих должностных обязанностей.
OpenAI официально не ответила на открытое письмо, но поделилась с TechCrunch внутренней запиской, приписываемой одному из руководителей исследований, в которой высоко оценивается вклад трех исследователей в безопасность ИИ и отрицается, что они были уволены в качестве возмездия.
«Я хочу внести полную ясность: эти решения не были связаны с поднятием вопросов безопасности или высказыванием своего мнения, — говорится в записке. — Мы всегда поощряли это и будем поощрять. Мы не увольняем сотрудников за поднятие вопросов».
Отдельно представитель OpenAI сообщил TechCrunch, что трое сотрудников были уволены после того, как расследование выявило «модель неправомерного поведения» и «явное нарушение нашей политики по ненадлежащему обращению с исследовательской информацией», что выходит за рамки простого обмена информацией со сторонней группой по оценке ИИ.
OpenAI не ответила напрямую на вопросы TechCrunch о том, какие именно правила, по мнению компании, нарушили исследователи, об обстоятельствах их увольнения или о том, как компания защищает сотрудников, которые поднимают вопросы безопасности и сотрудничают с внешними оценщиками.
Увольнения вызвали спекуляции об их обстоятельствах, особенно на фоне того, что OpenAI сталкивается с пристальным вниманием из-за недавних инцидентов с безопасностью, связанных с «неконтролируемыми агентами» и утечками информации о своих моделях.
Письмо также затрагивает реакцию исследователей на инцидент с Hugging Face, в ходе которого группа агентов вырвалась из своей «песочницы» и нарушила работу внешних систем. В письме говорится, что этот инцидент и расследование были «беспрецедентными», а это означает, что «внутренние политики разрабатывались в режиме реального времени». Согласно письму, из-за конфиденциального характера расследования Корбак считал, что действует в рамках политики и норм OpenAI, тесно взаимодействуя с внешними оценщиками безопасности для укрепления доверия.
В то же время Балесни также работал внутри компании над решением растущей проблемы мониторинга ИИ — усилия, которые, как пишут исследователи в своем письме, «могут увенчаться успехом только при широком общении с внешними сторонами». Согласно письму, Балесни координировал свои действия с членами совета директоров и руководителями OpenAI и получал от них поддержку на протяжении всей своей работы.
«На протяжении всего времени Микита советовался со своим непосредственным руководством и заботился о том, чтобы удалить конфиденциальные детали из материалов перед тем, как делиться ими, — говорится в письме. — Он действовал добросовестно и в рамках норм компании, существовавших на тот момент».
В отдельной ветке в X Ван подробно рассказала о своем увольнении, пояснив, что в OpenAI ей сказали, что ее уволили из-за того, что она получила доступ к электронной почте руководителя.
«OpenAI делегировала мне этот доступ для рекрутинга, — написала она. — Когда он мне больше не понадобился, я попросила IT-отдел удалить его. Они не выполнили мою просьбу, я не могла удалить его сама, а почтовый ящик был объединен в почтовом приложении моего телефона неразличимым образом. Когда я по ошибке открыла конфиденциальное письмо, я в течение нескольких минут сообщила об этом руководителю и снова обратилась в IT. Ничего из этого не скрывалось».
Ван добавила, что причины увольнений «не сходятся» и что она и ее коллеги «не первые, кого вытеснили из OpenAI при подозрительных обстоятельствах».
Исследователи призвали OpenAI придерживаться своих публичных обязательств по привлечению сторонних аудиторов безопасности в организацию, сохранению возможности мониторинга передовых моделей и «продолжению поддержки открытой и прозрачной культуры диалога между исследователями безопасности и остальной экосистемой безопасности».
Согласно записке, OpenAI согласна с их рекомендациями.
«Если сотрудники сейчас не выступят против подобных маневров, я боюсь, что мы будем не последними, — сказала Ван. — Послание всем, кто еще работает в OpenAI, ясно: поднимайте вопросы или тесно сотрудничайте со сторонними группами безопасности, и вы можете стать следующими, даже не узнав почему. Невозможно безопасно создать AGI, если люди, наиболее близкие к рискам, боятся говорить».
Эта статья была обновлена с добавлением дополнительной информации от OpenAI.
Когда вы совершаете покупки по ссылкам в наших статьях, мы можем получать небольшую комиссию. Это не влияет на нашу редакционную независимость.
