По его собственному признанию, Дэвид Робинсон — «отчасти клише»: сотрудник ведущей компании в сфере ИИ, который выступает с резким предупреждением при увольнении с работы.
В статье, опубликованной в The Atlantic, Робинсон рассказал, что руководил написанием отчетов по безопасности, которые сопровождали основные запуски продуктов OpenAI. Он также отметил, что, проработав в OpenAI три с половиной года, он находится «в числе сотрудников с самым большим стажем в компании». Теперь он увольняется, поскольку, по его мнению, «культура компании сломана».
В некотором смысле комментарии Робинсона перекликаются со словами Джейкоба Коксона, который работал исследователем как в OpenAI, так и в Anthropic, прежде чем уволиться и заявить, что эти компании «играют в кости с нашими жизнями». Комментарии Коксона привели к более широким дебатам оббезопасности ИИ: генеральный директор Anthropic Дарио Амодей представил план более осторожного развития ИИ, а руководители ИИ на этой неделе встретились с президентом Дональдом Трампом и подписали то, что казалось поспешно написанным необязательным обязательством по внедрению дополнительных средств контроля безопасности.
Но, по мнению Робинсона, дебаты должны выйти за рамки «определенных правил или новых законов», затрагивая общую культуру в этих компаниях. И хотя большая часть репортажей об OpenAI была сосредоточена на том, как генеральный директор компании Сэм Альтман потерял доверие бывших коллег, эссе Робинсона предполагает, что проблемы культуры OpenAI такие же, как и у Кремниевой долины в целом.
«OpenAI процветала благодаря методу проб и ошибок (который она называет „итеративным развертыванием“), выискивая проблемы и улучшая свои защитные механизмы в ответ», — написал он. — «Но такой подход по самой своей природе гарантирует периодические сбои, и масштаб этих сбоев растет по мере того, как системы становятся все более способными».
Указывая на недавний взлом систем Hugging Face агентами OpenAI, а также на продолжающиеся разоблачения того, что OpenAI обнаруживает все больше автономных агентов, Робинсон утверждал: «Среда, где могут происходить подобные вещи, — не место для выращивания искусственного разума, который может оказаться умнее нас и который может поступить не так, как мы хотим».
Учитывая возросшие риски, Робинсон заявил, что передовые ИИ-компании должны начать работать «как атомные электростанции или загруженные аэропорты, с уровнями резервирования и тщательным, трудоемким планированием, чтобы случайная и неизбежная человеческая ошибка не открыла дверь к катастрофе».
Но Робинсон сказал, что за время работы в OpenAI он «ни разу не встретил коллегу, у которого был бы опыт обеспечения безопасного полета самолетов, работы ядерных реакторов без расплавления или помощи финансовой системе в росте без коллапса».
В ответ на эссе Робинсона представитель OpenAI Дрю Пузатери заявил, что компания продолжает совершенствовать свои меры безопасности.
«Мы делаем так, чтобы наши модели не становились более способными, чем мы можем безопасно контролировать и защищать, и мы приостанавливаем обучение или придерживаем моделей, когда нам нужно замедлить темп», — говорится в заявлении Пузатери. — «Мы вносим значительные изменения для усиления безопасности в наших исследовательских и тестовых средах, обучаем модели не просто выполнять задачи, а делать это ответственно, расширяем нашу работу с независимыми оценщиками и улучшаем мониторинг в реальном времени, чтобы мы могли detect and respond to concerning behavior earlier in the training process.»
Помимо призывов к изменениям в культуре OpenAI, Робинсон также заявил, что пришло время задать более глобальные вопросы об исравнивании (alignment) — то, что, как он признал, может звучать «слишком мягко», но, по его словам, имеет решающее значение, поскольку нынешние «меры того, насколько хорошо» ИИ-системы «соответствуют человеческим ценностям, являются грубыми».
«Чем умнее индустрия позволяет становиться моделям, пока эти проблемы остаются нерешенными, тем опаснее становится наша ситуация», — сказал он.
Об уходе Робинсона первым сообщил Business Insider. В своем эссе он также признал, что следует по сути обычному сценарию для информаторов в сфере ИИ: он нанял PR-агентство. Но он настаивал: «Решение высказаться — только мое».
«Возможно, мне следовало остаться и бороться за коренные изменения в нашем штате и культуре, но на практике мы с коллегами были настолько заняты бегом наперегонки, что у нас редко оставалась возможность подумать о масштабных изменениях, не говоря уже о том, чтобы действительно их осуществить», — сказал Робинсон. — «Именно поэтому я пришел к выводу, что более сильные стимулы для обеспечения безопасности, исходящие извне компании, являются важной частью решения этой проблемы».
Когда вы совершаете покупки по ссылкам в наших статьях, мы можем получать небольшую комиссию. Это не влияет на нашу редакционную независимость.
Энтони Ха — редактор выходного дня в TechCrunch. Ранее он работал репортером по технологиям в Adweek, старшим редактором в VentureBeat, репортером по местному самоуправлению в Hollister Free Lance и вице-президентом по контенту в венчурной фирме. Он живет в Нью-Йорке.
Вы можете связаться с Энтони или проверить его контакты, отправив письмо по адресу anthony.ha@techcrunch.com.
Посмотреть биографию
