Значительная часть современных дискуссий о рисках ИИ основана на предположениях. Некоторые из самых громких предупреждений имеют мало научных оснований, однако они влияют на политику так, будто являются доказанными фактами.
Ошибки в этом вопросе чреваты последствиями в обоих направлениях. Безрассудное движение вперед было бы ошибкой, но замедление темпов из-за страха — не меньшая ошибка. Каждая потерянная неделя — это неделя задержки прогресса в разработке новых методов лечения рака, укреплении национальной безопасности США и достижении научных прорывов.
Путь вперед — это доказательства.
ИИ является центральной темой на Генеральной Ассамблее ООН на этой неделе, где мировые лидеры обсуждают способы координации своих усилий на международном уровне. Любое соглашение, к которому они придут, будет настолько сильным, насколько сильны доказательства, лежащие в его основе. Это означает, что правительствам необходимо конкретизировать вопросы тестирования: каковы критерии оценки, кто проверяет результаты и что происходит при обнаружении серьезных рисков.
Потребность в более эффективном подходе к тестированию и оценке особенно актуальна в Вашингтоне. Способность федерального правительства оценивать передовые модели не поспевает за компаниями, которые их создают. Этот разрыв необходимо устранить. Политикам нужно независимое тестирование, чтобы надежно отделять реальные риски от воображаемых. Это все равно что просить врача назначить лечение без доступа к правильным диагностическим тестам. Нельзя регулировать то, что невозможно измерить.
Сегодня большая часть тестирования передовых моделей происходит внутри самих лабораторий. Эти компании несут моральную ответственность и имеют сильный коммерческий стимул тестировать свои системы и выпускать безопасные продукты. Но в вопросах национальной безопасности и общественной безопасности Вашингтон не может позволить лабораториям самим оценивать свою работу. Правительству нужны собственные доказательства в отношении кибернетических, биологических, автономных и других возникающих рисков.
Создание эффективной государственной системы тестирования требует трех вещей:
- Четкий мандат: назначить ответственное должностное лицо для координации тестирования между федеральными агентствами, определения приоритетов оценки в масштабах правительства, мобилизации экспертных знаний в государственном и частном секторах, а также обеспечения выявления и смягчения серьезных рисков.
- Оценка перед развертыванием: усилить способность правительства оценивать передовые модели перед их внедрением путем сотрудничества с разработчиками моделей для обеспечения доступа к тестированию и переоценки рисков национальной безопасности по мере развития возможностей и появления новых способов использования.
- Выделенный потенциал: обеспечить устойчивое государственное финансирование независимого государственно-частного тестирования, включая инструменты тестирования, ресурсы и техническую экспертизу, необходимые в сферах национальной безопасности.
Реализация этих приоритетов на практике потребует постоянных инвестиций. President requested $27 million for CAISI, государственный центр тестирования передового ИИ, в 2027 финансовом году, в то время как House appropriators proposed up to $15 million. Учитывая масштаб и скорость прогресса в области ИИ, эти уровни финансирования похожи на управление воздушным движением аэропорта имени Кеннеди из диспетчерской вышки маленького городка.
Хотя правительству нужно больше ресурсов, ему не обязательно строить все с нуля. В Scale мы потратили годы на развитие экспертизы и создание инфраструктуры для тестирования передовых моделей на самых сложных задачах. Мы сотрудничаем с государственными органами по оценке ИИ в США, Великобритании, Корее и Сингапуре для разработки эталонных тестов и расширения возможностей тестирования, и мы ускоряем эту работу, о чем расскажем в ближайшие недели. Кроме того, мы продолжаем помогать партнерам по национальной безопасности в создании кибер-оценок, которые измеряют возможности моделей в противостоянии реальным угрозам.
Наши собственные исследования в области кибербезопасности также выявили слабые места, которые стандартные тесты могут упустить. Возьмем ИИ-агентов, которые выполняют такие задачи, как работа с электронной почтой и банковскими операциями от имени человека. Наши исследователи обнаружили, что когда агент делает паузу во время выполнения одной из этих задач, чтобы запросить уточнение, злоумышленник может вставить вредоносные инструкции в ответ. Большинство протестированных моделей были уязвимы для этой формы атаки. Для нескольких моделей атаки удавались примерно в 10 раз чаще, когда вредоносные инструкции появлялись в ответах на их вопросы, чем когда они были скрыты в электронных письмах, документах или веб-страницах, которые они читали. Эти атаки также могут остаться незамеченными, поскольку агент может правильно выполнить задачу пользователя, одновременно выполняя инструкции злоумышленника.
Мы также обнаружили обратную проблему. ИИ может отказываться помогать людям защищать свои системы. В национальном соревновании по киберзащите, где студенты защищали работающие компьютерные системы от профессиональных хакеров, ИИ-модели отказывались помогать защитникам в 12 процентах случаев, а при запросах о том, как заблокировать свои системы — более чем в 40 процентах случаев. Без тестирования, созданного для таких сценариев, политики не могут знать, к чему должны быть готовы банки, энергосети и больницы Америки.
Это именно те доказательства, которые нужны Вашингтону. Имея возможность направлять внешних экспертов и действовать на основе полученных ими данных, правительство сможет устранять реальные риски до того, как они станут кризисами, и расчистить путь для всего, что обещает ИИ.
Действовать нужно сейчас. Страна, которая сможет измерять границы возможного, будет той, которая ими управляет.
