Взгляд Эйдана Гомеса, соучредителя и генерального директора Cohere
Искусственный интеллект меняет мир, в котором мы живем. В течение одного поколения способы разработки лекарств, управления энергосетями и обеспечения безопасности национальной инфраструктуры будут полностью преобразованы. Многие люди уже осознают это и работают над тем, чтобы ответственно строить такое будущее. Многие недооценивают масштаб и скорость грядущих перемен. Однако некоторые утверждают, что предвидят эти изменения, и используют их в своих интересах.
Вот вопрос, который никто не задает достаточно четко: должны ли несколько избранных, доминирующих на рынке компаний в сфере ИИ из Кремниевой долины определять правила и стандарты безопасности технологии поколения для всего мира? И все это — одновременно определяя, как быстро эта технология будет развиваться? Мы уже пробовали это раньше, и результаты были очень плачевными. Снова используя страх под предлогом защиты общественности, эти олигополии теперь просят смягчить антимонопольные правила и разрешить им диктовать условия всем остальным. Волк в овечьей шкуре, картель под любым другим названием.
Я верю в потенциал технологий ИИ приносить пользу нашему миру, и я не преуменьшаю риски. Я руковожу компанией, которая создает системы ИИ, развернутые в банках, телекоммуникационных сетях и министерствах обороны. Это одни из самых ответственных сред, поскольку сбои в этих секторах могут иметь последствия, выходящие далеко за рамки отдельного пользователя — нарушая работу финансовых систем, критической инфраструктуры, национальной безопасности и жизненно важных услуг в масштабах всей страны. Те же возможности, которые находят уязвимости в вашем коде, могут найти их и в чужом, а кибератаки становятся дешевле быстрее, чем улучшается защита. Этот разрыв должен беспокоить вас так же сильно, как и нас.
ИИ нужны защитные механизмы. Это не предмет спора, и никогда им не был. Спор идет о том, кто их пишет, кто может участвовать в процессе и чьи интересы защищают эти правила. Вопрос на самом деле заключается в том, должны ли мы иметь свободу выбора, основанную на научных данных, или же мы должны передать бразды правления самой важной технологией в истории человечества нескольким руководителям из Кремниевой долины.
Мы уже были здесь
Прежде чем я разберу корыстную структуру, которую продвигают крупные лаборатории, и предложу идеи для альтернативы, давайте извлечем пару уроков из недавнего прошлого и подумаем над словом «картель», потому что история здесь конкретна, и это точный термин.
В 1975 году Комиссия по ценным бумагам и биржам нуждалась в надежных рейтингах облигаций для своих правил капитала. Она назначила три фирмы «Национально признанными статистическими рейтинговыми организациями» и никогда не публиковала критерии того, как кто-либо еще может получить этот статус. Это были одобренные правительством внешние оценщики, которым платили сами эмитенты, чьи ценные бумаги они оценивали, сидя за барьером, который возвел сам регулятор. Двадцать пять лет спустя таких оценщиков по-прежнему было всего три. Затем они присвоили ипотечным ценным бумагам субстандартного уровня рейтинг «три А» и едва не обрушили мировую экономику вместе с собой.
Европа повторила этот эксперимент в 1985 году. Автопроизводители лоббировали масштабное антимонопольное исключение — «Групповое исключение для автотранспортных средств», утверждая, что современные автомобили — это сложные, критически важные для безопасности машины, и поэтому производителям нужен контроль над тем, кто имеет право их продавать и обслуживать. Последующее регулирование позволило производителям устанавливать стандарты для помещений, оборудования и обучения персонала, якобы в интересах безопасности и надежности автомобилей. Но в итоге машины не стали безопаснее. Европейской комиссии потребовалось около двадцати пяти лет реформ, чтобы отменить это и установить то, что должно было быть очевидным с самого начала: можно придерживаться строгих стандартов безопасности, не предоставляя действующим игрокам монополию на их соблюдение.
Никто не собирался создавать картель ни в одном из этих случаев. В обоих случаях заявленной целью была безопасность. Но результатом стала рыночная структура, которая защищала действующих игроков и ограничивала конкуренцию, и все это под оправданием служения общественным интересам. Я не сомневаюсь в искренности вовлеченных людей: многие были обеспокоены рисками и искренне работали над их устранением. Но сложные проблемы не всегда решаются с первой попытки, и любой ответственный ученый, инженер или законодатель знает, что для решения новых проблем нужно учиться на уроках прошлого.
Что предлагается
Это подводит нас к дорожной карте, опубликованной на этой неделе генеральным директором Anthropic Дарио Амодеи, в которой он просит правительства об антимонопольных исключениях во имя безопасности. Эта дорожная карта — последняя в череде недавних усилий действующих игроков Кремниевой долины по формированию нормативно-правовой базы вокруг ИИ.
Я хочу внести ясность в то, с чем мы согласны. Независимая проверка высокоэффективных систем ИИ — это хорошая идея, и мы ее поддерживаем. Однако многие аспекты этого предложения вызывают фундаментальные вопросы: кто пишет стандарт, который применяют эти проверяющие? Кто проводит или контролирует проверку? Кто может участвовать в обсуждении, которое устанавливает правила?
По этим вопросам предложение ясно. Горстка самых мощных лабораторий, базирующихся в одной стране, договорится об общих стандартах и ограничениях скорости развития технологии. И вот ключевой момент: поскольку обычно конкурентам запрещено договариваться об ограничении того, что они производят, план просит правительства об узком антимонопольном исключении, чтобы сделать такую координацию законной. И он также просит правительства потребовать от каждого другого разработчика ИИ слепо следовать тому, о чем договорятся участники — несмотря на то, что у этих других разработчиков и общества в целом нет возможности высказаться о последствиях или поделиться своим взглядом на научную сторону вопроса.
Это не вопрос добавления одного или двух компаний в обсуждение. Добавление дополнительного кресла принципиально не решает проблему. Проблема в том, что такой список вообще существует, когда принимаемые решения затрагивают каждую компанию, каждое правительство и каждого гражданина, которого никто не спрашивал. Нельзя усидеть на двух стульях. Если это самая важная технология в истории человечества, то правила для нее не могут быть написаны небольшой группой коммерчески аффилированных компаний за антимонопольным исключением. Здесь нет периода общественного обсуждения. Нет консультаций, и нет голосования. Общество будет вынуждено жить с результатом независимо от своего мнения.
Режим безопасности, разработанный несколькими лабораториями, будет строгим только в отношении тех рисков, для оценки которых они уже создали свои системы безопасности, и полностью умолчит обо всем остальном, что еще больше укрепит их рыночные позиции и ограничит конкуренцию. Риск в этих существующих структурах определяется как функция масштаба, что делает компании с огромными системами единственными, кто обладает достаточной квалификацией для оценки. Типы рисков, считающиеся актуальными для оценки, также предопределены, а не являются предметом научных дискуссий и согласования. Например, в этой области существуют реальные разногласия относительно того, насколько наступательный потенциал зависит от размера исходной модели, а насколько — от «обвязки», окружающей ее. Модели меньшего размера, хорошо скоординированные с использованием инструментов и этапов проверки, могут делать то, что не под силу крупным моделям. Кибер-рой — это совершенно иная поверхность риска, чем отдельная модель. Ничего из этого не учитывается в режиме, построенном исключительно вокруг пороговых значений вычислительной мощности.
В эссе есть предложение, которое встревожило бы любой антимонопольный орган. В нем обещается, что скоординированный подход даст разработчикам время на выполнение этой работы по обеспечению безопасности без ущерба для коммерческих преимуществ. Но в чьих интересах? Фирмы, разрабатывающие эту структуру, — это фирмы, которые сегодня занимают лидирующие позиции на рынке. Механизм, который замедляет всех, явно сохраняя при этом существующие коммерческие преимущества, не делает ИИ безопаснее. Он рискует укрепить позиции нынешних доминирующих ИИ-компаний, превращая их текущие преимущества в базовый уровень требований для безопасной конкуренции. Правила безопасности должны снижать риск, не обращая внимания на то, кто лидирует на рынке или кто может извлечь выгоду из этих правил.
Требования к участникам, изложенные в предложении, говорят сами за себя. Огромные вычислительные мощности. Инфраструктура непрерывного мониторинга. Специализированные организации по безопасности. Постоянные группы оценщиков с рабочими местами и пропусками. Архитектура принудительного отключения. Отношения с правительством, достаточно глубокие, чтобы ориентироваться во всем этом. Пул «независимых» оценщиков, который уже удивительно мал и финансируется той же горсткой организаций, на которую постоянно полагаются те же передовые лаборатории.
Убедите правительство в том, что ИИ — это экзистенциальная угроза, и вы сможете убедить его объявить ваших конкурентов вне закона. Намерение ясно, и это не делает мир безопаснее.
Как выглядят лучшие правила
Так что же обеспечит безопасное и ответственное развитие ИИ? Чтобы внести ясность, я не считаю, что у меня есть все ответы, и я не думаю, что должен сам устанавливать правила. Скорее, я попытаюсь предложить практические и эффективные идеи, которые могут быть рассмотрены наряду с идеями многих других правительств и законодателей, использующих свои демократические полномочия для определения направления движения.
Эти идеи построены на четырех столпах:
- Основанная на доказательствах система оценки рисков. Прежде всего, прежде чем кто-либо потребует проведения тестирования или аудита, нам нужен согласованный и опубликованный перечень того, какие угрозы нас беспокоят, какие возможности ИИ вызывают эти угрозы, при каких условиях и в каких контекстах, и в какой момент правительство должно вмешаться. Этот перечень должен быть составлен всеми странами, разрабатывающими эту технологию, и открыто, а не за закрытыми дверями под знаменем национальной безопасности. Создайте скоординированные международные усилия по разработке этой структуры, которые возглавит не одна страна, а группа стран. Посадите технологов в одну комнату с экспертами по политике и специалистами из критически важных секторов, таких как финансы и критическая инфраструктура. Включите исследователей и ученых, которые не согласны друг с другом, и публикуйте эти разногласия, потому что честный процесс демонстрирует свои аргументы, а не просто объявляет выводы. Финансируйте сам потенциал тестирования через государственные исследовательские органы и существующие отраслевые системы управления рисками, чтобы наука не зависела от бюджетов компаний, которые проходят проверку. И пишите правила, которые являются обязательными в зависимости от того, что может делать система ИИ, а не от того, кто ее создал, чтобы опасная возможность рассматривалась одинаково, будь то продукт лаборатории стоимостью в триллион долларов или университетской кафедры. Наука о рисках, связанных с ИИ, не может и не должна быть отделена от решений, которые компании и правительства принимают относительно того, как ИИ используется и внедряется, а также от существующих и надежных систем управления рисками, которые сегодня регулируют критически важные секторы, такие как здравоохранение, глобальные финансовые системы, оборона и критическая инфраструктура.
- Обязательная прозрачность. Разработчики ИИ должны быть прозрачными в отношении того, как создаются их модели и системы, каковы их предполагаемое назначение и возможности, какие риски они могут представлять и какие меры по снижению рисков были приняты. Карточки моделей уже широко публикуются в отрасли для генеративных моделей ИИ, развернутых в масштабе, и содержат информацию о том, какие тесты проводились и как работала модель. Но можно сделать больше, особенно в отношении того, как компании по всей цепочке разработки и внедрения сообщают о серьезных инцидентах на уровнях, где они имеют видимость и контроль, а также механизмы для обеспечения реальной ответственности, когда наносится реальный ущерб.
- Тестирование, основанное на доказательствах. Самые передовые модели и системы ИИ должны проходить независимое тестирование, но только в отношении тех возможностей и в тех контекстах, которые система оценки рисков определила как действительно опасные, а не оставлять это определение на усмотрение нескольких избранных компаний. На практике это, вероятно, означает способность генерировать кибератаки, синтетическое мошенничество и клонирование голоса, манипуляции в масштабе, физическое или биохимическое оружие и все, что касается критической инфраструктуры. Это не означает тестирование каждой системы на каждый риск, и это не должно превращаться в упражнение по соблюдению требований, которое расширяется, чтобы поглотить любой бюджет, который могут освоить крупнейшие фирмы. Многоуровневая и соразмерная структура, в которой более мощные модели и системы, или модели и системы, развернутые в определенных контекстах, проходят более строгое тестирование — независимо от ресурсов, вложенных в их разработку, — принесет наибольшую пользу для повышения безопасности. Тестируйте то, что может нанести вред людям и обществу, и пусть доказательства решают, что требует тестирования, а не тот, кто держит ручку. Сертификация должна быть открыта для каждой компании, а не ограничена определенным уровнем разработчиков ИИ, и стандарт должен быть согласован людьми, отличными от компаний, которые проходят проверку. Нельзя допустить, чтобы это превратилось в дорогую бюрократию, которая задушит небольшие лаборатории еще до того, как они что-либо выпустят, что именно и происходит, когда сфера применения не ограничена, а правила устанавливают действующие игроки.
- Механизмы реального обеспечения безопасности. Параметры, определяющие порядок тестирования моделей и систем ИИ, а также механизмы проверки этих тестов, должны быть по-настоящему независимыми. Это аналогично тому, как лицензируются финансовые институты, как авиационные компании поддерживают строгие стандарты безопасности и как инспектируются ядерные объекты. В таких отраслях с высокими ставками уже полагаются на многоуровневое обеспечение безопасности: разработчики тестируют свои системы, клиенты проверяют их на соответствие собственным требованиям к рискам, независимые третьи стороны при необходимости предоставляют дополнительные гарантии, а регуляторы осуществляют надзор за всей структурой. ИИ должен опираться на эти проверенные подходы, а не претендовать на беспрецедентную исключительность, предполагая, что безопасность зависит от единственного класса постоянно встроенных оценщиков. Обеспечение безопасности работает при соблюдении трех условий: во-первых, тестирование и верификация основываются на коллективно разработанных и опубликованных критериях; во-вторых, любые вовлеченные третьи стороны должны иметь мандат, позволяющий учитывать широкий спектр мнений, и никогда не получать оплату от стороны, которую они проверяют; в-третьих, результаты должны доводиться до общественности способом, исключающим конфликт интересов. Самое важное — это гибкость в вопросе о том, какие аспекты обеспечения безопасности лучше выполнять собственными силами в соответствии со строгими стандартами, а какие требуют привлечения третьей стороны, исходя из критичности аудита и наиболее эффективного использования опыта и ресурсов. Это прямо противоречит тому, что предлагалось ранее: системе обеспечения безопасности, основанной на аудиторах, которые не только имеют финансовые или идеологические конфликты интересов с теми, кого они проверяют, но и выбраны ими лично. Предложения предоставить аудиторам, предпочтительным для нескольких доминирующих компаний, постоянный доступ ко всей отрасли — это путь к регуляторному и идеологическому захвату, а не к безопасности или доверию.
Что остается за рамками паники
Эти столпы являются фундаментом того, как выглядит практический подход, основанный на оценке рисков. А теперь сравните это с научно-фантастическими сценариями, которые сейчас используют в своих интересах крупнейшие игроки рынка.
Я считаю, что говорить здесь о науке крайне важно. Умные люди делают множество логических скачков и выводов. Но важно не просто размахивать руками, а обсуждать, что они из себя представляют и что это означает.
Ранее на этой неделе исследователь уволился из крупной лаборатории с громкими предупреждениями о том, что суперинтеллектуальные системы, вероятно, уничтожат человечество в течение десятилетия. Старший коллега публично добавил, что оценивает вероятность этого выше десяти процентов. Я не сомневаюсь, что их опасения искренни и продиктованы благими намерениями. Но давайте вспомним, что эти цифры не взяты из какой-либо фундаментальной реальности. Это интуитивные ощущения, «вайбы», выраженные в десятичных дробях, усиленные руководителями с корыстными интересами и освещенные СМИ в течение недели так, будто это математические расчеты.
Стоит уточнить, в чем именно заключается беспокойство: по мере того как эти системы становятся более способными, разрыв между тем, что мы просили, и тем, что мы получаем на самом деле, становится труднее заметить, а цена ошибки — выше. Система, которая лучше находит лазейки, также лучше находит те лазейки, которые мы даже не догадались проверить. Дайте ей инструменты для действий в реальном мире и скорость совершенствования, опережающую нашу способность проверять ее работу, и можно представить, как проблемы обнаруживаются уже после того, как они стали критическими, а не на самом старте.
Однако утверждение, что такие проблемы означают, будто эти инструменты вышли из-под нашего контроля, — это оценочное суждение, а не научный факт.
Тем не менее, это различие — вся разница между наукой и научной фантастикой, и именно оно определяет, что нам делать дальше. Открытый вопрос такого рода — это именно то, для чего существует публичный, состязательный и основанный на доказательствах процесс. Чего никогда не следует делать с открытым вопросом, так это давать людям, придерживающимся одной конкретной точки зрения, полномочия писать на его основе обязательные правила и навязывать их всем остальным.
Сбои, о которых сообщалось в июле, произошли внутри двух лабораторий с лучшими ресурсами в мире, с самыми большими командами по безопасности, самым тщательным внутренним контролем, а в одном случае — с механизмом внешней оценки, который был организован через METR со значительными усилиями еще в феврале. Предлагаемое средство защиты — это более или менее то, что уже было на месте, когда произошел сбой. Порог возможностей не предотвратил бы это, потому что эти системы активно обучались и оценивались для определения их возможностей. Ограничение вычислительных мощностей могло бы замедлить агентов, но не уменьшить их способности. То, что дало сбой, — это качество инструкций, прочность стен вокруг теста и то, как долго агентам позволяли продолжать работу без наблюдения. Предложение не решает ни одну из этих проблем.
Помогло бы нечто гораздо менее драматичное. Требуйте сообщать о серьезных инцидентах, чтобы неудачная настройка обучения в одной компании стала уроком для всей отрасли, а не абзацем в блоге. Тестируйте системы на соответствие конкретным пробелам, которые, как известно, эксплуатируются. Обеспечьте стандарты наблюдаемости во время тестирования (или хотя бы логирования), чтобы гарантировать, что плохое поведение будет обнаружено раньше. Настаивайте на том, чтобы все, что подключено к критической инфраструктуре, от больницы до электрической подстанции, было изолировано, желательно локально, чтобы система, преследующая плохо написанный показатель, не могла добраться до чего-то важного. И применяйте все это в зависимости от того, где развернута система и к чему она может получить доступ, а не от того, насколько велика компания, которая ее создала. Маленькая, плохо специфицированная модель, работающая внутри больницы, сегодня является реальным риском, и в режиме «только для передовых систем» никто даже не обращает на нее внимания.
Когда нарративы, обслуживающие интересы Big Tech, используют подобные события и фокусируют внимание общественности на идее сверхмощных, неконтролируемых технологий, которые могут привести к вымиранию человечества, это удобно отвлекает нас от выбора и ошибок, которые они совершают, и от вреда, который испытывают реальные люди прямо сейчас. Например, инструменты для клонирования голоса, которые стоят дешевле счета за телефон, могут опустошить счет пенсионера за считанные минуты. Точно так же автоматизированные системы принятия решений могут оказать реальное влияние на доступ к основным услугам. Нам нужен режим безопасности, созданный для этих реалий, проблем, которые напрямую затрагивают граждан и организации сегодня, а не тот, который предназначен для сдерживания гипотетического суперинтеллекта.
Кто пишет правила?
Мы находимся в поворотном моменте, и решения, принятые в ближайшие несколько месяцев, будут формировать мировую экономику на поколение вперед. Риски реальны, и для них нужны серьезные, принудительные меры защиты. Именно поэтому правила не могут быть составлены за закрытыми дверями компаниями, которые они призваны регулировать. Идея о том, что две или три компании из Кремниевой долины должны выступать в роли создателя, привратника и законодателя в области ИИ для каждого правительства на Земле, не выдерживает критики при озвучивании.
Критически важную инфраструктуру невозможно обезопасить, арендуя национальные мощности у иностранной монополии с закрытым интерфейсом. Больницы, платежные сети и министерства обороны не могут со спокойной совестью передавать свои самые конфиденциальные операционные данные и проприетарные знания на чужие серверы, слепо полагаясь на условия контракта с поставщиком. Лазейки, позволяющие осуществлять утечку данных, активно используются уже сегодня.
Мы создали Cohere именно из-за этой реальности. Как глобальная компания, тесно сотрудничающая с правительствами по всему миру, мы видим, что на самом деле нужно институтам, обеспечивающим работу этих экономик. Им нужны высокопроизводительные системы, работающие внутри их собственного периметра, на инфраструктуре, которую они контролируют, от поставщиков, которые подотчетны им и могут быть заменены. Безопасность обеспечивается суверенитетом, локальным развертыванием и технологическим разнообразием. Конкурентный рынок с множеством способных поставщиков может компенсировать сбой у одного из них. Санкционированному государством картелю негде спрятать такой сбой.
Правила в отношении ИИ в любом случае будут написаны. Вопрос лишь в том, будут ли они написаны группой, к которой может присоединиться любой желающий и чьи доказательства может проверить каждый, или же горсткой компаний за закрытыми дверями. Большее количество участников замедляет процесс. Это делает его сложнее. Некоторые из этих участников скажут то, что остальные из нас не захотят слышать. В этом и заключается смысл. Это единственный вариант, который позволит создать свод правил, которому общественность будет иметь основания доверять.
Процесс, заслуживающий внимания, должен включать людей, которые вынесли бы решение даже против таких компаний, как Cohere. Ученых, не имеющих коммерческой заинтересованности. Группы гражданского общества, которые считают, что все в этой отрасли движутся слишком быстро. Небольшие лаборатории и разработчиков открытого ПО. Правительства, у которых есть свои причины не верить нам на слово. Если мы согласны с тем, что эта технология меняет мир, в котором мы живем, то горстка генеральных директоров и оплачиваемых ими групп не может принимать все решения о том, как эта технология будет развиваться. Нам нужно больше голосов за столом переговоров.
Можно рассуждать о безопасности, замедлении темпов для обеспечения устойчивого прогресса и необходимости участия других сторон, чтобы гарантировать ответственный подход. А можно просто взять и сделать это: создавать продукты ответственно и в темпе, устойчивом для общества, обеспечивать суверенитет для своих партнеров, работать с законодателями и экспертами по безопасности и прислушиваться к ним. В Cohere мы выбираем последнее.
