Точка зрения Эйдана Гомеса, сооснователя и генерального директора Cohere
Искусственный интеллект меняет мир, в котором мы живем. В течение одного поколения способы создания лекарств, управления электросетями и обеспечения безопасности нашей национальной инфраструктуры претерпят кардинальные изменения. Многие люди уже осознают это и работают над тем, чтобы построить это будущее ответственно. Многие люди недооценивают масштабы и темпы предстоящих перемен. Некоторые же, однако, заявляют, что предвидят эти изменения, и используют их в собственных интересах.
Вот вопрос, который никто не задает достаточно четко: должна ли горстка избранных, доминирующих на рынке ИИ-компаний из Силиконовой долины определять правила и стандарты безопасности технологии эпохального значения для всего мира? И все это одновременно с определением того, насколько быстро прогрессирует эта технология? Мы уже пробовали это раньше с очень плачевными результатами. Снова используя страх под предлогом защиты общественности, эти олигополии теперь требуют смягчить правила конкуренции и разрешить им диктовать условия всем остальным. Волк в овечьей шкуре, картель под любым другим названием.
Я верю в потенциал технологий ИИ, способных принести пользу нашему миру, и я не преуменьшаю риски. Я руковожу компанией, которая создает системы ИИ, развертываемые в банках, телекоммуникационных сетях и министерствах обороны. Это одни из самых рискованных сред, поскольку сбои в данных секторах могут иметь последствия, далеко выходящие за рамки отдельного пользователя — подрывая финансовые системы, критическую инфраструктуру, национальную безопасность и основные услуги в массовом масштабе. Те же возможности, которые находят уязвимости в вашем коде, могут найти их и в чужом, а кибератаки становятся дешевле быстрее, чем улучшается защита. Этот разрыв должен беспокоить вас так же сильно, как и нас.
ИИ нуждается в ограничителях. Это не предмет спора и никогда им не было. Спор идет о том, кто их пишет, кто получает право участвовать и чьи интересы защищают эти правила. Вопрос на самом деле заключается в том, должны ли мы иметь свободу выбора на основе научных данных или мы должны передать бразды правления самой важной технологией в истории человечества нескольким руководителям из Силиконовой долины.
Мы уже проходили через это
Прежде чем я разберу эгоистичную структуру, которую продвигают крупные лаборатории, и предложу идеи альтернативы, давайте извлечем пару уроков из недавнего прошлого и подумаем над словом «картель», поскольку история конкретна, и это точный термин.
В 1975 году Комиссия по ценным бумагам и биржам нуждалась в надежных кредитных рейтингах для своих правил в отношении капитала. Она назначила три фирмы Национально признанными статистическими рейтинговыми организациями и никогда не публиковала критерии того, как кто-либо еще может получить этот статус. Это были одобренные правительством внешние оценщики, которым платили те самые эмитенты, чьи ценные бумаги они оценивали, и которые сидели за барьером, построенным самим регулятором. Двадцать пять лет спустя таких оценщиков все еще было только трое. Затем они присвоили ипотечным ценным бумагам сабпрайм наивысший рейтинг три А и чуть не утянули за собой на дно мировую экономику.
Европа повторила этот эксперимент в 1985 году. Автопроизводители добились широкого антимонопольного освобождения (Группового изъятия для автомобилестроения), утверждая, что современные автомобили — это сложные, критически важные для безопасности машины, и поэтому производителям необходим контроль над тем, кто имеет квалификацию для их продажи и обслуживания. Последующее регулирование позволило производителям устанавливать стандарты для помещений, оборудования и обучения персонала, явно в интересах безопасных и надежных автомобилей. Но в результате автомобили не стали безопаснее. Европейской комиссии потребовалось около двадцати пяти лет реформ, чтобы отменить это решение и установить то, что должно было быть очевидно с самого начала: можно поддерживать строгие стандарты безопасности, не передавая старожилам рынка монополию на их соблюдение.
Никто не собирался создавать картель ни в одном из случаев. В обоих случаях заявленной целью была безопасность. Но результатом стала рыночная структура, которая защищала старожилов и ограничивала конкуренцию, и все это под предлогом служения общественным интересам. Я не сомневаюсь в искренности вовлеченных людей: многие были обеспокоены рисками и искренне работали над их устранением. Но сложные проблемы не всегда решаются с первой попытки, и любой ответственный ученый, инженер или законодатель знает, что для решения новых проблем нужно учиться на уроках прошлого.
Что предлагается
Это подводит нас к дорожной карте, опубликованной на этой неделе генеральным директором Anthropic Дарио Амодеи, в которой он просит правительства об антимонопольных исключениях во имя безопасности. Эта дорожная карта является последней в череде недавних попыток старожилов Силиконовой долины сформировать ландшафт регулирования вокруг ИИ.
Я хочу внести ясность в отношении того, с чем мы согласны. Независимый обзор высокопроизводительных систем ИИ — это хорошая идея, и мы поддерживаем его. Тем не менее, многие аспекты предложения вызывают фундаментальные вопросы: кто пишет стандарт, который применяют эти рецензенты? Кто проводит проверку или осуществляет надзор за ней? Кто получает право участвовать в дискуссии, которая устанавливает правила?
По этим вопросам предложение предельно ясно. Горстка самых мощных лабораторий, базирующихся в одной стране, договорится об общих стандартах и ограничениях на то, как быстро должна развиваться технология. И вот ключевой момент: поскольку для конкурентов обычно незаконно договариваться об ограничении объемов производства, план просит правительства предоставить узкое антимонопольное исключение, чтобы сделать такую координацию законной. И он также просит правительства обязать каждого другого разработчика ИИ слепо следовать всему, о чем договорятся участники — несмотря на то, что у этих других разработчиков и более широкого общества не было возможности высказать свое мнение о последствиях или поделиться своим взглядом на науку.
Это не вопрос добавления еще одной или двух компаний в дискуссию. Добавление дополнительного кресла принципиально не решает проблему. Проблема в том, что список вообще существует, в то время как принимаемые решения касаются каждой компании, каждого правительства и каждого гражданина, у которого никто ничего не спрашивал. Нельзя усидеть на двух стульях. Если это самая важная технология в истории человечества, то правила для нее не могут писаться небольшой группой коммерчески аффилированных компаний за кулисами антимонопольных исключений. Здесь нет периода общественного обсуждения. Здесь нет консультаций и нет голосования. Общественность будет вынуждена жить с результатами независимо ни от чего.
Режим безопасности, разработанный несколькими лабораториями, будет тщательно оценивать лишь те риски, для оценки которых они уже создали свои системы безопасности, и полностью умолчит обо всем остальном, еще больше укрепляя их рыночные позиции и ограничивая конкуренцию. Риск в этих существующих рамках определяется как функция масштаба, что делает компании с огромными системами единственными субъектами, имеющими право судить. Типы рисков, считающиеся актуальными для оценки, также предопределены, а не открыты для научных дебатов и согласования. Например, в профессиональной среде существуют реальные разногласия по поводу того, какая доля наступательного потенциала исходит от исходного размера модели, а какая — от инфраструктуры («обвязки»), созданной вокруг нее. Небольшие модели, хорошо оркестрированные с использованием инструментов и этапов верификации, могут делать то, чего не могут большие модели. Киберрой — это совершенно иная поверхность риска, чем одиночная модель. Ничто из этого не отражено в режиме, построенном исключительно вокруг пороговых значений массивных вычислительных мощностей.
В эссе есть предложение, которое показалось бы тревожным любому антимонопольному органу. В нем обещается, что скоординированный подход даст разработчикам время на проведение этой работы по безопасности без ущерба для коммерческих преимуществ. Но в чьих интересах? Компании, разрабатывающие эту концепцию, — это компании, занимающие вершины современного рынка. Механизм, который замедляет всех, явно сохраняя при этом существующие коммерческие преимущества, не делает ИИ безопаснее. Он создает риск укрепления доминирующих сегодня компаний, превращая их текущие преимущества в базовый стандарт для безопасной конкуренции. Правила безопасности должны снижать риски независимо от того, кто лидирует на рынке или кто извлекает выгоду из этих правил.
Требования к доходу, изложенные в предложении, говорят сами за себя. Огромные вычислительные мощности. Инфраструктура непрерывного мониторинга. Специализированные организации по обеспечению безопасности. Постоянные команды оценщиков со своими рабочими местами и пропусками. Архитектура экстренного отключения. Правительственные связи, достаточно прочные для того, чтобы ориентироваться во всем этом. Пул «независимых» оценщиков, который уже сейчас удивительно мал и финансируется той же горсткой организаций, к которым постоянно обращаются те же передовые лаборатории.
Убедите правительство в том, что ИИ является экзистенциальной угрозой, и вы сможете убедить его объявить вне закона вашу конкуренцию. Намерение очевидно, и оно не создает более безопасного мира.
Как должны выглядеть лучшие правила
Что же обеспечит безопасное, ответственное развитие ИИ? Сразу оговорюсь: я не считаю, что у меня есть все ответы, и не думаю, что я должен единолично устанавливать правила. Скорее, я постараюсь предложить практические и эффективные идеи, которые могут быть рассмотрены наряду с идеями многих других правительств и законодателей, использующих свои демократические полномочия для определения направления движения.
Эти идеи строятся на четырех китах:
- Основанная на фактах концепция рисков. Прежде всего, и прежде чем кто-либо потребует обязательного тестирования или аудита, нам необходим согласованный и опубликованный отчет о том, какие именно угрозы нас беспокоят, какие возможности ИИ вызывают те или иные угрозы, при каких условиях и в каких контекстах, и в какой момент правительство должно вмешаться. Этот отчет должен быть составлен всеми странами, развивающими эту технологию, открыто, а не за закрытыми дверями под эгидой национальной безопасности. Необходимо создать скоординированные международные усилия по разработке этой концепции, возглавляемые не отдельной нацией, а их группой. Привлеките технологов к обсуждению наряду с политическими экспертами и специалистами из таких критически важных секторов, как финансы и критическая инфраструктура. Включите в этот процесс исследователей и ученых, которые не согласны друг с другом, и публикуйте эти разногласия, потому что честный процесс демонстрирует свои аргументы, а не просто объявляет выводы. Финансируйте сами мощности для тестирования через государственные исследовательские институты и существующие отраслевые системы управления рисками, чтобы наука не зависела от бюджетов оцениваемых компаний. И пишите правила, которые обязательны к исполнению на основе того, что ИИ может делать, а не того, кто его создал, чтобы к опасному потенциалу относились одинаково независимо от того, создан ли он в лаборатории стоимостью в триллион долларов или в университетском департаменте. Наука о рисках, связанных с ИИ, не может и не должна быть оторвана от решений компаний и правительств относительно того, как ИИ используется и развертывается, а также от существующих и надежных систем управления рисками, регулирующих такие критически важные сектора сегодня, как здравоохранение, глобальные финансовые системы, оборона и критическая инфраструктура.
- Обязательная прозрачность. Разработчики ИИ должны быть прозрачными в отношении того, как создаются их модели и системы, каково их предполагаемое назначение и возможности, какие риски они могут представлять и какие меры по снижению рисков были внедрены. Карточки моделей уже широко публикуются в индустрии для генеративных ИИ-моделей, развернутых в масштабе, с указанием проведенных тестов и производительности модели. Но можно сделать больше, особенно в отношении того, как компании во всем стеке разработки и развертывания сообщают о серьезных инцидентах на тех уровнях, где у них есть видимость и контроль, а также механизмы привлечения к реальной ответственности при возникновении реального ущерба.
- Тестирование, ограниченное рамками фактов. Самые передовые модели и системы ИИ должны проходить независимое тестирование, но только на предмет тех возможностей и в тех контекстах, которые концепция рисков определила как действительно опасные, а не оставлять это определение на усмотрение избранных компаний. На практике это, вероятно, означает способность генерировать кибератаки, синтетическое мошенничество и клонирование голоса, масштабные манипуляции, физическое или биохимическое оружие и все, что затрагивает критическую инфраструктуру. Это не означает тестирование каждой системы на каждый риск, и это не должно превращаться в процедуру комплаенса, которая раздувается до тех пор, пока не поглотит любой бюджет, который могут освоить крупнейшие фирмы. Многоуровневая и соразмерная структура, в которой более способные модели и системы (либо модели или системы, развернутые в определенных контекстах) подвергаются более строгим тестам — независимо от ресурсов, вложенных в их разработку, — принесет наибольшую пользу для повышения безопасности. Тестируйте то, что может навредить людям и обществам, и пусть факты определяют, что требует тестирования, а не тот, у кого в руках ручка. Сертификация должна быть открыта для любой компании, а не ограничиваться определенным уровнем разработчиков ИИ, и стандарт должен быть согласован людьми, не являющимися представителями компаний, чьи продукты по этому стандарту оцениваются. Нельзя допустить, чтобы это превратилось в дорогостоящую бюрократию, которая душит небольшие лаборатории еще до того, как они успеют что-либо выпустить, что и происходит, когда сфера применения ничем не ограничена, а правила устанавливают старожилы рынка.
- Настоящие механизмы обеспечения надежности. Параметры, определяющие порядок тестирования моделей и систем ИИ, а также механизмы проверки таких тестов должны быть по-настоящему независимыми. Это сродни тому, как лицензируются финансовые институты, авиакомпании поддерживают строгие стандарты безопасности, а ядерные объекты допускают проверки. Столь критически важные отрасли уже полагаются на многоуровневое обеспечение надежности: разработчики тестируют свои системы, заказчики проверяют их на соответствие собственным требованиям к рискам, независимые третьи стороны при необходимости обеспечивают дополнительную проверку, а регуляторы осуществляют надзор за всей системой. ИИ должен опираться на эти проверенные подходы, а не заявлять о своей беспрецедентной исключительности и предполагать, что безопасность зависит от единственного класса постоянно встроенных оценщиков. Обеспечение надежности работает при соблюдении трех условий: во-первых, тестирование и верификация базируются на совместно разработанных и опубликованных критериях; во-вторых, любые привлекаемые третьи стороны должны иметь мандат на учет различных мнений и ни в коем случае не получать оплату от проверяемой стороны; и в-третьих, результаты должны доводиться до общественности непредвзятым образом. Наиболее важна гибкость в отношении того, какие аспекты аудита лучше выполнять собственными силами в соответствии со строгими стандартами, а какие требуют привлечения третьей стороны, исходя из критичности аудита и наиболее эффективного использования опыта и ресурсов. Это находится в прямом контрасте с тем, что предлагается: системой обеспечения надежности, основанной на аудиторах, которые не только имеют финансовый или идеологический конфликт интересов с теми, кого проверяют, но и выбираются ими вручную. Предложения предоставить аудиторам, предпочитаемым горсткой доминирующих компаний, постоянный доступ ко всей отрасли — это путь к регуляторному и идеологическому захвату, а не к безопасности или доверию.
Что остается за рамками паники
Эти столпы лежат в основе практического подхода, основанного на оценке рисков. А теперь сравните его со сценариями научной фантастики, которые в настоящее время раздуваются крупнейшими игроками рынка.
Я считаю, что рассуждения о науке здесь чрезвычайно важны. Умные люди делают множество логических скачков и выводов. Но важно не отмахиваться от них общими фразами, а обсудить, что они собой представляют и что это значит.
В начале этой недели один из исследователей уволился из крупной лаборатории с громкими предупреждениями о том, что сверхинтеллектуальные системы, вероятно, уничтожат человечество в течение десятилетия. Высокопоставленный коллега публично поддержал его, заявив, что оценивает вероятность выше десяти процентов. Я не сомневаюся, что их опасения искренни и исходят из лучших побуждений. Но давайте вспомним, что эти цифры не взялись из какой-либо фундаментальной реальности. Это интуитивные ощущения, «вайбы», выраженные в виде десятичных дробей, усиленные руководителями с личной заинтересованностью и освещаемые средствами массовой информации в течение недели так, будто это математический анализ.
Стоит четко понимать, в чем заключается реальная проблема: по мере того как эти системы становятся все более способными, разрыв между тем, что мы просили, и тем, что мы получаем на самом деле, становится все труднее заметить, а ошибки обходятся все дороже. Система, которая лучше находит лазейки, также лучше находит лазейки, о проверке которых мы даже не думали. Дайте ей инструменты, действующие в реальном мире, и темпы совершенствования, опережающие нашу способность проверять ее работу, и вы легко сможете представить себе обнаружение проблем задолго после того, как это имело значение, а не на самом старте.
Однако утверждение о том, что такие проблемы означают выход этих инструментов из-под нашего контроля, — это субъективное суждение, а не доказанный факт.
Тем не менее, именно это различие составляет всю пропасть между наукой и научной фантастикой, и оно определяет наши дальнейшие действия. Открытый вопрос такого рода — это как раз то, для чего существует публичный, оспариваемый и основанный на доказательствах процесс. Чего никогда не следует делать с открытым вопросом, так это наделять людей, придерживающихся какого-то одного конкретного мнения, полномочиями писать на его основе обязательные правила и навязывать их всем остальным.
Сбои, о которых сообщалось в июле, произошли внутри двух лучше всего обеспеченных ресурсами лабораторий в мире, с крупнейшими командами по безопасности, максимальным внутренним контролем, а в одном случае — с привлечением внешнего оценщика через METR в рамках масштабных усилий, предпринятых еще в феврале. Предлагаемое средство исправления ситуации примерно соответствует тому, что уже действовало на момент сбоя. Порог возможностей не позволил бы его обнаружить, поскольку эти системы активно обучались и оценивались на предмет их возможностей. Ограничение вычислительной мощности могло бы замедлить агентов, но не уменьшило бы их способности. То, что дало сбой, — это качество инструкций, прочность барьеров вокруг теста и то, как долго агентам разрешалось продолжать работу без наблюдения. Предлагаемое решение не устраняет ни одну из этих проблем.
Помочь могло бы нечто гораздо менее драматичное. Требовать сообщения о серьезных инцидентах, чтобы неудачная настройка обучения в одной компании стала уроком для всей отрасли, а не параграфом в посте блога. Тестировать системы на наличие конкретных уязвимостей, которые, как известно, используются злоумышленниками. Обеспечить стандарты наблюдаемости во время тестирования (или хотя бы ведения журналов), чтобы гарантировать более раннее обнаружение вредоносного поведения. Настаивать на том, чтобы все, что подключается к критической инфраструктуре — от больницы до электрической подстанции, — было изолировано, в идеале локально, так чтобы система, преследующая плохо составленную цель, не могла добраться ни до чего важного. И применять все это в зависимости от того, где развернута система и к чему она имеет доступ, а не от того, насколько велика создавшая ее компания. Небольшая модель с нечеткими спецификациями внутри больницы представляет собой реальную угрозу уже сегодня, и в условиях режима регулирования исключительно фронтирных моделей на нее никто даже не смотрит.
Когда нарративы, обслуживающие интересы Big Tech, берут подобные события и фиксируют внимание общественности на идее сверхмощных, неконтролируемых технологий, которые могут привести к вымиранию человечества, это удобно отвлекает нас от выбора и ошибок, совершаемых ими, а также от вреда, которому подвергаются реальные люди прямо сейчас. Например, инструменты клонирования голоса стоимостью дешевле телефонного счета могут опустошить счет пенсионера за считанные минуты. Аналогичным образом, автоматизированные системы принятия решений могут оказать реальное влияние на доступ к основным услугам. Нам нужен режим безопасности, созданный для таких реалистей — проблем, которые сегодня напрямую влияют на граждан и организации, а не разработанный для сдерживания гипотетического сверхинтеллекта.
Кто пишет правила?
Мы находимся на поворотном этапе, и решения, принятые в ближайшие несколько месяцев, определят глобальную экономику на поколение вперед. Риски реальны, и они требуют серьезных, подлежащих исполнению гарантий. Именно поэтому правила не могут разрабатываться в обход установленного порядка компаниями, которыми они призваны управлять. Сама мысль о том, что две-три кремниевые компании должны выступать в роли создателя, привратника и законодателя правил в сфере ИИ для каждого правительства на земле, не выдерживает проверки озвучиванием.
Критическую инфраструктуру невозможно защитить, арендуя национальные мощности у иностранной монополии через закрытый интерфейс. Больницы, платежные сети и министерства обороны не могут со спокойной совестью передавать свои самые конфиденциальные операционные данные и проприетарные знания на чужие серверы и слепо полагаться на то, что договор с поставщиком защитит их. Лазейки, позволяющие осуществлять утечку данных, эксплуатируются уже сегодня.
Мы создали Cohere именно из-за этой реальности. Будучи глобальным бизнесом, тесно сотрудничающим с правительствами по всему миру, мы видим, что на самом деле нужно институтам, поддерживающим работу этих экономик. Они хотят иметь высокопроизводительные системы, работающие внутри их собственных периметров, на инфраструктуре, которую они контролируют, от провайдеров, которые подотчетны им и которых можно заменить. Безопасность обеспечивается суверенитетом, локальным развертыванием и технологическим разнообразием. Конкурентный рынок со множеством способных поставщиков может поглотить сбой у одного из них. Государственный картель не сможет скрыть его нигде.
Правила игры в сфере искусственного интеллекта так или иначе пишутся. Открытым остается вопрос: будут ли они написаны группой, к которой может присоединиться каждый, с доказательствами, которые может проверить любой желающий, или горсткой компаний за закрытыми дверями. Большее количество голосов замедляет процесс. Это делает его сложнее. Некоторые из этих голосов скажут то, что остальные из нас не хотят слышать. В этом и заключается суть. Это единственный вариант, который порождает свод правил, у общественности есть хоть какая-то причина доверять которому.
Процесс, заслуживающий внимания, должен включать людей, которые вынесли бы решение против таких компаний, как Cohere. Ученых, не имеющих коммерческой заинтересованности. Группы гражданского общества, которые считают, что все в этой отрасли движутся слишком быстро. Небольшие лаборатории и разработчиков открытого кода. Правительства, у которых есть свои причины не верить нам на слово. Если мы согласны с тем, что эта технология переделывает мир, в котором мы живем, горстка генеральных директоров и оплачиваемых ими групп не может принимать все решения о том, как эта технология развивается. Нам нужно больше голосов за столом переговоров.
Можно говорить о безопасности, замедлении темпов для обеспечения устойчивого прогресса и о необходимости вмешательства других, чтобы вы делали все ответственно. Или можно просто взять и сделать это: создавать ответственно и темпами, которые являются устойчивыми для общества, обеспечивать суверенитет для ваших партнеров, работать с законодателями и экспертами по безопасности и прислушиваться к ним. В Cohere мы выбираем последнее.
