Примечание авторов: Это первое эссе из нашей серии о новой экономике, часть новой платформы для независимых голосов, исследующих будущее AGI. Оно отражает наши взгляды, а не взгляды OpenAI или наших коллег.
Человечество видело почти до самого начала времен.
Наши уравнения дают в основном связное описание Вселенной с ее первых мгновений. С помощью телескопов мы заглянули в самые дальние уголки космоса и увидели его раннюю историю. Мы знаем о рождении звезд и формировании галактик.
И все же ни один человек никогда не путешествовал дальше Луны.
Объяснения, которые мы ищем, охватывают всю Вселенную, в то время как наши тела едва покинули дом. Наш разум устремляется далеко за пределы досягаемости наших рук.
Это несоответствие может означать две очень разные вещи.
Одна из возможностей заключается в том, что нам не нужно заходить слишком далеко, что глубочайшие истины могут быть постигнуты с одной планеты. Вооружившись просвещенным разумом и эффективными инструментами, мы раскрываем Вселенную, не пересекая ее. В этой истории наша цивилизация развивается вглубь, а не вширь. Это помогло бы объяснить, почему мы не видели другой разумной жизни: возможно, мы живем в галактике, полной блестящих умов, которым никогда не нужно было расширяться и становиться заметными для нас.
Вторая возможность более пугающая. Наш разум, возможно, просто опередил наши возможности по реализации. Каждый следующий шаг требует больше времени и больше ресурсов. У нас нет недостатка в мечтах, но нам не хватает рабочей силы для их реализации.
Галилей расширил наш кругозор с помощью двух линз и трубки. Чтобы расширить его снова сегодня, человечество построило космический телескоп «Джеймс Уэбб» — обсерваторию стоимостью десять миллиардов долларов, сложенную внутри ракеты и отправленную на миллион миль вдаль. Его восемнадцать огромных сегментов зеркал спроектированы с точностью до пятидесяти нанометров. Обсерватория родилась благодаря усилиям трехсот организаций из четырнадцати стран. Вклад Галилея потребовал усилий нескольких десятков человек. «Уэббу» понадобилась армия и стоящая за ней мировая экономика.
Чтобы видеть дальше, потребовались не просто более яркие умы. Потребовалась более крупная бюрократия.
Прогресс нуждается в системе поддержки
Мы задаем больше вопросов, чем можем исследовать. Мы проектируем больше экспериментов, чем можем провести. Мы придумываем творческие возможности быстрее, чем можем их реализовать. И во многих областях: чем дальше мы продвигаемся, тем сложнее становится построить то, что мы себе представляем.
Ник Блум и его соавторы(открывается в новом окне) изучили производительность исследований в американской экономике. Поддержание закона Мура теперь требует более чем в восемнадцать раз больше исследователей, чем в начале 1970-х годов. Эффективные исследовательские усилия в масштабах всей экономики выросли в двадцать три раза с 1930-х годов, в то время как измеренная производительность исследований упала в сорок один раз.
Численность технического персонала растет в два раза быстрее(открывается в новом окне), чем численность ученых. Использование специализированного оборудования в науке удвоилось(открывается в новом окне) за четыре десятилетия. Сегодня фабрика по производству чипов в пять раз дороже(открывается в новом окне) — и представляет собой гораздо более масштабную операцию, — чем тридцать лет назад.
Эта статистика намекает на растущую стоимость дальнейшего прогресса. Экономика все еще развивается, потому что значительный рост исследовательского предприятия компенсировал снижение отдачи от каждой единицы.
Ингредиенты прогресса
Эта история должна заставить нас иначе взглянуть на гениальность: не как на нечто, существующее в вакууме, а как на один из входов в производственный процесс. Блестящая гипотеза все еще нуждается в доказательствах, инструментах и средствах для ее осуществления. Идея — это еще не прогресс без механизмов и вспомогательного персонала для ее воплощения.
Экономисты называют два входа дополняющими друг друга, когда увеличение одного повышает ценность другого. Интеллект на переднем крае и способность реализовать его идеи являются дополнениями в этом смысле. Лучший телескоп делает хороший астрономический вопрос более ценным. Лучший вопрос делает телескоп более ценным.
Некоторые дополнения являются физическими. Теория ждет ускорителя частиц; технологический проект ждет энергии и оборудования для его создания.
Другие дополнения труднее увидеть глазами. Идея сама по себе — вещь хрупкая. Ей нужны институты всех видов. Законы, бюрократия, механизмы финансирования, цепочки поставок и многое другое объединяются для реализации идеи.
Великая идея должна пережить длинную цепь правильных локальных действий в этих институтах. Назовем это институциональным интеллектом: невоспетый интеллект исполнения. Гений проектирует памятник; институты укладывают камень. Одно блестяще, другое кажется скучным; оба абсолютно важны.
Мы иногда представляем суперинтеллект как миллиард Эйнштейнов. Но цивилизации из миллиарда Эйнштейнов все равно нужно, чтобы большинство из них добывали камень в карьерах и занимались бухгалтерией. Инновации на переднем крае могут происходить только тогда, когда нормальный мир работает бесперебойно вокруг них. Прогресс требует участия каждого — от сварщика винта, который идет в телескоп, до страховщика начальной школы, которая обучила медсестру, лечившую астронома. Прогресс построен на гудящей экономике, которую мы часто игнорируем в рассказах о наших величайших достижениях.
Подобно человеческому интеллекту, ИИ будет направлен как на блестящее озарение, так и на институциональную компетентность. Вопрос в том, на что он потратит большую часть своего времени.
Узкое место сегодня
ИИ уже делает исполнение менее дефицитным. Он пишет код, ищет в незнакомой литературе и превращает эскиз в работающий прототип. Идеи, которые когда-то требовали целой организации, все чаще могут быть реализованы одним амбициозным человеком.
Большинству начинающих режиссеров никогда не дают двести миллионов долларов, чтобы снять свой фильм. Большинство геймдизайнеров проводят всю свою карьеру, воплощая творческие замыслы других. Мы стараемся продвигать самых одаренных людей, но неизбежно упускаем таланты. В этом свете эпоха интеллекта начинается с дополнения человеческой изобретательности, предоставляя большему числу из нас вспомогательный персонал для реализации наших собственных идей.
Это может привести к изобилию идиосинкразических проектов, когда больше творческой работы будет производиться вне институтов, которые ранее служили привратниками для работы в этих областях. Дефицитный ресурс смещается от исполнения к вкусу — способности решать, что стоит делать, какой вопрос стоит задавать и какое из тысячи правдоподобных направлений заслуживает того, чтобы его преследовали.
Но это может быть не концом истории. По мере того как ИИ становится способным самостоятельно приходить к блестящим новым идеям — что мы, возможно, уже наблюдаем в таких областях, как математика, — он поставляет как повестки дня, так и рабочую силу. Вместо того чтобы реализовывать одну человеческую исследовательскую программу, он разрабатывает тысячи своих собственных. Гении ИИ взрывают количество концепций фильмов, которые стоит развивать, и гипотез, которые стоит проверять. Идей становится больше, чем может поглотить поддерживающая инфраструктура.
Сегодняшний ИИ предлагает долгожданную передышку, когда наши хорошие идеи наконец получают должное. Завтра идей может стать так много, что мы станем испытывать еще больший дефицит исполнения, чем когда-либо прежде.
Две цивилизации
В конечном счете мы не знаем, будут ли дополнения, необходимые для продуктивного использования новых идей, расти, сокращаться или оставаться стабильными. Насколько далеко можно продвинуться в интеллектуальном плане, полагаясь только на мышление? Сколько бюрократии нужно гениальности?
На наш взгляд, ответ зависит от того, как далеко может зайти мысль, прежде чем ей потребуется новый контакт с реальностью.
Мы описываем два потенциальных пути. Первый — это цивилизация глубины, в которой суперинтеллект преодолевает потребность в увеличении физического капитала и бюрократической организации. Второй — это цивилизация ширины, в которой сложность природы превосходит способность любого интеллекта — человеческого или машинного — добиваться прогресса без масштабных и все более сложных экспериментов в реальном мире.
История человечества до сих пор намекает на растущую потребность в дополнительных мощностях. Телескоп Галилея помещался у него в руках; для «Уэбба» потребовалась целая цивилизация. Небольшая команда Bell Labs собрала первый транзистор на верстаке; современные достижения в области чипов стали результатом сложной глобальной цепочки поставок. Дальнейшее развитие требует привлечения все больших ресурсов цивилизации.
Но эта история не обязательно должна стать судьбой. Умные умы могут изобрести более эффективные дополнения. Если энергия становится узким местом для нового ускорителя частиц, гениальность может создать более экономичный ускоритель или лучший способ получения энергии.
Гениальность также может заменить некоторые из своих дополнений. Эйнштейн смог прийти к теории относительности, опираясь на очень малый объем эмпирических данных. Нам потребовалось бы гораздо больше. Некоторые люди просто помнят все свои дела — большинство из нас полагается на бюрократию Google Calendar.
И гениальность может максимизировать вкус, выбирая лучшие гипотезы для проверки и избегая расточительных неудач. Если каждый дополнительный гений повышает качество плана, даже если требуются все более крупные бюрократические структуры, мы все равно будем вкладывать значительные средства в гениальность именно потому, что исполнение слишком дорого стоит, чтобы тратить его на неправильные вещи.
Ни один из путей не опишет наше реальное будущее идеально, но их можно рассматривать как два возможных направления развития нашей цивилизации.
Цивилизация глубины
Интеллект может продвигать знания тремя способами. Он может рассуждать, исходя из принципов. Он может извлекать новые идеи из существующих данных. Или он может собирать новые данные, наблюдая за миром и воздействуя на него.
Первый способ может зайти далеко только за счет мышления. Математика — чистейший тому пример. На многих перепутьях в доказательстве или проекте мощный разум может последовательно принимать верное решение. Это заменяет годы бесплодных поисков короткой, более направленной цепочкой рассуждений.
Второй способ — это также непаханое поле для быстрого прогресса. Человечество собрало гораздо больше данных, чем успело осмыслить. Изучение наших данных — астрономических снимков, предметных стекол микроскопов, разделов комментариев в интернете — было ограничено дефицитом человеческого интеллекта. Научные архивы содержат наблюдения, записанные для ответа на один вопрос, которые могут содержать ответы на многие другие. Изобилие гениальности может совершать открытия не путем сбора чего-то нового, а путем видения того, что уже было там. Можно найти новую вселенную, не собирая ни одного нового фотона.
Третий способ не так прост, потому что требует взаимодействия с физическим миром. Физические процессы требуют времени, и часто мало что можно сделать, чтобы их ускорить. Химические вещества должны вступить в реакцию. Организмы должны вырасти. Машины должны быть построены. Космические аппараты должны преодолеть реальное расстояние, подчиняясь космическим ограничениям скорости. Даже совершенный разум не может наблюдать результат эксперимента, который еще не состоялся.
Но он может попытаться. Цивилизация глубины не избежит необходимости обращаться к реальности. Она станет радикально экономной в этом. Лучшее мышление позволит определить те немногие эксперименты, которые действительно важны. Моделирование разрешит большинство вопросов и укажет на точную неопределенность, которую должна устранить реальность. Суперинтеллект может максимизировать эффективность, проектируя решения вокруг своих дефицитных ресурсов, чтобы получить от них максимум.
Представьте себе лабораторию астрофизики с набором гипотез о темной материи. Сначала они проходят через гиперреалистичное компьютерное моделирование. Каждая теория проверяется на согласованность со всеми существующими данными. Только после этого делаются несколько целевых новых снимков неба, чтобы проверить наиболее перспективные теории. Цивилизации все еще нужны дополнения к гениальности, но каждая единица дает гораздо больше ценности.
Наш путь к цивилизации глубины может быть похож на сборку пазла. Прогресс легок в начале, легок в конце и наиболее труден в середине. Сначала есть очевидные края и легкие совпадения. Затем они заканчиваются, а собранной части картины слишком мало, чтобы направлять остальное. Ближе к концу оставшиеся пробелы почти сами подсказывают, что в них должно быть. Почти завершенная наука может обнаружить, что ее последние открытия даются легче, чем те, к которым мы пробиваемся сегодня.
Это основа науки. Менделеев мог описать неоткрытые элементы, потому что остальная часть периодической таблицы ограничивала то, чего не хватало. Стандартная модель дала физикам основания ожидать бозон Хиггса за десятилетия до того, как мы его наблюдали. Наши эксперименты были направлены на поиск того, что мы ожидали увидеть — того, что было согласовано с существующей теорией и данными.
Суперинтеллект может достичь цивилизации глубины, понимая закономерности мира настолько хорошо, что он точно знает, какие новые данные ему нужны. Он будет стимулировать прогресс за счет более глубокого мышления, не полагаясь на медленный марш физического расширения.
Если эти виды эффективности будут доминировать, цивилизация сможет быстро углубить свое господство над природой, с меньшей потребностью в институциональном интеллекте для управления огромными новыми экспериментальными аппаратами. Ее физический след может оставаться небольшим, пока ее мудрость созревает.
Мы, люди, уже так много поняли о нашей вселенной, даже не выходя из дома. Цивилизация глубины стала бы продолжением этой традиции.
Цивилизация ширины
Но спрос на новые данные может перевесить эту эффективность. Интеллект может удешевить каждую консультацию с реальностью, одновременно обнаруживая гораздо больше причин для такой консультации. Более совершенные инструменты открывают более тонкие границы. Более быстрые эксперименты могут сделать дополнительные эксперименты целесообразными.
Если почти чисто когнитивный путь Эйнштейна к его теориям относительности типичен для цивилизации глубины, то биология, возможно, лучше всего предвещает цивилизацию ширины. Несмотря на все накопленные нами знания и все данные, которые мы привлекли, новые лекарства все равно должны тестироваться на большом количестве людей, чтобы знать, что они безопасны и эффективны. Машины теперь могут моделировать биологические процессы, позволяя биологам тестировать новые препараты in silico, а не в физических экспериментах, но эти цифровые симуляции недостаточно верны реальному миру, чтобы заменить масштабные испытания на людях. Большее количество кандидатов от машины делает эмпиризм еще большим узким местом.
В цивилизации ширины одной гениальности недостаточно для прогресса. Наша потребность в физических ресурсах — и бюрократии для управления их использованием — растет быстрее, чем умный разум может экономить на том или другом.
Возможно, это наш путь, даже если будущие системы ИИ значительно превзойдут человеческий интеллект. Сверхразум может спроектировать эксперименты на столетие вперед за один день, а затем провести столетие в ожидании, пока природа и механизмы воплотят их в жизнь. В таком мире становится ценнее вкладывать интеллект в институциональные процессы, необходимые для реализации идей, чем в само генерирование идей.
Эффект будет усиливаться, если каждый последующий шаг потребует все больше вспомогательной инфраструктуры.
Здесь мы увидим относительно меньше размышлений и относительно больше строительства. Лаборатории автоматизируются. Фабрики множатся. Производство энергии растет. Институциональный интеллект доминирует, чтобы сделать все это возможным. Физическое расширение становится двигателем знаний, и цивилизация распространяется, потому что ее вопросы переросли средства получения ответов. Больше материалов, больше энергии, больше данных для продолжения движения.
Сфера Дайсона — это экстремальный образ такого будущего. Ее проектирование требует выдающихся прорывов, однако большая часть проекта не будет состоять из прорывных идей. Это будет строительство и логистика в астрономических масштабах.
Для создания сферы Дайсона нужны блестящие умы, чтобы разработать чертежи. Но это также будет один из самых повторяющихся, монотонных и организационно сложных проектов, когда-либо предпринимавшихся.
Это не провал интеллекта, а скорее следствие его успеха. Более яркие умы находят более стоящие проекты; более сложные проекты требуют больше материи для реализации.
Если это так, то сверхспособностью сверхразума может быть не его гениальность. Вместо этого ею станет готовность быть бюрократией, координировать огромный технологический и институциональный аппарат, необходимый для превращения идей в реальность во все более крупных масштабах.
Почти весь машинный интеллект будет задействован не для того, чтобы делать блестящее, а для того, чтобы делать скучное.
Природные ограничения скорости физического расширения могут стать узким местом для дальнейшего прогресса. Создание механизмов для сбора энергии звезды — это задача, связанная с материей, как бы быстро ни были нарисованы планы. За ней лежат другие звезды и другие галактики, и расстояние (насколько нам известно) является собственным ограничителем: ни один корабль не может путешествовать и ни один сигнал не может вернуться быстрее света. Цивилизация ширины — это медленная цивилизация. Ее великие изменения могут происходить с интервалом в тысячелетия, возможно, в миллионы лет. Каждый следующий шаг занимает больше времени.
Революции сельского хозяйства и промышленности будут выглядеть как неистовое начало гораздо более длинной истории с гораздо более медленным темпом прогресса.
Место для человеческого любопытства
Вполне возможно, что будущие системы ИИ превзойдут людей как в получении передовых знаний, так и в координации ресурсов, необходимых для того, чтобы сделать эти знания практически полезными. Но эта возможность не умаляет важности человеческого любопытства.
Во-первых, наше обязательство перед просвещением остается, даже если машины кажутся в этом лучше. Вселенная, возможно, уже содержит умы, гораздо более мудрые, чем наши, с ответами на научные и моральные вопросы, выходящие за рамки нашего понимания. И все же мы продолжаем пытаться понять мир сами. Появление другого интеллекта — даже того, который мы создаем сами, — этого не меняет. Пока мы не будем точно знать, что человечеству больше нечего привнести, отказ от попыток будет пустой тратой того, что только мы можем добавить в этот мир. Наш долг — продолжать спрашивать и пытаться отвечать.
Во-вторых, у нас может быть сравнительное преимущество в передовом интеллекте по сравнению с институциональным интеллектом. Это означало бы, что даже если мы хуже в обоих, мы относительно лучше в первом и специализируемся на нем. Люди выражают предпочтение быть творческими, а не рутинными, в то время как роботы не выражают таких предпочтений.
В-третьих, мы получаем ценность от разнообразия. Даже если машины могут имитировать большую часть человеческого мышления, если мы сохраним некоторую уникальность, мы предложим творческое разнообразие. Большая часть машинного интеллекта останется в своем собственном самоподдерживающемся аппарате, но небольшая часть будет использоваться нами по нашему творческому велению. Это лишь малая часть целого, но роскошная для нашего масштаба и гораздо большая, чем те ресурсы, которыми мы располагаем сегодня.
Изобретательность — это не одинокое занятие. Ей нужен мир, а гению нужны строители, чтобы воплотить его творческое видение.
Большая часть человеческого интеллекта сегодня уходит на невоспетую работу по превращению идей в реальность. Машинные умы унаследуют ту же зависимость. Они не могут быть все светилами. Они должны быть и бюрократами.
Наша будущая история — и темпы ее прогресса — зависят от того, нужно ли великим умам больше мира или они делают больше с меньшими затратами.
