Тоби Орд – На краю пропасти. Экзистенциальный риск и будущее человечества (страница 35)

История полна примеров, когда огромные пространства оказывались во власти ущербных идеологий и моральных установок. Более того, даже приемлемые нормативные установки часто требуют фиксации, ведь иначе конкурирующие установки могут одержать верх, что (предположительно) приведет к катастрофическому исходу[446]. Хотя самые оправданные моральные установки часто не противоречат друг другу в вопросе о том, какие мелкие изменения идут на благо, а какие – во вред миру, они, как правило, расходятся в описаниях оптимального мира для жизни. Таким образом, эта проблема перекликается с проблемой контроля ИИ, где упорное стремление к верному по большей части идеалу может обернуться катастрофой.

Вот несколько вполне правдоподобных примеров: миры, полностью отказавшиеся от дальнейшего технологического прогресса (что гарантирует нашу гибель при реализации природных рисков)[447]; миры, не признающие какую-либо ключевую форму вреда или несправедливости (и потому слепо потворствующие ей); миры, замкнувшиеся в единственной фундаменталистской религии, и миры, где мы намеренно заменяем себя чем-то, что гораздо менее ценно, хотя мы этого не понимаем (например, машинами, которые неспособны чувствовать)[448].

Все описанные необратимые дистопии можно считать заблокированными. Ключевые аспекты будущего цивилизации блокируются таким образом, что их становится практически невозможно изменить. Если мы оказываемся заблокированными в достаточно плохом наборе вариантов будущего, мы попадаем в необратимую дистопию – происходит экзистенциальная катастрофа.

Разумеется, мы сталкиваемся с подобным в меньших масштабах. Поправка Корвина к Конституции США – тревожный пример того, как люди попытались заблокировать ситуацию. В попытке задобрить Юг и избежать гражданской войны была предложена Тринадцатая поправка, которая должна была зафиксировать институт рабовладения, чтобы никакие будущие поправки к конституции не могли его отменить[449].

Я не вижу, каким образом мир мог бы погрузиться в дистопическое состояние в ближайшем будущем[450]. Однако по мере развития технологий и взаимосвязанности разных частей мира вероятность заблокированной дистопии, пожалуй, возрастет до заметного уровня в следующую сотню лет. Более того, я полагаю, что в отдаленном будущем на такие исходы, возможно, будет приходиться изрядная доля остаточного риска. Во-первых, они не столь очевидны, как другие риски, и потому, даже если мы возьмемся за ум и сделаем сохранение своего долгосрочного потенциала глобальным приоритетом, лишь незаурядная мудрость и рассудительность помогут нам избежать некоторых из этих ловушек. Во-вторых, если мы в конце концов расселимся за пределами Земли, это, вероятно, сделает нас почти неуязвимыми перед природными катастрофами, но идеи распространяются со скоростью света и могут все равно испортить то, чего мы надеемся достичь.

Главная проблема в том, что истинность идеи – лишь один элемент ее меметического потенциала, то есть ее способности распространяться и проникать в сознание. Но чем больше стимулов создается для обстоятельных и рациональных дебатов, тем больший вклад истинность вносит в меметический успех. Насаждая культуру таких дебатов, мы, возможно, нащупаем единственный путь, который поможет нам избежать такой судьбы. (Подробнее об этом читайте в разделе о долгом раздумье в главе 7.)

Понятие заблокированного состояния также позволяет нам рассмотреть экзистенциальный риск в другом любопытном ракурсе. Мы можем руководствоваться принципом минимизации блокировки. Или, чтобы избежать двойного отрицания, сохранения вариантов выбора[451]. Это тесно связано с идеей сохранения нашего долгосрочного потенциала, и разница лишь в том, что, сохраняя варианты выбора, мы не делим их на хорошие и плохие. И не потому, что в силу своей природы мы хотим сохранить даже плохие варианты, а потому, что мы не можем сказать наверняка, действительно ли они плохи, и, следовательно, рискуем совершить необратимую катастрофическую ошибку, если навсегда отринем тот из них, который был бы наилучшим.

Другие риски

Какие еще будущие риски дают прочные основания для беспокойства?

Одна из самых революционных технологий, которая, возможно, будет разработана в текущем столетии, – это нанотехнология. Мы уже стали свидетелями наступления эпохи наноматериалов (таких как углеродные нанотрубки), сконструированных с атомарной точностью при толщине всего в несколько атомов. Но гораздо более широкие перспективы откроются в случае, если мы сумеем создать механизмы, работающие с атомарной точностью. Мы точно знаем, что в некоторой форме это возможно, ведь в наших собственных клетках работают атомарно точные механизмы, которые уже выполняют жизненно важные функции.

В представлении людей нанотехнологии подразумевают создание микроскопических машин. Но настоящая революция может произойти тогда, когда наномеханизмы станут использоваться для создания макрообъектов. В своей основополагающей работе на эту тему Эрик Дрекслер описывает, как нанотехнологии могут открыть дорогу к появлению настольных фабрикаторов, способных собрать что угодно, от бриллиантового колье до нового ноутбука. Такое атомарно точное производство стало бы высшей ступенью 3D-печати: имея цифровой чертеж объекта и сырье в виде химических элементов, можно будет создавать атомарно точные копии. Это позволит производить объекты, для которых современных технологий пока недостаточно, а также снизить цены на то, что уже производится, например компьютеры и солнечные панели, почти до себестоимости сырья и материалов – и обеспечить мир гораздо большим объемом вычислительной мощности и чистой энергии.

Такая мощная технология может представлять некоторый экзистенциальный риск. Основное внимание пока уделяется возможности создания крошечных самовоспроизводящихся машин, распространение которых может привести к экологической катастрофе. Такое, пожалуй, возможно, но существуют и более приземленные опасности, которые кажутся более вероятными, поскольку огромная производственная мощность и точность, скорее всего, также проложат дорогу к производству нового оружия массового уничтожения[452]. Проблемы в этой области, в сущности, напоминают проблемы продвинутых биотехнологий: демократизация исключительно мощных технологий может наделить индивидов или небольшие группы возможностями (как конструктивными, так и деструктивными), которыми прежде обладали лишь могущественные державы. Контроль за этими технологиями, вероятно, можно будет осуществлять либо цифровыми методами, определяя, что подлежит производству, либо с помощью государственного надзора над производством (как в случае с атомной энергетикой). Хотя эти технологии более умозрительны, чем продвинутые биотехнологии и ИИ, со временем они тоже могут стать источником серьезного риска.

Совсем другой риск может быть связан с нашими исследованиями за пределами Земли. Космические агентства планируют экспедиции на Марс, чтобы доставить оттуда на Землю образцы грунта, главным образом для поиска признаков жизни. Это создает возможность “обратного загрязнения”, в результате которого микробы с Марса подвергнут опасности земную биосферу. Хотя все сходятся во мнении, что риск крайне мал, к нему относятся со всей серьезностью[453]. Планируется, что такие образцы будут доставлены в лабораторию уровня BSL-4 нового типа, чтобы вероятность того, что хоть одна нестерильная частица попадет в окружающую среду, не превысила одного к миллиону[454]. Хотя многие факторы остаются неизвестными, этот антропогенный риск представляется сравнительно невысоким и хорошо контролируемым[455].

Внеземной риск, который стоит на первом плане в популярной культуре, связан с конфликтом с инопланетной цивилизацией, способной путешествовать по космосу. Хотя очень сложно однозначно исключить такую возможность, широко признается, что такой сценарий крайне маловероятен (но становится более правдоподобным в исключительно долгосрочной перспективе)[456]. В популярной культуре главный риск сопряжен с прибытием инопланетян на Землю, но это, пожалуй, наименее вероятно и совсем не поддается нашему контролю. Однако, возможно, нам следует провести открытую дискуссию, прежде чем приступать к реализации активной части проекта SETI (отправке мощных сигналов для привлечения внимания далеких внеземных цивилизаций). Опасность может представлять даже пассивная часть проекта (прослушивание их сообщений), ведь сообщения вполне могут оказаться ловушкой[457]. Эти опасности невелики, но пока плохо изучены и плохо контролируемы.

Другой антропогенный риск сопряжен с самыми радикальными из наших научных экспериментов – теми, в которых создаются поистине беспрецедентные условия[458]. Так, при первом ядерном взрыве температура дошла до отметки, которой никогда прежде на Земле не наблюдалось, и появилась теоретическая возможность воспламенения атмосферы. Поскольку эти условия были беспрецедентными, мы не могли утешаться тем, что такое случалось уже много раз и не приводило к катастрофе. (Можно сказать, что часть рисков, о которых мы упоминали ранее, например обратное загрязнение, исследования с повышением вирулентности и ОИИ, также сопряжена с научными экспериментами, создающими беспрецедентные условия.)