Тоби Орд – На краю пропасти. Экзистенциальный риск и будущее человечества (страница 47)

Исследования экзистенциального риска

Исследования экзистенциального риска находятся в зачаточной стадии. Мы только начинаем понимать, с какими рисками сталкиваемся и как лучше с ними работать. Что же касается концептуальных и моральных принципов, а также общей стратегии человечества в этом вопросе, мы находимся на еще более ранней стадии. Таким образом, мы пока не готовы к решительным действиям для защиты своего долгосрочного потенциала. В связи с этим очень важно продолжать исследования экзистенциального риска. Они помогут нам определить, какие из доступных мер следует принимать, и открыть абсолютно новые способы борьбы с риском, те, что мы прежде даже не рассматривали[566].

Часть исследований необходимо посвятить конкретным темам. Нам нужно лучше изучить экзистенциальные риски: узнать, насколько они вероятны, каковы их механизмы и как лучше всего снижать их. Хотя ведутся масштабные исследования ядерной войны, изменения климата и биологической безопасности, лишь малая их часть посвящена самым радикальным событиям в каждой сфере – событиям, которые представляют угрозу для всего человечества[567]. Точно так же необходимо значительно расширить технические исследования того, как настраивать ОИИ в соответствии с человеческими ценностями.

Кроме того, нужно лучше изучить, как работать с основными факторами риска, такими как война между великими державами и с основными факторами безопасности. Например, понять, как создавать более эффективные институты, которые смогут осуществлять международную координацию и представлять интересы будущих поколений. Или как повышать свою стойкость, чтобы увеличивать вероятность восстановления после несмертельных катастроф. Необходимо и искать новые факторы риска и безопасности, чтобы у нас появилось больше способов работы с экзистенциальным риском.

Параллельно исследованию множества конкретных тем нужно изучать и абстрактные вопросы. Нам следует лучше разобраться в том, что такое лонгтермизм, потенциал человечества и экзистенциальный риск: доработать концепции, сделав их максимально убедительными; выяснить, на какие этические основания они опираются и какие этические обязательства предполагают; и глубже изучить ключевые стратегические вопросы, стоящие перед человечеством.

Может показаться, что эти области слишком огромны и неприступны, но прогресс в них возможен. Вспомните идеи, которые мы обсуждали на страницах этой книги. Некоторые из них имеют весьма общий характер: обзор истории человечества на протяжении столетий, Пропасть и важность защиты будущего. Но многие можно свести к емким и четким тезисам. Например, что катастрофа, в которой погибнет 100 % населения, может быть гораздо хуже, чем катастрофа, в которой погибнет 99 % населения, поскольку в первом случае человечество лишится будущего; продолжительность существования человечества как вида свидетельствует, что вероятность природных рисков не слишком высока; что снижение экзистенциального риска, как правило, будет недополучать ресурсы, поскольку это межпоколенческое всеобщее общественное благо; или что риски состояния отличаются от рисков переходного периода. Уверен, со временем появится еще немало подобных идей. Чтобы прийти к ним, специальные знания, как правило, не нужны – достаточно аналитического ума, который ищет закономерности, инструменты и объяснения.

Возможно, это удивит вас, но для многих исследований экзистенциального риска уже доступно финансирование. Некоторые дальновидные филантропы воспринимают экзистенциальный риск всерьез и недавно начали спонсировать первоклассные исследования основных рисков и путей их устранения[568]. Так, проект “Открытая филантропия” профинансировал недавнее моделирование ядерной зимы, а также исследования безопасности технического ИИ, готовности к пандемии и изменения климата – и все с особенным вниманием к самым неблагоприятным сценариям[569]. На момент написания этой книги спонсоры проекта готовы финансировать и множество новых исследований, и сдерживают их не деньги, а недостаток хороших исследователей, желающих заняться соответствующими вопросами[570].

Открылось и несколько научных институтов для исследования экзистенциального риска. Например, кембриджский Центр изучения экзистенциального риска (CSER) и оксфордский Институт будущего человечества (FHI), где работаю я[571]. Такие организации позволяют ученым-единомышленникам, представляющим разные дисциплины, вместе разрабатывать научные, этические и стратегические аспекты защиты человечества.

В этой главе говорится о том, что делать, чтобы защитить наше будущее. Но ничуть не менее полезно узнать, чего делать не стоит. Вот несколько примеров.

Не спешите с регулированием. В нужное время регулирование может стать весьма полезным инструментом для снижения экзистенциального риска. Но пока мы слишком плохо понимаем, как именно его осуществлять. Введение плохо продуманного регулирования стало бы большой ошибкой.

Не совершайте необратимых действий в одиночку. Некоторые контрмеры могут только усугубить наше положение (например, радикальная геоинженерия или публикация генома оспы). Не стоит забывать о проклятии односторонности (с. 164), когда возможность предпринимать действия в одностороннем порядке склоняет к действию людей, которые оценивают ситуацию наиболее оптимистично.

Не распространяйте опасную информацию. Изучать экзистенциальный риск – значит исследовать уязвимости нашего мира. Порой это рождает новые опасности. Если недостаточно осторожно обращаться с такой информацией, мы рискуем стать еще более уязвимыми (см. врезку “Информационные угрозы”, с. 164).

Не преувеличивайте риски. Заявления об экзистенциальном риске часто считают преувеличенными. Свою роль в этом играет и тенденция завышать риски, из-за которой людям становится значительно труднее разглядеть на общем фоне данные, полученные в ходе трезвого и взвешенного анализа.

Не проявляйте фанатизма. Защита нашего будущего имеет исключительное значение, но это не единственная важная задача, стоящая перед человечеством. Мы должны проявлять сознательность и нести в мир добро. Утомлять других бесконечными разговорами о риске нецелесообразно. Уговаривать их, что этот вопрос важнее любого другого, который кажется важным им, и того хуже.

Не проявляйте племенных инстинктов.Защита нашего будущего не прерогатива левых или правых, богатых или бедных, Востока или Запада. Эта задача лишена идеологической окраски. Если представлять ее как политический вопрос, стоящий по одну из сторон спорного водораздела, это может обернуться катастрофой. В будущем всем есть что терять, поэтому мы должны защищать его вместе[572].

Не забывайте о добросовестности. Когда на кону стоит нечто невероятно важное, а остальные не торопятся ничего предпринимать, людям кажется, что у них есть право добиваться успеха любыми способами. Нам ни в коем случае нельзя поддаваться такому соблазну. Единственный недобросовестный человек может испортить дело и перечеркнуть все, чего мы надеемся достичь.

Не отчаивайтесь. Отчаяние лишает нас сил, затуманивает наш разум и прогоняет всех, кто пытается нам помочь. Отчаяние – это самоисполняющееся пророчество. Хотя риски реальны и значительны, нам не известно ни одного риска, который мы были бы не в состоянии устранить. Только с высоко поднятой головой можно добиться успеха.

Не забывайте о хорошем. Хотя риски – главные трудности, с которыми сталкивается человечество, нельзя, чтобы наша жизнь сводилась только к ним. Нас ведет вперед надежда на будущее. Если ориентироваться на нее, у нас – и у остальных – появится необходимый стимул защищать свое будущее[573].

Что можете сделать вы

В этой главе в основном рассматривались системные вопросы о том, как человечеству в целом преодолеть Пропасть и реализовать свой потенциал. Но среди этих масштабных вопросов и тем у каждого есть шанс сыграть свою роль в защите будущего.

Один из самых надежных способов трудиться на благо мира – делать это в рамках своей профессиональной деятельности. Работая, мы посвящаем около 80 тысяч часов решению некой проблемы, большой или маленькой. Это настолько огромная часть нашей жизни, что если мы сможем посвятить ее одной из самых важных проблем, то внесем колоссальный вклад в общее дело.

Если вы трудитесь в сфере информатики или программирования, возможно, вы сумеете переключиться на работу с экзистенциальным риском, сопряженным с ИИ: например, проводя весьма востребованные исследования контроля ИИ или работая инженером над ИИ-проектом, где риски воспринимаются всерьез[574]. Если ваша сфера – медицина или биология, вы можете помочь с рисками, сопряженными с пандемиями искусственного происхождения. Если вы занимаетесь климатом, то можете расширять наши представления о вероятности и последствиях реализации радикальных климатических сценариев. Если ваша работа связана с политологией или международными отношениями, вы можете налаживать международную кооперацию в сфере экзистенциального риска, обеспечивать будущим поколениям право голоса в демократии или предотвращать войны между великими державами. Если вы работаете в правительстве, то можете помочь защитить будущее, повышая стандарты безопасности и создавая новые технологические регламенты.