Тоби Орд – На краю пропасти. Экзистенциальный риск и будущее человечества (страница 57)

Командование принял старший офицер, капитан Уильям Бассетт. Его смутило, что приказ на пуск был отдан на втором уровне боеготовности (DEFCON 2), поскольку такое невозможно. Его подчиненные предположили, что приказ перейти на DEFCON 1 не дошел к ним из-за помех, а офицер, управляющий пуском на другой точке, допустил, что началась упреждающая атака СССР и времени перейти на DEFCON 1 не осталось.

Но группа Бассетта быстро рассчитала, что превентивный удар уже достиг бы цели. Бассетт приказал проверить готовность снарядов к пуску и обратил внимание, что три их цели находились не в России, а это казалось маловероятным в разгар кризиса. Он связался по радио с центром управления пуском ракет, чтобы подтвердить зашифрованный приказ, но в ответ ему прислали тот же шифр.

Бассетта по-прежнему одолевали сомнения, но лейтенант, управлявший пуском на другой точке, где среди целей были только объекты, расположенные в СССР, заявил, что Бассетт не имеет права препятствовать пуску, учитывая, что приказ был повторен. Этот офицер приказал запустить ракеты из своего центра.

В ответ Бассетт приказал двум рядовым из соседнего пускового центра добежать по подземному тоннелю до того центра, где ракеты готовились к пуску, и застрелить лейтенанта, если тот решит все же исполнить полученный приказ, не дожидаясь ни одобрения Бассетта, ни перехода на DEFCON 1.

Технику Джону Бордну (который и рассказал эту историю) показалось странным, что приказ к пуску был дан по окончании плановой погодной сводки и повторен совершенно спокойно. Согласившись с ним, Бассетт позвонил в центр управления пуском ракет и попросил человека, передавшего приказ, либо отдать приказ о переходе на DEFCON 1, либо дать отбой. Быстро дали отбой, и опасность миновала.

Эта история была обнародована в 2015 году в статье в “Бюллетене ученых-атомщиков”, а также в речи Бордна в ООН. Она ставится под сомнение людьми, которые, по собственному утверждению, в то время находились на окинавских ракетных базах[659]. Существуют некоторые косвенные доказательства правдивости рассказа: воспоминания Бордна одобрили к публикации ВВС США; майор, отдавший ложный приказ о пуске, впоследствии предстал перед военным трибуналом; а сам Бордн приложил немало сил, чтобы разыскать людей, которые присутствовали на базе во время инцидента и могли бы подтвердить его слова.

Я не знаю, кто прав, но стоит изучить этот случай подробнее. В Архив национальной безопасности уже подали запрос по закону о свободном доступе к информации, но ответ на него может занять много лет. На мой взгляд, это предполагаемое происшествие стоит воспринимать всерьез, но, пока не появится подтверждения, не следует включать его в размышления об опасных ситуациях.

Приложение D

Неожиданные эффекты сочетания рисков

Мы увидели целый ряд неочевидных эффектов, которые возникают, когда мы объединяем отдельные экзистенциальные риски, чтобы оценить общий экзистенциальный риск. Эти эффекты становятся тем сильнее и тем причудливее, чем выше общий риск. Поскольку общий риск – это совокупный экзистенциальный риск для всего нашего будущего, он вполне может быть достаточно высок для возникновения значимых эффектов.

Во-первых, общий риск все меньше представляет собой простую сумму рисков. Не вдаваясь в арифметические тонкости, допустим, что мы сталкиваемся с четырьмя 50 %-ными рисками. Поскольку общий риск не может превышать 100 %, логика подсказывает, что риски должны в значительной мере накладываться друг на друга и при сочетании давать меньший процент, чем их сумма. Например, если бы они были независимыми, общий риск составил бы не 200 %, а 93,75 % (= 15/16).

Во-вторых, при устранении все большего числа рисков может существенно возрастать предельная отдача. Например, если мы устраним один из четырех независимых 50 %-ных рисков, общий риск снизится всего до 87,5 %. Но при устранении каждого следующего риска общий риск будет снижаться все быстрее: до 75 %, затем до 50 %, затем до 0 % – абсолютный эффект с каждым разом будет все сильнее. Можно смотреть на это и иначе: при устранении каждого из рисков наши шансы на выживание удваиваются, и абсолютный эффект от этого становится тем сильнее, тем выше наши шансы на выживание. Аналогичным образом, если работать над всеми четырьмя рисками параллельно и снизить каждый риск наполовину (с 50 до 25 %), общий риск снизится всего с 93,75 примерно до 68 %. Но если снизить их наполовину еще раз, в абсолютном выражении общий риск снизится сильнее, примерно до 41 %. Эти примеры показывают, что риски так сильно накладываются друг на друга, что катастрофа приобретает предопределенный характер, причем общий риск остается высоким, когда мы пытаемся его предотвратить. Но наша работа также помогает сократить наложение, благодаря чему дальнейшие действия становятся более полезными.

В-третьих, может оказаться, что работать надо в первую очередь с крупнейшими рисками. Мы увидели, что в случае, когда мы сталкиваемся с независимыми 10 %-ным и 20 %-ным рисками, устранение 10 %-ного риска снижает общий риск на 8 %, а устранение 20 %-ного риска – на 18 % (см. с. 208–209). Следовательно, снижение большего риска важнее не в 2 раза, а в 2,25 раза.

Для точного расчета относительной важности независимых рисков наивное соотношение вероятностей необходимо умножить на дополнительный фактор: отношение вероятности того, что первая катастрофа не произойдет, к вероятности того, что не произойдет вторая катастрофа[660]. Когда риски невелики, вероятность того, что каждая из катастроф не произойдет, близки к единице, поэтому и отношение тоже должно быть близким к единице, что почти не меняет дело. Но когда риск высок, отношение тоже вырастает, и это принципиальная разница[661].

Допустим, мы сталкивались бы с 10 %-ным риском и 90 %-ным риском. В таком случае наивное отношение составляло бы 9:1 и корректировка – тоже 9:1, поэтому устранение 90 %-ного риска было бы в 81 раз важнее, чем устранение 10 %-ного риска (см. Рис. Г.1). Пожалуй, легче всего понять это, если учесть, что 90 %-ный риск в 9 раз вероятнее, а мир, где он устранен, имеет в 9 раз больше шансов устоять перед остальными рисками.

Такую корректировку можно также проводить в других похожих случаях. Снижение 90 %-ного риска наполовину в 81 раз важнее снижения наполовину 10 %-ного риска, и это же справедливо при их снижении в любое другое количество раз. Даже снижение риска на фиксированную абсолютную величину, например на один процентный пункт, важнее для более крупного риска. Снижение 90 %-ного риска до 89 % в 9 раз важнее, чем снижение 10 %-ного риска до 9 %[662].

Рисунок d.1. Независимые 10 %-ный и 90 %-ный риски дают общий риск в 91 %. Устранение 10 %-ного риска снизит общий риск (вся залитая область на рисунке) всего на один процентный пункт до 90 %, в то время как устранение 90 %-ного риска снизит его на 81 процентный пункт до 10 %.

Все три описанных эффекта наблюдаются вне зависимости от того, наступают риски в одно или в разное время[663]. Следовательно, если в нашем будущем много риска, устранение рисков может становиться все более важным с каждым последующим столетием. Многие силы в общем случае приводят к убыванию отдачи от работы (например, тот факт, что мы можем начать с рисков, работать с которыми проще). Но если нам не повезет и риска будет много, то общая предельная отдача от борьбы с экзистенциальным риском, возможно, будет возрастать. И, вероятно, особенно важно будет работать с крупнейшими рисками.

Приложение Е

Ценность защиты человечества

Насколько ценно защищать человечество? Хотя дать точный ответ на этот вопрос не получится, один подход к нему представляется мне весьма полезным.

Начнем с намеренно примитивной модели экзистенциального риска. В этой модели делаются три допущения: о распределении риска во времени, о способах снизить этот риск и о ценности будущего. Для начала допустим, что уровень экзистенциального риска не меняется от века к веку, но остается неизвестным, и обозначим его r (постоянный уровень риска). Следовательно, когда мы вступаем в новый век, сохраняется вероятность r, что до следующего века мы не доживем. Далее допустим, что своими действиями мы можем снизить вероятность экзистенциальной катастрофы в текущем веке с r до некоторого меньшего числа. И наконец допустим, что каждый век до катастрофы обладает одинаковой ценностью v, то есть ценность будущего пропорциональна его продолжительности до катастрофы. (Это значит, что ценность будущего не дисконтируется, не считая вероятности того, сколько мы проживем до катастрофы, и не учитывая, что мы делаем предположения о популяционной этике^[664].) При таких допущениях ожидаемая ценность (ОЦ) будущего рассчитывается по формуле:

Это просто ценность одного века, деленная на вековой риск. Так, если вековой риск составляет 1 к 10, то ожидаемая ценность будет в десять раз больше ценности одного века.

Отсюда вытекает неожиданное следствие: что ценность устранения всего экзистенциального риска в текущем веке не зависит от того, насколько высок этот риск. Чтобы увидеть это, представьте, что вековой экзистенциальный риск составляет всего одну часть на миллион. Хотя вероятность того, что мы станем жертвами риска нашего века, ничтожна, будущее, которое мы потеряем, если это все-таки случится, сообразно огромно (в среднем миллион веков). В примитивной модели эти эффекты всегда уравновешивают друг друга. Ожидаемая ценность экзистенциального нериска в текущем веке рассчитывается по формуле: