Тоби Орд – На краю пропасти. Экзистенциальный риск и будущее человечества (страница 37)
Одна из самых удивительных характеристик этого рискового ландшафта – огромная разница между вероятностями разных рисков. Одни риски в миллионы раз вероятнее других, и мало какие из рисков имеют вероятности одного порядка. Такая разница наблюдается и между разными классами рисков: по моим оценкам, антропогенные риски более чем в 1000 раз вероятнее природных[468]. Из антропогенных рисков, на мой взгляд, риски, сопряженные с технологиями будущего, примерно в 100 раз серьезнее рисков, сопряженных с существующими технологиями, а следовательно, риски в третьей, четвертой и пятой главах расположены по мере роста их вероятности.
На первый взгляд такая неоднородность может показаться неожиданной, но в науке на удивление часто встречается подобное распределение, включающее цифры различных порядков, где основной вклад в целое вносят максимальные величины. Из-за этой неоднородности нам крайне важно отдавать приоритет работе с нужными рисками. Кроме того, именно поэтому наша оценка общего риска сильно зависит от оценки нескольких самых серьезных рисков (которые входят в число самых слабо изученных). В связи с этим ключевой задачей становится более глубокое изучение этих рисков и более точная их оценка.
На мой взгляд, самый серьезный риск для человеческого потенциала в ближайшее столетие представляет неконтролируемый искусственный интеллект, которому я присвоил вероятность 1 к 10. Может показаться странным, что вероятность такого умозрительного риска столь высока, поэтому не помешает объяснить, чем я руководствовался.
При оценке вероятности беспрецедентного события, способного потрясти весь мир, принято проявлять скепсис: начинать с исключительно низкой вероятности и увеличивать ее лишь в том случае, когда появляется большое количество объективных данных в поддержку такого решения. Я не согласен с таким подходом. Я полагаю, что правильнее начинать с вероятности, которая отражает наши общие впечатления, а затем корректировать ее с учетом научных данных[469]. Когда данных много, эти подходы соединяются. Но когда данных мало, нам не все равно, с чего начинать.
В случае с искусственным интеллектом никто не спорит, что данные и доводы пока далеки от однозначности, но возникает вопрос: что нам это дает? Если не вдаваться в подробности, в своем анализе я отталкиваюсь от общего мнения экспертного сообщества, согласно которому вероятность того, что в ближайшее столетие появятся агенты ИИ, способные превзойти человека в выполнении практически любой задачи, составляет примерно 1 к 2. Если это случится, не стоит удивляться, что агенты, превосходящие нас по всем фронтам, в итоге, возможно, унаследуют наше будущее. Особенно если, рассматривая ситуацию в деталях, мы предвидим серьезные трудности при настройке таких агентов на соответствие нашим ценностям.
Одни мои коллеги присваивают этому риску большую вероятность, чем я, а другие – меньшую. Но в целом наши цифры сходятся. Допустим, вы более скептически подходите к оценке этого риска и присваиваете ему вероятность 1 к 100. С информационной точки зрения эти оценки не так далеки друг от друга: нужно не так уж много данных, чтобы перейти от одной из них к другой. С практической точки зрения они тоже, скорее всего, не слишком различаются: экзистенциальный риск, имеющий любую из этих вероятностей, стал бы проблемой первостепенной важности во всем мире.
Порой я представляю рисковый ландшафт, ориентируясь на пять серьезных рисков: ядерной войны, изменения климата, другого экологического ущерба, пандемий искусственного происхождения и неконтролируемого ИИ. Хотя я считаю последние два особенно важными, на мой взгляд, каждый из них с вероятностью не менее 1 к 1000 может в текущем столетии уничтожить потенциал человечества, а потому каждому из них необходимо противостоять силами всего мира, учитывая их вклад в общий уровень экзистенциального риска (в дополнение к другим убедительным причинам).
В целом я считаю, что вероятность экзистенциальной катастрофы в последующее столетие составляет примерно 1 к 6. Это не малая статистическая вероятность, которую нам следует держать в голове, как, например, вероятность погибнуть в дорожной аварии, а серьезная цифра, свидетельствующая о том, что действительно может произойти, сопоставимая с вероятностью выпадения любого из чисел на игральной кости или вероятностью неудачи в русской рулетке.
Риск велик, но наше положение вовсе не безнадежно. Оценка подразумевает, что в пяти случаях из шести человечество сумеет прожить следующую сотню лет, не растеряв свой долгосрочный потенциал. В связи с этим, хотя я считаю, что управление некоторыми рисками (скажем, рисками с вероятностью 1 к 1000 и выше) следует признать глобальной задачей первостепенной важности, я не говорю, что этот век станет для нас последним.
Что насчет более отдаленной перспективы? Если бы я был вынужден сделать прогноз, я бы сказал, что вероятность того, что человечество избежит всех экзистенциальных катастроф и реализует свой потенциал, то есть построит будущее, которое будет наиболее близко к наилучшему из возможных вариантов, составляет примерно 1 к 2[470]. Из этого следует, что в моем представлении около трети экзистенциального риска для всего нашего будущего приходится на текущее столетие. Это показывает, что я оптимистично оцениваю вероятность того, что появится цивилизация, которая возьмется за ум, и того, что мы и станем такой цивилизацией – возможно, даже в этом веке.
В моих оценках, приведенных выше, действительно учитывается возможность, что мы возьмемся за ум и начнем со всей серьезностью подходить к этим рискам. Будущие риски часто оцениваются исходя из предпосылки, что жизнь продолжится “в привычном режиме”: что уровень нашего беспокойства и объем ресурсов, выделяемых на работу с рисками, останутся такими же, как сегодня. Если бы я допустил, что жизнь пойдет в привычном режиме, я бы присвоил рискам значительно более высокую вероятность. Но я думаю, что такие оценки были бы недостоверными и завышали бы истинную вероятность экзистенциальной катастрофы[471]. В связи с этим я учел, что мы, скорее всего, примем меры в ответ на растущие риски и приложим значительные усилия, чтобы их снизить.
Таким образом, цифры отражают мои лучшие предположения о вероятности наступления рисков с учетом наших ответных мер. Если человечество превзойдет мои ожидания, остаточный риск может оказаться и меньше, чем оценочный. Пожалуй, можно сказать, что мы играем в русскую рулетку, положив в барабан два патрона, но я подозреваю, что мы успеем вынуть один из них, прежде чем настанет время спустить курок. Возможно, при должных усилиях мы успеем вынуть и последний патрон. Таким образом, главной цифрой, вероятно, должен стать не риск, который, как я полагаю, сохранится, то есть около 1 к 6, а риск 2 к 6, чтобы в этих оценках нашла отражение разница между малоэффективной работой человечества по его сдерживанию и героическими усилиями в борьбе с ним.
Указанные вероятности позволяют составить представление о рисковом ландшафте, но их нельзя назвать ни исчерпывающими, ни финальными. Даже полностью объективные, точные и выверенные оценки покажут лишь то, насколько серьезны различные риски, но ничего не скажут о том, насколько они поддаются снижению и насколько сильно ими пренебрегают. Следовательно, одних вероятностей мало, чтобы определить, какие риски требуют повышенного внимания и какое именно внимание необходимо им уделять. В этой и следующей главах мы начнем задавать такие вопросы и описывать инструментарий, необходимый для противостояния угрозам нашему будущему.
Учитывая разнородность рискового ландшафта, полезно классифицировать риски, выделив их сходства. Это поможет нам прочертить линии атаки, которые позволят бороться с несколькими рисками одновременно.
Мои коллеги из Института будущего человечества предлагают классифицировать риски вымирания человечества по трем последовательным этапам, которые должны наступить, прежде чем мы вымрем[472].
Происхождение.
Одни катастрофы начинаются под действием сил природы, а другие имеют антропогенный характер. Антропогенные риски полезно разбить на группы в зависимости от того, был ли ущерб намеренным, предвиденным или непредвиденным. Далее можно разбить эти группы на подгруппы в зависимости от того, малое (как в случае с авариями и терроризмом) или большое (как в случае с изменением климата и ядерной войной) число людей в них вовлечено.
Разрастание.
Катастрофа может иметь глобальный характер с самого начала (как изменение климата), а может разрастись под действием некоторого механизма. Например, при распространении в земной атмосфере не пропускающих солнечный свет частиц, попавших туда при столкновении с астероидом, при извержении вулкана или в результате ядерной войны. Пандемии разрастаются по экспоненте, когда каждая жертва заражает еще несколько человек.