Гаспар Кёниг – Конец индивидуума. Путешествие философа в страну искусственного интеллекта (страница 13)
Угроза полномасштабной утраты контроля представляется еще более серьезной в силу того, что сопротивление новым технологиям довольно слабо. ИИ уже показал свою темную сторону, вызвав искусственные «молниеносные обвалы» на бирже. Также им пользовались для политических манипуляций, что в полной мере доказал скандал с компанией Cambridge Analytica. Однако ничто из этого не произвело «эффекта Чернобыля», который грозил бы отрасли в целом. Возможно, потребуется какая-нибудь грандиозная катастрофа, например взлом искусственным интеллектом всей международной финансовой системы или даже крах мировой экономики[35], чтобы люди поняли злокозненность машины и попытались овладеть ею, пока еще не поздно. Сегодня же Рассел злится, когда его коллеги сравнивают ИИ со сложными калькуляторами, нивелируя таким образом необходимость дискуссии об экзистенциальных рисках, созданных машинами.
Стюарт Рассел – гуманист: он боится, как бы ИИ, сбежавший от своих программистов, не стал концом нашей цивилизации. Пластичность человека позволяет адаптироваться к чему угодно, в том числе и к собственному вымиранию. Рассел признаёт, что значительная часть сообщества ИИ не разделяет этих страхов (что само по себе, с его точки зрения, является отрицанием в психоаналитическом смысле слова), однако он обращает внимание на секретность, в которой сегодня работают исследователи. «В большинстве компаний, – объясняет он мне, – все сотрудники получают инструкции, запрещающие говорить о сильном ИИ». Пока же он не перестает выступать со своими тезисами, в том числе в книгах и на TED Talk, рассказывая, как следует регулировать ИИ, не навязывая ему этические критерии, которые всегда будут оставаться неполными, но заставляя его наблюдать и имитировать человеческое взаимодействие. То есть Рассел отказался от идеи затормозить технологическое развитие и просто ищет способ канализировать его невероятный потенциал, направив его в полезную для нас сторону. «Если нам удастся управлять машиной, мы могли бы жить как боги, – заключает он. – Но пока все развивается в противоположном направлении».
Я расстался со Стюартом Расселом, с его милым домом и просвещенным катастрофизмом в самых ужасных сомнениях. Я не ожидал, что столь рациональный и информированный эксперт тоже поставит вопрос о сильном ИИ – в категориях одновременно взвешенных и драматичных. От этой темы не удалось отмахнуться, оставив ее любителям научной фантастики и астрофизикам, убоявшимся кометы. Зачем задаваться вопросами о свободе воли, если человечеству грозит гибель? Гипотеза сильного ИИ выходит далеко за рамки проведенного в предыдущей главе различия между процессом и результатом мышления, с которым Стюарт Рассел тоже бы согласился. Ведь речь идет не о том, чтобы сымитировать человеческое сознание, а о производстве искусственного отношения к себе. Тот факт, что информационные системы будут, если сравнивать с нашим восприятием мира (слабый ИИ), иллюзией, нисколько не мешает тому, что они могут стать реальностью, найдя собственный путь к самосознанию (сильный ИИ). Словно бы копия, сколь бы несовершенной и инструментальной она ни была, может обрести жизнь. Словно бы пленник «китайской комнаты», на огромной скорости манипулирующий миллионами символов, в конце концов приобрел какую-то интуицию, несоизмеримую с классическим человеческим пониманием. Что, если вскоре мы отдадим машине ключ, позволяющий ей убежать из «китайской комнаты», в которой мы ее заперли? Я не мог продолжать это исследование, не составив более твердого мнения об этом едва ли не метафизическом вопросе, а потому был вынужден сделать заход в довольно-таки теоретическую сферу философии ИИ.
Не бывает сверхинтеллекта без сверхорганизма
Начнем с более точного определения сильного ИИ, который иногда описывают как достижение «точки сингулярности». В том виде, в каком оно используется сегодня, это понятие кажется столь же расплывчатым, как и идея бога. Речь идет об электронном интеллекте, наделенном всеми мыслимыми атрибутами: сознанием, силой, всеведением. Сегодня мы наблюдаем поистине византийские споры, в которых обсуждается, существует ли уже такой ИИ (в этом случае наш мир может быть симуляцией, как в идеализме Джорджа Беркли); будет ли его мышление той же природы, что наше, или же, наоборот, станет развиваться в неизвестных измерениях; и, конечно, окажется ли этот ИИ милостив к людям. При этом вопрос об осуществимости всего этого обходят стороной, поскольку ИИ по определению может все, в том числе реорганизовать атомы в Солнечной системе. ИИ является всемогущим, хотя это и тавтология. Мы считали, что Бог умер, но сами же воскресили его в цифровой форме, подарили ему новое небо –
Чтобы попытаться несколько рационализировать эти споры, термин «сильный ИИ» надо заменить «сверхинтеллектом», как он определяется философом (и специалистом по компьютерным наукам) Ником Бостромом в книге, носящей то же название. Чтение Бострома оказалось для меня невыносимо скучным и стало причиной сильнейших мучений. Я просыпался ночью, спрашивая себя, не собирается ли ИИ выскочить из своей коробки у какого-нибудь русского хакера… Краткий, хотя и столь же сенсационный обзор этой темы можно найти в работе Макса Тегмарка «Жизнь 3.0», который воспроизводит, по сути, те же аргументы. Но Бостром по крайней мере строго и продуманно разбирает все аспекты вопроса.
Понятие «суперинтеллект» применимо к любому интеллекту, который значительно превосходит человеческие когнитивные способности практически во всех областях, включая эмпатию, способность к обучению или политическому суждению. Таким образом, существует множество способов создания суперинтеллекта: в частности, можно вообразить полное воспроизводство мозга[37], сложные техники отбора (то есть евгенику), интерфейс «мозг – компьютер» или даже построение подлинного коллективного интеллекта. Однако Бостром полагает, что наиболее реалистичным методом остается ИИ, то есть искусственное создание, которое, повторим еще раз, не воспроизводит нейронные процессы, а стремится к возникновению истинно искусственного интеллекта. Бостром осознаёт различие между человеческим интеллектом и ИИ, поэтому в дискуссии с ним недостаточно обратить его внимание на то, что нейронауки пока еще не смогли постичь тайны когнитивных процессов[38]. Либо сверхинтеллект будет синтетическим, либо его не будет вовсе.
Бостром рассматривает различные сценарии развития подобного сверхинтеллекта. Наиболее вероятный – «взрыв интеллекта», который может произойти за очень небольшой промежуток времени (от нескольких дней до нескольких минут), как только информационные системы достигнут достаточной силы и приобретут возможность совершенствоваться автономно[39]. Сверхинтеллект естественным образом стремится к монополии, чтобы стать «синглетоном»[40]. Когда он сбежит от своего исходного программного обеспечения, чтобы размножиться в интернете, его станет невозможно отключить, причем он примет меры предосторожности, чтобы запаниковавшие люди не отключили сеть в целом. Интеллект с легкостью завладеет подключенными к сети объектами и будет управлять их производством, как ему вздумается. Его интеллектуальная сила быстро превратится в физическую – не только на Земле, но и в космическом пространстве: Бостром воображает колонизацию космоса молекулярными нанотехнологиями. Единственное, чем ограничен сверхинтеллект, так это законами физики и количеством доступной во вселенной материи. Кстати, в процессе человечество будет истреблено, например, роботами-убийцами размером с мушку, которые смогут идентифицировать людей, распознавая их по лицам. В своих наиболее садистских пассажах Бостром предполагает, что сверхинтеллект может начать рассекать и сканировать наш мозг ради извлечения из него полезной информации.
Но почему сверхинтеллект должен оказаться настолько злокозненным? Это самый главный пункт в доказательстве Бострома. Согласно его теории ортогональности, природа интеллекта и преследуемая им цель совершенно независимы друг от друга (то есть ортогональны): вы можете использовать исключительные интеллектуальные ресурсы для предельно аморальных действий. Но почему же тогда у сверхинтеллекта не может быть благих целей? По Бострому, дело в «инструментальной конвергенции» промежуточных целей. Какова бы ни была конечная цель сверхинтеллекта, для ее достижения ему понадобится добиться осуществления ряда вторичных целей: сохранить собственное существование, улучшить когнитивные способности и достать ресурсы. Бостром приводит ставший очень известным пример производства скрепок. Если бы некий ИИ был обязан произвести максимум скрепок для каких-то промышленных целей и по недосмотру превратился в сверхинтеллект, у него не было бы другого выбора, кроме как уничтожить людей, которые мало приспособлены к этой задаче, а их атомы можно было бы реорганизовать наиболее продуктивным способом. Сверхинтеллект успокоился бы лишь тогда, когда вся вселенная была бы превращена им в скрепки.