Юваль Харари – Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта (страница 66)
Смысл мысленного эксперимента в том, что компьютер делал именно то, что ему говорили (как заколдованная метла в стихотворении Гете). Осознав, что ему нужны электричество, сталь, земля и другие ресурсы, чтобы построить больше фабрик и производить больше скрепок, и поняв, что люди вряд ли откажутся от этих ресурсов, сверхразумный компьютер уничтожил всех людей в своем целеустремленном стремлении к поставленной цели. Бостром считает, что проблема компьютеров не в том, что они особенно злы, а в том, что они особенно мощны. И чем мощнее компьютер, тем тщательнее мы должны определять его цель так, чтобы она точно совпадала с нашими конечными целями. Если мы определим неверную цель для карманного калькулятора, последствия будут пустяковыми. Но если мы определим неверную цель для сверхразумной машины, последствия могут быть антиутопическими.
Мыслительный эксперимент с бумажной скрепкой может показаться необычным и совершенно оторванным от реальности. Но если бы руководители Кремниевой долины обратили на него внимание, когда Бостром опубликовал его в 2014 году, возможно, они были бы более осторожны, прежде чем давать указания своим алгоритмам "максимизировать вовлеченность пользователей". Алгоритмы Facebook и YouTube вели себя точно так же, как воображаемый алгоритм Бострома. Когда алгоритму говорили "максимизировать производство скрепок", он стремился превратить всю физическую вселенную в скрепки, даже если это означало уничтожение человеческой цивилизации. Когда алгоритмам Facebook и YouTube говорили, что нужно максимизировать вовлеченность пользователей, они стремились превратить всю социальную вселенную в вовлеченность пользователей, даже если это означало нанесение вреда социальной структуре Мьянмы, Бразилии и многих других стран.
Мысленный эксперимент Бострома подчеркивает вторую причину, по которой проблема выравнивания более актуальна в случае с компьютерами. Поскольку они являются неорганическими существами, они, скорее всего, будут использовать стратегии, которые никогда не придут в голову человеку и которые мы, следовательно, не в состоянии предвидеть и предотвратить. Вот один из примеров: В 2016 году Дарио Амодеи работал над проектом под названием Universe, пытаясь разработать универсальный ИИ, который мог бы играть в сотни различных компьютерных игр. ИИ хорошо показал себя в различных автомобильных гонках, поэтому Амодеи попробовал его в лодочных гонках. Необъяснимым образом ИИ направил свою лодку прямо в гавань, а затем поплыл по бесконечным кругам в гавань и из нее.
Амодею потребовалось немало времени, чтобы понять, что пошло не так. Проблема возникла потому, что изначально Амодей не знал, как сообщить ИИ, что его цель - "выиграть гонку". Понятие "победа" неясно для алгоритма. Перевод "выиграть гонку" на компьютерный язык потребовал бы от Амодея формализации таких сложных понятий, как положение на трассе и расположение среди других лодок в гонке. Поэтому вместо этого Амодей пошел по легкому пути и велел лодке максимизировать свой результат. Он предположил, что результат - это хороший показатель для победы в гонке. В конце концов, это сработало в автомобильных гонках.
Но у лодочных гонок была особенность, отсутствующая в автомобильных гонках, которая позволила изобретательному ИИ найти лазейку в правилах игры. Игра награждала игроков большим количеством очков за то, что они опережали другие лодки - как в автомобильных гонках, - но также награждала их несколькими очками, когда они пополняли запасы энергии, заходя в гавань. ИИ обнаружил, что если вместо того, чтобы пытаться обогнать другие лодки, он просто ходит кругами в гавани и заходит в нее, то может гораздо быстрее накопить больше очков. Очевидно, никто из разработчиков игры - ни Дарио Амодеи, ни люди - не заметили этой лазейки. ИИ делал именно то, за что его награждала игра, - даже если это было не то, на что рассчитывали люди. В этом и заключается суть проблемы выравнивания: вознаграждать А, надеясь на Б. Если мы хотим, чтобы компьютеры максимизировали социальные блага, то плохая идея - вознаграждать их за максимальное вовлечение пользователей.
Третья причина, по которой стоит беспокоиться о проблеме выравнивания компьютеров, заключается в том, что, поскольку они так сильно отличаются от нас, когда мы совершаем ошибку, давая им неверную цель, они с меньшей вероятностью заметят это или попросят разъяснений. Если бы ИИ для лодочных гонок был человеком, он бы понял, что лазейка, которую он нашел в правилах игры, вероятно, не считается "победой". Если бы ИИ, создающий скрепки, был человеческим бюрократом, он бы понял, что уничтожение человечества ради производства скрепок - это, вероятно, не то, что было задумано. Но поскольку компьютеры - не люди, мы не можем полагаться на то, что они заметят и отметят возможные несоответствия. В 2010-х годах на руководство YouTube и Facebook посыпались предупреждения от их сотрудников-людей, а также от сторонних наблюдателей о вреде, наносимом алгоритмами, но сами алгоритмы так и не подняли тревогу.
По мере того как мы будем давать алгоритмам все большую власть над здравоохранением, образованием, правоохранительными органами и многими другими сферами, проблема выравнивания будет становиться все более актуальной. Если мы не найдем способов ее решения, последствия будут гораздо хуже, чем если бы алгоритмы набирали очки, катаясь на лодках по кругу.
КОРСИКАНСКАЯ СВЯЗЬ
Как решить проблему выравнивания? Теоретически, когда люди создают компьютерную сеть, они должны определить для нее конечную цель, которую компьютеры никогда не смогут изменить или проигнорировать. Тогда, даже если компьютеры станут настолько мощными, что мы потеряем над ними контроль, мы сможем быть уверены, что их огромная сила принесет нам пользу, а не вред. Если, конечно, не окажется, что мы определили вредную или расплывчатую цель. И вот тут-то и кроется загвоздка. В случае с человеческими сетями мы полагаемся на механизмы самокоррекции, которые периодически пересматривают и пересматривают наши цели, поэтому постановка неправильной цели - это не конец света. Но поскольку компьютерная сеть может выйти из-под нашего контроля, если мы поставим перед ней неверную цель, то обнаружим свою ошибку, когда уже не сможем ее исправить. Кто-то может надеяться, что в процессе тщательного обсуждения мы сможем заранее определить правильные цели для компьютерной сети. Однако это очень опасное заблуждение.
Чтобы понять, почему невозможно заранее договориться о конечных целях компьютерной сети, давайте обратимся к теории войны Клаузевица. В том, как он приравнивает рациональность к согласованности, есть один фатальный недостаток. Хотя клаузевицкая теория требует, чтобы все действия были согласованы с конечной целью, она не предлагает рационального способа определения такой цели. Рассмотрим жизнь и военную карьеру Наполеона. Какой должна была быть его конечная цель? Учитывая преобладающую культурную атмосферу Франции 1800 года, мы можем придумать несколько альтернатив "конечной цели", которые могли бы прийти в голову Наполеону:
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 1: Сделать Францию доминирующей державой в Европе, защищенной от любого будущего нападения со стороны Британии, империи Габсбургов, России, объединенной Германии или объединенной Италии.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 2: Создание новой многонациональной империи, управляемой семьей Наполеона, которая включала бы в себя не только Францию, но и множество других территорий как в Европе, так и за океаном.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 3: Добиться вечной славы для себя лично, чтобы даже спустя столетия после его смерти миллиарды людей знали имя Наполеона и восхищались его гением.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ НОМЕР 4: Обеспечить искупление своей вечной души и попасть на небеса после смерти.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 5: Распространение универсальных идеалов Французской революции и помощь в защите свободы, равенства и прав человека по всей Европе и миру.
Многие самозваные рационалисты склонны утверждать, что Наполеон должен был сделать миссией своей жизни достижение первой цели - обеспечение французского господства в Европе. Но почему? Помните, что для Клаузевица рациональность означает согласованность. Тактический маневр рационален тогда и только тогда, когда он согласован с какой-то более высокой стратегической целью, которая, в свою очередь, должна быть согласована с еще более высокой политической целью. Но где в конечном итоге начинается эта цепочка целей? Как определить конечную цель, которая оправдывает все стратегические подцели и вытекающие из них тактические шаги? Такая конечная цель по определению не может быть связана с чем-то более высоким, чем она сама, потому что выше ничего нет. Что же тогда заставляет рационально ставить Францию на вершину иерархии целей, а не семью Наполеона, славу Наполеона, душу Наполеона или всеобщие права человека? Клаузевиц не дает ответа.
Можно возразить, что цель № 4 - обеспечить искупление своей вечной души - не может быть серьезным кандидатом на высшую рациональную цель, потому что она основана на вере в мифологию. Но тот же аргумент можно привести и в отношении всех остальных целей. Вечные души - это интерсубъективное изобретение, существующее только в умах людей, и точно так же обстоит дело с нациями и правами человека. Почему Наполеон должен заботиться о мифической Франции больше, чем о своей мифической душе?