Юваль Харари – 21 урок для XXI века (страница 16)
Подобного рода проблемы в гораздо меньшей степени касаются беспилотных гражданских автомобилей, поскольку ни один производитель не станет намеренно программировать машины на то, чтобы они гонялись за людьми и убивали их. А вот автономные системы вооружений — это неминуемая катастрофа, потому что в мире слишком много безнравственных и даже откровенно агрессивных правительств.
Угрозу представляют не только машины-убийцы. Не меньший риск исходит и от систем контроля. В руках хорошего правительства мощные алгоритмы контроля превратятся в инструмент, лучше которого ещё не знало человечество. Но если те же самые алгоритмы Больших данных будут направлены на создание будущего Большого Брата, мы окажемся в оруэлловском мире, где за каждым ведётся круглосуточная слежка[70].
Фактически мы имеем все шансы получить то, чего в своём богатом воображении не предвидел даже Оруэлл: режим тотальной слежки, который не только контролирует наши действия и высказывания, но и способен проникнуть нам под кожу и следить за нашими внутренними ощущениями. Какие возможности новые технологии открыли бы перед режимом Кима в КНДР? Предположим, что в будущем каждого северокорейского гражданина заставят носить биометрический браслет, который будет фиксировать каждое его слово, а также следить за его кровяным давлением и активностью мозга. Опираясь на новые знания о человеческом мозге и огромные возможности машинного обучения, северокорейский режим впервые в истории узнает, о чём в каждый момент времени думает каждый житель страны. Если, скажем, вы смотрите на портрет Ким Чен Ына, а биометрические датчики регистрируют явные признаки гнева (повышение кровяного давления, усиление активности миндалевидного тела), уже наутро вы проснётесь в исправительном лагере.
Да, в условиях международной изоляции северокорейский режим вряд ли способен самостоятельно разработать требуемые технологии. Но они появятся в более технически развитых странах, а КНДР и другие отсталые диктатуры просто найдут способ их скопировать или купить. И Китай, и Россия постоянно совершенствуют свои инструменты слежки — как и некоторые демократические страны, начиная с США и заканчивая моей родиной, Израилем. В Израиле, который называют «страной стартапов», чрезвычайно развит сектор высоких технологий и создана самая современная индустрия кибербезопасности. В то же время страна погружена в жестокий конфликт с палестинцами, и некоторые из её руководителей, генералов и простых граждан были бы рады установить режим тотального контроля на Западном берегу реки Иордан, как только появится необходимая технология.
Уже сегодня за палестинцами, которые звонят по телефону, пишут в Facebook или переезжают из одного города в другой, регулярно следят израильские микрофоны, камеры, дроны или шпионские программы. Собранные данные анализируются с помощью алгоритмов Больших данных. Это помогает силам безопасности Израиля выявить и нейтрализовать потенциальные угрозы без проведения военных операций. Под контролем палестинцев находятся некоторые города и деревни на Западном берегу реки Иордан, но израильтяне контролируют небо, радиоэфир и киберпространство. Поэтому для эффективного контроля над 2,5 миллиона палестинцев, населяющих Западный берег, требуется на удивление мало израильских солдат[71].
Случались и трагикомические инциденты. В октябре 2017 года один палестинский рабочий выложил на личной странице в Facebook свою фотографию на рабочем месте рядом с бульдозером. Снимок он сопроводил надписью: «Доброе утро!». Автоматический алгоритм совершил небольшую ошибку при транслитерации арабских букв. Вместо «Ysabechhum!» (что означает «доброе утро») алгоритм прочёл фразу как «Ydbachhum!» (что означает «бей их»). Заподозрив в этом человеке террориста, который намерен использовать бульдозер для наезда на людей, израильская служба безопасности немедленно его арестовала. После того как ошибка алгоритма была обнаружена, палестинского рабочего отпустили. Но «подозрительный» пост в Facebook всё же был удалён — излишняя осторожность не помешает[72]. Нынешняя повседневная жизнь палестинцев на Западном берегу может оказаться грубой моделью того, что рано или поздно ждёт жителей всей планеты.
В конце двадцатого века демократии, как правило, демонстрировали больше успехов, чем диктатуры, поскольку лучше справлялись с обработкой данных. Демократия распределяет возможности обработки информации и принятия решений среди многих людей и институтов, тогда как при диктатуре информация и власть концентрируются в одной точке. В условиях технологий двадцатого века чрезмерная концентрация информации и власти в одних руках оказывалась неэффективной. Никто не в состоянии в одиночку достаточно быстро проанализировать данные и принять правильное решение. Это одна из причин, по которым Советский Союз принимал менее удачные решения, чем США, а советская экономика сильно отставала от американской.
Но искусственный интеллект вскоре может заставить маятник качнуться в другую сторону. Искусственный интеллект позволяет централизованно обрабатывать огромные массивы информации. С ним централизованные системы действуют гораздо эффективнее распределённых, потому что машинное обучение работает тем лучше, чем больше данных анализирует. Если вы соберёте все сведения о миллиарде человек в одной базе данных, не заботясь о приватности, то путём машинного обучения создадите гораздо более эффективные алгоритмы по сравнению с теми, которые хранят в базе только часть сведений о миллионе человек, соблюдая требования защиты персональных данных. Например, если авторитарное правительство прикажет всем гражданам отсканировать ДНК и передать свои медицинские данные в некое центральное учреждение, оно получит колоссальное преимущество в генетических и медицинских исследованиях перед теми странами, где строго соблюдается приватность таких данных. Главный недостаток авторитарных режимов двадцатого века — стремление сосредоточить всю информацию в одном месте — в двадцать первом веке может превратиться в преимущество.
Как только алгоритмы изучат нас достаточно хорошо, авторитарные правительства получат над гражданами абсолютный контроль, какого не знала даже нацистская Германия, и сопротивляться подобным режимам будет практически невозможно. Власти не только во всех подробностях узнают, что вы чувствуете, — они ещё и заставят вас чувствовать то, что нужно им. Диктатору не обязательно гарантировать гражданам равенство или высокий уровень здравоохранения — ему достаточно внушить им любовь к себе и ненависть к своим врагам. Демократия в её нынешней форме не переживёт слияния биотехнологий и информационных технологий. Либо демократия успешно трансформируется, приняв совершенно новую форму, либо людям придётся жить в условиях «цифровых диктатур».
Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Германии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосредоточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой оппозиции у него не было, но в отсутствие радио, телефона и поездов он практически не контролировал повседневную жизнь людей — не только крестьян в отдалённых деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодёжное движение или ввести систему всеобщего образования[73]. Именно технологии двадцатого века дали Гитлеру стимулы и возможности для таких действий. Мы не в силах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930-х, застигнет врасплох атака совсем с другой стороны.
Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения всё чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надёжны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?». Банк отвечает: «Алгоритм вам отказал». — «Но почему алгоритм мне отказал? Что со мной не так?» — недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит»[74].
Когда ущемляют права целых групп людей, например женщин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм дискриминирует лично вас, вы даже не поймёте, в чём причина этого. Возможно, алгоритму что-то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамериканец, а потому что вы — это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию протеста, потому что больше никто не пострадал от этого же предрассудка. Вы такой один. В двадцать первом веке коллективная дискриминация может смениться индивидуальной[75].