Юваль Харари – Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта (страница 70)
НОВЫЕ ВЕДЬМЫ
В ранней современной Европе сложная информационная сеть проанализировала огромное количество данных о преступлениях, болезнях и катастрофах и пришла к выводу, что во всем виноваты ведьмы. Чем больше данных собирали охотники на ведьм, тем больше убеждались, что мир полон демонов и колдовства и что существует глобальный сатанинский заговор с целью уничтожения человечества. Информационная сеть позволяла выявлять ведьм и сажать их в тюрьму или убивать. Теперь мы знаем, что ведьмы были фиктивной интерсубъективной категорией, придуманной самой информационной сетью и навязанной людям, которые никогда не встречались с Сатаной и не могли вызывать град.
В Советском Союзе еще более сложная информационная сеть придумала кулаков - еще одну мифическую категорию, которая была навязана миллионам. Горы информации, собранные советской бюрократией о кулаках, не были объективной истиной, но они создали новую интерсубъективную истину. Знание о том, что кто-то был кулаком, стало одной из самых важных вещей, которые нужно было знать о советском человеке, даже если эта категория была фиктивной.
В еще более широком масштабе, с XVI по XX век, многочисленные колониальные бюрократии в Северной и Южной Америке, от Бразилии, Мексики и Карибского бассейна до Соединенных Штатов, создали расистскую мифологию и придумали всевозможные интерсубъективные расовые категории. Людей делили на европейцев, африканцев и коренных американцев, а поскольку межрасовые сексуальные отношения были широко распространены, были придуманы дополнительные категории. Во многих испанских колониях законы различали метисов - людей со смешанным испанским и коренным американским происхождением; мулатов - людей со смешанным испанским и африканским происхождением; замбос - людей со смешанным африканским и коренным американским происхождением; пардос - людей со смешанным испанским, африканским и коренным американским происхождением. Все эти, казалось бы, эмпирические категории определяли, могут ли люди находиться в рабстве, пользоваться политическими правами, носить оружие, занимать государственные должности, быть принятыми в школу, заниматься определенными профессиями, жить в определенных кварталах, иметь право заниматься сексом и вступать в брак друг с другом. Утверждалось, что, поместив человека в определенный расовый ящик, можно определить его личность, интеллектуальные способности и этические наклонности.
В XIX веке расизм претендовал на звание точной науки: он утверждал, что различает людей на основе объективных биологических фактов, и опирался на научные инструменты, такие как измерение черепов и учет статистики преступлений. Но облако цифр и категорий было лишь дымовой завесой для абсурдных интерсубъективных мифов. Тот факт, что у кого-то бабушка - коренная американка или отец - африканец, конечно же, ничего не говорит об их интеллекте, доброте или честности. Эти фиктивные категории не открывали и не описывали никакой правды о людях; они навязывали им угнетающий, мифологический порядок.
По мере того как компьютеры заменяют людей во все большем количестве бюрократических структур, от сбора налогов и здравоохранения до обеспечения безопасности и правосудия, они тоже могут создать мифологию и навязать ее нам с беспрецедентной эффективностью. В мире, где правили бумажные документы, бюрократам было сложно следить за расовыми границами или отслеживать точную родословную каждого человека. Люди могли получать фальшивые документы. Замбо мог переехать в другой город и притвориться пардо. Чернокожий мог иногда выдавать себя за белого. Точно так же в Советском Союзе детям кулаков иногда удавалось подделать свои документы, чтобы получить хорошую работу или место в колледже. В нацистской Европе евреи иногда могли принимать арийскую идентичность. Но в мире, где правят компьютеры, способные считывать радужные оболочки глаз и ДНК, а не бумажные документы, обмануть систему будет гораздо сложнее. Компьютеры могут с пугающей эффективностью навешивать на людей ложные ярлыки и следить за тем, чтобы эти ярлыки приклеивались.
Например, системы социальных кредитов могут создать новый низший класс "людей с низкой кредитоспособностью". Такая система может утверждать, что она просто "открывает" истину с помощью эмпирического и математического процесса суммирования баллов для формирования общей оценки. Но как именно она будет определять просоциальное и антисоциальное поведение? Что произойдет, если такая система будет снимать баллы за критику политики правительства, за чтение иностранной литературы, за исповедование религии меньшинства, за отсутствие религии или за общение с другими людьми с низким кредитом? В качестве эксперимента подумайте, что может произойти, когда новая технология системы социальных кредитов встретится с традиционными религиями.
В таких религиях, как иудаизм, христианство и ислам, всегда считалось, что где-то там, за облаками, есть всевидящее око, которое начисляет или снимает баллы за все, что мы делаем, и что наша вечная судьба зависит от того, сколько баллов мы набрали. Конечно, никто не мог быть уверен в своем результате. Это можно было узнать только после смерти. С практической точки зрения это означало, что греховность и святость - интерсубъективные явления, само определение которых зависит от общественного мнения. Что может случиться, если иранский режим, например, решит использовать свою компьютерную систему наблюдения не только для того, чтобы обеспечить соблюдение строгих законов о хиджабах, но и для того, чтобы превратить греховность и святость в точные межкомпьютерные феномены? Вы не надели хиджаб на улице - это -10 баллов. Вы поели в Рамадан до захода солнца - еще 20 баллов. Вы ходили на пятничную молитву в мечеть - +5 баллов. Вы совершили паломничество в Мекку - +500 баллов. Затем система может суммировать все баллы и разделить людей на "грешников" (менее 0 баллов), "верующих" (от 0 до 1 000 баллов) и "святых" (более 1 000 баллов). Кто является грешником или святым, будет зависеть от алгоритмических расчетов, а не от убеждений человека. Будет ли такая система открывать правду о людях или навязывать им порядок?
Аналогичные проблемы могут возникнуть у всех систем социального кредитования и режимов тотальной слежки. Всякий раз, когда они заявляют, что используют всеохватывающие базы данных и сверхточную математику для выявления грешников, террористов, преступников, антисоциальных или не заслуживающих доверия людей, на самом деле они могут с беспрецедентной эффективностью навязывать беспочвенные религиозные и идеологические предрассудки.
КОМПЬЮТЕРНАЯ ОШИБКА
Некоторые люди надеются решить проблему религиозных и идеологических предубеждений, предоставив компьютерам еще больше власти. Аргумент в пользу этого может быть следующим: расизм, женоненавистничество, гомофобия, антисемитизм и все остальные предрассудки зарождаются не в компьютерах, а в психологических состояниях и мифологических убеждениях человеческих существ. Компьютеры - это математические существа, у которых нет ни психологии, ни мифологии. Поэтому, если бы мы могли полностью исключить человека из уравнения, алгоритмы могли бы, наконец, принимать решения на основе чистой математики, свободной от всех психологических искажений или мифологических предрассудков.
К сожалению, многочисленные исследования показали, что компьютеры часто имеют свои собственные глубоко укоренившиеся предубеждения. Хотя они не являются биологическими существами и не обладают сознанием, у них есть нечто похожее на цифровую психику и даже своего рода межкомпьютерная мифология. Они вполне могут быть расистами, женоненавистниками, гомофобами или антисемитами. Например, 23 марта 2016 года компания Microsoft выпустила ИИ-чатбота Tay, предоставив ему свободный доступ к Twitter. Уже через несколько часов Тэй начала публиковать женоненавистнические и антисемитские твиты, такие как "Я чертовски ненавижу феминисток, и все они должны умереть и гореть в аду" и "Гитлер был прав, я ненавижу евреев". Ярость нарастала до тех пор, пока инженеры Microsoft в ужасе не закрыли Tay - всего через шестнадцать часов после его выпуска.
Более тонкий, но широко распространенный расизм был обнаружен в 2017 году профессором Массачусетского технологического института Джой Буоламвини в коммерческих алгоритмах классификации лиц. Она показала, что эти алгоритмы очень точно определяют белых мужчин, но крайне неточно идентифицируют чернокожих женщин. Например, алгоритм IBM ошибался всего на 0,3 % при определении пола светлокожих мужчин, но на 34,7 % при попытке определить пол темнокожих женщин. В качестве качественного теста Буоламвини попросил алгоритмы классифицировать фотографии афроамериканской активистки Соджорнер Трут, известной своей речью 1851 года "Разве я не женщина?". Алгоритмы определили Истину как мужчину.
Когда Буоламвини, которая является американкой ганского происхождения, проверила другой алгоритм анализа лица, чтобы идентифицировать себя, алгоритм вообще не смог "увидеть" ее темнокожее лицо. В данном контексте "видеть" означает способность распознавать присутствие человеческого лица, что используется, например, камерами телефонов для определения места фокусировки. Алгоритм легко видел светлокожие лица, но не лицо Буоламвини. Только когда Буоламвини надел белую маску, алгоритм распознал, что видит человеческое лицо.