Юваль Харари – Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта (страница 80)
Вам может показаться, что банк поступил с вами несправедливо. "Разве это разумно - отказывать мне в кредите, - скажете вы, - только потому, что у меня разрядилась батарея телефона?" Однако это было бы недоразумением. "Батарея была не единственной причиной", - объяснят в банке. "Это был лишь один из тысячи факторов, которые учитывал наш алгоритм".
"Но разве ваш алгоритм не видел, что только дважды за последние десять лет мой банковский счет был переполнен?"
"Очевидно, он это заметил", - могут ответить в банке. "Посмотрите на страницу 453. За это вы получили 300 баллов. Но все остальные причины снизили ваш суммарный балл до -378".
Хотя такой способ принятия решений может показаться нам чуждым, у него, безусловно, есть потенциальные преимущества. При принятии решения, как правило, целесообразно учитывать все значимые данные, а не только один или два существенных факта. Конечно, есть много поводов для споров о том, кто определяет значимость информации. Кто решает, следует ли считать релевантными такие вещи, как модель смартфона или цвет кожи, при оформлении кредита? Но как бы мы ни определяли релевантность, способность учитывать больше данных, скорее всего, будет преимуществом. Ведь проблема многих человеческих предрассудков заключается в том, что они фокусируются только на одной или двух точках данных - цвете кожи, инвалидности или половой принадлежности - и игнорируют другую информацию. Банки и другие учреждения все чаще полагаются на алгоритмы при принятии решений именно потому, что алгоритмы могут учитывать гораздо больше данных, чем человек.
Но когда дело доходит до объяснений, это создает потенциально непреодолимое препятствие. Как человеческий разум может проанализировать и оценить решение, принятое на основе такого количества точек данных? Мы можем считать, что Верховный суд штата Висконсин должен был заставить компанию Northpointe раскрыть информацию о том, как алгоритм КОМПАС решил, что Эрик Лумис относится к группе повышенного риска. Но если бы все данные были раскрыты, смог бы Лумис или суд разобраться в них?
Дело не только в том, что нам нужно учитывать множество точек данных. Возможно, самое главное - мы не можем понять, как алгоритмы находят закономерности в данных и принимают решения о распределении баллов. Даже если мы знаем, что банковский алгоритм снимает определенное количество баллов с людей, которые допускают, чтобы заряд батареи их смартфонов опускался ниже 25 процентов, как мы можем оценить, справедливо ли это? Алгоритм не получал это правило от человека; он пришел к такому выводу, обнаружив закономерность в миллионах предыдущих кредитных заявок. Может ли отдельный клиент-человек просмотреть все эти данные и оценить, действительно ли эта закономерность надежна и беспристрастна?
Однако в этом облаке цифр есть и положительная сторона. В то время как неспециалисты могут быть не в состоянии проверить сложные алгоритмы, команда экспертов с помощью собственных инструментов искусственного интеллекта потенциально может оценить справедливость алгоритмических решений даже более надежно, чем кто-либо может оценить справедливость человеческих решений. В конце концов, хотя может показаться, что человеческие решения основываются только на тех нескольких точках данных, которые мы осознаем, на самом деле на наши решения подсознательно влияют тысячи дополнительных точек данных. Не зная об этих подсознательных процессах, когда мы обдумываем свои решения или объясняем их, мы часто используем одномоментные рационализации post hoc того, что происходит на самом деле, когда миллиарды нейронов взаимодействуют внутри нашего мозга. Соответственно, если человеческий судья приговаривает нас к шести годам тюрьмы, как можем мы - или судья - быть уверены, что решение было сформировано только из справедливых соображений, а не из-за подсознательных расовых предубеждений или того, что судья был голоден?
В случае с судьями из плоти и крови эта проблема не может быть решена, по крайней мере, с нашими нынешними знаниями о биологии. В отличие от этого, когда решение принимает алгоритм, мы в принципе можем знать каждый из многочисленных соображений алгоритма и точный вес, придаваемый каждому из них. Так, несколько групп экспертов - от Министерства юстиции США до некоммерческого новостного агентства ProPublica - разбирали алгоритм КОМПАС, чтобы оценить его потенциальную предвзятость.46 Такие группы могут использовать не только коллективные усилия многих людей, но и мощь компьютеров. Подобно тому, как часто лучше подставить вора, чтобы поймать вора, так и мы можем использовать один алгоритм для проверки другого.
В связи с этим возникает вопрос, как мы можем быть уверены в надежности самого алгоритма проверки. В конечном итоге чисто технологического решения этой рекурсивной проблемы не существует. Независимо от того, какую технологию мы разработаем, нам придется поддерживать бюрократические институты, которые будут проверять алгоритмы и давать или отказывать им в одобрении. Такие институты будут объединять возможности людей и компьютеров, чтобы убедиться, что новые алгоритмические инструменты безопасны и справедливы. Без таких институтов, даже если мы примем законы, предоставляющие людям право на объяснение, и даже если мы введем правила против компьютерной предвзятости, кто сможет обеспечить соблюдение этих законов и правил?
NOSEDIVE
Чтобы проверить алгоритмы, регулирующие органы должны будут не только анализировать их, но и переводить свои открытия в понятные человеку истории. В противном случае мы никогда не будем доверять регулирующим институтам, а вместо этого будем верить в теории заговора и харизматичных лидеров. Как отмечалось в главе 3, людям всегда было трудно понять бюрократию, потому что бюрократии отклонялись от сценария биологических драм, а у большинства художников не хватало желания или способности изображать бюрократические драмы. Например, в романах, фильмах и сериалах о политике XXI века основное внимание уделяется вражде и любовным связям нескольких влиятельных семей, как будто современные государства управляются так же, как древние племена и королевства. Эта художественная зацикленность на биологических драмах династий заслоняет вполне реальные изменения, происходившие на протяжении веков в динамике власти.
Поскольку компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, это снова изменит глубинную структуру власти. Чтобы выжить, демократии нужны не только специальные бюрократические институты, способные тщательно изучить эти новые структуры, но и художники, способные объяснить эти новые структуры в доступной и увлекательной форме. Например, это успешно сделал эпизод "Nosedive" в научно-фантастическом сериале "Черное зеркало".
Выпущенный в 2016 году, в то время, когда мало кто слышал о системах социального кредитования, "Nosedive" блестяще объясняет, как работают такие системы и какие угрозы они представляют. Эпизод рассказывает историю женщины по имени Лейси, которая живет со своим братом Райаном, но хочет переехать в собственную квартиру. Чтобы получить скидку на новую квартиру, ей нужно повысить свой социальный кредитный рейтинг с 4,2 до 4,5 (из 5). Дружба с людьми с высоким баллом повышает ваш собственный балл, поэтому Лейси пытается возобновить общение с Наоми, подругой детства, у которой сейчас рейтинг 4,8. Лейси приглашают на свадьбу Наоми, но по дороге туда она проливает кофе на человека с высоким рейтингом, из-за чего ее собственный балл немного падает, что, в свою очередь, заставляет авиакомпанию отказать ей в месте. С этого момента все, что может пойти не так, идет не так, рейтинг Лейси падает, и она оказывается в тюрьме с оценкой меньше 1.
Эта история опирается на некоторые элементы традиционных биологических драм - "парень встречает девушку" (свадьба), соперничество братьев и сестер (напряжение между Лейси и Райаном) и, самое главное, статусное соперничество (главная проблема эпизода). Но настоящим героем и движущей силой сюжета является не Лейси или Наоми, а невоплощенный алгоритм, управляющий системой социальных кредитов. Алгоритм полностью меняет динамику старых биологических драм - особенно динамику статусной конкуренции. Если раньше люди иногда вступали в статусную конкуренцию, но часто имели желанные перерывы в этой крайне стрессовой ситуации, то вездесущий алгоритм социальных кредитов устраняет эти перерывы. "Nosedive" - это не избитая история о биологическом соревновании за статус, а скорее прозорливое исследование того, что происходит, когда компьютерные технологии меняют правила статусных соревнований.
Если бюрократы и художники научатся сотрудничать и если те и другие будут полагаться на помощь компьютеров, возможно, удастся предотвратить превращение компьютерной сети в непостижимую. Пока демократические общества понимают, что такое компьютерная сеть, их механизмы самокоррекции являются нашей лучшей гарантией от злоупотреблений ИИ. Так, в законе ЕС об ИИ, предложенном в 2021 году, системы социального кредитования, подобные той, что используется в фильме "Nosedive", названы одним из немногих видов ИИ, которые полностью запрещены, поскольку они могут "привести к дискриминационным результатам и исключению определенных групп" и "нарушить право на достоинство и недискриминацию, а также ценности равенства и справедливости". Как и в случае режимов тотальной слежки, так и в случае систем социального кредитования тот факт, что они могут быть созданы, не означает, что мы должны их создать.