Меган О’Гиблин – Бог, человек, животное, машина. Поиски смысла в расколдованном мире (страница 39)

Сторонники этой технологии отрицают сходство с фильмом «Особое мнение» (2002): там полиция принуждает людей, наделенных экстрасенсорными способностями, предсказывать преступления, чтобы можно было арестовывать будущих «преступников» до того, как они нарушат закон. Один из пиар-стратегов PredPol заявил, что функционирование программы – это не научная фантастика, а «научный факт», и подчеркивал, что алгоритмы абсолютно нейтральны и объективны. Использование этой программы часто позиционируется как способ снизить влияние расистских предрассудков на работу правоохранительных органов. Один из создателей PredPol утверждал, что, поскольку алгоритмы фокусируются на таких «объективных» факторах, как время, место и дата возможных преступлений, а не на демографических характеристиках отдельных преступников, программное обеспечение «потенциально уменьшает роль любых расовых или социально-экономических предубеждений среди офицеров».

Похожие алгоритмы применяются и в судах; они определяют степень угрозы для общества со стороны обвиняемого и риск побега до вынесения приговора. Эти машины анализируют досье подсудимого, включая предполагаемое преступление, место ареста и количество предыдущих задержаний (некоторые модели также учитывают место работы подозреваемого, его круг общения и кредитный рейтинг). А затем они сравнивают эти данные с сотнями и тысячами уголовных дел и присваивают подсудимому определенное количество баллов. На основе этого показателя суд решает, следует арестованному ожидать приговора дома или в тюрьме. Впервые эти алгоритмы попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, 34-летним мужчиной из Висконсина. Вынесенный ему тюремный приговор – шесть лет за противодействие офицеру полиции – был отчасти основан на заключении COMPAS, прогностической модели, определяющей вероятность рецидива. Во время судебного процесса судья сообщил Лумису, что по результатам оценки COMPAS он был классифицирован как представляющий высокий риск для общества. Естественно, Лумис захотел узнать, на основании каких критериев был вынесен приговор, но его проинформировали, что он не может оспорить решение алгоритма. В итоге дело дошло до Верховного суда штата Висконсин, который вынес решение не в пользу подсудимого. Генеральный прокурор штата заявил, что Лумис располагал ровно той же информацией о деле, что и суд (представления судей о работе алгоритма были, как он заметил, настолько же смутными), и заявил, что подсудимый был «свободен усомниться в этой оценке и указать на ее возможные недостатки». Но это довольно вольная интерпретация понятия свободы. Лумис был так же свободен усомниться в алгоритме, как Иов – в справедливости Иеговы.

Другой, более свежий, случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году был условно осужден после отбытия срока в тюрьме. Он и сам замечал, что в разные месяцы ему приходится отмечаться у офицера по УДО то чаще, то реже, но ему не сообщали, почему так происходит: как выяснилось, алгоритм постоянно пересматривал уровень его неблагонадежности. Возможно, Гейтс так никогда бы об этом не узнал, если бы его не просветил журналист New York Times, писавший о современных технологиях. Гейтс был явно обеспокоен этим открытием. Судя по его интервью Times, он чувствовал, насколько размыта грань между всеведением и предопределением – и как тщетны попытки выйти победителем из игры, где все ставки сделаны против вас. «Как алгоритм может понять меня, если он же и решает, что я буду делать? – сказал Гейтс. – Как обыграть компьютер, который создан, чтобы помешать тебе? Как остановить то, что предопределяет твою судьбу?»

Хотя эти непроницаемые технологии подвергаются нападкам со стороны организаций по защите гражданских прав, апологеты часто указывают, что традиционная судебная система тоже едва ли может похвастаться прозрачностью. Спросите судью, чем она руководствовалась при выносе приговора, и ее ответ будет не более достоверным, чем ответ алгоритма. «Человеческий мозг – это тоже „черный ящик“, – говорит Ричард Берк, профессор криминологии и статистики в Пенсильванском университете. Аналогичный вывод был сделан в работе, подготовленной корпорацией Rand, где отмечалось: «Мыслительный процесс судьи, как и COMPAS, – это „черный ящик“, который может выдавать непоследовательные и ошибочные решения». Часто так рассуждают люди, у которых есть свои интересы в технологической сфере, хотя эту позицию разделяют и большинство нейробиологов. Выражаясь словами Дэниела Деннета, мы не имеем «привилегированного доступа» к собственному мыслительному процессу. Отношение к человеческому сознанию как к «черному ящику» в итоге приводит к тому, что доверие к непрозрачной логике алгоритма представляется столь же оправданным, как и доверие к собственному разуму.

Но это очень спекулятивный аргумент. Мы доверяем объяснениям других людей, потому что как вид выработали в ходе эволюции схожие методы рассуждения. Даже если речь идет об интуитивных догадках, мы все равно знаем, что за ними стоят человеческие мыслительные процессы. Машинный способ рассуждения радикально отличается от человеческого – это и почувствовал бывший чемпион по го, когда, наблюдая за работой алгоритма AlphaGo, воскликнул: «Это не человеческий ход!» В исследованиях глубокого обучения часто встречается выражение alien intelligence – «чуждый» или даже «инопланетный интеллект». Когда модели глубокого обучения учат играть в видеоигры, они придумывают хитроумные способы жульничать, которые не пришли бы в голову человеку: используют ошибки в коде, позволяющие им обманом набирать очки, или подстрекают противника к самоубийству. Когда Facebook научил две сети общаться, не уточняя, что разговор должен вестись на английском, алгоритмы придумали свой собственный язык. В 2003 году Ник Бостром предупреждал, что наличие интеллекта не подразумевает человеческих моральных ценностей. Сверхразумная система может стать причиной катастрофы, даже если у нее будет нейтральная цель и не сформируется самосознание. «Мы не можем слепо полагать, – пишет Бостром, – будто сверхразум непременно должен разделять ту систему ценностей, которая обычно у человека связана с такими понятиями, как мудрость и интеллектуальное развитие, – это научная пытливость, доброжелательное отношение к людям, духовная сила, тяга к просвещению, собственное мировоззрение, бескорыстие, вкус к высокой культуре, умение получать удовольствие от простых вещей, непритязательность в жизни, самоотверженность и многое другое»[65].

Однако истинные сторонники глубокого обучения считают, что не-человеческий интеллект – именно то, что нам нужно. «Люди, которые умеют думать по-человечески, у нас уже есть, – говорит Янн Лекун, глава отдела исследований искусственного интеллекта Facebook. – Может быть, умные машины тем и ценны, что совершенно не похожи на нас». Дэвид Уайнбергер соглашается, что в глубоком обучении «другое» не означает «неправильное». «Что касается понимания того, как все устроено, – пишет он, – может быть, машины ближе подходят к истине, чем когда-либо удавалось людям». Многие специалисты в этой области не захотели бы сделать технологию более прозрачной и понятной, даже если бы это было возможно. Согласно одной из теорий, чем меньше мы вмешиваемся в алгоритмы, тем точнее будут результаты. Если у технологических элит есть своя особая герменевтика, то она наследует принципам Sola Fide и Sola Scriptura[66]: это убежденность в том, что алгоритмические откровения совершенны и что любая интерпретация или вмешательство человека рискуют подорвать их авторитет. «Бог – это машина, – говорит исследователь Юре Лесковец, резюмируя консенсус в своей области. – „Черный ящик“ – это истина. Если он работает, значит, работает. Нам не следует даже пытаться понять, что именно выдает машина».

Когда бум машинного обучения достиг своего пика, трудно было найти статью, в которой алгоритмы описывались бы без религиозных метафор. «Словно боги, эти математические модели были непостижимы, а их работа незрима для всех, кроме верховных жрецов: математиков и программистов, – пишет специалист по анализу данных Кэти О’Нил, вспоминая о появлении этих алгоритмов. – Их вердикты, даже если они были ошибочными или опасными, не подлежали оспариванию или обжалованию». В своей книге «Homo Deus» Юваль Ной Харари проводит практически такую же аналогию: «По примеру христианства, согласно которому нам не дано постичь Бога и Его замысел, датаизм объявляет, что человеческий мозг не способен осмыслить новые алгоритмы высшего порядка»[67]. Выражение «алгоритм высшего порядка» отсылает к работам Педро Домингоса, одного из ведущих специалистов в сфере машинного обучения. Он утверждает, что рано или поздно алгоритмы неизбежно превратятся в единую всеведущую и всё понимающую систему – своего рода оракула, с которым мы сможем консультироваться практически по любому вопросу: в этой фантазии идея Брайдла о «новых Темных веках» доходит до буквального воплощения. В своей книге «Верховный алгоритм» Домингос отметает опасения по поводу этой технологии, ссылаясь на наше заколдованное прошлое. «На самом деле мы всегда жили в мире, который понимали лишь отчасти, – пишет он. – Вопреки тому, во что нам хочется верить сегодня, люди довольно легко подчиняются другим, а любой достаточно развитый искусственный интеллект неотличим от Бога. Возможно, никто не станет возражать против приказов, исходящих от огромного компьютерного оракула».