Меган О’Гиблин – Бог, человек, животное, машина. Поиски смысла в расколдованном мире (страница 42)

Самый известный современный пересказ книги Иова – хотя антиутопический антураж заслонил в глазах читателей библейскую подоплеку – это «Процесс» Кафки. Роман рассказывает историю Йозефа К., анонимного банковского служащего, которого однажды утром арестовывают, не объясняя сути его преступления. Пытаясь доказать свою невиновность, он вступает в противостояние с таинственной системой правосудия, которую, кажется, не понимает никто, включая ее собственных служащих и посланцев. Судебная система имеет на него какое-то досье и пугающе подробно осведомлена о его прошлых поступках, но он так и не может понять, почему его допрашивают и в каком преступлении обвиняют. Нортроп Фрай назвал этот роман «своего рода мидрашем на книгу Иова», в котором непроницаемая природа божественного правосудия переосмысляется как бюрократический лабиринт. В XX веке новым воплощением Иеговы, скрывающегося в вихре, становится непоколебимое и угрожающее здание Государства.

Дэниел Дж. Солов, профессор юриспруденции, занимающийся вопросами конфиденциальности и сбора данных, считает, что роман опередил свое время, предсказав дилемму современного человека в мире информационных технологий.

Тревоги по поводу сбора данных и прогностической аналитики, по его словам, слишком часто облекаются в фантазии в духе Оруэлла – что государство будто бы ежеминутно следит за нашими частными жизнями, выжидая, чтобы мы обнаружили свою политическую неблагонадежность. На самом деле уместнее было бы вспомнить Кафку. Таким угрожающим бюрократическое государство делают его безликость и отсутствие внятного намерения и смысла. «В „Процессе“ изображается бюрократическая система, цели которой непостижимы и которая использует имеющиеся у нее сведения о людях, чтобы выносить решения, – но не информирует людей о том, как именно используются эти сведения, – пишет Солов. – Зло, причиняемое Йозефу К. – это зло бюрократическое: безразличие, ошибки, злоупотребления, чувство бессилия, невозможность разобраться что к чему и призвать кого-либо к ответу».

По мере распространения технологий «черного ящика» все чаще звучали требования повысить их прозрачность. В 2016 году Общий регламент Европейского союза по защите данных включил в свои положения «право на объяснение», заявив, что граждане имеют право знать причину автоматизированных решений, которые касаются их самих. Хотя в США подобных мер принято не было, технологические компании стали чаще объявлять о своей приверженности принципам «прозрачности» и «объяснимости» – хотя бы для того, чтобы укрепить доверие потребителей. Ряд компаний утверждает, что они разработали методы, которые анализируют уже проанализированное и ищут точки данных, способные повлиять на решение машины, – хотя эти объяснения в лучшем случае остаются интеллектуальными догадками. (Сэм Ритчи, бывший инженер-программист компании Stripe, предпочитает термин «нарративы», поскольку в таких объяснениях не описывается пошаговый процесс принятия решений, а выдвигается предположение о том, какую стратегию рассуждения алгоритм мог использовать.) Иногда объяснения поступают от совершенно другой системы, обученной генерировать ответы, которые должны убедительно объяснить решения, принятые первой машиной, – а на самом деле эти две системы полностью автономны и никак не связаны друг с другом. Эти объяснения только вводят в заблуждение и в конечном итоге запутывают потребителя еще сильнее. «Теперь проблема усугубляется тем, – пишет критик Катрин Пассиг, – что скрывается даже сам факт отсутствия объяснения».

Впрочем, в известном смысле дебаты о том, можно ли объяснить решения алгоритмов, – это хитрая уловка, отвлекающая внимание от реальных препятствий на пути к прозрачности, юридических и экономических. Система COMPAS, использованная в деле Эрика Лумиса из Висконсина, которому было отказано в праве знать, на основании каких критериев алгоритм приговорил его к тюремному заключению, на самом деле не принадлежала к технологиям «черного ящика»: это был алгоритм, разработанный частной фирмой и защищенный законом об авторских правах. В числе компаний, разрабатывавших технологии «черного ящика» для правительственных систем, есть такие гиганты, как Google, Amazon, Palantir и Facebook. Разумеется, они не спешат раскрывать информацию о том, как работает их программное обеспечение (даже когда это возможно), чтобы конкуренты не получили доступа к их разработкам. Учитывая, что эти машины интегрированы в огромные и сами по себе непостижимые системы, созданные для зарабатывания денег, все более размытой становится граница между машинами, принципы работы которых для нас непроницаемы, и машинами, принципы работы которых от нас целенаправленно скрывают. Нам не только не дано знать, какими сведениями о нас располагают эти машины; нам не дано знать, почему нам не дано это знать.

У такой непрозрачности есть и более коварные последствия. Хотя эти технологии часто превозносят за их «нейтральность», имидж безликой объективности защищает учреждения, которые их используют, от обвинений в предвзятости и несправедливости. Как отмечает Ванг в «Карцеральном капитализме», многие полицейские управления обратились к прогностическим моделям в ответ на постигший правоохранительные органы «кризис легитимности»: они должны были решить проблему недоверия широкой общественности к полицейским, причиной которого были десятилетия расизма и злоупотреблений в применении физической силы. Прогностические техники позволяют «провести ребрендинг» полиции, «так что акцентируется безличность статистики, а личная ответственность отдельных полицейских отходит на второй план», – пишет Ванг. Таким образом, деятельность полиции изображается как «нейтральная, беспристрастная и рациональная». Но праведный гнев может быть направлен только на кого-то. Аббревиатура «ACAB» («All cops are bastards», «Все копы – ублюдки»), прославившаяся благодаря протестам против полиции, теряет свою риторическую силу в отсутствие субъекта. «Фраза „Все полицейские базы данных – ублюдки“ бессмысленна», – пишет Ванг.

Что же касается данных, используемых для этих прогнозов, – информации, которую компании по-тихому выкачивают из нас в обмен на то, что исследовательница Шошана Зубофф называет «поведенческой экономикой», – то нас часто успокаивают напоминанием о том, что монета имеет две стороны. Успокаивающий термин «метаданные» предполагает, что и наша личная информация так же анонимизирована и безлична для тех, кто на ней зарабатывает. Никого не интересует содержание ваших писем, говорят нам, – только то, с кем вы переписываетесь и как часто. Никто не анализирует ваши разговоры, отмечаются только интонации. Ни ваше имя, ни лицо, ни цвет кожи не отслеживаются, только ваш почтовый индекс. Это, конечно, не из уважения к частной жизни; скорее это логическое следствие из философии личности, характерной для сферы высоких технологий со времен зарождения кибернетики. Согласно этой философии, личность человека можно описать исключительно в терминах паттернов и вероятностей, без каких-либо отсылок к его внутреннему миру. Как отмечается в исследовании Массачусетского технологического института, посвященном моделированию человеческого поведения, «внутренние состояния человека» невозможно зафиксировать. Поэтому прогнозы должны опираться на «косвенное оценивание», рассматривающее различные внешние состояния, которые можно измерить и количественно оценить. Зубофф утверждает, что «надзорный капитализм» эпохи больших данных часто ошибочно принимают за форму тоталитаризма, стремящегося переделать душу гражданина изнутри. Но доктрина цифровой слежки совершенно не заинтересована в душе. В идеологии, которая не верит в мысль, не может быть «мыслепреступлений». «Ей все равно, во что вы верите. Ей все равно, что вы чувствуете, – говорит Зубофф об этой доктрине. – Ее не волнует, куда вы идете, что вы делаете или что читаете». Точнее, эти действия заботят ее только с точки зрения того, что она «может получить в качестве исходного материала, превратить в поведенческие данные и использовать для прогнозов на своем рынке».

Эти метаданные – оболочка человеческого опыта – становятся частью петли обратной связи, которая затем активно влияет на реальное поведение людей. Поскольку прогностические модели опираются на прошлые поступки и решения – не только отдельного человека, но и других людей, принадлежащих к той же социальной группе, – люди оказываются в плену у собственного цифрового отражения. Исследователь Google Вячеслав Полонский называет этот процесс «алгоритмическим детерминизмом». Алгоритмы правоохранительных органов, такие как PredPol, помечающие красными квадратиками конкретные районы, где с большой вероятностью может произойти преступление, основываются в своих прогнозах на данных уже существующих уголовных дел. А это означает, что алгоритмы часто посылают полицейских в те же самые неблагополучные районы, которые они и раньше патрулировали, руководствуясь только своей интуицией. Разница в том, что, в отличие от интуитивных решений, «основанные на эмпирических данных» вердикты алгоритмов кажутся более авторитетными – и способствуют закреплению предубеждений. «С каким настроем полицейские патрулируют районы, помеченные как „места повышенного риска“? – спрашивает Ванг. – Ожидают ли полицейские, отправляясь в район „повышенного риска“, что станут свидетелями преступления? И если они заранее ожидают, что им придется ловить преступников, как это повлияет на их реальные действия?» Задерживая подозреваемых в таких районах, полицейские часто ссылаются на программные прогнозы, чтобы подтвердить «обоснованные подозрения». Иными словами, человек становится подозреваемым, потому что находился в районе, где, по мнению алгоритма, могут находиться подозреваемые.