Питер Уоттс – Это злая разумная опухоль (страница 31)

Что вы хотите сделать, Савацки? Запретить рекламу? Запретить споры? Запретить общение?

Я слышу вон того шотландца в заднем ряду: он говорит, что речь идет не о настоящих спорах, не о настоящем общении. Когда Cambridge Analytica нацеливается на вас, в этом не участвует другое живое существо – один только код, взламывающий мясо.

Как будто если бы мясо взламывало другое мясо, все стало бы лучше. Предсказание, что половина наших рабочих мест через пару десятилетий достанется автоматике,[88] уже стало затертым клише, однако эксперты не отвечают на такие новости требованиями упразднить закон Мура. Они говорят о переквалификации, безусловном базовом доходе – словом, об адаптации. Почему здесь все должно быть иначе?

Не поймите меня неправильно. Тот факт, что наша судьба – в руках правых злодеев-миллионеров, радует меня не больше, чем любого из вас. Я просто не воспринимаю текущую автоматизацию этого процесса как что-то иное, нежели очередной шаг по той же невеселой дороге, по которой мы тащимся десятилетиями. Я не помню, чтобы в 2008 и в 2012 годах кто-то завывал от гнева из-за тогда еще сверхсовременной базы данных Обамы, профилирующей избирателей. Зато я помню множество уважительных комментариев по поводу умения его предвыборного штаба «добиваться явки».

Любопытно, что граница, отделяющая «массовый активизм» от «тоталитарного нейропрограммирования», настолько четко пролегла между Тогда и Теперь.

Технология психологической войны, созданная Cambridge Analytica, не столько «угрожает демократии», сколько забивает очередной гвоздь в крышку ее гроба. Для тех, кто отвлекся: ее труп разлагается уже довольно давно.

Конечно, это не значит, что мы не должны отбиваться. Способы есть, даже на индивидуальном уровне. Я не о тех праздных мечтаниях, которые продвигают на SciAm[89] ребята, по всей видимости не способные отличить слоган от стратегии. (Убедиться, что у людей есть доступ к собственным данным! Заставить правительство держать ответ!) Я говорю о тех вещах, которые вы можете сделать прямо сейчас. Простых вещах.

Алгоритмы питаются данными? Перестаньте их кормить. Не сидите в твиттере: если всех прочих недостатков твиттера вам мало, может, вас уведет оттуда хотя бы перспектива уморить зверя голодом. Если не можете заставить себя уйти с фейсбука, по крайней мере перестаньте все лайкать – или, еще лучше, лайкайте то, что вас на самом деле бесит, создавайте помехи, чтобы контаминировать массив данных и сделаться более размытой мишенью. (Когда я встречаю на фейсбуке что-то, что нахожу особенно трогательным, то часто реагирую на него кипящим от ярости эмодзи.) Свалите из инстаграма и яйцехвата. Используйте Signal. Используйте, блин, VPN. Сделайте Органию бесполезной для них.

Что вы говорите? Тысячи людей по всему миру умирают – так хотят узнать ваш любимый рецепт приготовления плодов хлебного дерева? Выложите его в блог. Это не остановит ботов от сбора ваших данных, но им хотя бы придется вас разыскать; вы не будете скармливать себя платформе, явным образом созданной для того, чтобы добывать и перепродавать ваши потроха.

Чем больше будет нас, тех, кто отказывается им подыгрывать, – чем больше нас, тех, кто жульничает, кормя систему ложными данными, – тем меньше нам нужно будет бояться кода, который читает наши мысли. А если большинство людей не захочет заморачиваться – если все эти кликбейты, все эти эмодзи и поднятые большие пальцы окажутся слишком большим искушением – что ж, мы получим то правительство, которое заслуживаем. Только не жалуйтесь, расхаживая нагишом в бассейне с аллигаторами, если кто-то отхватит вам ноги.

Пусть за кулисы меня сопроводит Берит Андерсон:

«Представьте, как в 2020 году вы узнаете, что у вашей любимой политической странички или группы в фейсбуке на самом деле больше нет ни одного человека-подписчика, а только десятки или сотни ботов, благодаря которым вы чувствуете себя дома, чувствуете ценность собственных мнений. Есть ли вероятность, что вы могли об этом никогда не догадаться?»

Кажется, она считает это предупреждением, устрашающим предостережением о том, что будет, Если Это Продолжится. Но то, что описывает Андерсон, есть хрестоматийный пример теста Тьюринга, пройденного на ура. Она видит Интернет, полный зомби, – я вижу рождение Подлинного ИИ.

Конечно, есть два способа пройти тест Тьюринга. Очевидный путь – спроектировать более умную машину, такую, что сумеет сойти за человека. Но, как известно любому, кто хотя бы недолго просидел в соцсетях, люди могут быть столь же тупыми, однообразными и пустыми, как и боты. Поэтому другой путь – просто сделать людей глупее, чтобы машинам легче было их обдурить.

Я все больше склоняюсь к мнению, что второй подход может оказаться проще.

Жизнь под надзором FAST

(Журнал Nowa Fantastyka, апрель 2015 года)

В 2007 году я написал рассказ о человеке, стоящем в очереди в аэропорту. Там не так много всего происходило: он просто потихоньку двигался вместе со всеми остальными, размышляя о проверке, ожидающей его (и других пассажиров) перед посадкой. В конце концов герой оказывался в голове очереди, проходил через сканер и шел дальше. Вот, в общем-то, и все.

Только сканер не был рентгеном или металлодетектором: это был считыватель мыслей, выявлявший недобрые замыслы. Герой был латентным педофилом, чьи желания машина отображала ярко и четко, хотя он ни разу им не подчинился. «В глазах Господа» задает вопрос, что вас в большей степени определяет: совершенные вами поступки или те, о которых вы только думаете; он исследует очевидные проблемы с конфиденциальностью в обществе, где государство может читать мысли. Технология, которая там описывается, вдохновлена реальным патентом, оформленным Sony несколько лет назад; тем не менее я думал, что у нас будет хотя бы лет двадцать, прежде чем мы вплотную столкнемся с этими вопросами.

Я точно не думал, что подобную систему будут разрабатывать уже в 2015 году.

Однако же вот она: технология, которая, пусть еще и не готова к выходу в свет, уже достаточно разработана, чтобы American University Law Review опубликовал статью[90], рассматривающую связанные с ней юридические последствия. FAST (Future Attribute Screening Technology[91]) – это система, «в данный момент разрабатываемая для использования в аэропортах», которая «способна читать мысли (…) используя разнообразные комплекты датчиков, фиксировать показатели жизнедеятельности и, основываясь на этих данных, определять, есть ли у просканированного человека „злой умысел“ – намерение совершить преступление».

Описанная система на самом деле не столько читает мысли, сколько делает выводы об их содержании, основываясь на физиологических и поведенческих подсказках. Она считывает сердцебиение и температуру, отслеживает дыхание и движения глаз, а также перемены в вашем голосе. Если вы – женщина, она вынюхивает, на какой вы стадии овуляции. Она видит вашего нерожденного ребенка и состояние вашего сердца – и, как только исследует вас по сотне параметров, машина решает, есть ли у вас преступный умысел. Если она думает, что есть, вы оказываетесь в маленькой белой комнатке для допроса с пристрастием.

Конечно, чувство вины не обязательно означает, что вы планируете теракт. Может, вы просто изменяете супругу; может, стыдитесь, что сперли на работе коробку скрепок. Может, вы вообще не испытываете вину; может, предаетесь праздным фантазиям о том, как переломаете на хуй колени всем этим наглым ублюдкам-таможенникам, которые кончают оттого, что портят жизнь всем остальным. Может, у вас легкий синдром Аспергера или вы немножко запыхались, потому что бежали, чтобы успеть на самолет – но FAST видит только ускоренное дыхание и подозрительное нежелание устанавливать зрительный контакт.

Виновные умы, рассерженные умы, фантазирующие умы: тело предает их всех примерно одинаково, и стоит только этому тревожному сигналу возникнуть, как вы – Подозрительная Личность. Бо́льшая часть статьи в AULR исследует конституционные последствия внедрения этой технологии в США, сценарии, в которых FAST проходит юридическую проверку, и те, в которых она нарушает четвертую поправку – и, хотя именно этого и стоит ожидать от юридического комментария, я нахожу подобные беспокойства практически не имеющими значения. Если наши правители захотят использовать технологию, они будут ее использовать. Если ее использование незаконно, они либо изменят закон, либо нарушат его – как им будет удобнее. Вопрос не в том, начнут ее использовать или нет. Вопрос в том, в какой глубокой жопе мы окажемся, когда это произойдет.

Давайте поговорим о проценте ошибок.

Если кто-то скажет вам, что тест с 99 % точности выявил в ком-то террориста, какова вероятность, что тест ошибается? Вы можете сказать «один процент»; в конце концов, система точна на 99 %, так ведь? Проблема в том, что вероятности растут вместе с размером выборки – так, в аэропорту вроде того, что в Сан-Франциско (через который ежегодно проходит сорок пять миллионов человек), девяностодевятипроцентная точность означает, что за день как потенциальные террористы будут отмечены свыше 1200 человек, даже если ни одного настоящего террориста в аэропорту не будет. Это значит, что, даже если ежедневно в один и тот же аэропорт будет прокрадываться новый террорист, вероятность того, что кто-то окажется невиновен, даже если его отметили, составляет – барабанная дробь – свыше 99 %.