Ричард Йонк – Сердце машины. Наше будущее в эру эмоционального искусственного интеллекта (страница 34)
И это только начало. В 2015 году база данных ФБР стоимостью в 1 миллиард долларов, известная как Программа идентификации нового поколения, содержала данные для распознавания лиц примерно трети населения США, а также другие биометрические данные, включая отпечатки пальцев, отпечатки ладоней и данные сканирования сетчатки глаза. В том же году «
Очевидно, что правоохранительным органам давно были нужны инструменты, чтобы считывать эмоции и выявлять обман. Теперь, после стольких лет, технология готова совершить большой прорыв и воплотить эту возможность. Примут ли ее на вооружение правоохранительные органы? Или откажутся от ее использования ради соблюдения личных границ и гражданских прав и свобод? А ведь этот вопрос непременно поднимут некоторые организации, такие как Американский союз защиты гражданских свобод и Фонд электронных рубежей. По всей вероятности, они предпочтут первый вариант.
Когда заходит речь о личной безопасности, общественность каждый раз демонстрирует, что предпочтет уступить часть гражданских прав и свобод в пользу усиления безопасности. Мы уже наблюдали это после 11 сентября 2001 года, когда без малейших возражений подписали Акт патриота США. В 2006 году в рамках Акта об оперативном наблюдении за коммуникациями личностей, подозреваемых в терроризме, телефонные разговоры и электронную переписку иностранцев стали отслеживать без санкций суда. Как всегда, подобными средствами неизбежно будут злоупотреблять, а когда это случится, общественность резко изменит мнение на противоположное.
На сегодняшний день глубокая стимуляция мозга применяется для лечения симптомов эссенциального тремора, болезни Паркинсона, расстройства тонуса и обсессивно-компульсивного расстройства.
Программное средство, способное удаленно интерпретировать эмоции, можно использовать для поведенческих манипуляций. Это должно глубоко обеспокоить всех нас. Как может измениться идея перехвата при выполнении тайных операций? Как далеко может зайти следователь на допросе, добиваясь признания от того, кого сочла виновным компьютерная система?
Кроме того, существует проблема ложной памяти. Исследования показывают, что эмоции причудливым образом искажают наши воспоминания. А негативные эмоции повышают склонность к образованию ложных воспоминаний9. То есть человек убежден в том, что он помнит событие, хотя на самом деле оно не происходило. Система для чтения эмоций в процессе достижения своей цели, например признания, может умышленно или неумышленно создавать петлю обратной связи. Без должной защиты цепь вопросов, следующая за каждой невербальной реакцией, может непреднамеренно создавать ложные воспоминания, которые в итоге приведут к признанию. Необходимо учитывать, что компьютеры не устают, в отличие от людей. Как только усталость начнет брать свое, степень уязвимости человека повысится и также поможет добиться желаемого признания.
Хотя защита гарантирует гражданские права и свободы во многих демократических странах, остается высокий риск злоупотребления подобными методами наблюдения и допроса. Если это произойдет, то, вероятно, общественное отношение к технологиям чтения эмоций радикально изменится в противоположную сторону. Изменение общественного мнения может привести к полному отказу от использования эмоциональных технологий в подобных целях. Но, как мы уже не раз убеждались, после запрета технологии переходят в теневой сектор, где возможность регулировать их использование практически отсутствует, а потенциал для злоупотребления огромен.
В некоторых государствах соблюдение личных свобод ничем не гарантировано. Самодержец или диктатор с радостью ухватится за средство, с помощью которого он сможет усилить и удерживать власть. Достаточно веские причины для того, чтобы опасаться применения эмоционального программирования в военных целях.
Актуален и вопрос получения разведывательных данных. Опять же может ли технология распознавания эмоций повлиять на правдивость получаемых данных? Повысит ли петля коммуникационной обратной связи их надежность или понизит?
Возможно, мы выходим на новое поле битвы. Будет ли такое оружие морально неуязвимым? Из тех же соображений, по которым подозреваемые в совершении преступлений должны быть защищены при допросе с применением эмоциональных машин, допрос шпионов и военнопленных с применением аффективных технологий также может считаться негуманным отношением. Разум человека – самое личное и самое ценное из всего, что ему принадлежит. Вмешательство в него, насаждение ложных воспоминаний и эффективное переписывание самовосприятия практически равносильно уничтожению личности. Можем ли мы прийти к тому, что нам понадобится Женевская конвенция для защиты военнослужащих от аффективных технологий?
Кроме того, государственный режим способен применить подобные технологии против гражданских, даже против собственного народа. Принимая во внимание перспективу вмешательства в психику, в какой момент закончится пропаганда и начнется нарушение прав человека? Эмоциональное программирование приобретает все больше возможностей и применяется все шире, но есть ли способы технической защиты, которые могут остановить или предотвратить подобные нарушения? Или нам придется полагаться лишь на санкции правоохранительных и управляющих органов?
Наконец, как подобные технологии соотносятся с концепцией свободных и честных выборов? Манипулирование эмоциями уже рассматривается как честная игра в битве за политическую власть, но что произойдет, если манипуляциями будут заниматься машины? Машины, которые могут присутствовать где угодно, в любое время, бесцеремонно принуждая и сдержанно увещевая. Насколько свободными и честными будут выборы, если избиратели не будут уверены в собственных чувствах и собственном мнении?
Может ли какая-нибудь из этих ситуаций стать реальностью? Очень просто рассматривать зарождающуюся технологию и исключить подобный сценарий из-за недостатка сложности, вычислительных мощностей или субъективной ценности. Однако, как уже упоминалось, развитие технологий в геометрической прогрессии означает, что совсем скоро эмоциональное программирование может превратиться в радикально новый источник власти. Закон Мура, закон Крайдера, закон Меткалфа и прочие закономерности отмечают, что многие аспекты мира, созданного человеком, совершенствуются в геометрической прогрессии. У нас нет оснований полагать, что развитие эмоционального программирования будет происходить иначе.
Как видим, при неправильном использовании перспективная технология может наделать дыр в нашем социальном полотне. Проблемы достаточно масштабны и имеют множество нюансов, которые стоит продумать и обсудить. Поскольку однозначные решения в этой книге не рассмотрены, кажется разумным начать дискуссию именно сейчас, пока есть время повлиять на развитие эмоциональных машин.
Глава 11
Кто же будет заботиться?
В тихом приюте в Брисбейне без движения и без звука сидит старичок и разглядывает ковер под ногами. Восьмидесятидвухлетний Томас страдает прогрессирующей старческой деменцией. Уже больше двух лет он не произносил ни слова. Когда Томас поступил в дом престарелых, персонал пытался с ним общаться и как-то расшевелить, но безуспешно. Неудивительно, что со временем сотрудники все реже пытались наладить со стариком хоть какой-то контакт.
Томас не замечает, как санитар проводит в комнату отдыха женщину средних лет. Женщина подходит к Томасу и присаживается на корточки рядом с его стулом. Томас глядит в пол.
– Здравствуйте, Томас, – мягко произносит она. – Как вы себя чувствуете сегодня?
Томас продолжает рассматривать ковер отсутствующим взглядом. Женщина достает из-за спины что-то похожее на большую мягкую игрушку – тюлененка. Она держит игрушку перед Томасом.
– Хотите познакомиться с Милли, Томас? Милли говорит «Привет».
Милли поворачивает голову, открывает глаза и подмигивает Томасу. Женщина подносит тюлененка к плечу Томаса. Когда тюлененок утыкается носом Томасу в шею, глаза старика широко открываются. Схватив игрушку обеими руками, Томас держит ее перед собой и смотрит в большие темные глаза тюлененка. Взгляд Томаса становится уже не таким отсутствующим.
Развитие технологий в геометрической прогрессии означает, что совсем скоро эмоциональное программирование может превратиться в радикально новый источник власти.
Следующие сорок минут Томас обнимает и гладит тюлененка и выглядит более заинтересованным, чем когда-либо раньше. На самом деле игрушечный тюлененок Милли – это роботизированная система с официальным названием PARO. Он принадлежит к новой категории устройств, известных как терапевтические роботы-компаньоны. Эти довольно сложные устройства, разработанные в Японии, в США относят к медицинским изделиям класса 21. Робот использует искусственный интеллект, чтобы изменять свое поведение в зависимости от показаний множества сенсоров, отслеживающих прикосновения, звук, свет и температуру. Во время игры он шевелит головой, хвостом и плавниками и открывает глаза. Он реагирует на звуки, может отзываться на свое имя и отвечать на слова, которые часто использует владелец.