Гаспар Кёниг – Конец индивидуума. Путешествие философа в страну искусственного интеллекта (страница 28)

Тэми показалась мне настолько очаровательной и воодушевленной, настолько исполненной благих намерений, что я долго не решался задать ей вопрос: не является ли такая технология, если так можно выразиться, слегка интрузивной?

Она покраснела. Прежде всего, содержание разговоров не записывается. Во-вторых, собранные данные анонимизируются, прежде чем будут обработаны ИИ. В-третьих, подумал ли я об огромных выгодах этой инновации? Сотрудники, которые раньше оставались в тени, теперь могут быть признаны в качестве «связных», к которым все обращаются за помощью, а это зачастую заставляет руководство менять внутренние методы оценки. И наоборот, люди, которых группа отталкивает, очевидно, не раскрывают своего потенциала и рискуют увольнением – не лучше ли в таком случае предупредить разрыв? Также становится возможным оценивать, соблюдается ли паритет на встречах, даже неформальных, – разве это не шаг в сторону равенства мужчин и женщин? Колокольчик – это на самом деле «социометрический бейдж», позволяющий усовершенствовать управление человеческими ресурсами, определить уровень общего доверия и гарантировать, что каждый будет чувствовать себя включенным в работу. Задача в том, чтобы дать голос наиболее скромным сотрудникам и предоставить им справедливую компенсацию за создаваемую ими ценность, пусть она и производится за счет вроде бы совершенно невинного разговора. Впрочем, несогласным Humanize предлагает носить «фальшивый бейдж», в котором нет детекторов, но знать об этом никто не будет. За восемь лет было лишь два таких случая. Что и требовалось доказать…

Признаюсь, после этой страстной тирады я почувствовал, что начинаю колебаться. В конце концов, может быть, я слишком европеец, слишком озабочен правами каждого, но не интересуюсь всеобщим счастьем? Если бы все были готовы повесить на себя такой колокольчик, чтобы лучше понимать динамику стада, от имени какой абстрактной концепции частной жизни я смог бы выступать против этого?

Вот в этом и заключается убедительность утилитаризма. Неудивительно, что Бентам был к тому же сторонником максимальной прозрачности, самой известной и мрачной иллюстрацией которой стала его модель тюремного паноптикона.

Последняя, но довольно важная, составляющая входит в определение функции полезности. По формуле Бентама, предельная цель социальной организации – поиск «максимального счастья для максимального числа людей». То есть полезность всегда рассчитывается одновременно для индивида и группы. Представим четырех людей, у каждого из которых «балл» счастья, определяемый по шкале от 1 до 10, равен 5. Согласно гедонистскому исчислению Бентама, получившему название «felicific calculus», политика или технология, которая бы позволила всем им перейти от 5 баллов к 6, была бы, естественно, желательной. Но представим сценарий, в котором два из наших подопытных достигают 8 баллов счастья, один остается на уровне 6, а последний опускается до 4. Сумма счастья в таком случае была бы выше, чем в двух предшествующих ситуациях: (8 + 8 + 6 + 4) > (6 × 4) > (5 × 4) – даже мне это понятно! А потому такой реформе надо отдать предпочтение, даже если бы она привела бы к страданию одного конкретного человека. Всеобщее счастье не всегда благоприятствует моему личному счастью.

Системы ИИ хорошо усвоили эту логику. Вот почему профессор Тодд Дэвис, которого я встретил в его подвале в Стэнфорде, с некоторым лукавством объясняет мне, что ему удается «обмануть Google Maps», выбирая альтернативные маршруты по пути домой. Дело в том, что Google Maps показывает не самый короткий для вас путь, а лучший компромисс между скоростью вашего путешествия и подвижностью трафика. Предложенный путь должен поддерживать хрупкое равновесие между вашим интересом и интересами всех остальных водителей. Иначе говоря, алгоритм, возможно, примет решение отправить вас по объездному пути, где вы потеряете десять минут, если это позволит разгрузить основную трассу для следующих за вами водителей: в этом сценарии вы оказываетесь в дураках, то есть становитесь тем, чей балл счастья опускается с 5 до 4. Но вы все равно согласитесь – сначала в силу незнания, а потом по той причине, что долгосрочно предоставляемые услуги намного ценнее временных неудобств. Определенная доля индивидуализма возможна лишь на хорошо знакомой дороге, например той, по которой профессор Дэвис многие десятилетия ездит от Стэнфорда до дома. Обманывая Google Maps (конечно, не превышая скорость…), можете быть уверены, что нанесли коллективу автомобилистов лишь незначительный ущерб.

Профессор Дэвис вовсе не чувствует себя виноватым. Тодд Дэвис, психолог и в то же время специалист по ИИ, который носит походные ботинки, словно готов в любой момент сорваться с места, соединяет в себе бунтарский прогрессизм гуманитарных наук с аналитической строгостью информатики. Уж он-то точно знает, как изобличить «социальную оптимизацию», скрывающуюся в современных техниках машинного обучения. Нами не только манипулируют, нас не только подталкивают и лишают самой способности делать выбор – мы к тому же поневоле становимся слугами общества. «Это новое человечество», – говорит профессор. Человечество, более близкое к лучшему из миров Хаксли, в котором святая святых – это счастье, а солипсизм осужден, чем к калифорнийской контркультуре, одним из последних наследников которой и кажется мне Тодд Дэвис. «Это политический вопрос», – подчеркивает он. Но кто его сегодня обсуждает? Возможно, незаметно для себя мы уже согласились с чисто утилитаристской концепцией совместной жизни? Быть может, когда беспилотный автомобиль станет для нас привычным, мы откажемся от самой возможности обманывать Google Maps? Что, если тех, кто пытается его провести, будут наказывать за асоциальное поведение?

Питер Тиль, знаменитый предприниматель из Кремниевой долины и ярый либертарианец, прямо говорит, что «ИИ является коммунистическим». Но в цифровой оптимизации выявляется такое холистическое представление об обществе, которое вступает в противоречие с логикой промышленной эпохи. Если производитель дорожных карт хотел оказать вам лучшую услугу, то создатель навигационного GPS-приложения стремится сделать счастливыми максимальное число пользователей. Это позволяет понять, почему сайты знакомств не довольствуются предложением тех профилей, которые соответствуют открыто заявленным вами критериям. Подобно Google Maps, они пытаются увеличить подвижность трафика, чтобы избежать пробок перед наиболее соблазнительными профилями…

Теперь можно понять, в чем истинный смысл избитого лозунга цифровых предпринимателей: «Make the world better» – «Делай мир лучше». Речь идет не о филантропии, а об императиве, составляющем сердцевину технологии. Во-первых, «мир» – поскольку ни один продукт, связанный с ИИ, не может ограничиваться удовлетворением индивидуальной потребности: в агрегации данных и распределении рекомендаций он должен учитывать максимально широкое сообщество, а в конечном счете и все человечество в целом. Вот почему Марк Цукерберг, которому удалось объединить на фейсбуке около трети всего человечества, в одном из своих редких публичных выступлений поделился желанием создать глобальное сообщество[98]. Во-вторых, слово «лучше». В каком смысле «лучше»? Какова конечная цель? Теперь нам это известно: полезность, то есть максимизация удовольствия для всех. А для количественной оценки счастья и нормирования его распределения, несомненно, нет ничего лучше ИИ – инструмента, о котором мечтали в гедонистическом исчислении Бентама.

Это сочетание nudge и утилитаризма отлично описывает австрийская исследовательница – я встретил ее в Университете Джорджа Вашингтона. Юлия Пуашундер, несмотря на изнуряющую жару одетая в элегантный белый пиджак с цветами, придумала удачный неологизм «наджитал» (nudgital) – смесь nudge и капитала. Это понятие позволяет ей критиковать «современную поведенческую политическую экономию». В этой формуле можно заметить синтаксическую легкость немецкой философии, но на деле она соответствует ставкам ИИ. Если поведение индивида предсказуемо, им можно манипулировать; такая манипуляция принимает форму nudge, производимого ИИ; этот nudge работает в соответствии с одним точным критерием (а потому мы попадаем в область «политической экономии») – полезности для нас и для других. Чем больше мы делимся информацией, чем больше производим данных, тем больше информации поставляем платформам и тем больше nudge получаем взамен; а чем больше нас «подталкивают», тем большего благосостояния мы достигаем. Отныне отношения господства и подчинения устанавливаются между теми, кто осуществляет nudge, и теми, кто его претерпевает, а не между социальными классами. И наоборот: чем меньше мы делимся информацией, тем больше сохраняем фактической свободы и тем больше становимся в собственном смысле слова бесполезными. В эру «наджитала» распространение информации – это рабство, но изоляция – это самоустранение: поистине адская дилемма!

Осталось не так много Тоддов Дэвисов, которые могли бы критиковать социальную оптимизацию и выступать за случайность и индивидуальное изменение. Сегодня общее благо – самая модная штука. Молодые предприниматели и американские мыслители восторгаются перспективой этого безграничного роста эффективности. Но мы ошибемся, если сведем ИИ исключительно к бизнес-модели. Речь идет о настоящем социальном проекте, претворяемом в жизнь совершенно честно и с большим воодушевлением.