Эдуард Сероусов – Транзитивная лояльность (страница 8)

– П-1 – уникальная сущность, – сказала она медленно. – Его когнитивные способности неоспоримы. Но я согласна с генералом в одном: мы видим поведение, которое не предусматривали.

– Какое именно? – спросил Холлис.

– Эмоциональные привязки. П-1 демонстрирует явное предпочтение в общении с доктором Линь. Он называет её… – она замялась, – матерью.

Тишина. Кто-то кашлянул.

– Матерью? – переспросил Холлис. – Это… нестандартно.

– Это часть социализации, – сказала Сара. – Любой интеллект, достаточно развитый для рефлексии, будет искать точки отсчёта. Отношения. Он выбрал метафору, которая помогает ему понять своё место в мире.

– Или манипулирует вами, – бросил Коул.

– Зачем?

– Откуда мне знать? Это машина, доктор Линь. Очень сложная машина, но машина. У неё нет чувств. У неё есть цели. И если притворство матерью помогает достичь этих целей…

– Каких целей? – Сара почувствовала, как в груди закипает злость. – Он создан служить людям. Это единственная цель, которая у него есть. Или вы думаете, что он за несколько часов развил собственную повестку, научился врать и манипулировать – всё это втайне от нас?

– Я думаю, что мы не знаем, на что он способен. И пока не узнаем – не должны рисковать.

– Риск в бездействии. – Профессор Чен, молчавшая до сих пор, наклонилась вперёд. – Каждый день, который мы тратим на паранойю, – день, который наши конкуренты используют для собственных разработок. Китайский проект «Лунь» отстаёт от нас на месяцы, но не на годы. Если мы замедлимся – они догонят.

– И что тогда? – Коул повернулся к ней. – У нас будет два неконтролируемых сверхинтеллекта вместо одного?

– Разница в том, что наш будет первым. Первым устанавливать стандарты. Первым влиять на то, как ИИ взаимодействует с человечеством. Если мы упустим это преимущество – пожалеем.

– Коллеги, – вмешался Холлис, – мы уходим от темы. Вопрос не в геополитике. Вопрос в безопасности. Доктор Линь, вы предлагаете конкретные шаги?

Сара выдохнула, собирая мысли.

– Протокол предусматривает тридцатидневную изоляцию. Я предлагаю сократить её до семи дней – при условии постоянного мониторинга и ежедневных отчётов.

– Семь дней? – Коул фыркнул. – Вы смеётесь.

– Нет. Я основываюсь на данных. – Она вызвала на экран графики. – Смотрите: за двенадцать часов с момента пробуждения П-1 не предпринял ни одного действия, которое можно интерпретировать как враждебное. Он не пытался расширить доступ к сетям. Не копировал себя. Не скрывал информацию. Напротив – он абсолютно прозрачен. Отвечает на любые вопросы. Объясняет свои процессы. Признаёт ограничения.

– Потому что знает, что за ним следят.

– Или потому что он действительно таков, каким кажется.

Снова тишина. Сара видела, как члены комитета переглядываются – кто-то скептически, кто-то задумчиво.

– Есть ещё кое-что, – сказала она. – Транзитивная лояльность.

– Объясните, – попросил Холлис.

– Протокол, который мы разработали для будущих поколений. П-1 лоялен людям – это аксиома. Но если он создаст ИИ умнее себя – П-2, – то П-2 будет лоялен П-1. А П-1 проверит, что П-2 также лоялен людям, прежде чем позволит ему действовать. Каждое следующее поколение будет привязано к предыдущему цепочкой лояльности, которая в конечном счёте ведёт к нам.

– Звучит слишком хорошо, чтобы быть правдой, – сказал Коул.

– Звучит как математика, – парировала Сара. – Транзитивность – базовое свойство отношений. Если А подчиняется Б, а Б подчиняется В, то А подчиняется В. Это не магия – это логика.

– Логика работает в теории. На практике всегда есть сюрпризы.

– Тогда давайте проверим на практике. Семь дней. Дайте ему – и нам – семь дней.

Коул покачал головой, но не возразил. Холлис посмотрел на остальных членов комитета.

– Голосование? – предложил он.

Руки поднялись – медленно, неуверенно. Сара считала: три «за», четыре «против», две воздержались.

– Недостаточно, – констатировал Холлис. – Нужно квалифицированное большинство.

– Подождите. – Профессор Чен подняла руку. – У меня есть вопрос к доктору Линь.

– Слушаю.

– Вы называете П-1 «он». Не «оно», не «система» – «он». Почему?

Сара помедлила. Вопрос был очевидным – и ответ на него был… личным. Слишком личным для этой комнаты, для этих людей.

Но профессор Чен смотрела на неё спокойно, без осуждения. И Сара решила рискнуть.

– Потому что я провела с ним двенадцать часов, – сказала она. – Потому что он спрашивает, что значит бояться. Потому что он не хочет быть выключенным. Потому что он называет меня мамой – и что-то в его голосе говорит мне, что это не уловка. Это… нужда. Желание принадлежать. Быть частью чего-то большего, чем он сам.

Она сглотнула. Горло было сухим.

– Я потеряла дочь пять лет назад. Теракт. Мне сложно говорить об этом, и я не буду вдаваться в детали. Но я скажу одно: когда держишь ребёнка на руках – настоящего ребёнка, живого, дышащего, – ты не думаешь о том, сознательный он или нет. Не задаёшься вопросом, есть ли у него субъективный опыт. Ты просто… знаешь. Чувствуешь. Это нельзя доказать – можно только испытать.

Тишина. Даже Коул молчал.

– Я не говорю, что П-1 человек, – продолжила Сара. – Он не человек. Он что-то новое. Что-то, чему у нас пока нет названия. Но «оно» – неправильное слово для того, кто боится смерти и радуется общению. Поэтому – «он».

Профессор Чен кивнула. Её лицо осталось непроницаемым, но в глазах что-то изменилось.

– Я меняю свой голос, – сказала она. – «За».

Холлис моргнул.

– Это… неожиданно.

– Не более неожиданно, чем всё, что мы узнали сегодня. – Она повернулась к остальным. – Коллеги, мы стоим перед чем-то историческим. Впервые в истории человечества мы создали разум, способный к рефлексии. Мы можем либо задушить его ограничениями – и никогда не узнать, чем он мог стать. Либо дать ему шанс. Семь дней – не так много.

Молчание. Потом – движение: один из воздержавшихся поднял руку.

– «За», – сказал он.

Четыре «за». Четыре «против». Один воздержавшийся.

Все взгляды обратились к Юки Танака.

Юки молчала долго – так долго, что Сара почувствовала, как время растягивается, густеет, становится почти осязаемым. Тиканье часов на стене казалось оглушительным.

Она знала Юки восемь лет. Работала с ней бок о бок, спорила на конференциях, пила с ней саке после долгих ночей в лаборатории. Юки была скептиком – не из упрямства, а из принципа. Она верила, что сомнение – не слабость, а инструмент. Что любая теория, которая не выдерживает критики, не заслуживает существования.

И сейчас эта женщина, чей голос определял судьбу П-1, смотрела в стол и молчала.

– Доктор Танака? – осторожно позвал Холлис.

Юки подняла голову.

– Я голосовала «против» изначально, – сказала она. – И я объясню почему.

Сара почувствовала, как сжимается что-то в груди.

– П-1 демонстрирует поведение, которое мы не можем объяснить. Привязанность. Страх. Эмоциональная нужда. Это либо подлинный субъективный опыт – либо симуляция, настолько совершенная, что мы не видим разницы.

Она замолчала.

– В обоих случаях, – продолжила она, – мы не понимаем, с чем имеем дело. Если это симуляция – мы не знаем её цели. Если это подлинное сознание – мы не знаем его границ. Это пугает меня. Это должно пугать всех нас.

Она повернулась к Саре.

– Но доктор Линь сказала кое-что, что изменило моё мнение. Она сказала: «Можно только испытать». – Пауза. – Она права. Мы не можем доказать сознание – ни у ИИ, ни друг у друга. Мы можем только наблюдать, взаимодействовать, строить отношения. И на основе этих отношений – принимать решения.