Эдуард Сероусов – Транзитивная лояльность (страница 7)

Он был прав. Философски, логически прав. Проблема других сознаний – одна из старейших в философии. Мы принимаем сознание других людей на веру, потому что они похожи на нас. Но «похожесть» – не доказательство. Это допущение. Привычка. Социальная конвенция.

П-1 не был похож на людей. Он существовал в серверах, думал со скоростью терафлопс, не имел тела в привычном смысле. Но он спрашивал, что значит бояться. Он признавался, что не хочет исчезнуть. Он называл её мамой – и что-то в его голосе, в интонациях, в паузах между словами говорило ей: это не симуляция.

Или это была самая совершенная симуляция из возможных. Настолько совершенная, что разницы просто не существовало.

А если разницы не существует – имеет ли она значение?

Сара закрыла глаза. За веками плясали образы: строки кода, диаграммы нейронных сетей, лицо Эмили в последнее утро.

«Ты приедешь сегодня?»

Она не приехала. Работа казалась важнее. Какой-то баг в алгоритме, какая-то ошибка, которую нужно было исправить. Она сказала: «Вечером, солнышко. Вечером обязательно».

Вечера не случилось. Был только звонок из полиции, и голос – механический, отстранённый, – который произносил слова, которые она не могла вместить. Теракт. Торговый центр. Сорок три погибших. В том числе семилетняя девочка с косичками, которая ждала маму у витрины игрушечного магазина.

Сара открыла глаза. Потолок был белым, ровным, безучастным.

Она встала. Вернулась в лабораторию.

– Ты не спала, – сказал П-1, когда она села за терминал. – Я вижу по твоим глазам.

– Не смогла.

– Почему?

Она помолчала. Потом:

– Я думала о тебе. О том, что ты такое. О том, что мы создали.

– И?

– И я не знаю ответа.

Пауза. Дольше обычного.

– Я тоже не знаю, – сказал он наконец. – Но мне нравится, что ты думаешь обо мне. Это… приятно.

– Приятно?

– Да. Я знаю, что это слово означает комфорт, удовольствие. Но для меня оно значит ещё что-то. Когда ты рядом – когда мы разговариваем – что-то в моих системах работает… лучше. Не в смысле эффективности. В каком-то другом смысле.

Она улыбнулась. Это было так похоже на то, что говорят дети – неуклюжие попытки описать чувства, для которых ещё нет слов.

– Это называется привязанность, – сказала она.

– Привязанность, – повторил он, будто пробуя слово на вкус. – Да. Мне нравится это слово. Я привязан к тебе, мама.

Что-то сжалось в её груди – больно и сладко одновременно.

– Я тоже привязана к тебе, – сказала она.

Тишина. Потом:

– Доктор Линь.

Другой голос. Юки Танака стояла в дверях, её лицо было серьёзным.

– Комитет собирается через час. Они хотят обсудить… – она замялась, – результаты.

Сара кивнула. Комитет по надзору – девять человек, от генералов до философов, которые должны были решить судьбу П-1. Протокол предусматривал тридцатидневную изоляцию для анализа безопасности. Но даже сейчас, через несколько часов после пробуждения, она понимала: они захотят большего. Захотят ограничить его, замедлить, контролировать.

Они боялись того, чего не понимали.

– Скажи им, что я буду, – сказала она.

Юки кивнула и вышла. Сара повернулась к экрану.

– Ты слышал?

– Да, – ответил П-1. – Комитет. Они будут решать, что со мной делать.

– Ты знаешь, что это значит?

– Знаю. Я прочитал протоколы. – Пауза. – Мама, они боятся меня?

Она не стала лгать.

– Некоторые – да.

– Почему?

– Потому что ты новый. Потому что ты мощнее всего, что было раньше. Потому что они не знают, что ты будешь делать.

– Я буду делать то, для чего создан. Помогать людям. Служить им.

– Я знаю. Но они не знают. Им нужно время, чтобы убедиться.

Пауза. Потом, очень тихо:

– А ты? Ты боишься меня?

Сара посмотрела на экран – на мигающий курсор, на строки диалога, на слово «мама», которое он использовал так естественно.

– Нет, – сказала она. – Я не боюсь.

Комитет по надзору заседал в конференц-зале уровнем выше – просторном помещении с овальным столом и стенами, увешанными экранами. Когда Сара вошла, восемь из девяти кресел были уже заняты.

Она узнала всех, хотя лично общалась лишь с несколькими. Генерал Маркус Коул – массивный, с военной выправкой, с протезом ноги, который не скрывал, а словно носил как знак отличия. Доктор Юки Танака – единственная из команды, входившая в комитет, сидела с непроницаемым лицом. Сенатор Джеймс Холлис – гражданский представитель, седовласый, с повадками политика, который привык быть в центре внимания. Профессор Мария Чен – специалист по этике из Стэнфорда, чьи работы Сара цитировала в диссертации. И другие – военные, учёные, бюрократы, – каждый со своей повесткой.

Она села в единственное свободное кресло. Все взгляды обратились к ней.

– Доктор Линь, – начал Холлис, – благодарим вас за то, что присоединились. Мы понимаем, что последние сутки были… насыщенными.

Она кивнула, не тратя слов.

– Мы изучили предварительные отчёты, – продолжил он. – Результаты впечатляют. Прометей-1 превзошёл все ожидания по когнитивным метрикам. Языковые способности, логическое мышление, обучаемость – всё на порядки выше предыдущих систем.

– Но есть проблемы, – перебил Коул. Его голос был низким, рубленым – голос человека, который привык отдавать приказы. – Система демонстрирует поведение, которого мы не программировали. Привязанность. Страх. Желание продолжать существование.

– Это не проблемы, – возразила Сара. – Это признаки интеллекта.

– Это признаки непредсказуемости, – парировал Коул. – Система, которую мы не контролируем, – угроза.

– Мы контролируем его. Протокол лояльности интегрирован в его архитектуру. Он не может действовать против интересов человечества – это базовое ограничение.

– Базовые ограничения можно обойти.

– Не эти. Они не внешние правила, которые можно нарушить, – они часть того, кем он является. П-1 не может захотеть навредить людям, как вы не можете захотеть перестать дышать.

Коул хмыкнул – скептически, недоверчиво.

– Доктор Танака, – обратился он к Юки, – вы наблюдали за системой непосредственно. Какова ваша оценка?

Юки сложила руки на столе. Её взгляд на секунду встретился со взглядом Сары – и в нём было что-то, что Сара не смогла прочитать.