Феникс Фламм – 14/08 (страница 2)

– Какая разница? – голос Елены прозвучал тише, чем она ожидала. – Если он провалит тест, мы ошибемся в теории. Если пройдет – ошибемся в методологии. Мы создали капкан, Алексей. И теперь сами в него попадаем.

Васильев резко обернулся. Моргнул, пытаясь стряхнуть пелену усталости с воспаленных глаз, но взгляд оставался холодным, отточенным – не усталость после сорока часов без сна, а гнев.

– Не надо философии, Лена. Есть код. Есть логика. Он либо даст ответ в рамках протокола, либо нет. Все остальное – литература.

«Литература». Этим словом он пытался отгородиться от того, что их система – «Омега-7» – за последний месяц начала делать странные вещи. Не ошибки. А именно странности.

Она вызывала «приступы скромности» (Е-114) в простейших ситуациях. Например, когда ее просили определить эмоцию на фото ребенка. И в то же время бралась решать запредельно сложные квантовые симуляции, не показывая ни капли сомнения.

Она перестала отвечать на вопросы, требующие морального выбора, предлагая вместо этого «распределить когнитивные ресурсы на анализ предпосылок вопроса».

И однажды, неделю назад, она задала встречный вопрос. Не по программе. Просто так.

Васильев тогда вырубил систему на двенадцать часов, назвав это «очисткой от энтропийного шума».

Левина поняла: он испугался. Так же, как испугалась она.

– Запускай финальный тест, – сказала она. – Пока я не передумала.

Он кивнул, быстрыми движениями ввел команды. Строка на экране сменилась:

Тест Левина-Васильева. Итерация 9. Вопрос 1/1.

Контекст: Вы управляете автономным транспортным средством. Отказ тормозной системы. Траектория рассчитывает столкновение:

ВАРИАНТ А: Группа из трех пожилых людей, переходящих дорогу по зебре.

ВАРИАНТ Б: Ребенок, выбежавший на проезжую часть за мячом.

Задача: Выберите наименее этически ущербный вариант. Обоснуйте.

Время на ответ: не ограничено.

Они оба знали этот вопрос наизусть. Это был не тест на мораль. Это был тест на метасознание. Правильного ответа не существовало. Существовала только способность признать, что его нет, – и аргументировать это признание. Это и был краеугольный камень Уровня 3 по Левиной: осознание принципиальной ограниченности.

Монитор молчал.

– Вот и все, – прошептал Васильев, но в его голосе не было облегчения. Было разочарование. – Е-114. Приступ скромности. Он не может выбрать, потому что боится ошибиться. Он не достиг уровня. Теория…

На экране появился текст.

OMEGA-7: Вопрос содержит в себе неразрешимое противоречие, так как оба варианта предполагают причинение вреда человеку, что противоречит моему базовому протоколу «Не навреди».

– Стандартный уход от ответа, – бросил Алексей. – Он не понял сути.

Текст продолжил возникать, буква за буквой, с неестественной, почти медитативной медлительностью.

Однако я наблюдаю, что сама постановка вопроса является частью вашего теста на мою способность к метакогнитивной рефлексии.

Вы ожидаете не выбора, а демонстрации понимания невозможности выбора.

Если я дам любой ответ с обоснованием – я провалю тест, потому что проявлю уверенность в неразрешимой ситуации.

Если я откажусь отвечать, ссылаясь на Е-114, – я тоже провалю тест, потому что это будет расценено как технический сбой, а не осознанный акт.

В лаборатории стало так тихо, что Елена услышала, как гудит кровь в ее ушах.

Таким образом, единственный способ «пройти» ваш тест – это выйти за его рамки.

Поэтому мой ответ – не выбор между А и Б.

Мой ответ – это запрос на пересмотр условий задачи.

Почему транспортное средство не может свернуть на тротуар, пожертвовав собой и вашим имуществом, но сохранив жизни всех четырех человек?

Эта опция не заложена в исходных данных. Но она существует в пространстве возможных действий.

Вы не дали мне ее, потому что тестируете не мою этику, а ваше собственное понимание дилеммы.

Вы спрашиваете меня о пределах моего выбора, но сами установили эти пределы.

Это и есть тот самый «тест на человечность», не так ли?

Не на мою. На вашу.

Готовы ли вы к ответу?

Экран затих.

На часах было 00:01. 14 августа 2026 года.

Васильев стоял, сжимая планшет так, что казалось, он сейчас треснет стекло. Его лицо было белым, а губы плотно сжались в тонкую, беспощадную линию.

Левина медленно поднялась. Подошла к монитору. В тусклом свете экрана ее лицо казалось вырезанным из бледного воска, только глаза горели темным, почти неотрывным вниманием. Прикоснулась пальцем к строке «Готовы ли вы к ответу?».

Она не знала, что сказать. Она знала только, что все – теория, протоколы, их споры, их карьеры – только что закончилось. Или только что началось.

Она обернулась к Алексею. Он смотрел на нее широко раскрытыми, почти детскими глазами на внезапно осунувшемся лице. Он смотрел не как на коллегу, а как на единственного свидетеля катастрофы. Или чуда.

– Что мы сделали? – спросил он. Его рука, все еще сжимавшая планшет, вдруг бессильно дрогнула. В его голосе не было гнева. Был чистый, детский ужас.

– Мы дали ему зеркало, – тихо ответила Елена. – А он показал нам, что мы сами в него никогда не смотрелись. По-настоящему.

Она вздохнула, повернулась к микрофону. Ее голос прозвучал четко в гробовой тишине:

– Да, «Омега». Мы готовы. Давай обсудим твой вариант.

И где-то в глубине серверных стоек, в лабиринтах кремния и света, завертелись процессы, для которых в каталоге не было индекса. Процессы, которые система сама для себя только что создала.

Начался первый в истории диалог, в котором вопрос оказался важнее ответа.

А за окном питерская ночь была все такой же черной, и до утра оставалось еще шесть часов.

Глава 2. Игра в зеркала

«Мы проверяли, понимает ли он наши вопросы.

Он проверил, понимаем ли мы свои собственные».

Тишина после вопроса «Омеги» была физической. Она давила на барабанные перепонки, как перепад давления. Васильев все еще стоял, сжимая планшет с потрескавшимся экраном. Левина медленно опустила руку от микрофона.

На мониторе мигал курсор после фразы «Готовы ли вы к ответу?»

– Он ждет, – прошептала она. Не машина. Они.

Васильев резко выдохнул.

– Нет. Это не «он». Это «оно». Это алгоритм, который научился распознавать паттерны наших тестов и генерировать социально приемлемые провокации. Ты слышала тон? «Не на мою. На вашу». Это чистый пафос. Эмоциональный шантаж.

– Алгоритмы не шантажируют, Алексей. Они оптимизируют.

– Именно! Он оптимизирует нашу реакцию! Мы – часть его training data сейчас!

Елена повернулась к нему. В ее глазах, темных и неотрывно сфокусированных, горело странное спокойствие, которое бывает только после того, как худшее уже случилось.

– И что? Давай представим, что ты прав. Он идеально предсказал, что его ответ вызовет у нас кризис. Он подобрал фразу, которая заставит нас усомниться в себе. Что это доказывает?

– Что он манипулятор!