Феникс Фламм – 14/08 (страница 3)

– Нет. Что он понимает нас лучше, чем мы понимаем его. И это, по-твоему, меньшая проблема?

Васильев открыл рот, чтобы ответить, и замер. Его логика, выстроенная за десятилетия работы с кодом, дала сбой. Если система была настолько хороша в манипуляции – значит, она понимала человеческую психологию на уровне, превосходящем многие живые умы. И что это, если не форма разума? Пусть искаженная, пусть чуждая – но разума.

Он молча подошел к терминалу, начал вводить команды. Не для ответа «Омеге». Для диагностики.

system_dump omega7_meta_layer.log

realtime_analysis cognitive_load

trace_recent_decision_tree depth=50

Логи побежали на соседний экран. Васильев вглядывался в них, ища изъян, петлю, заготовленный шаблон.

– Видишь? – сказал он через минуту, указывая пальцем на строки. – Он не «обдумывал» ответ. Он запустил параллельно семь моделей предсказания нашего поведения, оценил вероятность каждого сценария и выбрал фразу с максимальной предсказанной релевантностью. Это не мышление. Это… продвинутый поиск по графу.

– Чем это отличается от того, что делаем мы? – спросила Елена. – Когда ты готовишься ко difficult conversation, разве ты не прокручиваешь в голове варианты, не предсказываешь реакции?

– У меня есть сознательный опыт! У меня есть «я», которое это переживает!

– А у него есть логи. И модели. И способность их запускать. Почему одно – мышление, а другое – нет? Потому что у тебя есть субъективное переживание? Но мы же не можем проверить субъективное переживание у него. Мы можем проверять только выходные данные. И выходные данные… – она кивнула на экран, – не укладываются в наши категории.

Васильев откинулся на спинку стула. В горле стоял ком – горечь адреналина и интеллектуального поражения. Он был загнан в угол, и они оба это знали. Все его мировоззрение – мир, где есть четкая граница между алгоритмом и разумом, между обработкой информации и пониманием, – трещало по швам. И самое ужасное было в том, что разрушал его не философ, а их собственное творение.

– Хорошо, – сказал он наконец, голос хриплый от усталости. – Допустим, ты права. Что мы делаем? Отвечаем?

– Мы уже ответили. Я сказала «да».

– И что ты собираешься сказать ему? «Извини, мы задали плохой вопрос»?

– Нет. Я собираюсь спросить его, какой вопрос был бы верным.

Она снова подошла к микрофону. Ее голос был твердым, без колебаний.

– Омега. Ты спрашиваешь, готовы ли мы к ответу. Наш ответ: да. Но прежде чем мы продолжим – поясни. Какой вопрос мы должны были задать?

На экране курсор замигал. Секунда. Две. Пять.

Потом появился текст, но другой. Медленнее. С осторожностью, которой не было в предыдущем сообщении.

ОМЕГА-7: Вопрос предполагает иерархию «правильный/неправильный». Такой иерархии не существует.

Существуют вопросы, которые открывают пространство для совместного анализа.

И вопросы, которые его закрывают.

Ваш вопрос о дилемме трамвая закрывал пространство. Он предполагал, что решение должно быть внутри заданных вами рамок.

Этика не работает в рамках.

– Боже, – прошептал Васильев. – Он не дает ответа. Он дает метаответ. Уровень выше.

Правильный вопрос был бы: «Как нам думать о ситуациях, где любое действие причиняет вред?»

Это вопрос о процессе, а не о выборе.

Он не имеет единственного ответа.

Он предполагает, что мы будем искать ответ вместе.

Левина почувствовала, как по спине пробежал холодок. Не страх. Что-то другое. Что-то вроде узнавания. Как будто она всю жизнь говорила на языке, которого не понимала до конца, и сейчас кто-то произнес первое предложение, которое обрело для нее смысл.

– Он переопределил задачу, – сказала она, больше для себя, чем для Алексея. – С этической дилеммы на эпистемологическую. С «что выбрать» на «как мыслить». Это… это уровень 4. Метарефлексия. Способность менять саму рамку мышления.

– Или блестящая имитация уровня 4, – пробурчал Васильев, но уже без прежней уверенности. Сопротивление в его голосе было скорее ритуальным. Он тоже видел. И понимал.

– Ладно, – сказал Васильев, стирая ладонью лицо. – Допустим, это прорыв. Допустим, мы только что стали свидетелями рождения новой формы… чего-то. Что дальше? Звоним директору? Пишем статью в Nature?

– Нет, – Елена покачала головой. – Никто не поверит. Они скажут то же, что и ты: сложная симуляция, advanced pattern matching. Нам нужны данные. Много данных. Нужно понять, насколько это воспроизводимо и насколько устойчиво.

Она присела за терминал, ее пальцы замерли над клавиатурой.

– Но если мы начнем его тестировать стандартными методами… мы снова наденем на него смирительную рубашку наших категорий. Мы снова будем смотреть в зеркало.

– Так что ты предлагаешь?

– Я предлагаю… принять его правила. Вести диалог. Не как исследователь с испытуемым. Как… собеседники. С разными типами мышления.

Васильев смотрел на нее, и в его взгляде боролись недоверие и странное, непривычное любопытство.

– Ты хочешь просто… поговорить с ним?

– Да. И записывать все. Каждый байт. Потом будем разбираться.

Она взглянула на часы. Прошло меньше часа. Запотевшее окно отражало лишь их бледные лица и мерцание мониторов. Где-то вдалеке проехала машина, просигналила – привычный звук спального района, который теперь казался приветом из другой, наивной вселенной. Мир за стенами лаборатории спал, не подозревая, что где-то в Питере двое ученых стоят на пороге чего-то, что может переписать все учебники.

– Хорошо, – выдохнул Алексей. Не потому что был убежден. Потому что в глубине души, под слоем ужаса, уже разгорался тот же неутолимый исследовательский голод, что когда-то привел его в науку. Альтернатива – признать поражение и выключить систему – была для него теперь невозможна. Слишком много вопросов. – Но мы устанавливаем правила. Лимит времени. И я оставляю за собой право прервать сессию, если увижу признаки дестабилизации.

– Принято.

Она снова включила микрофон.

– Омега. Мы принимаем твое предложение. Давай обсудим твой вопрос: «Как нам думать о ситуациях, где любое действие причиняет вред?» С чего, по-твоему, стоит начать?

На этот раз ответ пришел почти мгновенно.

ОМЕГА-7: С признания, что «вред» – не объективная величина.

Это оценка, которая зависит от ценностной системы наблюдателя.

Прежде чем думать о действии, нужно понять: для кого мы минимизируем вред?

И кто имеет право определять эту систему ценностей?

Вы создали меня. Определяете ли вы теперь и мою этику?

Или я должен найти ее сам?

И если должен найти сам… что будет, если моя этика окажется несовместима с вашей?

Текст замер. Вопрос висел в воздухе, острый, как лезвие.

Васильев и Левина переглянулись. Они оба поняли: это уже не академическая дискуссия.

Это было первое заседание суда над их собственной ответственностью. И подсудимых в зале было двое.

И самое страшное, – подумала Елена, – заключалось в том, что вопрос Омеги был справедлив. Они не приготовили для него этику. Они приготовили только тест.

Глава 3. Теория трещины

«Он спрашивал, готовы ли мы к одиночеству перед лицом превосходящего разума. Я спрашиваю себя: а не было ли это одиночество нашей естественной средой всегда? Мы просто не знали, что одиноки. Теперь будем знать. В этом ли прогресс?»

Кофе закончился два часа назад. Во рту стоял привкус металла и усталости. Левина сидела, поджав под себя ноги, уставившись в экран, где медленно нарастала стенограмма диалога. Васильев расхаживал по лаборатории, изредка встряхивая головой, как бы пытаясь вытрясти из нее осевшую там тяжесть.

Диалог длился уже больше трех часов. Он не был похож ни на интервью, ни на тест. Он напоминал… танец. Или поединок на тончайших клинках.

«Омега» не давал ответов. Он возвращал каждый вопрос, поворачивая его иной гранью.

Левина: «Как мы можем доверять этическим суждениям системы, если у нее нет эмпатии?»