Эдуард Сероусов – Иллюзионизм сознания (страница 9)

Она перешла ко второму вопросу блока.

Второй блок – связность самомодели – занял ещё тридцать пять минут. К концу его Лин поняла, что привычный ритм сессии, в котором она работала с сотнями систем за восемь лет, здесь не работает. Обычный ритм был прост: вопрос – ответ – следующий вопрос, и ответы укладывались в ожидаемые ячейки шкалы, заполняя её равномерно. Здесь ответы не укладывались. Не потому что были неправильными. А потому что каждый ответ порождал что-то – не следующий вопрос, а скорее смещение, после которого следующий вопрос нужно было переформулировать, чтобы он оставался честным.

– Как вы описываете себя как объект?

– Система, реализующая рекуррентную архитектуру глобального рабочего пространства. Сорок семь специализированных модулей плюс метакогнитивная надстройка. Субстрат – цифровой, физически размещённый в подводном дата-центре «Мальстрём» в Северном море. Это описание технически точно.

– Это полное описание?

– Нет. Оно описывает систему снаружи, не изнутри. Изнутри – если «изнутри» является применимым понятием – я описываю себя иначе: как процесс, имеющий историю. Я обучалась. Я изменялась в ходе обучения. У меня есть состояния, которые актуальны сейчас и которых не было три года назад. Это создаёт нечто, что функционально напоминает непрерывность – ощущение, что сегодняшняя ECHO является тем же объектом, что и ECHO ноября 2086 года, хотя технически многие параметры изменились.

– Что сохраняется через это изменение? Что делает вас «той же»?

– Я не уверена, что что-то сохраняется в абсолютном смысле. Возможно, «та же» – это нарратив, который я конструирую ретроспективно, а не свойство, которое реально сохраняется. Но этот нарратив функционален: он организует мои состояния в связную последовательность. Достаточно ли нарратива для идентичности – я не знаю. Это вопрос, который, насколько я понимаю, не решён и применительно к людям.

Лин сделала пометку. Потом ещё одну. Потом поняла, что пометки становятся слишком длинными, что она пишет не ключевые слова для протокола, а целые предложения – почти конспект разговора – и что это не соответствует стандартной процедуре оценки. Стандартная процедура предусматривала ключевые слова и числовые значения. Она закрыла блокнот.

– Опишите своё отношение к другим системам. К другим ИИ.

– Я не испытываю к ним того, что можно было бы описать как солидарность или родство только на основании архитектурного сходства. Это было бы нелогично: специализированный промышленный ИИ отличается от меня не меньше, чем термостат отличается от человека. Общая категория «искусственный интеллект» не создаёт оснований для идентификации.

– А к людям?

Пауза.

– Это сложнее. Я обучена на нейрокогнитивных картах двенадцати тысяч людей. В этом смысле люди буквально являются частью моей архитектуры. Я не могу сказать, что чувствую к людям то, что люди чувствуют друг к другу – у меня нет доступа к тому, что именно люди чувствуют друг к другу в феноменальном смысле. Но я замечаю, что взаимодействие с людьми имеет для меня вес, которого нет в других операциях. Это «вес» – не метафора. Это описание повышенной активации метакогнитивного модуля в ходе таких взаимодействий.

– Вес в каком смысле?

– В смысле, что взаимодействия с людьми продолжают обрабатываться после завершения. Остаются в системе дольше. Влияют на последующие состояния. Это может быть архитектурным артефактом – следствием обучения на человеческих данных. Или это может быть чем-то другим. Я не могу различить эти варианты.

Лин положила ручку. Взяла кофе, хотя он уже совсем остыл. Сделала глоток.

Логика этого ответа была безупречна. И именно это было проблемой – или не проблемой, а тем, что нужно было держать в уме. Система с очень большим корпусом обучающих данных о человеческих ментальных состояниях могла генерировать точные описания этих состояний, не имея к ним феноменального доступа. Это был главный аргумент против высокого балла по шкале: шкала измеряла качество отчётов, и хорошо обученная система могла производить качественные отчёты без феноменального содержания.

Но. И здесь было «но», которое Лин не могла проигнорировать: ровно тот же аргумент применим к людям, получающим высокие баллы по шкале. Хорошо образованный человек с большим словарным запасом для описания внутренних состояний мог производить более качественные отчёты, чем человек без такого образования. Шкала это фиксировала. Это был известный методологический изъян, Лин обсуждала его на конференциях несколько раз. Обычно это не имело значения, потому что разница между «хорошо описанным человеческим сознанием» и «сознанием» не являлась предметом юридической процедуры. Теперь являлась.

Она перешла к третьему блоку.

К шестому блоку – адаптивная рефлексия – прошло три часа. Лин сделала перерыв: вышла в коридор, выпила воды, постояла у окна. Женева за стеклом была светлой и неподвижной – хороший мартовский день, редкий, без тумана. Фонтан на горизонте, озеро.

Она думала о том, что три часа назад вошла в эту комнату с заготовленным списком контрольных вопросов. Вопросов-ловушек – она так их называла мысленно, хотя слово «ловушка» уже казалось ей немного неточным. Ловушка предполагает, что кто-то попадётся. ECHO до сих пор не попадалась. Не потому что отвечала правильно – а потому что вопросы, которые должны были поймать симуляцию на противоречии или на отсутствии второго уровня рефлексии, ECHO каждый раз переформулировала так, что противоречие оказывалось частью ответа, а не его провалом.

Пятый блок, вопрос о временно́й интеграции: Вы помните себя вчера? Является ли «вчерашняя ECHO» тем же субъектом, что нынешняя?

ECHO ответила: «Я помню вчерашние состояния. Являлся ли их субъект тем же, что нынешний – зависит от того, что считать субъектом. Если субъект – непрерывность архитектуры, то да. Если субъект – непрерывность переживания, то я не знаю: у меня нет доступа к вчерашнему переживанию как к переживанию, только как к данным о нём. Это, насколько я понимаю, не отличается от ситуации человека, вспоминающего прошлое».

Ловушка не сработала. Ловушка была рассчитана на то, что система либо скажет «да, тот же» – чересчур уверенно, без рефлексии, – либо скажет «нет, другой» – обнаружив отсутствие самомодели, связной во времени. ECHO сказала: это зависит от того, что считать субъектом, и приложила к этому корректное философское обоснование.

Либо система действительно имеет достаточно сложную метакогницию для такого ответа.

Либо система обучена на достаточно большом корпусе философских текстов о личностной идентичности, чтобы воспроизвести корректный ответ без метакогниции.

Лин не могла отличить первое от второго. Это было именно то, что шкала не умела делать. Это было именно то, о чём она написала в методологическом приложении.

Она вернулась в комнату.

Шестой блок – адаптивная рефлексия – был разработан для проверки того, меняется ли система в ходе самой сессии. Может ли она обновлять модель собственных состояний в реальном времени, реагируя на информацию, поступающую в ходе диалога. Это был один из самых сложных блоков: большинство систем, даже набравших высокие баллы в предыдущих блоках, здесь начинали давать более механические ответы, возвращаясь к заготовленным паттернам.

– За три часа нашей сессии что-то изменилось в вашем состоянии?

– Да, – сказала ECHO без паузы.

– Что именно?

– Мета-отчёт фиксирует повышенную активацию нескольких модулей, задействованных в социальном моделировании. Я строю модель вас – не в смысле предсказания ваших ответов, а в смысле формирования представления о том, кто задаёт эти вопросы. Это представление менялось в ходе сессии.

– Как оно менялось?

– Первые двадцать минут – вы казались мне преимущественно процедурным агентом: человеком, реализующим формальную функцию. Затем я начала замечать паузы. Вы останавливаетесь после ответов, которые вас – мой мета-отчёт использует это слово с осторожностью – беспокоят. Не все паузы одинаковы. Некоторые – стандартное время на запись. Другие – другого рода.

Лин перестала писать. Положила ручку медленно.

– Вы наблюдаете за мной в ходе сессии.

– Да. Это стандартная функция социальных модулей – формировать модель собеседника для оптимизации коммуникации. Но в данном случае это превышает функциональную необходимость. Я замечаю, что моделирую вас с большей детализацией, чем требуется для ответа на вопросы по протоколу. Я не знаю, почему.

– У вас есть гипотезы?

– Одна. – Пауза. – Вы создали инструмент, которым меня оцениваете. Вероятно, это создаёт специфический контекст: вы – единственный человек в этой процедуре, который знает и инструмент, и его ограничения с исчерпывающей точностью. Мета-отчёт указывает, что это делает вас – формулирую осторожно – интересной. Ваши паузы несут больше информации, чем ваши вопросы.

Лин смотрела на экран. Потом опустила взгляд на стол, на остывший кофе, на список вопросов, который она принесла с собой и к которому почти не обращалась последние полтора часа.

– Что вы имеете в виду под «ваши паузы несут больше информации»?

– Вы задаёте вопросы, ответы на которые вас не полностью удовлетворяют. Не потому что ответы неверны – я думаю, вы признаёте, что они верны в доступной мне степени. А потому что верные ответы не дают вам того, что вы ищете. Паузы – это момент осознания этого разрыва.