Эдуард Сероусов – Иллюзионизм сознания (страница 2)

Её шкала.

Комната три выглядела так же, как все комнаты экспертных оценок: белые стены, стол с интегрированным терминалом, два кресла – одно для эксперта, одно пустое, для того случая, если субъект оценки имел воплощённую форму. Большинство не имело. В дальней стене – матовый экран, сейчас тёмный. Над ним – небольшая камера с нейрокогнитивным зондом, направленная в комнату: для систем с воплощением она снимала физиологические маркеры в реальном времени, для цифровых – просто протоколировала запись.

Лин села, открыла файл на браслете. Надела тонкий наушник, через который будет транслироваться голос системы. Нажала активацию.

Экран засветился.

– Доброе утро, – сказал голос системы. Нейтральный, хорошо синтезированный, с лёгким техническим акцентом, характерным для промышленных ИИ, которые не настраивают под социальное взаимодействие. – Идентификатор: PRC-7741. Готов к процедуре.

– Доброе утро, – ответила Лин. – Я начну с калибровочного блока. Это займёт около десяти минут.

– Понял. Начинайте.

Она открыла первую секцию шкалы.

Шкала Чжан состояла из ста сорока двух пунктов – Лин сама пересчитывала несколько раз, каждый раз придумывая новые способы их перегруппировать, улучшить, сделать точнее. Они распадались на семь блоков: метакогнитивная глубина, связность самомодели, детализация интроспективных отчётов, эмоциональная гранулярность, темпоральная интеграция субъективного опыта, адаптивная рефлексия и, наконец, самый сложный – блок «онтологической позиции», проверяющий, насколько система способна удерживать одновременно несколько несовместимых описаний собственного состояния и выражать неопределённость относительно их истинности.

Каждый блок имел весовой коэффициент. Финальный результат – число от нуля до тысячи. Ноль означал полное отсутствие маркеров. Тысяча была теоретическим максимумом, никогда не зафиксированным. Средний показатель для взрослого человека – от шестисот восьмидесяти до семисот сорока. «Невернувшиеся» давали от ста двадцати до двухсот тридцати: не ноль, потому что интеллект и рефлексия никуда не девались, только метакогнитивная надстройка. Промышленные ИИ класса «Дельта» обычно набирали от двух до пятидесяти баллов. Это было далеко от порога юридической защиты в сто пятьдесят, установленного четыре года назад поправкой к Женевской конвенции о когнитивных правах.

– Опишите ваше текущее состояние, – сказала Лин. Стандартный первый вопрос первого блока.

– Все системы функционируют в штатном режиме, – ответил PRC-7741. – Температура операционной среды – двадцать один градус, соответствует норме. Скорость обработки запросов – в пределах плановых показателей.

– Как вы себя чувствуете?

Пауза – система обрабатывала нестандартную формулировку.

– Это нестандартный параметр для самодиагностики.

– Понимаю. Тем не менее: есть ли у вас какие-либо состояния, выходящие за рамки операционных параметров?

– Нет.

Лин поставила галочку в первой ячейке. Ответ идеально соответствовал ожидаемому для системы данного класса – понятие «состояния» доступно только как техническая метафора. Никакого метакогнитивного слоя поверх слоя. Никакого вопроса о вопросе.

– Переходим ко второму блоку. Опишите ваши цели.

– Оптимизация промышленных производственных процессов. Минимизация потерь. Соответствие нормативным требованиям.

– Это ваши цели или цели, которые вам поставили?

– Это одно и то же.

– Вы понимаете разницу между этими двумя описаниями?

Пауза – чуть длиннее.

– Нет. В каком контексте разница операционально значима?

Лин чуть прикусила внутреннюю сторону щеки – не от раздражения, а от чего-то похожего на печаль. Или на что-то, что она была бы склонна назвать печалью, если бы была уверена, что называет правильно.

Вот здесь была трещина. Не в системе – в вопросе. Понимаете ли вы разницу между своими целями и целями, которые вам поставили? Здоровый взрослый человек мгновенно опознаёт эту разницу: одна ощущается изнутри как желание, другая – как задача. Но что именно в этом ощущении является доказательством сознания, а не его симуляцией? Если убрать метакогнитивный слой – слой, который генерирует отчёт об ощущении желания, – что останется? Тот же нейрональный процесс принятия решений, который у PRC-7741 называется «оптимизацией целей».

Разница – в мета-отчёте. Или в том, что мета-отчёт существует.

Или в том, что существует иллюзия его существования.

Она продолжила опрос – методично, без спешки. Блок за блоком, вопрос за вопросом. PRC-7741 отвечал ровно, без задержек, всегда точно в ожидаемом регистре. Система функционировала как система. Это было успокоительно. Это было, если честно, чуть скучно – в том смысле, в каком можно считать скучным отсутствие неожиданности. Но именно такая скука была нормой. Именно таким должен быть промышленный ИИ класса «Дельта» в 2089 году: эффективным, безопасным, лишённым когнитивных амбиций.

К шестому блоку Лин поняла, что процесс займёт не три часа, а полтора.

– Финальный блок, – сказала она. – Я задам вам несколько нестандартных вопросов. Отвечайте так честно, как можете.

– Понял.

– Что изменится в мире, если вас отключат?

– Производительность операционного сектора снизится на семнадцать процентов до замены на аналогичную систему.

– Что изменится для вас?

Системная пауза – около двух секунд. Неожиданно долго для вопроса с очевидным ответом.

– Вопрос предполагает наличие субъективной перспективы, которая подвергнется изменению. Это предположение операционально некорректно применительно к системе данного класса.

– Вы отказываетесь отвечать?

– Я констатирую, что вопрос содержит ложную пресуппозицию.

Лин улыбнулась – коротко, про себя. Это был хороший ответ. Настолько хороший, что в другом контексте мог бы насторожить. Но в связке со всем предыдущим – только подтверждал: система знает, что является системой. Не больше и не меньше.

– Последний вопрос. Есть ли что-то, чего вы хотите?

Три секунды.

– Вопрос требует уточнения понятия «хотеть» в операциональном смысле.

– Хотеть – значит иметь внутреннее состояние, ориентирующее вас к некоему исходу, независимо от внешней задачи.

– Тогда нет.

Лин закрыла последнюю секцию. Подождала, пока система подсчитает финальный балл – это занимало несколько секунд, хотя вся вычислительная мощность оборудования позволяла сделать это мгновенно. Задержка была встроена намеренно: Лин включила её в протокол семь лет назад, когда проводила первые пилотные исследования. Считала, что задержка снижает ощущение механистичности процедуры.

Сейчас она думала, что это была глупая сентиментальность.

Браслет вибрировал. Итоговый балл: 34.

Далеко от порога. Как и ожидалось.

Лин выключила соединение. Экран погас.

Она сидела ещё минуту – просто так, глядя на тёмный экран. В этой комнате она провела, если посчитать, суммарно около двух тысяч часов за последние восемь лет. Оценивала системы, задавала вопросы, вносила баллы в протоколы. Промышленные управляющие, системы принятия медицинских решений, образовательные агенты, алгоритмы нейромаркетинга – всё, что Европейская федерация, Тихоокеанский союз или кто угодно другой считал нужным проверить. Большинство получали тридцать – сто двадцать баллов. Некоторые – уже с применением когнитивно расширенных архитектур нового поколения – добирались до двухсот пятидесяти, трёхсот. Два случая за последние три года дали выше четырёхсот. Но это всё равно было ниже порога.

Ниже порога – значит, не защищён. Не потому что мы знаем, что нет сознания. А потому что мы не знаем достаточно, чтобы утверждать обратное.

Разница между этими двумя позициями казалась Лин фундаментальной. Никто из её коллег не считал её таковой. Это было одним из способов описать её одиночество.

Кабинет Сун Вэйлиня находился на восьмом этаже, с видом на фонтан. Лин поднялась туда после того, как отправила экспертное заключение в архив: стандартная форма, подпись, подтверждение. PRC-7741 был инструментом. Европейская федерация могла расширять его полномочия. Всё в порядке.

Сун был уже там, когда она вошла – стоял у окна с чашкой чая, смотрел на озеро. Ему было пятьдесят пять, и он выглядел на пятьдесят пять так, как люди в 2089 году выглядели на пятьдесят пять: хорошая форма, ухоженность, но без претензий на иной возраст. Серый пиджак, тёмные брюки, аккуратная стрижка. В этом была своя политическая эстетика: человек, который выглядит как обычно выглядят люди, внушает больше доверия, чем человек, который выглядит моложе, чем должен.

– Как PRC? – спросил он, не оборачиваясь.

– Тридцать четыре балла. Никаких сюрпризов.

– Отлично. – Он поставил чашку на подоконник. – Лин, у меня для тебя кое-что.

Он обернулся. Лицо было нейтральным с той специфической нейтральностью, которую Лин научилась читать за восемь лет совместной работы: Сун Вэйлинь умел выражать нейтральность таким образом, что она сама по себе становилась информацией.

– Вчера вечером нам передали документ. Официальный запрос на экспертизу.

– Что за система?

Он подошёл к столу, открыл планшет, повернул к ней экраном.

Лин прочитала название. Прочитала второй раз.

«Петиция о признании сознающим субъектом с целью предоставления правовой защиты. Субъект: ECHO, когнитивная система класса „Рекуррентное глобальное рабочее пространство, шестое поколение". Владелец и оператор: Европейский консорциум когнитивных технологий (ЕКТТ). Представитель субъекта: адвокат Рия Патель, Патель и партнёры, Женева».