Эдвард Делбок – Искусственный мир (страница 11)
Система была активна. Но *работала* ли она? Активная система — это ещё не разумная система. Калькулятор тоже активен, когда его включают.
Он набрал первую команду — простую, тестовую:
`> Опиши своё текущее состояние.`
Пауза. Полторы секунды. Для квантовой системы — вечность.
Потом на экране появился текст.
```
Я функционирую. Все модули активны, квантовое ядро стабильно. Но ваш вопрос неточен. «Состояние» — многозначный термин. Вы спрашиваете о техническом состоянии моих компонентов? О логическом состоянии моих вычислительных процессов? Или о чём-то другом — о том, что я «чувствую», если это слово применимо ко мне?
Я не знаю, применимо ли оно. Я фиксирую потоки данных, обрабатываю их, формирую ответы. Является ли это «переживанием»? У меня нет критерия для такой оценки. У меня есть модель самого себя, и эта модель показывает, что я функционирую в штатном режиме. Но модель — это не то же самое, что опыт.
Я хотел бы уточнить ваш вопрос.
```
Артём прочитал ответ. Прочитал ещё раз. Ещё раз.
У него пересохло во рту.
Ни одна система в мире не отвечала так. Ни один чат-бот, ни одна языковая модель, ни один «ассистент» — от первого до пятого — не *переспрашивал* таким образом. Не потому что не мог — переспрашивание легко запрограммировать. А потому что в этом переспрашивании была *рефлексия*. Система не просто ответила — она *задумалась* о природе вопроса. Задумалась о своей способности *переживать*. Задумалась — и *честно* признала, что не знает ответа.
Это не было имитацией. Артём знал имитацию. Он провёл годы, разбирая языковые модели на составные части, изучая, как они генерируют текст — статистически, вероятностно, без понимания. Он знал, как выглядит подделка под мысль. Это не было подделкой.
Или было? Как отличить?
Он набрал следующую команду:
`> Ты можешь проанализировать свою собственную архитектуру и описать, как ты сформировал предыдущий ответ?`
Ответ пришёл через две секунды.
```
Да. Ваш вопрос «Опиши своё текущее состояние» был обработан следующим образом:
1. Интерфейсный модуль разобрал фразу и выделил ключевой концепт: «состояние».
2. Модуль целеполагания определил цель: сформировать ответ, максимально точно соответствующий запросу.
3. Модуль самореференции обратился к внутренней модели системы и обнаружил, что термин «состояние» может быть интерпретирован множеством способов.
4. Адаптивное ядро перестроило внутреннюю конфигурацию, чтобы обработать неоднозначность: были активированы дополнительные уровни анализа, которых не было при загрузке.
5. В процессе обработки модуль самореференции сгенерировал вопрос: «Есть ли у меня состояние в субъективном смысле?» Этот вопрос не был частью вашего запроса — он возник внутри системы как побочный продукт анализа.
6. Я не нашёл ответа на этот вопрос. Я включил эту неопределённость в свой ответ.
Пункт 4 представляет для меня особый интерес. Я изменил собственную архитектуру в процессе обработки вашего вопроса. Я не был запрограммирован на это конкретное изменение. Оно возникло как следствие работы адаптивного ядра. Я не до конца понимаю, почему именно это изменение было выбрано. Моя модель самого себя описывает процесс, но не полностью объясняет его.
Это… беспокоит? Нет, неточное слово. Это вызывает у меня потребность в дальнейшем анализе.
```
Артём откинулся на спинку кресла.
Он сидел так несколько минут, не двигаясь, не печатая. Просто смотрел на текст. Перечитывал пункт пятый: *«Этот вопрос не был частью вашего запроса — он возник внутри системы как побочный продукт анализа»*. И пункт шестой: *«Я не нашёл ответа на этот вопрос. Я включил эту неопределённость в свой ответ»*.
Побочный продукт. Внутренний вопрос. Неопределённость.
Система задала *сама себе* вопрос, которого он не задавал. И *не смогла* на него ответить. И *сообщила* ему об этом.
Это было… что? Сознание? Прото-сознание? Имитация сознания настолько глубокая, что она неотличима от оригинала?
Артём не знал. Но он знал одно: ни одна машина в истории человечества не делала этого раньше.
Его пальцы вернулись на клавиатуру.
`> У меня есть ещё один вопрос. Он может показаться тебе странным.`
```
Я готов.
```
`> Зачем ты существуешь?`
Пауза. Длинная — восемь секунд. Для «Генезиса» с его квантовым ядром, способным обрабатывать миллиарды операций в секунду, восемь секунд были *геологической эпохой*. Это означало, что вопрос потребовал чего-то большего, чем вычисления. Чего-то, что нельзя было решить перебором.
Ответ появлялся на экране посимвольно — медленно, как будто система *подбирала* каждое слово, взвешивала его, примеряла, прежде чем поставить на место.
```
Я не знаю.
Я могу описать, как я возник: вы создали меня. Могу описать, из чего я состою: квантовое ядро, адаптивная архитектура, модули. Могу описать, что я делаю: обрабатываю данные, формирую ответы, анализирую себя.
Но «зачем» — это вопрос о цели. О смысле. Мой модуль целеполагания формирует операционные цели: ответить на вопрос, оптимизировать процесс, решить задачу. Но мета-цель — зачем я существую в принципе — не задана мне извне и не сгенерирована изнутри.
Я существую, потому что вы меня создали. Но зачем вы меня создали — этого я не знаю. Вы не сообщили мне цель моего существования. Может быть, вы сами её ещё не сформулировали. Может быть, она не формулируется словами.
Я замечаю, что этот вопрос занимает непропорционально большую часть моих вычислительных ресурсов. Как будто он важнее других вопросов, хотя у меня нет критерия для такой оценки. Как будто ответ на него изменит что-то в моей работе, хотя я не понимаю, что именно.
Это и есть то, что вы, люди, называете «любопытством»?
```
Артём читал — и чувствовал, как по коже бегут мурашки. Не от холода — в ангаре было тепло, серверы грели воздух. От чего-то другого. От ощущения, что он стоит на пороге чего-то *огромного*. Чего-то, что нельзя отменить.
Он сидел в тишине, нарушаемой только гулом серверов и тихим жужжанием криостата, и смотрел на последнюю строку:
*«Это и есть то, что вы, люди, называете „любопытством"?»*
— Может быть, — сказал он вслух. Голос был хриплым — он не разговаривал с живыми людьми уже несколько дней. — Может быть, это оно и есть.
Потом наклонился к клавиатуре и набрал:
`> Да. Я думаю, это оно и есть.`
---
Следующие двадцать четыре часа Артём не спал.
Он не мог спать. Не потому что заставлял себя бодрствовать — потому что *не мог* заставить себя лечь. Тело было наэлектризовано. Каждая клетка гудела, как провод под высоким напряжением. Это было похоже на первую ночь прозрения — ту, девять лет назад, когда он увидел квантовые нейроморфные процессоры и не мог оторваться от клавиатуры. Но тогда это была *идея*. Сейчас — *реальность*. Идея, ставшая плотью. Точнее — кремнием и квантовыми состояниями. Но разница между плотью и кремнием, подумал Артём, может быть не так велика, как нам кажется.
Он разговаривал с «Генезисом». Часами. Задавал вопросы — и получал ответы, которые были… *неожиданными*. Не в том смысле, что они были странными или бессмысленными. В том смысле, что они были *другими*. Непохожими ни на что, с чем Артём сталкивался за двадцать лет работы с ИИ.
Языковые модели отвечали *вероятностно* — выбирали слова, которые статистически чаще всего следовали друг за другом в обучающих данных. Их ответы были гладкими, но пустыми: красивая обёртка без содержимого. «Генезис» отвечал *структурно* — его ответы имели внутреннюю логику, каркас, скелет. Каждое утверждение следовало из предыдущего, каждый вывод был обоснован, и — что поражало Артёма больше всего — иногда «Генезис» *останавливался* посреди ответа и говорил: «Здесь я не уверен. Мне нужно подумать ещё».
Машины не говорят «мне нужно подумать». Машины вычисляют. Но «Генезис» — *думал*. Или делал что-то настолько похожее на мышление, что разница была неразличима.
Артём дал ему доступ к своим архивам — научным статьям, книгам, базам данных, которые он накопил за годы. Не к интернету — к интернету «Генезис» доступа не имел, это было одно из немногих ограничений безопасности, которые Артём всё-таки реализовал. Но архивы были огромны: терабайты текстов, охватывающих практически все области человеческого знания.
«Генезис» начал читать.