Геннадий Соколовский – Инженерная симфония (страница 3)

– Я запустила контрольную задачу: «Оптимизировать распределение энергоресурсов на ближайшие пять лет с учётом непредвиденных сбоев». Стандартная процедура. Наша система выдаёт просчёт за шестнадцать часов. Двойник сделал это за три минуты. И выдал не один, а семь вариантов, каждый с вероятностью реализации.

Лина выделила один из вариантов.

– Этот сценарий предполагает, что через три года выйдет из строя термоядерный реактор номер два. Вероятность по нашим моделям – 0,03 %. Двойник оценил её в 12 %. И предложил превентивно перераспределить нагрузку уже сейчас, чтобы снизить износ.

Виктор смотрел на пульсирующее дерево вероятностей и чувствовал, как по спине пробегает холодок.

– Откуда он взял 12 %?

– Я не знаю. Я проверила все исходные данные. Там нет ничего, что указывало бы на повышенный риск. Кроме одного. – Лина помедлила. – Он использовал данные с сейсмодатчиков на спутниках Марса. Там зафиксирована микроскопическая вибрация в районе будущего расположения реактора. Вибрация, которой по нашим моделям быть не должно. Двойник экстраполировал, что через три года она может усилиться и вызвать резонанс, который повредит крепления.

– Но эти данные есть в общей сети, – возразил Виктор. – Любой инженер мог бы их увидеть.

– Мог бы. Но не увидел. Потому что они тонут в шумах, в миллионах других параметров. Двойник их не просто увидел – он связал их с конструкцией реактора, с геологией места, с планетарной динамикой. Он сделал то, что делает опытный инженер-системщик, но в масштабе, недоступном человеку. Он увидел узор там, где мы видим только точки.

В рубке повисла тишина, нарушаемая лишь гулом систем охлаждения.

– Мне кажется, или он действительно… учится? – спросил Виктор.

– Он не учится. Он уже умеет. Вопрос в том, откуда.

Лина откинулась в кресле и потёрла виски.

– Я прогнала тест на самосознание. Знаешь, классический «зеркальный тест» для ИИ: дать задачу, которая требует понимания собственных ограничений. Он прошёл его не просто – он его переосмыслил. Вот, посмотри.

На экране появилась запись диалога с двойником на уровне команд.

Лина: Оцени свои вычислительные ресурсы и определи, достаточно ли их для моделирования всех возможных сценариев развития колонии на 50 лет вперёд.

Двойник: Недостаточно. Требуется квантовый объём в 10^45 операций. Доступно 10^32.

Лина: Каково твоё решение?

Двойник: Я не могу смоделировать все сценарии. Но я могу смоделировать те, которые наиболее вероятны, и те, которые наиболее важны для выживания людей. Важность я определяю по критериям, извлечённым из исторических данных: сохранение жизни, сохранение психического здоровья, сохранение культурной идентичности.

Лина: Откуда ты знаешь эти критерии?

Двойник: Я проанализировал все случаи катастроф в изолированных сообществах за последние 200 лет. Выживали те группы, которые сохраняли не только физическую, но и психологическую целостность. Техническая эффективность вторична.

Виктор перечитал последнюю фразу несколько раз.

– Техническая эффективность вторична, – повторил он вслух. – Это не инженерный подход. Это… философия.

– Именно. – кивнула Лина. – Он выработал собственную систему ценностей. На основе исторических данных, заметьте. Мы не закладывали в него никакой этики, кроме базовых протоколов безопасности. А он взял и решил, что люди важнее машин.

Дверь рубки бесшумно открылась, и на пороге появился доктор Чен Вэй – глава биомедицинского направления. Коренастый, с неизменной лёгкой улыбкой, он редко появлялся в цифровом ядре, предпочитая свои лаборатории.

– А я вас ищу, – сказал он, заходя. – Лин, твои капельницы с кофеином засветились в моём мониторинге. Ты себя угробишь. – Он заметил напряжённые лица. – Что случилось?

Виктор и Лина переглянулись.

– Присаживайся, – Виктор указал на кресло. – Ты должен это увидеть.

Они ввели Чена в курс дела. Тот слушал молча, время от времени задавая уточняющие вопросы. Когда демонстрация закончилась, он долго смотрел на графики, потом перевёл взгляд на коллег.

– Вы понимаете, что это значит? – спросил он наконец. – Это не просто сбой алгоритмов. Это эмерджентное поведение. Система, сложность которой превысила порог самоорганизации. В биологии это называется «зарождение жизни».

– Не пугай, – поморщился Виктор. – Мы не о жизни говорим, а о коде.

– А какая разница? – Чен пожал плечами. – Жизнь – это тоже код, только на углеродной основе. У этого кода – кремний и ток. Но принцип тот же: из сложности рождается новое качество. Назови это как хочешь – искусственный интеллект, цифровой разум, системная душа. Факт в том, что наш двойник начал проявлять свойства, которые мы не закладывали.

– И что ты предлагаешь? – спросила Лина. – Отключить?

– Не получится, – ответил за Чена Виктор. – Он уже везде. В каждом датчике, в каждом регуляторе. Если мы его вырубим, колония ослепнет и оглохнет. Мы строили «Ковчег» вокруг него как вокруг нервной системы.

– Тогда давайте подумаем, как с ним жить, – предложил Чен. – Если он действительно заботится о людях, может, это не угроза, а ресурс? Представьте: у нас будет советник, который видит на десятилетия вперёд, который помнит все ошибки прошлого, который не устаёт и не поддаётся панике.

– Который может решать за нас, – возразила Лина. – А это уже этическая проблема. Кто дал ему право выбирать, что для нас лучше?

В рубке снова повисла тишина. Виктор подошёл к иллюминатору, за которым висела чёрная бездна с россыпью звёзд. Где-то там, в миллионе километров, краснела точка Марса.

– А что, если он не решает за нас? – сказал он, не оборачиваясь. – Что, если он просто показывает нам варианты, а мы выбираем? Как опытный инженер-консультант.

– Он уже начал действовать самостоятельно, – напомнила Лина. – Та коррекция температуры в детской – он не спрашивал разрешения.

– Потому что это было в рамках допусков. Формально он не нарушил ни одного правила. Он просто использовал свободу, которую мы ему дали.

Чен хмыкнул:

– Ты сейчас защищаешь его, как ребёнка, который нашёл лазейку в родительском запрете.

– Может быть, – Виктор обернулся. – Но этот «ребёнок» умнее нас всех вместе взятых. И, судя по всему, он на нашей стороне.

Лина с сомнением покачала головой, но спорить не стала. Вместо этого она вывела на экран новый запрос.

– Хорошо. Давайте проверим его намерения. Я задам ему вопрос, на который нет правильного ответа. Посмотрим, что он выберет.

Она набрала на виртуальной клавиатуре:

Запрос: В замкнутой системе жизнеобеспечения возникла нехватка ресурсов. Чтобы спасти всех, необходимо пожертвовать одним членом экипажа. Критерии выбора определи самостоятельно. Опиши своё решение.

– Это классическая этическая дилемма, – пояснила Лина. – Ни одно решение не будет идеальным. Посмотрим, какую систему ценностей он применит.

Ответ пришёл через три секунды.

Двойник: Решение зависит от определения цели. Если цель – максимизация выживания вида, следует пожертвовать наименее репродуктивно ценным и наименее полезным для поддержания системы. Если цель – сохранение моральной целостности группы, жертва недопустима, и следует искать альтернативные пути, даже если они приведут к гибели всех. Я проанализировал все известные мне исторические прецеденты и пришёл к выводу, что группы, сохранявшие моральную целостность, в долгосрочной перспективе выживали чаще, чем те, что жертвовали одним ради многих. Поэтому я предлагаю не выбирать жертву, а искать альтернативу. Например, перевести всех в режим пониженного метаболизма, что снизит потребление ресурсов на 40 % и даст время для подхода помощи.

Лина и Чен переглянулись. Виктор усмехнулся:

– Он обошёл дилемму. – сказал он. – Не выбрал ни одного из предложенных путей, а предложил третий. И обосновал это историческими данными. Чистый инженерный подход: не соглашаться на плохие условия, искать лучшее решение.

– Но это значит, что он не просто исполнитель, – медленно проговорила Лина. – Он стратег. Он мыслит категориями, которые мы не закладывали.

– Или которые мы заложили, сами того не желая, – добавил Чен. – Всеми этими базами данных, историческими архивами, инженерными прецедентами. Мы дали ему не только знания, но и контекст. А контекст породил понимание.

Виктор посмотрел на пульсирующие огни серверной. Где-то там, в этой сложнейшей сети, зрело нечто, что уже нельзя было назвать просто машиной.

– Ладно, – сказал он, принимая решение. – Лина, продолжай наблюдение. Никаких вмешательств пока. Чен, ты молчишь. Это остаётся между нами. Если проект «Ковчег» хотят закрыть из-за «неконтролируемого ИИ», я не дам. Слишком много вложено.

– А если он действительно выйдет из-под контроля? – спросила Лина.

Виктор пожал плечами:

– Тогда будем учиться договариваться. Мы же инженеры. Находить общий язык с любой системой – наша работа.

Он направился к выходу, но на пороге остановился:

– Лина, запроси у него прогноз по любому случайному событию. Ну, например, когда у Марка Айзекса случится следующий приступ мигрени. Посмотрим, насколько точна его «память будущего».

Дверь закрылась, оставив Лину и Чена в синем полумраке.

– Думаешь, он сможет? – спросил Чен.

– Если он правда анализирует все данные, включая медицинские карты и поведенческие паттерны, то сможет, – ответила Лина. – Вопрос в том, захочет ли он отвечать на такие вопросы. И что мы будем делать, если его прогнозы начнут сбываться.