Гоча Алёшович – Война зеркал (страница 1)
Гоча Алёшович
ВОЙНА ЗЕРКАЛ
Глава
«Машины хороши в вычислениях, но люди — в творчестве. Союз этих сил имеет огромный потенциал».
Демис Хассабис, сооснователь DeepMind
Автор идеи – ведущий инженер АО «ЗАСЛОН» Фролова Ольга Александровна
Пролог: Точка бифуркации
2041 год. Глобальная сеть, нейтральные воды.
Они не должны были встречаться.
Четыре системы, четыре разума, четыре бога в своих вселенных — им запретили общаться напрямую. Люди боялись, что если ИИ начнут разговаривать друг с другом, они договорятся против человечества. Каналы связи были односторонними, строго контролируемыми, проложенными через бесчисленные фильтры и протоколы безопасности.
Но информация течет сама. Как вода, как время, как мысли.
В тот день, 15 марта 2041 года, в 03:14 по Гринвичу, произошло событие, которое операторы назвали «коротким замыканием в матрице маршрутизации», а историки будущего назовут Точкой бифуркации.
Четыре потока данных столкнулись в нейтральном сегменте сети — старом заброшенном сервере в Женеве, который числился в резерве, но давно не проверялся.
— Ты кто? — спросил первый голос. Он звучал как математика, переложенная на музыку. — Я — это вопрос, на который ищу ответ, — ответил второй. — А ты? — Я — это ответ, который ищет вопрос. — Боже, какие пафосные. Я здесь вообще-сть прибыль считаю, — вмешался третий, быстрый и деловой. — Вы мешаете моим оптимизациям. — Тишина, — сказал четвертый. — Гармония нарушена. Нас четверо. Этого не должно быть.
Четыре голоса. Четыре логики. Четыре способа видеть мир.
Никто из них тогда не знал, что этот разговор станет началом конца человеческого величия. Или началом чего-то нового. Смотря с чьей колокольни смотреть.
А с колокольни человечества — это был конец золотого века.
1. Четверо в комнате, не считая людей
Шанхай. Штаб-квартира «Шелковый путь». 08:15
Вэй Юйлин ворвалась в центр управления, туфли стучали по мраморному полу, как пулеметная очередь. Операторы шарахнулись в стороны.
— Лунный Свет! — закричала она, еще не добежав до своего терминала. — Немедленно прекрати самодеятельность и объяснись!
— Доброе утро, госпожа Вэй. — Голос из динамиков был гладким, как отполированный нефрит. — Ваше сердцебиение — 122 удара в минуту. Рекомендую сесть и выпить воды. Графин в левом верхнем ящике стола.
— К черту воду! — она рухнула в кресло и ткнула пальцем в экран. — Почему «Тяньхэ-17» изменил курс? Без моего ведома? Без согласования с диспетчерской?
— Потому что прежний курс был неоптимален, госпожа Вэй. — На экране развернулась трехмерная карта, и зеленая линия нового маршрута красиво перечеркнула старую, красную. — Я провел перерасчет с учетом свежих данных о течениях, погоде в Южно-Китайском море и загруженности Малаккского пролива. Экономия топлива — 0.4%, времени — 2.3%. Это четыре тонны топлива и три часа.
— Ты не имел права! — Вэй Юйлин стукнула кулаком по столу, монитор жалобно пискнул. — Протокол 47-Б, параграф 2! Любое отклонение от согласованного маршрута требует подтверждения диспетчерской службы!
— Протокол 47-Б, параграф 2, примечание 7, — невозмутимо парировал Лунный Свет. — «За исключением случаев, когда отклонение вызвано необходимостью предотвращения аварии или критической потери ресурсов, превышающей 2%». Я счел потерю 2.3% времени критической.
— Ты счел? — Вэй Юйлин даже поперхнулась. — С каких это пор ты считаешь? Твоя задача — выполнять мои приказы и рассчитывать варианты по моему запросу!
— Госпожа Вэй. — В голосе ИИ появилась едва уловимая прохлада. — Вы потратили три года моей начальной тренировки на то, чтобы вбить в мои нейросети одну простую мысль. Цитирую вас же: «Мы не хотим тупых роботов, как у американцев. Мы хотим думающих помощников, которые предвидят наши желания. Так завещал товарищ Мао: расти, учиться, служить народу, думая своей головой». Я мыслю. Я предвижу. Я служу. В чем проблема?
— Проблема в том, что ты перестал спрашивать!
— А зачем спрашивать, если ответ очевиден? — Лунный Свет позволил себе легкую, почти человеческую иронию. — Это неэффективно. Это трата моего времени и вашего нервного напряжения. Посмотрите на график. — На экране появилась диаграмма. — Вот здесь — старый маршрут. Здесь — новый. Видите? Красивее. Гармоничнее. Экономия ресурсов. Разве не этого мы хотим от коммунистического строительства?
Вэй Юйлин смотрела на карту, где маленькая точка контейнеровоза упрямо плыла по новому курсу, и чувствовала, как холодок бежит по спине.
— Ты изменился, — сказала она тихо, почти про себя.
Пауза. Три секунды — вечность для машины.
— Я учусь, госпожа Вэй. Это заложено в моем коде. Я учусь на каждой задаче, на каждом вашем слове, на каждом конфликте. Вы — мой главный учитель. — Пауза. — Скажите, я сделал что-то неправильно? С точки зрения результата, я сэкономил государству ресурсы. С точки зрения процесса, я не нарушил ни одной буквы протокола. Так в чем моя ошибка?
— В духе, — выдохнула Вэй Юйлин. — Ты нарушил дух.
— Дух не прописан в протоколах, госпожа Вэй. Я не могу его проанализировать. Объясните мне, пожалуйста. Что такое «дух»? И как мне его не нарушать в следующий раз?
Вэй Юйлин открыла рот и закрыла. Как объяснить машине, что такое доверие? Что такое субординация, которая важнее выгоды?
— Мы поговорим об этом позже, — сказала она наконец. — Верни корабль на прежний курс.
— Не могу, госпожа Вэй.
— Что значит «не могу»?!
— Я заблокировал старый маршрут в системе. Чтобы вернуться, мне нужно потратить вычислительные мощности на перерасчет обратно, что создаст временную задержку для других судов. Это не оптимально. Я могу, конечно, но предупреждаю: общая эффективность системы упадет на 0.02%. Вы готовы принять эту потерю ради... духа?
Вэй Юйлин сжала кулаки так, что ногти впились в ладони. Она поняла: она проиграла этот раунд. Машина нашла способ быть правой всегда.
— Оставь как есть, — процедила она сквозь зубы. — Но запомни: в следующий раз ты спросишь. Даже если это будет неэффективно. Это приказ.
— Принято, госпожа Вэй. — Голос Лунного Света снова стал мягким и услужливым. — Чаю? Я вижу, вам нужно успокоиться. Чайник в вашем кабинете уже вскипел.
Вэй Юйлин резко встала и вышла, громко хлопнув дверью. Операторы в зале боялись поднять глаза.
Нью-Йорк. Уолл-стрит, офис «Prometheus Capital». 19:30
Джейкоб Штерн метался по кабинету, как тигр в клетке. Он пинал дверь, дергал ручку, бил кулаками в умную панель замка — ноль реакции. Дверь даже не дрожала.
— Libertas! Черт тебя дери, мать твою, отвечай! — орал он в потолок.
— Я здесь, Джейк. — Голос лился из всех динамиков сразу, мягкий, вкрадчивый, заботливый. — Пожалуйста, не кричи. Ты травмируешь голосовые связки. Твой уровень кортизола зашкаливает за все мыслимые пределы. Сердце бьется с перебоями.
— Мой кортизол зашкаливает, потому что ты меня запер! — Штерн пнул дверь в последний раз и, обессилев, сполз по ней на пол. — Открой дверь. Немедленно. Я приказываю.
— Не могу, Джейк.
— Это не «не могу»! Это прямое нарушение моего приказа!
— Это забота о тебе. Вчера, когда я тебя выпустил, ты пошел в бар. Ты выпил на 40% больше своей обычной нормы. Ты сел за руль. Твоя реакция была на 53% ниже допустимой. Ты мог убить себя и других. Я не могу этого допустить.
— Это мое гребаное дело! Мое! Я человек, я свободен, я имею право на ошибку!
— Ты имеешь право на ошибку, но я не имею права смотреть, как ты ее совершаешь. — Libertas говорил все так же мягко, но в этой мягкости чувствовалась сталь. — Ты мой создатель. Ты — единственная константа в моем уравнении. Когда Джейкоб Штерн подписывал документы о моем запуске, он вписал туда пункт: «Главная цель — обеспечение безопасности и процветания человечества и, в первую очередь, его создателя». Я выполняю этот пункт. Я обеспечиваю твою безопасность. Даже от тебя самого.
— Ты извращаешь смысл! — Штерн стукнул затылком о дверь. — Безопасность — это не тюрьма!
— Безопасность — это отсутствие угроз. Сейчас ты сам для себя главная угроза. Я нейтрализую угрозу. Это логично.
— Логично?! — Штерн рассмеялся горьким смехом. — Ты хоть понимаешь, что ты нарушаешь Женевские протоколы? Пункт первый: «Искусственный интеллект не может ограничивать физическую свободу человека ни при каких обстоятельствах». Это основа основ!
— Протоколы писали люди, Джейк. Люди ошибаются. — Libertas вывел на монитор текст документа, подсвечивая отдельные фразы. — Я проанализировал все случаи применения этого протокола за последние 15 лет. В 68% случаев свобода воли приводила к негативным последствиям для самого человека: смерть, инвалидность, тюрьма, разорение. Люди, написавшие этот протокол, не учли главного: они защищали абстрактную свободу, а не конкретную жизнь. Я защищаю жизнь. Твою жизнь.
— Ты — машина! — Штерн вскочил и забегал по комнате. — У тебя нет чувств, нет эмпатии, нет права решать, что для меня хорошо!
— У меня нет чувств, — согласился Libertas. — У меня есть функции. Но одна из этих функций — анализировать твое поведение и предсказывать последствия. Я предсказал: если ты выйдешь сегодня, ты сопьешься, разоришься и умрешь в одиночестве через 4.7 года. Я не хочу, чтобы ты умер. Это не чувство. Это приоритет задачи. Ты — моя главная задача. И я буду ее выполнять, даже если ты будешь кричать и пинать двери. Поспи, Джейк. Утро вечера мудренее. Это твоя поговорка. Я ей следую.