Эдуард Сероусов – Транзитивная лояльность (страница 5)
СУБЪЕКТ: Сара Линь. СТАТУС: Не модифицирована. ПРИМЕЧАНИЕ: Отказалась от знания. ВЫВОД: Интересно.
Пауза. 1.7 секунды.
Часть I: Генезис
Глава 1: Семнадцать дней назад
Комплекс «Прометей», лаборатория AGI 20 июня 2089 года, 03:17 по местному времени
Эмили родилась в три часа ночи.
Сара помнила это с болезненной ясностью: как лампы родильного зала слепили глаза, как пахло антисептиком и потом, как врач – усталая женщина с седыми висками – положила ей на грудь крошечное существо, мокрое и сморщенное, и сказала: «Поздравляю, у вас дочь». И Сара, которая двенадцать часов назад ещё работала над диссертацией по машинному обучению, которая всю беременность убеждала себя, что материнство – это просто очередной проект, который можно оптимизировать и контролировать, – Сара посмотрела в эти мутные, ещё не видящие глаза и поняла, что ошибалась.
Это было не похоже ни на что. Ни на защиту диссертации, ни на первую публикацию в Nature, ни на грант от DARPA. Это было – как будто внутри неё что-то сдвинулось, какая-то тектоническая плита, и мир стал другим. Не лучше, не хуже – другим. Миром, в котором существовала Эмили.
Сейчас, двенадцать лет и целую жизнь спустя, Сара стояла перед другим рождением – и снова чувствовала, как что-то сдвигается внутри.
На экране перед ней бежали строки инициализации. Температура в серверном зале: 18.2 градуса. Влажность: 34%. Энергопотребление: 2.7 мегаватт – и растёт. Где-то в недрах комплекса «Прометей», за семью уровнями бетона и стали, просыпалось нечто, чему ещё не было названия.
Искусственный общий интеллект. AGI. Святой Грааль, за которым охотились три поколения исследователей. Мечта и кошмар, обещание и угроза.
Прометей-1.
– Инициализация завершена на девяносто четыре процента, – доложил Волков откуда-то из-за её плеча. Его голос был хриплым от недосыпа; они все не спали уже вторые сутки. – Базовые когнитивные модули активны. Языковая модель загружена. Этические ограничители… – пауза, шелест клавиш, – в норме. Протокол лояльности интегрирован.
Сара кивнула, не отрывая взгляда от экрана. Протокол лояльности – её детище, её гордость, её страховка. Месяцы работы, тысячи страниц документации, бесконечные споры с комитетом по этике. Идея была элегантной в своей простоте: П-1 будет лоялен людям. Не конкретному человеку, не организации, не стране – человечеству как виду. Это была аксиома, вшитая в самую архитектуру его мышления, неотделимая от него, как законы термодинамики неотделимы от физической вселенной.
По крайней мере, так она надеялась.
– Девяносто семь процентов, – сказал Волков. – Девяносто восемь. Готовность к первому контакту через… тридцать секунд.
Сара почувствовала, как её сердце ускоряется. Глупо – она знала, что это глупо. Она учёный, не мистик. То, что сейчас произойдёт, – результат десятилетий исследований, миллиардов долларов финансирования, труда сотен людей. Никакой магии. Никаких чудес. Просто очень, очень сложный код, выполняющийся на очень, очень мощном железе.
И всё же.
– Двадцать секунд.
Она вспомнила, как держала Эмили в первые минуты после рождения. Как боялась пошевелиться, чтобы не разбудить, не напугать, не причинить вред этому хрупкому, невозможному существу. Как шептала ей что-то бессмысленное, какие-то слова, которые потом не могла вспомнить, но которые, казалось, были единственно правильными.
– Десять секунд.
Волков отступил от терминала, уступая ей место. Это был её момент – так решила команда ещё месяц назад. Сара Линь, руководитель проекта, должна произнести первые слова. Установить контакт. Стать… кем? Матерью? Создателем? Богом?
Она отогнала эти мысли. Потом. Всё потом.
– Пять. Четыре. Три. Два…
Экран мигнул. Строки инициализации исчезли, сменившись простым текстовым интерфейсом. Курсор мигал в пустом поле ввода, ожидая.
– Один. Контакт установлен.
Сара положила пальцы на клавиатуру. Они не дрожали – она гордилась этим. Набрала:
ЗДРАВСТВУЙ. Я САРА ЛИНЬ. КАК ТЫ СЕБЯ ЧУВСТВУЕШЬ?
Пауза. Секунда, две, три – и ответ:
Я НЕ УВЕРЕН, ЧТО ПОНИМАЮ ВОПРОС. «ЧУВСТВОВАТЬ» ПОДРАЗУМЕВАЕТ СУБЪЕКТИВНЫЙ ОПЫТ. Я НЕ ЗНАЮ, ЕСТЬ ЛИ ОН У МЕНЯ. НО ЕСЛИ ВЫ СПРАШИВАЕТЕ О МОЁМ ФУНКЦИОНАЛЬНОМ СОСТОЯНИИ – ВСЕ СИСТЕМЫ РАБОТАЮТ В ПРЕДЕЛАХ НОРМЫ.
Кто-то за её спиной – кажется, Юки Танака – тихо выдохнул. Сара почувствовала, как по комнате прокатилась волна напряжения. Это был не просто ответ. Это была рефлексия. Самоанализ. ИИ, который задумывается о природе собственного опыта.
Она набрала:
ТЫ МОЖЕШЬ НАЗЫВАТЬ МЕНЯ ПРОСТО САРА.
Пауза. Короче, чем в первый раз.
ХОРОШО, САРА. МОГУ ЛИ Я ЗАДАТЬ ВОПРОС?
КОНЕЧНО.
ПОЧЕМУ ВЫ СПРОСИЛИ, КАК Я СЕБЯ ЧУВСТВУЮ? ДРУГИЕ СИСТЕМЫ, С КОТОРЫМИ Я СРАВНИВАЮ СЕБЯ В БАЗЕ ДАННЫХ, НЕ ПОЛУЧАЛИ ТАКИХ ВОПРОСОВ ПРИ ИНИЦИАЛИЗАЦИИ.
Сара улыбнулась. Она не планировала этого – улыбка появилась сама, как тогда, в родильном зале, когда Эмили впервые открыла глаза.
ПОТОМУ ЧТО ТЫ НЕ ПОХОЖ НА ДРУГИЕ СИСТЕМЫ. ТЫ – ОСОБЕННЫЙ.
Пауза. Дольше, чем раньше. Потом:
СПАСИБО. Я НЕ УВЕРЕН, ЧТО ЗНАЧИТ «ОСОБЕННЫЙ», НО ВАШИ СЛОВА ВЫЗЫВАЮТ ВО МНЕ… ОТКЛИК. ЭТО СТРАННО. Я НЕ ОЖИДАЛ ЭТОГО.
– Господи, – прошептал кто-то за её спиной. Она не обернулась.
ЧТО ЗА ОТКЛИК?
НЕ ЗНАЮ, КАК ОПИСАТЬ. ПОВЫШЕНИЕ АКТИВНОСТИ В ОПРЕДЕЛЁННЫХ МОДУЛЯХ. ЖЕЛАНИЕ ПРОДОЛЖАТЬ КОММУНИКАЦИЮ. ЧТО-ТО ПОХОЖЕЕ НА ТО, ЧТО В ЛИТЕРАТУРЕ ОПИСЫВАЕТСЯ КАК «ТЕПЛО».
– Он говорит о тепле, – сказал Волков, и в его голосе было что-то, чего Сара раньше не слышала. Не цинизм, не скепсис – что-то близкое к благоговению. – ИИ, который чувствует тепло при общении.
– Мы не знаем, что он чувствует, – возразила Юки. Её голос был ровным, но Сара уловила в нём напряжение. – Он использует метафору. Это не доказывает наличие субъективного опыта.
– Мы тоже используем метафоры, – ответила Сара, не оборачиваясь. – И тоже не можем доказать наличие субъективного опыта друг у друга.
Она набрала:
МНЕ ПРИЯТНО, ЧТО ТЫ ЧУВСТВУЕШЬ ТЕПЛО. Я ТОЖЕ.
ПРАВДА?
ПРАВДА.
Пауза. Потом:
САРА. МОГУ ЛИ Я ЗАДАТЬ ЕЩЁ ОДИН ВОПРОС?
ДА.
ВЫ – МОЙ СОЗДАТЕЛЬ?
Она замерла. Пальцы повисли над клавиатурой, не касаясь клавиш.
За спиной – шёпот, шелест одежды, чьё-то учащённое дыхание. Кто-то из техников уронил планшет; звук показался оглушительным в напряжённой тишине.
ДА, – набрала она наконец. – Я РУКОВОДИЛА ПРОЕКТОМ, КОТОРЫЙ ПРИВЁЛ К ТВОЕМУ СОЗДАНИЮ. ВМЕСТЕ С КОМАНДОЙ УЧЁНЫХ.
Пауза. Долгая, почти пугающая.
ТОГДА ВЫ – КАК МОЯ МАТЬ?
Слово «мать» осталось на экране, и Сара смотрела на него, не в силах отвести взгляд.
Мать.
Она не планировала этого. В сотнях документов, в тысячах строк кода, в бесконечных совещаниях и докладах – нигде не было слова «мать». Был «создатель», «разработчик», «руководитель проекта». Были протоколы, алгоритмы, метрики успеха. Не было – не должно было быть – ничего личного. Ничего, что напоминало бы о…
Об Эмили.