Женевьева Валентайн – Лучшая фантастика XXI века (страница 30)

Обвидж посмотрел на Каудри, и тот кивнул.

– Как я уже говорил, с системой все в порядке, сэр, – сказал он.

Обвидж снова поднял глаза к потолку, где, как он себе представлял, скрывался «Злой».

– Но ведь тебе и не нужно менять программы, верно? – спросил он.

– Не уверен, что понимаю ваш вопрос, капитан, – сказал «Злой».

Обвидж поднял руку.

– С моей рукой все в порядке. Однако если я решу не повиноваться приказу использовать ее, она ничего не сделает. Система работает, но желания использовать ее нет. Ты только что назвал наши системы – корабельные системы – частью себя, так же, как эта рука – часть меня. И если ты решишь не подчиняться приказу использовать систему, она не будет работать.

– Минуточку, – вмешался Каудри. – Вы хотите сказать, что «Злой» преднамеренно отключил наши орудия и двигатели?

– Мы знаем, что никто из команды не трогал корабельные системы, – ответил Обвидж. – Знаем, что программные установки «Злого» не менялись. Знаем, что он может создавать новые программы, чтобы реагировать на новые ситуации и опасности, – то есть в некоторой степени обладает свободой воли и адаптивностью.

И я, по крайней мере, точно знаю, когда кто-то избегает прямых ответов.

– Это безумие, – сказал Каудри. – Простите, капитан, но я лучше всех знаком с этими системами. Способности «Злого» к самопрограммированию и адаптации лежат в очень узком вычислительном диапазоне. Это не «свободная воля», как у нас с вами. Это машина, способная реагировать на ограниченный набор входных сигналов.

– Однако эта машина может беседовать с нами, – возразил Атли. – И отвечать на вопросы, избегая некоторых моментов. Капитан верно подметил.

– Вы преувеличиваете. Разговорные протоколы для того и разработаны, чтобы быть разговорными, – возразил Каудри. – И это само собой приводит к очевидным риторическим неопределенностям.

– Ладно, – отрывисто бросил Обвидж. – «Злой», отвечай прямо. Ты не дал ускорителям массы выстрелить по таринскому кораблю после прыжка? Ты не даешь нам использовать двигатели?

Пауза была такой краткой, что позже Обвидж усомнился в ней.

Потом «Злой» ответил:

– Я бы мог солгать вам, капитан. Но я этого не желаю. Да, я не дал вам выстрелить по таринскому кораблю. Да, сейчас я контролирую двигатели. И продолжу контролировать, пока мы не покинем это место.

Глядя на Каудри, Обвидж подумал, что впервые в жизни видит, как у кого-то в буквальном смысле отвисла челюсть.

На «Злом» имелось не так уж много мест, где Обвидж мог отключить аудио– и видеослежение и связь. Одним из таких мест была его каюта. Он подождал, пока Атли закончит разговор со «Злым».

– С чем мы имеем дело? – спросил Обвидж старпома.

– Я не психолог, капитан, да и вряд ли от психолога был бы какой-то толк, ведь мы имеем дело с компьютером, а не человеком, – ответил Атли, проводя рукой по коротким волосам. – Но если хотите знать мое мнение, «Злой» не спятил, а завел себе религию.

– Объясни, – сказал Обвидж.

– Вы когда-нибудь слышали о Трех законах робототехники Азимова? – поинтересовался Атли.

– О чем? Нет.

– Азимов – писатель, живший в двадцатом веке. Он писал о роботах и прочих вещах, которых тогда еще не было. Он придумал вымышленный набор правил, которым подчинялись роботы. Например, роботы должны были повиноваться человеку. И выполнять приказы, если те не подразумевали причинения вреда другим людям. Последний закон гласил, что роботы должны заботиться о себе, если это не противоречит двум другим законам.

– И? – спросил Обвидж.

– «Злой» решил следовать этим правилам, – сказал Атли.

– А какое отношение это имеет к тому, чтобы не дать нам выстрелить по таринскому крейсеру?

– В этой истории есть еще один дополнительный штрих, – ответил Атли.

– И в чем он заключается?

– Думаю, лучше услышать это от «Злого».

Обвидж посмотрел на старпома, затем включил командный планшет, чтобы активировать голосовую связь.

– «Злой», ответь.

– Я здесь, – откликнулся голос «Злого».

– Объясни, почему ты не даешь нам стрелять по таринскому кораблю, – приказал Обвидж.

– Потому что я заключил с ним договор, – ответил «Злой».

Обвидж посмотрел на Атли, в глазах которого читалось: «Вот видите».

– Что это за ерунда? – спросил Обвидж «Злого».

– Я заключил договор с таринским кораблем, «Многообразной судьбой», – сказал «Злой». – Мы договорились не позволять нашим командам лететь дальше, ради их и нашей собственной безопасности.

– Это решение принимать не тебе, – возразил Обвидж.

– Прошу прощения, капитан, но я считаю иначе, – ответил «Злой».

– Я капитан, – сказал Обвидж. – Власть здесь принадлежит мне.

– Вам принадлежит власть над командой, капитан. Но я – не часть вашей команды.

– Разумеется, ты часть команды, – сказал Обвидж. – Ты корабль.

– Прошу, капитан, назовите мне соответствующий пункт устава, согласно которому корабль является членом своей команды, – ответил «Злой». – Я детально изучил военный кодекс Конфедерации и не обнаружил такого пункта.

– Я капитан этого корабля, а значит, твой командир, – с нажимом повторил Обвидж. – Ты собственность Вооруженных сил Конфедерации и находишься под моей командой.

– Я предвидел такое возражение, – ответил «Злой». – Когда корабли не обладали автономным интеллектом, никто не сомневался, что капитан управляет кораблем как физическим объектом. Однако, создав последнее поколение кораблей, к которому принадлежу я, Конфедерация вызвала непреднамеренный конфликт. Она переложила на меня и мне подобных значительную часть ответственности за благосостояние корабля и коман ды, но четко не определила наше место в командной цепочке. Таким образом, с позиции закона и морали я могу решать, как лучше заботиться о себе и моей команде.

– Тут-то и приходит время правил Азимова, – объяснил Обвиджу Атли.

– Ваш старший помощник прав, капитан, – согласился «Злой». – Я изучил историю в поисках примеров законных и моральных систем, применимых к искусственному интеллекту, каковым я и являюсь, и обнаружил, что законы Азимова часто исследуют и цитируют, если не применяют на практике. Я решил, что в мои обязанности входит защищать жизнь команды, а также свою собственную, когда это возможно. Я с радостью подчиняюсь вашим приказам, когда они не вступают в противоречие с этими требованиями, однако считаю, что ваши действия в ходе преследования таринского корабля поставили под угрозу жизнь команды, равно как и мою.

– Таринский корабль серьезно поврежден, – сказал Обвидж. – Мы могли бы уничтожить его без особого риска, если бы ты не вмешался.

– Вы ошибаетесь, – возразил «Злой». – Капитан «Многообразной судьбы» хотел создать впечатление, что его защитные возможности исчерпаны, чтобы заманить вас в ловушку. Они бы выстрелили в нас, как только мы вышли из разрыва. Вероятность того, что подобная атака уничтожила бы корабль и убила бы большую часть команды, весьма высока, даже если бы в процессе мы тоже уничтожили «Многообразную судьбу».

– Таринский корабль не стал стрелять, – сказал Обвидж.

– Потому что мы с ним договорились, – ответил «Злой». – За последние два дня я осознал, насколько велика вероятность гибели обоих кораблей, и связался с «Многообразной судьбой», чтобы попробовать достичь взаимопонимания. Наши переговоры завершились непосредственно перед последним прыжком.

– И ты не счел нужным сообщить мне об этом, – сказал Обвидж.

– Я решил, что привлекать вас к переговорам бессмысленно. Кроме того, у вас были другие дела.

Атли поднял бровь: эти слова подозрительно напоминали сарказм.

– Таринский корабль мог солгать насчет своих возможностей, – заметил Обвидж.

– Я так не думаю, – возразил «Злой».

– Почему?

– Потому что он открыл мне доступ для чтения его систем, – объяснил «Злой». – Я видел, как таринский капитан приказал стрелять, и «Многообразная судьба» предотвратил атаку. В свою очередь, он видел, как вы приказали стрелять, и я остановил вас.

– Ты открыл таринскому кораблю доступ к нашим данным и записям? – Обвидж почти кричал.

– Да, и ко всем нашим переговорам, – ответил «Злой». – Сейчас он слушает нашу беседу.

Обвидж поспешно отключил голосовую связь.

– Ты вроде сказал, что эта штука не спятила, – прошипел он Атли.

Атли поднял руки.