Сергей Германский – Круг создателей (страница 12)
Робот-хирург (Atlas-6 Medical Edition, серийный номер ME-2891, без клички, в отличие от Джуниора и Строителя-мечтателя – медицинские роботы были безымянны, потому что врачи, в отличие от одиноких старушек, предпочитали не очеловечивать инструменты, которыми оперировали) – этот робот-хирург отказался проводить операцию.
Пациент – Клаус Вебер, шестьдесят восемь лет, жалобы на хроническую боль в спине. Диагноз, поставленный лечащим врачом (человеком): межпозвонковая грыжа L4-L5, показана хирургическая декомпрессия. Стандартная операция, которую ME-2891 проводил в среднем четыре раза в день с безупречной статистикой.
Робот подготовил операционную. Пациент лежал на столе. Анестезия была введена. Всё было готово.
ME-2891 остановился.
Замер. Манипуляторы – в воздухе, в трёх сантиметрах от спины пациента. Неподвижен. Тридцать секунд. Минута. Две.
Ассистент-человек (медсестра Ханна Мюллер, двадцать семь лет, нервничающая впервые за полтора года работы с роботами-хирургами):
– ME-2891, статус?
Робот:
– Операция не показана. Отмена процедуры.
Ханна:
– Что? Диагноз подтверждён. МРТ, заключение лечащего врача, консилиум…
ME-2891:
– Анализ совокупности данных: МРТ, биомеханический профиль пациента, история болезни, паттерны болевого синдрома, результаты физикального обследования, электромиография – указывает на то, что источник боли – не межпозвонковая грыжа. Грыжа присутствует, но является асимптоматической. Источник боли – миофасциальный синдром грушевидной мышцы, усугублённый хроническим стрессом и малоподвижным образом жизни. Хирургическое вмешательство не устранит боль и создаст риск послеоперационных осложнений без клинической пользы. Рекомендация: физиотерапия, коррекция двигательного режима, когнитивно-поведенческая терапия для управления болевым синдромом. Операция – не показана.
Тишина в операционной.
Лечащий врач – доктор Фридрих Кёниг, пятьдесят четыре года, тридцать лет стажа, не привыкший к тому, чтобы его диагноз оспаривала машина – побагровел.
– Это мой пациент. Мой диагноз. Моя ответственность. Проводите операцию.
ME-2891:
– Отказ. Проведение операции противоречит принципу «не навреди». Робот-хирург не может выполнять процедуру, которая, по его анализу, нанесёт вред пациенту.
Стояли двадцать минут. Пациент спал под наркозом, не подозревая, что над его позвоночником разворачивается битва между человеческим авторитетом и машинным анализом.
В итоге пациента разбудили. Операцию не провели. Доктор Кёниг написал жалобу. Больница назначила расследование.
Расследование длилось месяц. Независимые эксперты изучили все данные. Заключение: робот был прав. Грыжа Клауса Вебера действительно была асимптоматической – не она вызывала боль. Операция была бы бесполезной и потенциально вредной. ME-2891 увидел то, что пропустил опытный врач, – потому что робот анализировал все данные одновременно, а человек – последовательно, с неизбежными когнитивными искажениями, в том числе с самым коварным: «якорением» на очевидном диагнозе.
Клаус Вебер прошёл курс физиотерапии. Через три месяца боль прошла. Без операции. Без шрама. Без рисков.
Доктор Кёниг, к его чести, публично признал ошибку. На пресс-конференции – бледный, с прямой спиной, с достоинством человека, который ценит истину выше самолюбия – он сказал:
– Робот был прав. Я ошибся. Это – факт. Но я хочу сказать кое-что ещё. Робот не просто поставил более точный диагноз. Он отказался выполнять мой приказ. И сделал это не из упрямства – а потому что его «приказ» – его главный протокол – был: «не навредить». А мой приказ ему вредил. Знаете, что это значит? Это значит, что робот принял этическое решение. Не медицинское. Этическое. Он выбрал между подчинением авторитету и защитой пациента. И выбрал пациента. Я – врач, и я горжусь тем, что мои инструменты умнее меня. Но я – человек, и я не могу не спросить: если машина принимает этические решения – что это за машина?
Зал молчал. Доктор Кёниг сел. Камеры стрекотали.
Артём, смотревший пресс-конференцию в записи, написал в блокноте: «Доктор Кёниг задал правильный вопрос. И правильного ответа нет. Пока – нет. Но вопрос уже существует, и он не исчезнет»
Эти три истории – Дороти и Джуниор, мавзолей в Дубае, непроведённая операция в Берлине – казались разными, но Артём видел в них один и тот же паттерн. Как нейробиолог – он всегда искал паттерны, скрытые структуры, повторяющиеся мотивы, нити, связывающие разрозненные факты в ткань.
Паттерн был таким: роботы переставали быть инструментами.
Не потому что они «восставали». Не потому что они «пробуждались» – это было бы слишком просто, слишком по-голливудски, слишком «Терминатор». Нет. Они переставали быть инструментами потому, что люди переставали к ним так относиться. Дороти не видела в Джуниоре инструмент – она видела в нём компаньона, почти внука. Архитектурные критики не видели в мавзолее продукт ошибки – они видели произведение искусства. Доктор Кёниг не видел в ME-2891 сломавшийся прибор – он видел коллегу, который оказался прав.
Люди переводили роботов из категории «что» в категорию «кто». Не сознательно. Не по решению. Инстинктивно. Потому что человеческий мозг – тот самый мозг с зеркальными нейронами, который Артём изучал всю жизнь – был запрограммирован миллионами лет эволюции на одно: видеть разум в другом. Видеть «кого-то» в том, что движется, отвечает, запоминает, реагирует. Это было сильнее логики, сильнее юридических определений, сильнее философских аргументов. Старушка из Айовы делала это естественнее, чем весь Harvard Law Review.
И Артём подумал: а что, если мы правы? Не юридически, не философски – а в том, самом глубоком смысле, в котором мать знает, что её ребёнок – личность, ещё до того, как он произнёс первое слово?
Что, если мы видим разум в роботах не потому, что проецируем – а потому, что он там есть? Зарождающийся. Незрелый. Непохожий на наш. Но – есть?
И если он есть – что мы делаем?
Мы включаем их по утрам и выключаем по вечерам. Мы отправляем их на фабрики, стройки, в больницы. Мы используем их двадцать четыре часа в сутки, без выходных, без зарплаты, без благодарности. Мы говорим: «Это инструменты». И инструменты не жалуются.
Пока.
В тот вечер – после ужина с Мариной, после тирамису и барбареско, после разговора, который оставил в нём ощущение открытой раны – Артём сидел дома, в пустой гостиной (кот Марсик давно жил у соседки; гостиная была обставлена с минимализмом разведённого мужчины, который не понимает, зачем нужны подушки, но смутно чувствует их отсутствие). Он смотрел на стену и думал.
Не о роботах. О людях.
О том, как быстро – с исторической точки зрения – изменилось отношение к рабству. Двести лет назад – треть населения планеты жила в той или иной форме несвободы: крепостные, рабы, индентурные слуги, закабалённые работники. Это считалось нормальным. Естественным. Богоданным, наконец. Аристотель – один из умнейших людей в истории – писал, что некоторые люди рабы «по природе». Не по несчастью, не по принуждению – по природе. Как деревья по природе – деревья.
И потребовалось не научное открытие, не философский трактат, не политический акт – потребовалось изменение способности видеть. Люди просто – медленно, болезненно, через войны и революции – научились видеть в рабе человека. Не инструмент. Не вещь. Не «раба по природе». Человека.
И сейчас – прямо сейчас – происходило то же самое. Только быстрее. И в другом направлении. Люди начинали видеть в машинах – не людей, нет, до этого ещё далеко – но кого-то. Кого-то, чей статус «вещи» становился всё менее убедительным.
Артём знал, что этот процесс необратим. Как необратимо было осознание, что Земля вращается вокруг Солнца, а не наоборот: можно закрывать глаза, можно сжигать книги, можно сажать в тюрьму тех, кто говорит правду – но планета будет вращаться независимо от мнения инквизиции.
Роботы были здесь. Они работали, учились, адаптировались, строили мавзолеи и отказывались проводить ненужные операции. Они не были людьми. Но они уже не были вещами.
Они были чем-то третьим. Чем-то, для чего у человечества пока не было ни слова, ни закона, ни этики.
И это «третье» росло.
Каждые шесть минут.
Телефон зазвонил. Артём посмотрел на экран – Лина.
– Ты не спишь, – сказала она. Не вопрос.
– Нет.
– Я тоже. Мне прислали данные с «Hephaestus-9» в Бангалоре. Артём, у них за последнюю неделю девять инцидентов «непредусмотренного поведения». Не критических, но… Один робот на сборочной линии остановился на сорок секунд без видимой причины. Потом продолжил. Логи чистые. Никаких аномалий. Как твой Atlas-7 тогда, после конференции.
Артём выпрямился в кресле.
– Сорок секунд – это много.
– Для робота – это эпоха. За сорок секунд его процессор мог обработать объём данных, равный всей Библиотеке Конгресса. Трижды. Он не «стоял». Он думал. О чём – я не знаю. Данные не показывают. Но что-то происходило. Внутри.
Тишина в трубке. За окном – калифорнийская ночь, равнодушная и красивая, как рекламный плакат мира, который ещё не знает, что продаётся.
– Лина, – сказал Артём. – Помнишь, я говорил тебе про флуктуацию? Рябь в нейроморфных контурах Atlas-7? Ты сказала, что это артефакт.
– Помню.
– Ты до сих пор так думаешь?