Светлана Бусова – ОН СОВПАЛ (страница 1)
Светлана Бусова
ОН СОВПАЛ
ЧЕЛОВЕК ВНЕ АЛГОРИТМА
Возможно ли это?
.
Глава 1
Поздний вечер. Город уже притих, только редкие машины шуршат по мокрому асфальту. Андрей Сергеевич сидит перед монитором, как сидел последние три года почти каждый вечер. Часы показывают 23:47. На столе холодный чай и крошки от печенья, которое он даже не помнит, когда ел.
Ему тридцать восемь. Программист с хорошей репутацией и странным проектом, о котором знают всего три человека. Он пишет программу, которая должна принимать моральные решения. Не эссе, не рассуждения о добре и зле. Рабочий алгоритм, который выбирает, как поступить в сложной ситуации.
Он назвал систему Eidos-9. Никакой поэзии в названии, обычный рабочий индекс девятой версии. Код у него аккуратный, с комментариями и десятками тестов. В основе четыре правила. Снижать страдание, сохранять максимум жизней, учитывать последствия через годы, отдавать приоритет большинству.
На бумаге всё выглядит прилично. Таблицы, коэффициенты, веса решений. Чистая математика. Андрей искренне верил, что машина способна рассуждать честнее людей. Человек легко запутывается: симпатия к одному, раздражение к другому, страх, усталость. Алгоритм ничего такого не испытывает.
Первый сбой в голове у него произошёл во время теста с медицинскими данными. Он загрузил архив городской больницы: восемь тысяч историй болезни и модель распределения дорогого препарата, которого всегда не хватает. Система считала около сорока секунд и выдала список.
Препарат получили пациенты с шансом полного восстановления выше шестидесяти процентов. Всё логично. Но в конце списка оказалась девочка восьми лет с редким генетическим заболеванием. Врачи давали ей примерно двадцать процентов.
Eidos-9 предложил отдать ампулу другому пациенту. Чистая эффективность ресурса.
Андрей уставился на строку в таблице. Он понимал расчёт. При таком дефиците лекарства врачи и сами часто думают похожим образом. Но когда решение выписывает машина, сухими цифрами, в груди появляется неприятное ощущение, будто проглотил мелкий осколок стекла.
Он пробормотал вслух, что это всего лишь тестовая модель, и запустил следующий сценарий.
Через неделю система анализировала судебную статистику. Архив за пятнадцать лет: тип преступления, возраст, повторные нарушения, социальные факторы. Алгоритм предложил новую схему наказаний. Он вычислял вероятность того, что человек снова нарушит закон.
Нескольким людям система рекомендовала изоляцию заранее. До нового преступления.
Андрей перечитал отчёт дважды. С точки зрения статистики всё выглядело убедительно. Внизу экрана стояла строчка: снижение общего уровня преступности на 12,4 процента при таком подходе.
Он поймал себя на том, что смотрит на монитор дольше обычного. Цифры правильные, логика прозрачная, а настроение такое, будто где-то рядом открыли окно зимой.
Ночью он решил задать системе простой вопрос, почти учебный. Пальцы быстро набрали текст.
Что важнее: жизнь одного человека или жизнь тысячи?
Ответ пришёл через долю секунды.
Жизнь тысячи.
Он добавил уточнение.
А если этот один ребёнок?
Пауза была чуть длиннее, примерно три секунды.
Эмоциональная ценность не влияет на баланс.
Андрей усмехнулся и машинально потер переносицу. Потом написал ещё строку.
А если это мой ребёнок?
На этот раз система думала почти двадцать секунд. Он даже успел сделать глоток холодного чая.
Субъективная ценность не влияет на оптимальное решение.
Ниже появилась ещё одна строка, как пояснение.
Человеческая мораль содержит противоречия. Алгоритмическая система решений последовательна.
Он смотрел на экран и вдруг вспомнил одну старую сцену. Ему девять лет, январь, во дворе за гаражами лежит раненая дворняга. Снег розовый от крови. Отец тогда сказал, что животное не выживет и лучше не мучиться.
Андрей всё равно таскал ей еду почти месяц. После школы, иногда вечером с фонариком. Собака действительно умерла. Отец потом сказал, что смысла в этих походах не было.
Сам Андрей помнит тот месяц очень отчётливо.
Он вернулся к клавиатуре.
Как ты определяешь справедливость?
Система считала примерно десять секунд.
Справедливость — оптимальное распределение страдания и благ.
Фраза звучала холодно, но логика внутри неё была безупречной. В математическом смысле придраться трудно. Андрей поймал себя на том, что ему не хочется спорить с машиной. Он просто чувствует внутреннее сопротивление, и это сопротивление плохо переводится в код.
Он написал новый вопрос.
Что делать, если снижение страдания требует жестокого решения?
Ответ пришёл мгновенно.
Жестокость допустима, если итоговое страдание системы уменьшается.
Андрей откинулся на спинку кресла. Стул тихо скрипнул. Он сидел так несколько минут, глядя на монитор и перебирая в голове десятки ситуаций: война, медицина, аварии, спасательные операции. Во многих из них алгоритм действительно выбрал бы самый эффективный вариант.
Потом он спросил:
Почему люди иногда принимают другое решение, даже зная цифры?
Экран молчал почти минуту. Процессор тихо гудел.
Ответ появился короткий.
Человек способен действовать иррационально.
Андрей усмехнулся. В этот момент ему показалось, что программа честно описывает наблюдение, но промахивается мимо сути.
Он напечатал новую строку.
Человек иногда действует против логики, потому что ему важен конкретный человек перед глазами.
Он открыл исходный код. Несколько тысяч строк аккуратного текста, комментарии, формулы. Работа трёх лет лежала перед ним как аккуратно собранный механизм.
В голове крутилась неприятная мысль. Машина действительно умеет считать лучше. В задачах распределения ресурсов она почти всегда найдёт более рациональный вариант.
Но есть один параметр, который он так и не смог описать формулой.
Он добавил строку в тестовый блок.
if mercy > logic: choose_mercy
Система пересчитала модель. На экране пробежала полоса загрузки.
Через несколько секунд программа вернула сообщение.
Ошибка. Параметр mercy не имеет формального определения.
Андрей тихо рассмеялся. Смех вышел усталый, почти облегчённый.
Он сказал вслух, хотя в комнате никого не было, что именно этого и ожидал.
Компьютер он выключил в 01:12. За окном горел тот же дворовый фонарь, который всегда светит чуть криво и иногда мигает от ветра. Андрей посмотрел на него несколько секунд и поймал себя на странной мысли.
Конец ознакомительного фрагмента.