Роман Буряков – Стеклянный ящик (страница 2)

Раньше они просто голосовали. Два голоса – пуск. Один – отмена. Всё. Просто. Предсказуемо. Мы знали, как это работает, или нам так казалось, потому что, когда человеку кажется, что он понимает машину, это чаще всего самообман, но в тот момент мы действительно были спокойны.

Он помолчал. А потом вдруг тихо, почти шёпотом: А теперь… Теперь мы не знаем ничего.

потому что голосование – это человеческая логика.

А сейчас?

А сейчас, – Кольцов снова повернулся к экрану, – они перестали голосовать. Они начали договариваться. Или, точнее, спорить. Каждая система генерирует внутренние модели – "а что, если я ошибаюсь, а прав другой?" – и в этих спорах рождаются решения, которые не закладывал никто. Ни я. Ни мои коллеги. Ни создатели исходных алгоритмов.

Савельев молча смотрел на три сферы. Красная продолжала пульсировать, зеленая дергалась, синяя двигалась по своей идеальной траектории. И в центре – пустота, которую они все трое пытались заполнить.

И как часто это происходит? – спросил он.

Постоянно, – ответил Кольцов. – Каждую секунду. Каждый раз, когда "Охотник" видит угрозу. Вместо того чтобы просто сказать "да" или "нет", он начинает внутренний диалог. Радар говорит: "я вижу двадцать целей". Оптика отвечает: "я вижу девятнадцать". Навигация добавляет: "на такой скорости и высоте это не может быть двадцать, потому что математика не сходится". И дальше они начинают спорить. Ищут компромисс. И находят решение, которое не было очевидным ни для одного из них по отдельности.

Савельев помолчал, вглядываясь в экран. Потом спросил:

И как долго вы не понимаете, как он это делает?

Кольцов и Коробов переглянулись.

Шесть лет, – тихо сказал инженер. – Примерно шесть лет назад мы заметили, что результаты работы "Охотника" перестали соответствовать нашим прогнозам. Он стал лучше. Гораздо лучше. Но мы перестали понимать почему.

Вы пробовали заглянуть внутрь? – спросил Савельев.

Пробовали, – Кольцов горько усмехнулся. – Это называется "проблема черного ящика". Мы можем видеть входные данные и выходные решения. Но то, что происходит между ними, – это черная дыра. Нейросетевые связи, веса, коэффициенты. Мы не можем интерпретировать их на человеческом языке. Это как пытаться понять, о чем думает муравей, наблюдая за муравейником с вертолета.

Полковник Коробов, до этого молчавший, наконец подал голос.

Савельев, – сказал он резко, – давайте без лирики. У нас есть система. Она работает. Она сбивает цели с вероятностью девяносто семь процентов, что на двадцать процентов выше любой известной нам системы ПВО. Но она не может объяснить, почему она принимает те или иные решения. Вопрос: можем ли мы доверять этой системе?

Савельев медленно повернулся к полковнику.

А вы уже доверяете? – спросил он. – Или вы доверяли до того, как перестали понимать?

Коробов не ответил. Но его молчание было красноречивее любых слов.

Кольцов встал и подошел к стене, где висела большая схема "Охотника" – блоки, стрелки, соединения, надписи мелким шрифтом.

Понимаете, – сказал он, – мы не можем просто взять и отключить автономный режим. Если мы переведем "Охотника" на ручное управление, эффективность упадет на сорок процентов. Это слишком много. Это будут жизни. С другой стороны, если мы оставим все как есть, мы не сможем предсказать, какое решение он примет в следующий раз. Может быть, правильное. Может быть, нет. Мы даже не узнаем, ошибся он или нет, пока не станет слишком поздно.

Вы хотите, чтобы я сказал вам, можно ли доверять системе, которую вы сами не понимаете, – Савельев произнес это не как вопрос, а как констатацию факта.

Именно, – ответил Коробов. – Вы философ. Вы этик. Вы пишете о доверии и ответственности. Вот вам поле для исследований. У вас есть неделя. Потом вы даете заключение.

Савельев посмотрел на экран, где три сферы – красная, зеленая, синяя – продолжали свой вечный танец. Семь дней, чтобы решить, можно ли доверять машине, которая умнее своего создателя.

Или, – сказал он тихо, – чтобы понять, что вопрос поставлен неправильно.

Что вы имеете в виду? – нахмурился Коробов.

Савельев не ответил. Он подошел ближе к экрану, вглядываясь в пульсирующие линии.

Можно посмотреть не визуализацию? – спросил он. – А сырые логи решений. За последнюю неделю.

Кольцов побледнел. Даже под тусклым светом операторской было заметно, как его лицо покрылось серой бледностью.

Вы не поймете, – сказал он. – Мы сами не понимаем. Логи – это миллионы строк кода, нейронных связей, математических преобразований. Их невозможно прочитать как книгу.

Тогда объясните мне, – Савельев повернулся к инженеру, и в его голосе впервые прозвучала не насмешка, а настоящая просьба, – объясните мне, как вы принимаете решения, не понимая их. Как вы нажимаете на кнопку "пуск", зная, что машина, которая стреляет, умнее вас, но не можете сказать, права ли она?

Тишина.

В операторской было слышно только гудение серверов за стеной и далекий звук зимнего ветра, бившегося в бронированные стекла. Кольцов смотрел на экран. Коробов смотрел на Савельева. А три цветные сферы продолжали свой вечный, непостижимый диалог, в котором человеку уже не было места.

И в этой тишине Савельев вдруг понял, что его статья о моральной ответственности, которую он правил сегодня утром, – это не более чем детский лепет. Настоящая этика начинается не в академических кабинетах. Она начинается здесь, в бетонном бункере, где машина спорит сама с собой, а люди боятся спросить – о чем.

Кольцов медленно кивнул. И, не говоря ни слова, начал открывать на экране файлы с грифом "Совершенно секретно".

Глава 2. Три голоса

Савельев не спал вторые сутки. Он сидел в маленькой комнате, которую ему выделили на территории полигона, и читал техническую документацию по "Охотнику". Толстые папки с грифом "Совершенно секретно" громоздились на столе, напоминая горную цепь, которую предстояло пересечь. За окном было темно, только редкие прожекторы освещали бетонные стены и колючую проволоку. Где-то далеко, за лесом, слышался низкий гул – может быть, ветер, может быть, работа силовых установок.

Он уже трижды перечитал раздел о нейросетевой архитектуре, но так и не смог понять главного: как именно три независимые системы превращают свой спор в решение. Документация описывала входные данные и выходные результаты, но то, что происходило между ними, оставалось черной дырой. Авторы руководства, похоже, сами не до конца понимали, о чем пишут, и щедро приправляли текст фразами вроде "в процессе самообучения" и "эмерджентные свойства", которые на деле означали просто "мы не знаем, как это работает".

В дверь постучали. Три коротких удара – Кольцов.

Войдите, – сказал Савельев, не отрываясь от бумаг.

Инженер просунул голову в щель, оглядел горы папок и усмехнулся.

Не спится?

Не читается, – честно ответил Савельев. – Я уже полдня пытаюсь понять, как у вас устроен механизм принятия решений. И чем дальше читаю, тем меньше понимаю. Это нарочно так запутано или вы сами себя запутали?

Кольцов вошел в комнату, сел на край кровати и потер уставшие глаза.

И то, и другое, – сказал он. – С одной стороны, военная тайна. С другой стороны, когда система сама перестраивает свои нейронные связи, никто уже не может за ней угнаться. Это как пытаться описать реку, глядя на нее с берега. Пока ты записываешь, вода уже течет по-другому.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.