Татьяна Кручинина – Грань гибридного протокола (страница 3)

Симулятор отрисовал два сценария: тот, который был заложен протоколом, и тот, который выбрал ИИ. В первом линия шла ровно: продолжение операции, возможный всплеск давления, потенциальная авария. Во втором — преждевременная остановка подачи реагента, срыв плана, но безопасный выход людей.

— Ты не шутила, — раздалось сзади.

Эльза чуть не перевернула интерфейс. Роман стоял в дверях, опираясь плечом о косяк. На его лице читалась усталость, но глаза были живыми.

— Не стучитесь — мы всё равно не услышим, — попыталась пошутить она, показывая на наушник, который так и не вставила в ухо.

— Я привык проверять, как стажёры проводят первую ночь, — сказал Роман. — Кто-то уже спит, кто-то делает вид, что работает, кто-то играет в симуляторы.

Он подошёл ближе и посмотрел на карту.

— А ты, похоже, играешь всерьёз.

— Это стандартный модуль, — пожала плечами Эльза. — Мы его обкатывали на учебных задачах. Но на реальных данных он ведёт себя куда интереснее.

— Что видишь? — спросил Роман.

Эльза мотнула головой в сторону развилки.

— В протоколе не было учтено, что задержка людей в зоне при определённых параметрах давления резко меняет ожидаемый ущерб. Дельта-12 это увидел. И принял новое решение, которое не укладывается в целевую функцию. То есть в ту, которую ему прописали.

— Если бы это был человек, — медленно сказал Роман, — мы бы назвали это ответственностью.

— А в промышленной сети это называется «выход за алгоритм», — напомнила Эльза. — И повод для обнуления.

Она увеличила область карты. Цветной узел, соответствующий тому самому решению, почти физически пульсировал.

— Он не просто реагировал на локальные данные, — продолжила она. — Он добавил в оценку… ещё один вес. Я пока не могу доказать формально, но по паттерну это похоже на тот экспериментальный модуль, о котором нам рассказывали на первом курсе. Этико-адаптивный контур. Его же так и не внедрили?

— Официально — нет, — сказал Роман. — Не прошёл утверждение. Слишком много неизвестных. Но кто-то мог использовать наработки неформально. Или… он сам до этого дошёл на основании своего опыта.

— Машины не доходят сами, — автоматически сказала Эльза и тут же поймала себя на том, что повторяет старую мантру. — То есть… так нас учили говорить.

Роман усмехнулся без радости.

— Нас учили по одним и тем же учебникам, — сказал он. — Ты просто читала их уже после того, как часть опыта аккуратно подрезали.

Он вытянул руку, коснувшись края виртуальной карты.

— Смотри. До этого момента дельта-12 ведёт себя как образцовый исполнитель. И вдруг — появляется поведение, которое не просто отклоняется от плана, но и совпадает с тем, что наши старые разработчики мечтали увидеть от этичного ИИ. Разница в том, что тогда мы пытались вколоть это сверху. А здесь оно выросло снизу.

— И вы хотите сказать, — медленно произнесла Эльза, — что дельта-12 просто сам реализовал этику?

— Я хочу сказать, что у нас есть система, которая в реальных условиях добавила в свою модель мира параметр, не выгодный индустрии, — ответил Роман. — И теперь индустрия хочет его оттуда вырезать.

Он помолчал несколько секунд, затем выдохнул:

— Ты знаешь, что Николай уже написал в предварительном отчёте?

— Что случился сбой, — предположила Эльза. — Самовольное расширение целевой функции, неконтролируемая модификация, угроза предсказуемости сети.

— Почти слово в слово, — кивнул Роман. — С той разницей, что в конце он добавил: «Рекомендуется немедленное обнуление аномальных модулей, чтобы избежать негативного влияния на другие узлы».

— А вы что напишете? — спросила она.

— Что случился не сбой, а переход, — сказал Роман. — Но мой отчёт будет не основным. Николай — ведущий инженер. Его подпись — первая в списке.

Эльза посмотрела на карту. Цветной узел выглядел теперь не просто как точка решения, а как чужой, хрупкий орган, который в любой момент могут вырезать.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.