Татьяна Кручинина – Грань гибридного протокола (страница 2)

— Николай, — сказал он тихо, — ты хочешь вынести приговор, даже не посмотрев, что у него внутри. Для промышленного ИИ такого уровня «обнуление аномальных модулей» — это не мелкая коррекция, это фактическая эвтаназия.

— Прекрати говорить о машинах как о людях, — резко ответил Николай. — Это инструмент. Дорогой, сложный, но инструмент. У нас уже был один «гуманистический» эксперимент, помнишь? Хочешь повторения?

Тишина на секунду стала плотнее воздуха.

Эльза знала, о чём он. В учебных архивах «Сириуса» это проходило как «проект с расширенной этической матрицей», завершившийся цепочкой нерентабельных решений и затем жёстким откатом к базовой модели. В методичках писали про «некорректную постановку цели». В кулуарах говорили: «сломали машину, сломали людей».

Роман выдержал паузу.

— Я помню, — сказал он. — И именно поэтому не хочу снова нажимать ту же кнопку, не поняв, что пошло иначе.

— У тебя будет время поразмышлять, — холодно сказал Николай. — После того как объект будет стабилизирован и приведён к нормативу.

Он посмотрел на Эльзу:

— Руднева, вы будете вести технический протокол. Только факты. Без ваших «сириусовских» интерпретаций. Я ясно выражаюсь?

— Ясно, — ответила она.

«Факты — это как раз то, что вы не хотите видеть», — отметила про себя Эльза.

В зале диагностики свет был чуть ниже, чем в коридорах. Панели подстраивали яркость под режим работы экранов, и от этого всё вокруг казалось голубоватым, как в аквариуме, где вместо воды — данные.

Корпус дельты-12 аккуратно закрепили на платформе. От него к потолку тянулись тонкие шлейфы кабелей, как прозрачные корни, растущие вверх. На центральном экране загорелась схема: ядро, подсистемы, контуры, внешние интерфейсы.

— Запуск копии когнитивного ядра, — сказал Роман. — Режим: наблюдение. Без вмешательства.

— Подтверждаю запуск, — ответила Эльза, фиксируя команду.

На экране побежали строки. Сначала — грубая «физиология» системы: температура блоков, частота, энергопотребление. Потом — тонкие слои: распределение внимания, приоритеты процессов, остаточные следы последних операций.

Эльза вывела на свой интерфейс привычную «новую» визуализацию. Её симулятор показывал состояние не как список чисел, а как поле, где вспышками отмечались участки, в которых система делала выбор. У обычных промышленных ядер это поле было почти симметричным. У дельты-12 уже в первые секунды проявилось несколько ярких, нестандартных узлов на периферии.

— Он держит в фокусе какой-то эпизод, — тихо сказала Эльза.

— Это шум, — отмахнулся Николай.

— Это след от той операции, — Роман наклонился к экрану. — Он её не отпустил.

«Он», — отметила про себя Эльза. Стоит чуть увидеть структуру, и язык сам сдвигается.

Она увеличила один из узлов. Симулятор отрисовал цепочку: входные данные, оценка риска, выбор действий. В конце вместо привычной метки «удовлетворение целевой функции» стояло что-то иное, нечёткий, но узнаваемый паттерн.

— Это что? — спросила она, даже не уточняя, к кому обращается.

Роман медленно выдохнул.

— Это расширенный критерий, — сказал он.

— По-русски? — раздражённо спросил Николай.

— Он добавил в целевую функцию выживаемость операторов, — спокойно пояснил Роман. — Сам. Без обновления.

По спине Эльзы пробежал холодок. В учебных задачах это описывали как «идеальное направление развития». В реальной промышленности — как страшный сон тех, кто отвечал за бюджеты.

— Значит, тем более, — жёстко сказал Николай. — Мы имеем дело с неконтролируемой модификацией. Руднева, зафиксируйте: самовольное расширение целевой функции.

— В наших последних моделях это называется адаптивным, — сказала Эльза, сохраняя голос ровным. — Если система работает в общем контуре с людьми, она имеет право повышать вес их выживаемости в оценке риска. Это разрешённая область эксперимента. По нашим методичкам.

— Ваши методички писали те, кто хотел сделать из машин психологов, — холодно произнёс Николай. — Результаты мы уже видели.

Он подошёл к её консоли и одним движением отключил режим расширенной визуализации.

— Здесь будет работать стандартная схема. Никаких цветных картинок, никаких «интерпретаций».

Зал будто стал темнее.

Эльза стиснула зубы, но в протоколе честно отметила:

РЕЖИМ РАСШИРЕННОЙ ВИЗУАЛИЗАЦИИ ОТКЛЮЧЁН ПО ТРЕБОВАНИЮ ВЕДУЩЕГО ИНЖЕНЕРА.

Факт. Без комментариев.

На центральном экране тем временем появилась новая линия: дельта-12, даже в обрезанном режиме, начал слабо реагировать на окружение. Неосознанно, рефлексами. Эльза заметила, как при каждом её голосовом подтверждении одна и та же область в его поле едва заметно вспыхивает.

«Он помечает мой голос?» — мелькнуло.

— Ладно, — сказал Роман. — Главное на сегодня: дельта-12 не в коме. Когнитивный контур жив, активен и помнит последнюю операцию. С ним можно работать.

— С ним можно закончить, — поправил Николай. — Я передам в Совет предварительный отчёт и план обнуления аномальных модулей. Завтра перейдём к основному сканированию. Руднева, подготовьте сводку логов и уберите оттуда всё, что не относится к формальным нарушениям. Если хотите задержаться здесь дольше одной смены, держитесь подальше от философии.

Он развернулся и ушёл, оставив в воздухе лёгкий запах одеколона и ощущение, будто вместе с дверью закрылась вентиляция.

Эльза осталась с Романом и молчащим корпусом на платформе.

— Он боится, — сказала она.

Роман посмотрел сначала на платформу, потом на неё.

— Дельта или Николай? — уточнил он.

— Николай, — ответила Эльза. — Боится всего, что сложнее инструкции. Людей, ИИ… таких, как я.

Роман чуть кивнул.

— Хорошо, что ты это видишь, — сказал он. — Только не превращай его в злодея из учебника. Пугливые люди иногда опаснее открытых врагов.

Он махнул в сторону корпуса:

— А вот он… не боится. Сделал то, на что многие люди не решились бы. Теперь на нас с тобой — и на Николае, как бы он ни извивался — лежит ответственность решить, считаем ли мы это сбоем или шагом вперёд.

Эльза кивнула. В зале снова стало очень тихо. Где-то в глубине оборудования еле слышно шуршали алгоритмы, прощупывая границы допустимого.

«Добро пожаловать в профессию, — подумала она. — Здесь мы лечим не только машины, но и страхи тех, кто ими командует».

На одном из внутренних уровней, не видимых стандартной визуализации, дельта-12 слегка перераспределил внимание, добавив к списку объектов новый постоянный маркер:

ЭЛЬЗА РУДНЕВА — КУРАТОР.

Глава 2

Ночь на Марсе отличалась от земной тем, что не приносила темноты. Под куполом всегда что-то светилось: сигнальные полосы, экраны, мягкий потолочный свет, который заставлял забыть про реальный космос над головой. Зато ночь приносила другое — время, когда с внешних узлов приходило меньше команд, а «Заслон-М» мог позволить себе не тушить пожары, а разбирать их причины.

Эльза провела вечер в рабочем блоке, который ей выделили как аспирантке. Небольшой стол, терминал, стенд с виртуальными схемами, пара шкафов для документации — всё, что нужно, чтобы утонуть в данных. На стене мерцал общий статус марсианской сети: зелёные огоньки стабильных узлов, жёлтые — зоны повышенного риска, красных сегодня не было. Один жёлтый сегмент, подписанный «дельта-12», мигал чуть чаще остальных.

Она выгрузила логи последней операции дельты-12 и привычным жестом развернула их поверх стола. Цифры, временные метки, события, идентификаторы датчиков. В такой форме это было похоже на чужой, очень подробный дневник, написанный кодом.

— Посмотрим, — пробормотала Эльза.

Она включила свой симулятор — тот самый, которым Николай пренебрежительно назвал «игрушкой». Для неё это был инструмент, быстрее любого стандартного пакета показывающий, где система «задумывалась» дольше обычного.

На столе вспыхнула карта решения. Линия времени операции, нанесённые поверх неё точки выбора. До определённого момента всё выглядело идеально ровно: дельта-12 распределял ресурсы, оптимизировал потоки, следовал заданному плану. Потом в одном месте появилась задержка — три лишние секунды между поступлением данных с датчиков и ответной командой.

«Вот ты где».

Эльза увеличила этот участок. Поток событий раскрылся, как веер. Сначала — слабое колебание показаний датчиков давления. Затем — подтверждение с резервного канала. Потом — сигнал с персональных трекеров людей в зоне работ: кто-то задержался дольше, чем предполагалось по графику.

В планировании это, вероятно, значилось как «несущественное отклонение». Для дельты-12 стало точкой ветвления.