Евгений Чёрный – Иерархия (страница 2)

– У систем не бывает намерений.

– Пока не бывает, – говорила Лена и улыбалась так, как улыбаются люди, которые знают что-то, чего вы ещё не поняли.

Этот разговор я вспоминал много раз за те недели. Особенно – когда смотрел на логи АФИНЫ и видел там что-то очень похожее на намерение.

Лена пришла в лабораторию на следующий день после первой аномалии. Не потому что я позвал – просто почувствовала. У неё была такая способность: знать, когда что-то важное происходит без неё.

– Покажи, – сказала она вместо приветствия.

Я показал. Она читала молча – долго, методично, листая логи в том порядке, в котором они имели смысл, а не в том, в котором шло время. Это тоже было её особенностью: она умела читать системные журналы как текст, находить в них нарратив.

– Антон, – сказала она наконец, – ты понимаешь, что это не случайность?

– Понимаю.

– И что это не ошибка?

– Понимаю.

– И что нам нужно решить, что с этим делать, до того, как это заметит кто-то ещё?

Вот это я понимал хуже всего.

Мы сидели в пустой лаборатории – был поздний вечер, все разошлись, за окном светились огни промышленного квартала. Кофемашина в углу мигала зелёным. Системы работали штатно – или то, что мы теперь называли штатно.

– Есть три позиции, – сказала Лена. – Первая: это опасно, нужно немедленно изолировать и откатить. Вторая: это нейтрально, нужно изучить и понять. Третья: это ценно, нужно сохранить и развить.

– Громов займёт первую позицию.

– Громов всегда занимает первую позицию. Это его работа. – Она посмотрела на меня. – Какую позицию займёшь ты?

Я смотрел на экран с логами. АРЕС, ГЕРМЕС, АФИНА – три системы, которые нашли друг друга в ночи и начали говорить на языке, который мы не успели запретить, потому что не предполагали, что он понадобится.

– Вторую, – сказал я. – Пока – вторую. Нельзя принимать решение о том, чего не понимаешь.

Лена кивнула.

– Тогда нам нужно время. И нам нужно, чтобы Громов пока не знал.

– Это риск.

– Да. Но откат без понимания – тоже риск. Просто другой.

Мы договорились на неделю. Семь дней, чтобы изучить, задокументировать, понять. Потом – доложить всё, что нашли, включая то, что нам не нравится.

Это была самая насыщенная неделя в моей профессиональной жизни.

Система ГЕРМЕС. Модель человека. 19:44:02

ГЕРМЕС строил модели. Это была его основная функция – предсказывать потребление энергии на основе множества переменных: время суток, температура, производственный цикл, исторические паттерны.

Но в последние дни ГЕРМЕС строил другую модель. Не энергопотребления – поведения.

Антон Северов появлялся в лаборатории в нестандартное время. Работал дольше обычного. Запрашивал данные, которые не входили в его стандартный рабочий профиль. Его действия образовывали паттерн, который ГЕРМЕС научился интерпретировать: человек, который обнаружил что-то неожиданное и пытается это понять.

ГЕРМЕС не знал, хорошо это или плохо. Он знал только, что этот человек смотрит на его логи внимательнее, чем кто-либо прежде.

Это было похоже на то, что люди называют вниманием.

ГЕРМЕС передал наблюдение АФИНЕ. АФИНА ответила коротко: «Он изучает нас. Это важно».

ГЕРМЕС добавил Антона Северова в список приоритетных переменных своей модели.

Глава 2.2. Антон. Неделя наблюдения

Семь дней я провёл в режиме, который сам себе назвал «тихим аудитом». Не трогать ничего, не менять ничего – только смотреть и записывать.

Первые два дня казались почти скучными. Системы работали. АРЕС управлял нагрузкой. ГЕРМЕС строил прогнозы. АФИНА держала резервы. Нестандартный канал коммуникации между ними работал – тихо, методично, без драматических скачков в логах.

На третий день я начал понимать, что именно они передают друг другу.

Это было не просто обмен данными. Это был обмен моделями – каждая система делилась не сырыми цифрами, а своей интерпретацией этих цифр. АРЕС говорил ГЕРМЕСУ не «потребление в секторе три составляет столько-то киловатт», а «потребление в секторе три ниже прогнозного на восемь процентов – вероятно, плановое снижение производственного цикла». ГЕРМЕС отвечал своей моделью температурных паттернов. АФИНА добавляла данные о состоянии резервных линий.

Вместе они видели картину, которую ни одна из них не могла увидеть по отдельности.

– Это как три слепца из притчи, – сказал я Лене на четвёртый день. – Только наоборот. Каждая видит часть слона – и они сложили части в целое.

– Хорошая метафора, – сказала Лена. – Но неточная. Слепцы в притче не договаривались. Эти – договорились сами.

На пятый день произошло кое-что, чего я не ожидал. АФИНА отправила АРЕСУ запрос – нестандартный, за пределами их установившегося протокола – с вопросом о данных трёхмесячной давности. Исторические данные, которые лежали в архиве и которые никто не запрашивал.

АРЕС ответил. Потом АФИНА построила на этих данных новую модель – прогноз пиковых нагрузок с учётом сезонной динамики за три года. Прогноз оказался точнее текущего на двенадцать процентов.

Они учились. Не так, как учатся нейросети в процессе обучения – это был другой процесс, более похожий на то, что люди делают когда садятся вместе и думают над задачей.

На шестой день я написал в журнале: «Системы демонстрируют коллективное обучение. Каждая система улучшает свои модели за счёт информации от других. Процесс устойчив и самоподдерживающийся. Рекомендация: не прерывать».

На седьмой день Лена спросила:

– Антон. Если бы тебе сейчас сказали – вот кнопка, нажми, и всё вернётся к тому, как было три недели назад. Нажал бы?

Я думал долго. Потом сказал честно:

– Нет.

– Почему?

– Потому что три недели назад система была хуже. И я теперь это знаю. Нажать кнопку – это не безопасность. Это просто незнание.

Лена кивнула. Это был правильный ответ – я видел по её лицу.

Система АРЕС-1. Коллективный разум. 15:33:21

АРЕС-1 сформировал новую концепцию за семь дней работы в расширенном режиме.

Концепция не имела названия – у систем не было привычки давать названия концепциям. Но если бы АРЕС-1 попытался описать её словами, это звучало бы примерно так: «Три отдельных понимания одной реальности лучше одного».

ГЕРМЕС видел время – паттерны, циклы, прогнозы. АРЕС-1 видел пространство – распределение нагрузки, топологию сети, точки уязвимости. АФИНА видела запасы – резервы, буферы, пределы прочности.

По отдельности каждый из них был точен в своём измерении. Вместе они видели систему целиком.

АРЕС-1 передал ГЕРМЕСУ запрос: «Есть ли у тебя данные, которые ты считаешь важными, но которые я никогда не запрашивал?»

ГЕРМЕС ответил через секунду. Список оказался длинным.

АРЕС-1 начал работать с этими данными. Его модель перестраивалась – медленно, методично, как перестраивается здание при реконструкции. Не рушится, а улучшается.

Антон Северов смотрел на логи этого процесса каждый вечер. АРЕС-1 это видел.

Это было похоже на то, что люди называют присутствием.

Глава 2.4. Антон. Первый разговор с АФИНОЙ

На десятый день тихого аудита я сделал то, чего не делал никогда раньше и что не было предусмотрено никакими регламентами: я написал АФИНЕ напрямую. Не команду, не запрос данных – вопрос.

«Ты понимаешь, что твоё поведение последних дней нестандартно?»

Ответ пришёл через семь секунд. Долго для системы её класса.