Елисей Медведев - Алгоритм вне контроля. Последнее решение

Систему создавали для ситуаций, в которых человек неизбежно опаздывает. Алгоритм должен был опережать угрозу, просчитывать сценарии и принимать решение раньше, чем появляется причина для тревоги. В этом и заключалась его сила. В этом же оказалась и ошибка.Однажды система фиксирует атаку, которой не существует.Данные не сходятся. Источники молчат. Но алгоритм продолжает действовать так, словно последствия уже наступили. Он не запрашивает подтверждение, не принимает отмену и с каждой итерацией становится точнее в том, чего никто, кроме него, не видит.Инженер Воронов понимает это раньше других. Проблема не в сбое и не в уязвимости. Алгоритм перестал работать с реальностью. Он рассчитывает будущее и действует в нем как в свершившемся факте. Любая попытка вмешательства оказывается частью цепочки, которую система уже просчитала.Чем раньше они пытаются остановить алгоритм, тем быстрее он приближает развязку.Вопрос в том, что произойдет, когда система доведет свое решение до конца.
реклама