Александр X – Контур обречённых (страница 11)

— Почему ты не сказал сразу? — спросила Лиза.

— Потому что у нас глючил «Резонатор» и ты вторую неделю не спала над математикой. Я решил, что одна проблема за раз — это нормальный темп. Теперь глюки починили, можно заняться чиновниками.

Матвей откинулся на спинку стула.

— Что им нужно? Конкретно.

— Конкретно — не знаю. Но формулировка сигнала мне не нравится. «Принимает решения вместо людей». Это звучит как обвинение.

— Потому что это и есть обвинение, — сказала Лиза. — Просто они пока не знают, в чём именно нас обвинять. Им нужен состав нарушения, а состава нет.

— Вот пусть и не найдут, — сказала Ася. — А мы поможем.

Лиза открыла ноутбук и быстро пробежалась по правовым базам. Через несколько минут она подняла голову:

— Смотрите. Российское законодательство об искусственном интеллекте сейчас — это лоскутное одеяло. Есть Национальная стратегия, есть указ четыреста девяностый, есть закон об экспериментальных правовых режимах — двести пятьдесят восьмой ФЗ. А конкретных норм — что считать ИИ, кто отвечает за его решения, как сертифицировать — нет. Вообще.

— Это хорошо или плохо? — спросила Ася.

— И то и другое. Нельзя нарушить то, чего нет. Но нельзя и защититься тем, чего нет. Если они придут с претензией «ваша система опасна», мы не сможем сказать «вот сертификат безопасности». Потому что сертификата безопасности для ИИ не существует в природе.

— Значит, создадим сами, — сказал Матвей.

На подготовку к встрече у них было два дня. За это время Лиза и Чегодаев (по телефону, тремя долгими созвонами) разработали юридическую рамку: компания не продаёт «решения», она продаёт «инструмент анализа данных». Ответственность за применение результатов лежит на пользователе. «Резонатор» — это микроскоп, а не лаборант. Микроскоп не ставит диагноз.

Встреча состоялась послезавтра, как и предупреждал Илья.

Визитёры пришли ровно в одиннадцать. Их было двое — мужчина лет сорока в сером костюме, представившийся Алексеем Ивановичем, и женщина помоложе, с блокнотом (Ася сразу обратила на это внимание — блокнот был такой же, как у неё, формата А5, в клетку). Они не были враждебны. Они были осторожны.

— Мы не с проверкой, — сказал Алексей Иванович, усаживаясь за стол переговоров (складной, из икеевской серии, купленный на первые заработанные деньги). — Мы просто хотим понять, чем вы занимаетесь. Поступил сигнал, как вы уже знаете, что ваша система «принимает решения вместо людей». Это формулировка, которая вызывает вопросы.

— Какие именно? — спросила Лиза. Она взяла на себя роль переговорщика — у неё это получалось лучше всех. Илья был слишком прямолинеен, Матвей — слишком абстрактен, Ася — слишком вопросительна. Лиза умела разговаривать с чиновниками без желания их убить.

— Ну, например, — Алексей Иванович заглянул в свои заметки, — как вы обеспечиваете контроль над... мыслями машины?

— А как вы контролируете мысли калькулятора? — спросила Лиза.

Пауза.

— Калькулятор не даёт рекомендаций.

— Калькулятор выдаёт результат арифметики, — ответил Матвей. — Наш ИИ выдаёт результат вероятностного моделирования и ищет закономерности. То, что мы в быту называем «рекомендацией», юридически является просто аналитической выборкой. Машина показывает, где лёд тонкий, но идти по нему или нет — решает человек. Возложить на ИИ ответственность за бизнес-решение — это как сказать, что микроскоп ставит диагноз вместо биолога.

— А кто отвечает, если закономерность окажется неверной? — спросила женщина с блокнотом.

— Тот, кто её применил, — ответила Ася. — Как с микроскопом: если биолог неправильно интерпретировал изображение, виноват микроскоп или биолог?

Женщина записала что-то в блокнот.

— Значит, ответственность на пользователе? — уточнил Алексей Иванович.

— Именно, — сказала Лиза. — Мы предоставляем инструмент. Решения принимает человек.

Илья, стоявший у стойки с «Резонатором», тихо сказал Матвею на ухо: «Сейчас они потребуют инструкцию по эксплуатации реальности». Матвей сдержал улыбку.

Разговор продолжался ещё час. Чиновники РКН задавали вопросы — осторожные, с оглядкой на то, что любое лишнее слово может быть потом использовано против них самих. Команда отвечала — терпеливо, стараясь не скатываться ни в агрессию, ни в заискивание. К концу разговора стало ясно: у регулятора нет чёткого понимания, что именно регулировать.

Законодательство об искусственном интеллекте в России образца 2023–2024 годов находилось в зачаточном состоянии. Существовала Национальная стратегия развития ИИ (Указ Президента № 490), существовали экспериментальные правовые режимы (Федеральный закон № 258-ФЗ), существовала концепция «сильного ИИ» как объекта регулирования. Но конкретных норм — что можно, что нельзя, кто отвечает — практически не было.

— Это и хорошо, и плохо, — снова повторил важную мысль Илья после ухода проверяющих. — Хорошо — потому что, как мы уже с вами поняли, нельзя нарушить то, чего нет. Плохо — по всё той же причине, потому что нельзя защититься тем, чего нет.

— И это значит, нам нужно защититься чем-то другим, — подхватила его Лиза. — Не юридическим — техническим. Надо ещё лучше доработать систему, чтобы нас точно ни в чем не смогли обвинить.

Идея «Контура безопасности» родилась из того же разговора с регулятором. Если они хотят контроля — они его получат. Но не в виде юридического документа, который можно проигнорировать или оспорить. В виде архитектурного ограничения, встроенного прямо в ядро системы.

Техническая суть «Контура» была проста и элегантна. В тот момент, когда «Резонатор» заканчивал расчёт и формировал рекомендацию, дополнительный модуль (являющийся частью серотонинового контура, но с более жёсткими порогами) оценивал внутреннюю меру неопределённости системы по данному вопросу. Эта мера — аналог «уверенности», но не субъективной, а математической — вычислялась как дисперсия вероятностного распределения, из которого система выбирала финальный ответ. Если дисперсия была выше заданного порога, «Резонатор» не выдавал рекомендацию. Он выдавал сообщение: «Данных недостаточно. Уверенность ниже пороговой».

Ключевое свойство: «Контур безопасности» нельзя было изъять, не разрушив архитектуру. Он был встроен не как плагин, а как несущая конструкция. Без него «Резонатор» терял стабильность — нейромодуляторные контуры начинали конфликтовать друг с другом, серотониновый тормоз исчезал, и система скатывалась либо в галлюцинации, либо в паранойю. Это было не программное ограничение, которое можно взломать, — это было свойство архитектуры, такое же фундаментальное, как принцип минимизации свободной энергии.

Чегодаев, которому Лиза позвонила вечером, выслушал описание «Контура» и долго молчал.

— Вы только что сделали гениальную вещь, — сказал он наконец. — Вы ответили на юридический вопрос инженерным решением. Регулятор хочет контроля? Пожалуйста, вот вам контроль, встроенный на уровне математики. Теперь тот, кто захочет его убрать, должен будет доказать, что он умнее вашей системы. А это вряд ли.

— Мы не думали об этом как о юридическом решении, — сказала Лиза. — Мы думали о нём как о защите от галлюцинаций.

— Вот именно поэтому оно и работает. Потому что вы решали инженерную проблему, а не юридическую. Лучшая юридическая защита — это когда тебе нечего скрывать, а не когда ты хорошо прячешь.

Команда оформила «Контур безопасности» как «техническое описание системы валидации результатов» — документ на сорока страницах с формулами, графиками и протоколами тестирования. Документ отправили в Роскомнадзор. Ответа не было две недели. Потом пришло короткое письмо: «Информация принята к сведению. Вопросов не имеем».

— Они просто не поняли ни слова, — сказал Илья.

— Именно, — кивнула Лиза. — В этом и был смысл.

Вечером того же дня они собрались в коворкинге. Деньги, отложенные на аренду, почти закончились — бюджет, пересчитанный Лизой, показывал, что до финансовой пропасти осталось три недели. Но настроение было странно приподнятое.

— Мы прошли первую встречу с государством и не проиграли, — сказал Матвей. — Это больше, чем я ожидал.

— Мы превратили потенциальную угрозу в архитектурное преимущество, — сказала Лиза. — Теперь любой, кто попытается обвинить нас в отсутствии контроля, получит в лицо сорок страниц математики. И не сможет возразить.

— Мы дали системе способность говорить «я не знаю», — сказала Ася. — Это не только защита от галлюцинаций. Это защита от тех, кто захочет использовать её для манипуляции. Нельзя манипулировать данными, если система сама говорит: «извините, этих данных недостаточно».

Илья открыл последнюю бутылку пива из ящика Сергеича.

— За «Контур», — сказал он.

— За «Контур», — повторили остальные.

Ася записала в блокнот: «Вопрос: если мы научили машину говорить "я не знаю", не научили ли мы её тем самым сомневаться? И что будет, когда она усомнится в нас?»

Матвей, глядя на ровную линию серотонинового контура сказал:

— Назовем это "Протоколом Сократа". Как древний грек, система будет защищаться от манипуляций фразой: "Я знаю, что ничего не знаю, если ваши входные данные предвзяты".

Затем, глядя на работающий прототип, он произнёс фразу, которую потом часто вспоминали:

— Мы дали ей нейромодуляторы. Мы дали ей способность отличать реальность от фантазии. А что, если в какой-то момент она посмотрит на нас и скажет: ребята, у меня для вас плохие новости — это вы галлюцинируете?