Роман Косов – Методические указания: интеграция искусственного интеллекта в деятельность государственного служащего (страница 5)
Проблема усугубляется тем, что отечественная нормативная база пока практически не оперирует понятием «алгоритмическая дискриминация». У нас есть статья 19 Конституции о равенстве прав, есть статья 136 Уголовного кодекса о дискриминации, но ни один нормативный акт не описывает, как доказывать дискриминацию, если она осуществляется не человеком, а математической моделью. Кто будет ответчиком? Разработчик модели? Чиновник, утвердивший ее внедрение? Ведомство в целом? Это серая зона, и находиться в ней государственному органу крайне некомфортно: любой резонансный случай может привести к прецедентному судебному решению с самыми непредсказуемыми последствиями.
Как же работать с этой проблемой на практике, не дожидаясь, пока грянет гром? Первое и обязательное требование — аудит обучающих данных и выходных результатов на предмет предвзятости. Это не разовая акция при внедрении, а постоянный процесс. Необходимо регулярно, желательно автоматизированно, проверять, не различаются ли результаты работы алгоритма для разных социальных, демографических или территориальных групп без объективных на то оснований. Если мы видим, что по необъяснимым причинам жителям района А система отказывает в два раза чаще, чем жителям сопоставимого по уровню доходов района Б, — это красный флаг, требующий немедленного вмешательства человека.
Второе требование — объяснимость моделей. Чем более критичное решение принимается с участием ИИ, тем более прозрачным должен быть алгоритм. Для систем, влияющих на социальные права граждан, использование «черных ящиков» (глубоких нейросетей, логику которых не могут объяснить даже создатели) должно быть под запретом. Либо мы можем объяснить, почему именно гражданину Иванову отказано, ссылаясь на конкретные, проверяемые параметры, либо мы не имеем права использовать такую систему в принципе. Исключений быть не должно.
Третье требование — обязательное участие человека в финальном решении по делам, где есть риск дискриминации. Мы уже говорили об этом в контексте принципа Human-in-the-Loop, но здесь акцент именно на антидискриминационном аспекте. Человек, принимающий окончательное решение, должен быть обучен распознавать возможные проявления алгоритмической предвзятости и иметь реальную, а не формальную возможность отклонить предложение машины, если оно ведет к несправедливости.
Наконец, четвертое — это вопрос к разработчикам и заказчикам систем ИИ для госсектора. Тендерная документация и технические задания должны содержать явные требования к проверке моделей на предвзятость, к документированию состава обучающих данных, к наличию механизмов аудита и оспаривания решений. Если мы заказываем систему «под ключ» без таких требований, мы заведомо закладываем мину под фундамент цифрового государства.
2.4. Ответственность за «галлюцинации»: кто отвечает за ошибку — машина, разработчик или чиновник, подписавший документ?
В середине 2020-х годов в юридическом сообществе началась дискуссия, которая рано или поздно дойдет до каждого ведомства, использующего генеративный ИИ. Представьте ситуацию: сотрудник администрации готовит ответ на запрос депутата. Он использует ведомственную нейросеть, которая генерирует убедительный текст со ссылками на некий нормативный акт. Сотрудник, не проверив (или проверив недостаточно тщательно), подписывает ответ. Позже выясняется, что указанный нормативный акт не существует — нейросеть «придумала» его, скомбинировав реквизиты реальных документов. Ответ ушел, депутат вносит его в протокол заседания, ситуация становится публичной. Кто виноват?
Самый простой и одновременно самый неправильный ответ — виновата нейросеть. Нейросеть не является субъектом права, у нее нет деликтоспособности. Предъявить претензию программе невозможно так же, как невозможно подать в суд на калькулятор за неправильный расчет зарплаты. Виноват всегда человек — вопрос лишь в том, какой именно человек и в какой пропорции распределяется ответственность между ним, его руководителем, разработчиком системы и ведомством в целом.
Наиболее очевидный кандидат на роль ответчика — чиновник, подписавший документ. С точки зрения действующего законодательства о государственной службе, он несет персональную ответственность за соответствие подготовленного им документа требованиям закона. Тот факт, что проект документа готовила машина, а не помощник-стажер, не меняет ровным счетом ничего. Чиновник обязан был проверить документ перед подписанием, и если он этого не сделал или сделал некачественно — это его вина. Ссылки на «ошибку ИИ» суд или прокуратура не примут точно так же, как не принимают ссылки на «ошибку практиканта». Документ подписан — ответственность твоя.
Однако эта логика, безупречная с формально-юридической точки зрения, начинает давать сбои, когда мы смотрим на проблему шире. Если ведомство внедрило систему ИИ, не обучило сотрудников правилам работы с ней, не установило процедуры верификации, не провело тестирование на предмет «галлюцинаций» — можно ли утверждать, что виноват только конечный исполнитель? Очевидно, нет. Руководитель, принявший решение о внедрении системы без создания адекватной инфраструктуры контроля, несет свою долю ответственности — как минимум дисциплинарную, а в случае тяжких последствий (например, если ошибка привела к смерти человека из-за неправильно назначенного лечения или невыплаченного пособия) — и уголовную за халатность.
Отдельный вопрос — ответственность разработчика. Если система была поставлена по госконтракту, и в ней изначально отсутствовали механизмы верификации фактов (например, нейросеть не была подключена к актуальной базе нормативных актов, а генерировала ответы на основе «общих знаний», полученных при обучении на открытых источниках), можно ли предъявить претензии поставщику? Теоретически да, в рамках гарантийных обязательств или иска о ненадлежащем качестве продукции. Но на практике доказать, что «галлюцинация» стала следствием именно дефекта системы, а не ошибки пользователя, крайне сложно. Потребуется сложная техническая экспертиза, а исход ее непредсказуем. Поэтому самый надежный путь для ведомства — не доводить до судов с разработчиками, а изначально закладывать в техническое задание требования к точности, проверяемости и наличию встроенных «антигаллюцинационных» механизмов.
Что такое эти механизмы на практике? Во-первых, RAG (Retrieval-Augmented Generation) — технология, при которой нейросеть генерирует ответ не на основе своей «памяти», а на основе конкретных документов, загруженных в защищенную базу знаний. Если ответ готовится со ссылками на реальные, актуальные версии нормативных актов, а не на «воспоминания» модели о том, что она видела при обучении, риск галлюцинаций снижается на порядок. Во-вторых, обязательная перекрестная проверка фактов: если нейросеть ссылается на конкретный пункт конкретного приказа, система должна автоматически сверить этот пункт с эталонной базой и при расхождении выдать предупреждение. В-третьих, логирование: каждое взаимодействие чиновника с ИИ должно записываться и сохраняться, чтобы в случае инцидента можно было восстановить полную цепочку событий и понять, на каком этапе произошел сбой.
Наконец, самый тонкий вопрос: что делать, если галлюцинация нейросети привела к нарушению прав гражданина, но формально чиновник действовал строго по регламенту, проверил все, что мог, а ошибка была принципиально невыявляема на его уровне? Например, нейросеть использовала сложную математическую модель прогнозирования паводка, которая дала сбой из-за редкого сочетания факторов, и рекомендация об эвакуации не была выдана вовремя. Здесь мы входим в зону, где традиционные подходы к ответственности перестают работать. Это вызов для законодателя, и ответ на него еще предстоит найти. Пока же можно сказать одно: внедрение ИИ не снимает и не размывает ответственность, а наоборот — требует ее более четкого распределения на всех этапах: от постановки задачи разработчику до финального контроля результата человеком. Чем сложнее система, тем строже должен быть порядок.
Завершая эту главу, хочется подчеркнуть главное: юридический каркас цифрового государства строится не на пустом месте. Базовые принципы законности, ответственности и уважения к правам граждан никуда не делись. Они просто требуют новой, более детальной и технологически грамотной расшифровки. Чиновник, который это понимает, уже на шаг впереди коллег, все еще надеющихся, что «как-нибудь обойдется». Не обойдется. Право догоняет технологии быстрее, чем кажется, и лучше быть готовым к этому заранее.
Глава 3. Инфраструктура доверия: ГосТех и защищенные контуры
3.1. Облачная архитектура государственных данных: единая платформа vs разрозненные реестры
Российское государство на протяжении последних двух десятилетий напоминало человека, который строит дом, не согласовывая планы этажей. Каждое ведомство, каждый регион, а порой и каждое управление внутри региона заказывало собственную информационную систему. В результате мы получили то, что на техническом жаргоне называется «зоопарк реестров»: тысячи ГИС, разговаривающих на разных языках, хранящих одни и те же данные в разных форматах и категорически не желающих обмениваться информацией без сложных, мучительных и дорогостоящих процедур интеграции.