Алекс Промтов – Полная энциклопедия нейросетей. Том 3. Безопасность, этика и контроль качества (страница 1)
Алекс Промтов
Полная энциклопедия нейросетей. Том 3. Безопасность, этика и контроль качества
Полная энциклопедия нейросетей
Том 3. Безопасность, этика и контроль качества
Введение
Первый том научил вас понимать нейросеть. Второй — строить системы, которые работают без вашего постоянного присутствия. Теперь настало время задать самый трудный вопрос: а можно ли им доверять?
Вы уже знаете, что нейросети галлюцинируют. Вы знаете, что они не отличают правду от вымысла. Вы знаете, что их обучали на данных, которые могут содержать предрассудки, ошибки и даже откровенную ложь. Но когда вы используете нейросеть для бизнеса, для юридических консультаций, для медицинских советов или для работы с персональными данными, цена ошибки становится неприемлемо высокой.
Третий том — о том, как защитить себя, своих клиентов и свою репутацию. О галлюцинациях: почему они возникают и как их выявлять до того, как они причинят вред. О конфиденциальности: какие данные можно отправлять в нейросеть, а какие — нет; как не устроить утечку через промт. О юридических аспектах: кто отвечает за ошибки нейросети, кому принадлежит сгенерированный контент, можно ли использовать чужие изображения для обучения. Об этике: как избежать дискриминации, как не обманывать пользователей, как не создавать вредоносный контент. О контроле качества в профессиональной среде: когда автоматизация опаснее ручного труда, как строить систему проверок и куда эскалировать сомнительные случаи.
Эта книга — не для любителей. Она для тех, кто работает с нейросетями профессионально: владельцев бизнеса, юристов, специалистов по комплаенс, IT-директоров, проджект-менеджеров, ответственных за внедрение ИИ. И, конечно, для всех, кто не хочет однажды проснуться с новостью «Ваша нейросеть нарушила закон» или «Компания N заплатила миллион за ошибку чат-бота».
Мы разберём реальные кейсы (без имён, но с сутью), типовые уязвимости и практические механизмы защиты. Я не буду давать готовые промты — их не будет во всей энциклопедии. Я дам понимание, как строить безопасные и этичные системы на базе нейросетей. Потому что в мире, где ИИ становится таким же естественным, как электричество, безопасность — это не фича, а базовая опция.
Итак, пристегните ремни. Разговор будет жёстким.
Глава 1. Галлюцинации: природа, виды, цена
Галлюцинация — это уверенный, правдоподобный, но фактически неверный ответ нейросети. Мы уже касались этой темы в первом томе. Но там мы говорили о галлюцинациях как о забавной особенности, с которой можно бороться переспросом. Здесь мы поговорим о галлюцинациях как о системном риске, который может разрушить бизнес, привести к судебным искам и подорвать доверие к вашей компании.
Нейросеть не знает, что она галлюцинирует. Для неё все сгенерированные токены равноправны. У неё нет механизма «честности», который бы останавливал её перед выдумкой. Более того, чем увереннее звучит ответ, тем выше вероятность, что пользователь ему поверит. Это делает галлюцинации идеальным оружием самообмана.
Какими бывают галлюцинации
Не все галлюцинации одинаково опасны. Я классифицирую их по трём измерениям: тип ошибки, источник и критичность.
По типу ошибки.
Фактические галлюцинации — модель называет неверную дату, имя, число, факт. «Пушкин родился в 1800 году». Самый частый и, казалось бы, легко проверяемый тип. Но в больших объёмах автоматической обработки такие ошибки накапливаются.
Логические галлюцинации — модель строит рассуждение, которое нарушает причинно-следственные связи или законы логики. «Если идёт дождь, то трава мокрая. Трава мокрая, значит, идёт дождь». Для человека очевидная ошибка, для нейросети — возможная последовательность токенов.
Ссылочные галлюцинации — модель ссылается на несуществующий документ, автора, статью, закон. «Как сказано в исследовании MIT 2025 года...» — исследования не существует. Это особенно опасно в юридической и научной сферах, где ссылки обязательны.
Смысловые галлюцинации — модель правильно называет факты, но в ответе на другой вопрос. Например, вы спросили «как улучшить конверсию?», а она рассказала про методы SEO, хотя конверсия и SEO — разные вещи. Формально факты верны, но они не релевантны.
По источнику.
Галлюцинации из-за недостатка данных — модель не встречала в обучении правильный ответ или встречала его редко. Тогда она «дорисовывает» наиболее вероятное, но неверное продолжение. Это лечится RAG или fine-tuning с правильными примерами.
Галлюцинации из-за неоднозначности промта — вы спросили неконкретно, и модель выбрала не тот смысл. Пример: «Что делать, если у клиента проблемы с доставкой?» Модель может выдать общие фразы, а может начать придумывать конкретные сроки, которых нет в реальности.
Галлюцинации из-за конфликта инструкций — вы дали противоречивые указания («будь креативен, но не выдумывай»). Модель выбирает что-то среднее, и результат может быть как полезным, так и бредовым.
Галлюцинации из-за высокой температуры — чем выше температура, тем больше вероятность выбора маловероятного, «свободного» токена. Для фактологических задач высокая температура — прямой путь к галлюцинациям.
По критичности.
Низкая критичность: ошибка в неважном факте, опечатка, несущественное искажение. Последствия — потраченное время на перепроверку.
Средняя критичность: ошибка может привести к неправильному решению, но не к финансовым или репутационным потерям, которые нельзя исправить. Например, неверный совет по выбору инструмента для рассылки.
Высокая критичность: ошибка ведёт к прямым убыткам, нарушению закона, вреду здоровью, раскрытию тайны. Неверный медицинский совет, ложное юридическое заключение, генерация персональных данных постороннего человека.
Реальная цена галлюцинаций: примеры из практики
Я не буду называть компании, но такие случаи есть.
Кейс 1. Чат-бот поддержки интернет-магазина пообещал клиенту, что доставка будет завтра. На самом деле стандартный срок — три дня. Клиент спланировал день, не дождался, потребовал компенсацию. Магазин выплатил бонус и потратил часы на разбирательства. Причина: в обучающих данных были примеры быстрой доставки для других товаров, модель обобщила не туда. Цена: 5000 рублей и репутационные потери.
Кейс 2. Юридическая нейросеть (внедрённая в сервис для клиентов) сгенерировала ссылку на несуществующую статью закона. Юрист-пользователь не стал проверять, сослался на неё в суде. Оппонент обнаружил подделку, суд оштрафовал юриста за введение в заблуждение. Цена: штраф 50 000 рублей и испорченная репутация.
Кейс 3. Медицинский ИИ-ассистент (не диагностический, а совещательный) рекомендовал пациенту увеличить дозу лекарства, которое при передозировке опасно. Пациент последовал совету, попал в больницу. К счастью, обошлось без тяжёлых последствий. Причина: модель увидела в обучении фразу «при недостаточном эффекте дозу увеличивают» и не учла противопоказания. Цена: иск на миллион, отзыв продукта, потеря лицензии.
Эти кейсы показывают: галлюцинации — не теоретическая проблема. В профессиональной среде они бьют по кошельку и по свободе.
Почему RAG снижает галлюцинации, но не убивает их полностью
Второй том подробно рассказывает о RAG — технологии, которая заставляет нейросеть отвечать, опираясь на предоставленные документы, а не на свою память. RAG радикально снижает галлюцинации, особенно фактические. Если в документе нет информации, модель должна сказать «не знаю». На практике RAG-системы ошибаются в разы реже, чем чистые языковые модели.
Но RAG не панацея. Галлюцинации остаются по нескольким причинам.
Первая: нерелевантный поиск. Векторная база данных может вернуть фрагмент, который не отвечает на вопрос, но модель всё равно пытается из него что-то выжать. Результат — правдоподобный, но неверный ответ, построенный на не том документе.
Вторая: игнорирование ограничения «не выдумывай». Модель может получить инструкцию «отвечай только по документам», но при этом добавить «для полноты картины» информацию из своего обучения. Это случается, если инструкция сформулирована недостаточно жёстко или если модель «привыкла» к творчеству.
Третья: противоречия в документах. Если в базе знаний есть два противоречащих друг другу утверждения, модель может выбрать одно (возможно, неверное) или скомбинировать их в абсурд.
Четвёртая: вопросы, на которые нет ответа, но модель не хочет признаваться. Некоторые модели запрограммированы «быть полезными» и скорее придумают ответ, чем скажут «не знаю». Это лечится только жёсткими промтами и многоступенчатой проверкой.
Системная защита от галлюцинаций: пять уровней
Если вы внедряете нейросеть в профессиональную среду, защита от галлюцинаций должна быть многоуровневой. Опирайтесь на пять линий обороны.
Уровень первый: архитектура запроса. Жёсткий промт с запретом выдумывать, требованием ссылаться на источник (в RAG) и командой «если не уверен — скажи "неизвестно"». Низкая температура (0–0,3) для фактологических задач. Конкретные ограничения формата.
Уровень второй: пост-обработка и формальные проверки. Скрипт проверяет, есть ли в ответе ссылки на источники (если они обязательны). Проверяет наличие обязательных полей. Для числовых ответов — проверяет, что возвращено число, а не текст. Простейшие детекторы несоответствий (например, если модель пишет «всегда» или «никогда» — это красный флаг).