Алекс Промтов – Полная энциклопедия нейросетей. Том 3. Безопасность, этика и контроль качества (страница 2)

Уровень третий: самопроверка той же модели. После генерации ответа модель оценивает его по шкале уверенности и выявляет потенциально ложные утверждения. Этот метод не идеален, но отсеивает грубые ошибки.

Уровень четвёртый: перекрёстная проверка другой моделью (или той же, но с другим промтом). Критик может быть лёгкой моделью, специализирующейся на фактологических проверках. Он ищет противоречия и несоответствия.

Уровень пятый: ручная проверка для критических случаев. Если автоматические проверки не дали однозначного «ОК», или если ответ имеет высокую цену ошибки, ответ должен уходить на верификацию человеку. Это дорого, но дёшево по сравнению с иском.

В хорошо построенной системе первые четыре уровня отсеивают 95% галлюцинаций. Оставшиеся 5% (самые сложные и опасные) обрабатываются человеком.

Что делать, если галлюцинация всё же произошла в продакшне

Вы обнаружили, что нейросеть выдала неверный ответ, и он уже ушёл клиенту или в базу. Не паникуйте. Действуйте по протоколу.

Шаг 1. Зафиксируйте инцидент. Точное время, текст запроса, текст ответа, какая модель использовалась, какие были настройки. Без логов вы не сможете проанализировать причину.

Шаг 2. Оцените последствия. Нанесён ли реальный ущерб? Если да — подключайте юристов и связывайтесь с пострадавшей стороной. Если нет — всё равно разбирайтесь, чтобы не повторилось.

Шаг 3. Выясните причину. Была ли галлюцинация из-за неправильного промта, из-за низкого качества RAG-поиска, из-за высокой температуры, из-за конфликта инструкций? Проанализируйте логи.

Шаг 4. Внесите корректировку. Измените промт, добавьте примеры, скорректируйте чанкинг документов, понизьте температуру, добавьте проверку-критика.

Шаг 5. Проверьте, что исправление работает. Прогоните несколько похожих запросов, убедитесь, что ошибка не повторяется.

Шаг 6. Оповестите заинтересованные стороны. Если инцидент был публичным или затронул клиентов — выпустите пояснение, извинитесь, предложите компенсацию, если требуется.

Шаг 7. Обновите документацию и обучение сотрудников, чтобы в будущем избегать подобных сценариев.

Главное правило: не замалчивайте галлюцинации. Это не баг, который можно скрыть. Это системная характеристика нейросетей. Чем быстрее вы признаете проблему и исправите её, тем меньше ущерба.

Когда галлюцинации допустимы, а когда — нет

В творческих задачах (генерация идей, написание черновиков, создание изображений) галлюцинация — не баг, а фича. Именно отклонение от наиболее вероятного даёт креативность. Высокая температура и свобода выдумки здесь приветствуются.

В фактологических задачах (ответы на вопросы по документам, юридические консультации, медицинские рекомендации, финансовые расчёты) галлюцинация недопустима. Здесь требуется точность, а не креативность. Используйте RAG, низкую температуру, жёсткие промты и многоступенчатую проверку.

В смешанных задачах (например, написание текста для блога, где есть и факты, и стиль) галлюцинации допустимы в стилистике, но не в фактах. Это сложный баланс. Решение: генерировать факты отдельно (через RAG с проверкой), а потом отдавать их креативной модели для «упаковки» в текст.

В следующей главе мы поговорим о конфиденциальности — о том, как не слить свои данные через промт и как строить безопасную инфраструктуру для работы с нейросетями.

Глава 2. Конфиденциальность: как не устроить утечку данных через промт

Галлюцинации — это про то, как нейросеть выдаёт неверное. Конфиденциальность — про то, как она получает то, что не должна. И эта тема для бизнеса часто оказывается даже более болезненной. Ошибку в факте можно исправить, извиниться, выплатить компенсацию. Утечку персональных данных, коммерческой тайны или адвокатской привилегии — почти никогда.

Проблема в том, что большинство пользователей нейросетей даже не задумываются, куда уходят их данные. Они копируют текст договора, вставляют в чат с публичной моделью и просят «найти риски». Они загружают в нейросеть финансовые отчёты, медицинские карты (обезличенные — как им кажется), исходный код закрытых проектов. И не знают, что эти данные могут быть использованы для дообучения модели, могут попасть в ответ другому пользователю или просто храниться на серверах в юрисдикции, где нет адекватной защиты.

Эта глава — о том, как строить работу с нейросетями, не превращая свою компанию в источник бесплатных данных для Big Tech.

Что происходит с данными, когда вы отправляете их в публичную нейросеть

Начнём с главного правила: если вы не платите за модель отдельно и не разворачиваете её у себя, ваши данные используются для обучения. Это не всегда так, но в подавляющем большинстве бесплатных и дешёвых публичных сервисов условие «мы можем использовать ваши данные для улучшения моделей» прописано мелким шрифтом в пользовательском соглашении.

Конкретные механики различаются. В одних сервисах ваши промты и ответы могут попадать в следующий раунд обучения модели — и тогда то, что вы написали, теоретически может всплыть в ответе другому пользователю. Такие случаи уже были: люди получали в чат-ботах фрагменты чужих диалогов, номера телефонов, даже пароли. В других сервисах данные хранятся в течение некоторого времени для анализа инцидентов и улучшения безопасности, но не используются для обучения. В третьих — данные удаляются сразу после генерации ответа, но это скорее исключение, особенно на бесплатных тарифах.

Ключевой момент: даже если компания обещает не использовать ваши данные для обучения, она всё равно может хранить их на своих серверах. А эти серверы могут быть взломаны. Или к ним может получить доступ персонал. Или они могут быть переданы по запросу властей — особенно если серверы находятся в США, Китае или других странах с обширными полномочиями спецслужб.

Отсюда первое практическое правило: никогда не отправляйте в публичную нейросеть данные, которые составляют коммерческую тайну, персональные данные (в смысле GDPR или 152-ФЗ), врачебную тайну, адвокатскую тайну, банковскую тайну или любые другие сведения с ограниченным доступом. Даже если вы обезличили их «на глаз» — этого недостаточно.

Что такое персональные данные и почему нейросеть — плохое место для них

Под персональными данными (в российском законодательстве — 152-ФЗ, в европейском — GDPR) понимается любая информация, относящаяся к прямо или косвенно определённому или определяемому физическому лицу. Имя, телефон, адрес, email, паспортные данные, ИНН, СНИЛС, геолокация, IP-адрес, cookie-идентификаторы, данные о здоровье, биометрия — всё это персональные данные.

Когда вы отправляете в нейросеть текст, содержащий такие данные, вы должны иметь для этого законное основание. В большинстве случаев для использования публичной нейросети такого основания нет. Согласие субъекта? Вряд ли. Исполнение договора? Если вы не договаривались с клиентом, что его данные пойдут в ChatGPT, — нет. Законный интерес? Очень спорно.

Штрафы за утечку персональных данных в России с 2023 года исчисляются миллионами рублей. В Европе — миллионами евро (до 4% глобального оборота). И утечкой считается не только взлом, но и неправомерная передача данных третьим лицам. А передача данных провайдеру нейросети за пределами вашей юрисдикции — это передача третьим лицам.

Поэтому запомните: нейросети — не место для персональных данных. Если вам нужно обработать текст, в котором есть ФИО, телефоны, адреса, — сначала удалите их (или псевдонимизируйте). Если нельзя удалить — используйте локальную модель или модель в защищённом облаке с подписанным DPA (соглашением об обработке данных).

Что такое коммерческая тайна и почему её нельзя светить

Коммерческая тайна — это информация, которая имеет действительную или потенциальную коммерческую ценность из-за неизвестности третьим лицам, и к которой у вас нет свободного доступа на законном основании. Алгоритмы, исходные коды, клиентские базы, финансовые модели, стратегии, переговорные позиции, чертежи, рецептуры — всё это может быть коммерческой тайной.

Если вы отправляете эту информацию в публичную нейросеть, вы её раскрываете. Технически вы передаёте её компании-провайдеру, который может использовать её для обучения (а значит, она попадёт в модель и теоретически может быть выдана другому пользователю). Вы теряете статус коммерческой тайны, потому что перестали принимать разумные меры по её сохранению. А если у вас есть соглашение о неразглашении с партнёрами, вы можете его нарушить.

Реальный случай: сотрудник технологической компании скопировал фрагмент проприетарного кода в чат с нейросетью, чтобы спросить, как оптимизировать функцию. Через несколько месяцев аналогичный код всплыл в ответах модели другим пользователям. Компания не смогла доказать, что код был украден именно так, но подозревала этот инцидент.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.