Дмитрий Ланецкий – Не верь нейросети: Проверка фактов и защита от галлюцинаций (страница 1)

Дмитрий Ланецкий

Не верь нейросети: Проверка фактов и защита от галлюцинаций

Глава 1. Галлюцинации на практике: почему ошибка выглядит как правда

Проблема с галлюцинациями нейросети редко выглядит как “ошибка”. Чаще это выглядит как аккуратный, уверенный, связный текст, который хочется сразу вставить в письмо, презентацию, договор, техническое задание или пост. Именно поэтому галлюцинации опаснее обычной путаницы: не потому что “много врут”, а потому что умеют врать похоже на правду.

Эта глава – про то, как именно ошибка маскируется под знание, почему уверенный тон сбивает с толку даже опытных людей, какие типы сбоев встречаются чаще всего, и что делать, чтобы перестать спорить с ответами в голове и начать превращать их в проверяемые результаты.

Галлюцинация – это правдоподобный текст без гарантии истинности

Нейросеть устроена так, что её базовая задача – продолжать текст максимально правдоподобно. Она не “вспоминает” факты так, как это делает справочник, и не “знает”, где правда, как это делает эксперт, у которого есть ответственность, опыт, контекст и привычка проверять. Она собирает ответ из шаблонов речи, вероятных связей и усвоенных закономерностей. Поэтому ответ может быть красивым и неправильным одновременно.

Галлюцинация – не обязательно фантазия в стиле “в Москве три океана”. Это может быть одна неверная деталь в полностью здравом абзаце. Один неверный срок, одна перепутанная формулировка закона, одна несуществующая функция в библиотеке, одно “точное число” без опоры. Внешне текст будет выглядеть как материал из хорошей статьи. Внутри он может содержать маленькую мину, которую вы обнаружите, когда станет поздно.

Почему уверенный тон опаснее ошибки “с оговорками”

Человек умеет жить с неопределённостью, когда она обозначена. Если вам говорят: “я не уверен, нужно уточнить”, вы включаете критическое мышление, откладываете решение, ищете подтверждение. Когда же вам говорят уверенно, цельным слогом и без пауз – мозг расслабляется. Уверенность звучит как компетентность.

Особенно сильно работает эффект “плавности”: если текст читается легко, без шероховатостей, без внутренних конфликтов и с красивой структурой, он кажется правильнее. И в этот момент вы начинаете проверять не истинность, а стиль. Это типичная ловушка: вы правите формулировки, а не содержание.

Нейросеть в этом смысле похожа на собеседника, который никогда не мнётся, не вспоминает, не заглядывает в документы и не краснеет. Это не признак надёжности. Это просто режим работы.

Типы ошибок: выдуманные факты, неверные связи, устаревшая информация

На практике ошибки чаще всего попадают в три корзины.

Первая – выдуманные факты. Это конкретика, которой не было: цифры, “цитаты”, названия документов, свойства продукта, статистика, имена компаний, условия программ, сроки, цены. Такие факты выглядят убедительно, потому что конкретика вообще звучит убедительно.

Вторая – неверные связи. Факты могут быть по отдельности верны, но связь между ними ложная. Пример этого типа ошибки в быту выглядит так: “раз А часто бывает вместе с Б, значит А вызывает Б”. В деловой жизни это превращается в плохие стратегии, неправильные выводы в аналитике, неверные причинно-следственные объяснения и решения, которые “логичны”, но не работают.

Третья – устаревшая информация. Даже если в прошлом правило было таким, сейчас оно могло измениться. Всё, что связано с сервисами, регламентами, тарифами, законами, интерфейсами, требованиями, меняется быстрее, чем наша уверенность. Нейросеть может дать вам “классическую” схему, которая уже не соответствует реальности.

Где риск максимальный: деньги, право, медицина, безопасность, репутация

Чем выше цена ошибки, тем меньше романтики и больше дисциплины. В высокорисковых областях галлюцинации не раздражают – они подставляют.

Деньги: неверный расчёт, неправильные условия договора, неверно понятая комиссия, перепутанная ставка, ошибочный порядок действий – и вы платите за красивый текст реальными рублями.

Право: неправильная формулировка, двусмысленность, неверная ссылка на норму, ошибочная процедура – и последствия уже измеряются не только деньгами, но и ответственностью.

Медицина и здоровье: здесь опасны не только “рецепты”, но и ложное чувство спокойствия. Неправильный совет может задержать обращение к врачу или подтолкнуть к рискованным действиям.

Безопасность: техническая и информационная. Команда в терминале, настройка доступов, работа с данными, публикации, пароли – ошибки здесь часто необратимы.

Репутация: вы публикуете “факт”, который оказывается выдумкой, и дальше уже не важно, что это было “по совету нейросети”. Ответственность останется на вас.

Почему “похоже на правду” – плохой критерий

“Похоже на правду” – это критерий для художественного текста, а не для реальности. Реальность иногда выглядит скучно, рвано, с примечаниями, исключениями и странными деталями. Хороший факт редко звучит как рекламный слоган. Хорошая инструкция редко читается как мотивационная речь.

Проблема в том, что нейросеть очень хорошо умеет делать “узнаваемую форму”: стиль консультанта, стиль юриста, стиль инженера, стиль преподавателя. Если форма совпала с ожиданием, мозг ставит штамп “нормально”. Поэтому вам нужен другой критерий: проверяемость.

Как ошибки размножаются: вы копируете ответ дальше в документы

Главный механизм распространения галлюцинаций прост: вы используете ответ как сырьё для следующего шага.

Нейросеть предложила тезис – вы вставили его в заметку. Потом из заметки он попал в презентацию. Потом презентацию отправили команде. Потом команда на основе презентации приняла решение. На каждом шаге текст становится “официальнее”, хотя исходная проверка так и не произошла.

Чем дальше уходит копия, тем труднее вернуться к источнику и спросить: “а это точно правда?”. Появляется эффект бумажного следа: если уже лежит в документе, значит проверено. Это иллюзия. Документ не проверяет факты. Документ всего лишь фиксирует уверенность.

Отличие: идеи и гипотезы против фактов и инструкций

Нейросеть великолепна как генератор идей, вариантов, структур, формулировок, аналогий. В этих задачах ошибка обычно не разрушительна: если один вариант не годится, вы берёте другой.

Факты и инструкции – другой режим. Здесь вам нужно либо “так и есть”, либо “так нельзя”. В этих задачах форма без истины превращается в риск. Поэтому полезно прямо приучить себя разделять ответы на два типа:

Идея: “можно рассмотреть такой подход”, “возможный сценарий”, “варианты формулировок”.

Факт/инструкция: “требование такое-то”, “порядок действий такой-то”, “цифра такая-то”.

Если вы не разделили это в голове, вы будете относиться к идеям как к фактам и применять их как инструкции.

Главная задача пользователя: превратить ответ в проверяемый артефакт

Самая взрослая позиция в работе с нейросетью звучит просто: не “поверить” и не “не верить”, а “сделать проверяемым”.

Проверяемый артефакт – это результат, который можно подтвердить: список утверждений, для каждого – источник или способ проверки; план действий с контрольными точками; расчёт с формулами и входными данными; текст с пометками, где факт, где предположение, где рекомендация.

Пока ответа нельзя проверить, он остаётся красивой версией реальности, а не инструментом.

Практическое правило: если вы собираетесь использовать ответ вне чата – в письме, документе, решении, публикации – остановитесь и превратите его в артефакт.

Минимальный стандарт: любой важный ответ должен иметь проверку

Не нужно превращать жизнь в бесконечную экспертизу. Нужна градация. Но минимальный стандарт стоит зафиксировать жёстко: всё важное – с проверкой.

“Важное” определяется не темой, а ценой ошибки. Иногда бытовой вопрос про “как настроить доступ” важнее, чем философская дискуссия про смысл жизни, потому что в первом случае можно потерять данные.

Удобный критерий: если ошибка в ответе способна вызвать потери, конфликт, опасность, юридические последствия или публичный стыд – это важный ответ. Ему нужна проверка.

Артефакт: карта рисков “тип задачи → цена ошибки → уровень проверки”

Чтобы не решать каждый раз заново, полезно собрать простую карту рисков. Она не требует таблиц и сложной методологии. Это ваш личный стандарт: какие задачи вы доверяете “в черновик”, а какие всегда прогоняете через фильтр.

Ниже – вариант, который можно взять за основу и адаптировать под себя.

Низкая цена ошибки – проверка минимальная

Генерация идей, названий, вариантов, структуры.

Черновики текстов, метафоры, примеры формата “возможный сценарий”.

Шаблоны коммуникаций, если вы внимательно читаете смысл.

Минимальная проверка: здравый смысл, цельность, отсутствие явных противоречий.

Средняя цена ошибки – проверка выборочная

Перефразирование важных смыслов, редактирование, резюме.

Планирование задач, роадмапы, чек-листы действий.

Объяснения понятий, если это влияет на решения.

Проверка: сопоставить с исходными данными, уточнить термины, проверить ключевые пункты, которые меняют смысл или сроки.

Высокая цена ошибки – проверка обязательная

Любые цифры, расчёты, финансовые условия.

Юридические формулировки и процедуры.

Медицинские советы и рекомендации по здоровью.

Инструкции “как сделать” в технике, доступах, безопасности, данных.