Евгений Волков – Когда машина отвечает (страница 5)
Мы привыкли, что эти качества идут вместе, потому что у людей они часто коррелируют. Профессионал обычно говорит на языке своей области лучше новичка. Врач знает медицинские термины и в среднем действительно знает медицину лучше пациента. Юрист умеет оформлять ссылку на решение и обычно знает, где это решение проверить. Учёный владеет жанром статьи и несёт профессиональные последствия за выдуманную ссылку.
Языковая модель разрывает эту привычную связь.
Она может владеть формой профессиональной речи без профессиональной биографии, лицензии, страха дисциплинарного взыскания и привычки открыть базу данных перед тем, как поставить ссылку в документ.
Мы видим форму компетентности и достраиваем остальное сами.
Почему нельзя назвать один «процент галлюцинаций»
Когда общество узнаёт о проблеме, почти сразу возникает естественный вопрос: насколько часто модель ошибается?
Хочется получить одно число.
Например: «галлюцинации происходят в 7 процентах ответов». После этого технологию можно было бы сравнивать с лекарством, тестом или производственным браком.
Но такого универсального числа не существует.
Частота ошибок зависит от модели, версии, языка, темы, формулировки запроса, длины ответа, наличия доступа к внешним источникам, критериев оценки и даже от того, что исследователь решил считать галлюцинацией.
Хороший пример даёт право — область, где фактические утверждения сравнительно легко проверять по официальным базам.
Исследователи Stanford RegLab взяли случайную выборку федеральных судебных дел США и задавали нескольким популярным языковым моделям конкретные проверяемые вопросы: существует ли дело, кто написал решение, каков его результат, какое место оно занимает среди других прецедентов. В опубликованном в 2024 году исследовании доля юридических галлюцинаций составляла от 58 процентов для GPT-4 до 88 процентов для Llama 2 на соответствующей постановке задач; у ChatGPT 3.5 показатель находился между ними. Разброс между системами был большим, но ни одна из исследованных универсальных моделей не превратилась в надёжную замену юридической базе.
Эти цифры не означают: «языковые модели ошибаются в семи случаях из десяти вообще».
Они означают: на конкретном юридическом тесте, с конкретными моделями того периода, конкретными вопросами о случайно выбранных американских федеральных делах ошибка была чрезвычайно частой.
И это важное различие.
Попросите модель переписать ваш собственный абзац более ясно — и вопрос фактической галлюцинации может вообще почти не возникать: нужная информация уже дана во входе. Попросите придумать двадцать названий кафе — фактическая точность не нужна по определению. Попросите назвать дозировку лекарства, условия визы, содержание судебного решения или сведения о редком историческом событии — цена выдуманной детали становится другой.
Поэтому полезнее спрашивать не «насколько часто ИИ галлюцинирует?», а «насколько проверяем и рискован именно этот тип ответа?»
Это изменение вопроса кажется маленьким, но оно превращает абстрактный страх в рабочее решение.
Модель не обязана «знать, что не знает» так, как человек
У человеческого незнания есть социальная форма.
Мы умеем сказать: «Не уверен». «Нужно проверить». «Я не специалист». «Не помню точную дату». В профессиональной среде эти фразы не всегда считаются слабостью. Иногда, наоборот, они являются признаком компетентности.
Хороший врач понимает границу своей специальности. Хороший исследователь различает результат и гипотезу. Хороший журналист не печатает факт, который не удалось подтвердить. Хороший инженер знает, когда расчёт требует второй проверки.
Для языковой модели подобное поведение нужно специально формировать и оценивать.
В 2026 году в Nature была опубликована работа Адама Калая, Офира Нахума, Сантоша Вемпалы и Эдвина Чжана, посвящённая тому, почему галлюцинации сохраняются даже у сильных современных моделей. Авторы обращают внимание на две разные стадии проблемы.
Первая связана с самим обучением на предсказании следующего элемента последовательности. Повторяющиеся закономерности — например грамматика — встречаются в данных снова и снова и поэтому хорошо усваиваются. Но единичные факты, которые появляются редко, принципиально труднее восстановить без ошибки.
Вторая причина особенно интересна, потому что относится уже не к архитектуре, а к тому, как мы измеряем успех.
Представьте экзамен, где за правильный ответ дают один балл, за неправильный — ноль, а за «не знаю» — тоже ноль. Если вы совершенно не знаете ответа, рациональная стратегия — угадывать. Иногда попадёте.
Многие оценки моделей устроены похожим образом: главный показатель — доля правильных ответов. Отказ может выглядеть так же плохо, как ошибка. В результате система, которая чаще осторожно воздерживается, способна уступить в рейтинге системе, которая чаще рискует и угадывает.
Авторы Nature протестировали простую схему уменьшения галлюцинаций на 4326 вопросах SimpleQA для каждой из четырёх frontier-моделей: система генерировала два независимых ответа, проверяла их согласованность и при расхождении отказывалась отвечать. Ошибок становилось меньше — но снижалась и обычная метрика accuracy, потому что часть потенциально правильных ответов превращалась в отказы.
Это не означает, что все современные модели специально «научены врать ради рейтинга». Такой вывод был бы слишком сильным.
Но исследование показывает более неприятную вещь: даже хорошая инженерная цель может создавать неправильный стимул. Если мы награждаем только правильный ответ и недостаточно награждаем разумный отказ, модель учится вести себя как студент, которому выгоднее написать что угодно, чем оставить строку пустой.
И здесь проблема ИИ неожиданно становится проблемой человеческих институтов.
Мы получаем поведение, которое измеряем.
Уверенность — это тоже интерфейс
Но даже если модель ошибается, почему человек ей верит?
Часть ответа лежит не в машине, а в нас.
В январе 2025 года журнал Nature Machine Intelligence опубликовал серию поведенческих экспериментов о том, насколько хорошо люди способны понять уверенность языковой модели по её объяснению. Исследователи сравнивали внутренние показатели уверенности моделей с тем, насколько уверенными в правильности ответа становились пользователи, читавшие сгенерированные объяснения.
Результат был тревожно интуитивным.
Люди переоценивали надёжность ответов, когда видели стандартные объяснения модели. Более того, длинные объяснения повышали человеческую уверенность, хотя дополнительная длина не помогала лучше отличать правильные ответы от неправильных.
Иными словами, подробность сама становилась сигналом авторитета.
Это знакомый психологический механизм. Развёрнутый ответ кажется более обоснованным. Точный термин создаёт впечатление экспертизы. Упоминание причины выглядит сильнее голого утверждения. Номер статьи закона, фамилия автора и дата публикации создают ощущение проверяемости ещё до того, как мы что-либо проверили.
Люди использовали эти признаки задолго до появления генеративного ИИ. Большую часть времени они полезны. Мир слишком сложен, чтобы каждый из нас перепроверял каждое утверждение лично. Поэтому мы доверяем институциональным и языковым маркерам компетентности: диплому на стене, стилю научной статьи, юридической ссылке, профессиональной лексике, спокойному объяснению специалиста.
Генеративная модель умеет воспроизводить многие такие маркеры почти бесплатно.
Это и есть новая ситуация.
Раньше убедительная форма часто была дорогой. Чтобы написать страницу, похожую на юридический меморандум, обычно требовалось хотя бы немного знать право. Чтобы создать библиографию из пятидесяти источников, нужно было потратить время на поиск. Чтобы на хорошем профессиональном языке объяснить сложную тему, чаще всего требовалась подготовка.
Теперь стоимость формы резко упала.
Стоимость истины — нет.
Факт по-прежнему может требовать поиска документа, чтения исследования, проверки даты, понимания методологии и иногда нескольких независимых источников.
Машина способна удешевить и эту работу. Но она также способна удешевить видимость этой работы.
Это различие — одно из самых важных для новой информационной грамотности.
Можно ли исправить проблему
До этого момента картина выглядит мрачно: модель генерирует вероятное продолжение, редкие факты теряются, оценки поощряют угадывание, а люди склонны доверять подробным объяснениям.
Но отсюда не следует, что генеративные системы обречены быть ненадёжными справочниками.
За последние годы разработчики научились значительно уменьшать риск ошибок.
Самый очевидный способ — не заставлять модель отвечать только из того, что закреплено в её параметрах. Ей можно дать доступ к поиску, базе документов, внутренней корпоративной системе, научным публикациям или другим внешним источникам. Сначала система извлекает релевантный материал, затем строит ответ на его основе. Этот подход часто называют retrieval-augmented generation, или RAG, — генерацией с дополненным поиском.
Можно подключать калькулятор вместо попытки вычислять всё языковой моделью. Можно обращаться к базе законодательства вместо воспроизведения закона по памяти. Можно заставлять систему давать ссылки. Можно отдельно проверять утверждения вторым этапом. Можно обучать модель чаще отказываться от ответа, если данных недостаточно. Можно строить интерфейс так, чтобы источник находился рядом с утверждением, а не был спрятан в конце красивого текста.