Евгений Волков – Когда машина отвечает (страница 6)
Все эти меры имеют смысл.
И они действительно помогают.
Но «помогают» не значит «делают ошибку невозможной».
Stanford RegLab отдельно проверил специализированные коммерческие системы юридического поиска, использовавшие технологии, призванные связывать генерацию с авторитетной базой права. В пререгистрированном исследовании такие инструменты галлюцинировали существенно реже, чем универсальные чат-боты, но ошибочные или неподкреплённые ответы всё равно встречались в диапазоне от 17 до 33 процентов в зависимости от продукта и типа оценки.
Здесь снова нельзя переносить число на сегодняшние версии систем или на другие задачи: исследование проводилось в 2024 году на конкретных продуктах и вопросах. Его ценность в другом.
Оно показывает механизм прогресса и предел обещания.
Поиск может снизить риск. Но система может найти не тот документ. Может неправильно интерпретировать найденный фрагмент. Может сделать утверждение, которое источник не подтверждает. Может привести правильную ссылку рядом с неправильным выводом.
Поэтому наличие цитаты нельзя считать доказательством факта.
Нужно открыть цитату.
Для читателя это почти комично простое правило. Но именно оно оказалось нарушено в одном из самых известных случаев юридической галлюцинации: в Mata v. Avianca несуществующие решения выглядели настолько правдоподобно, что человек продолжал им доверять даже после того, как не смог найти их обычным поиском.
Почему «проверь себя» — не волшебная команда
Есть ещё одно интуитивное решение: если модель может ошибиться, попросим её проверить собственный ответ.
Иногда это действительно работает. Система способна заметить противоречие, пересчитать результат, сравнить два варианта или обнаружить, что приведённая ссылка не соответствует тезису. Именно на таких идеях построены многие методы self-verification и consistency checking.
Но важно понимать предел этого подхода.
Если человек ошибся потому, что неправильно помнит событие, просьба «подумай ещё раз» может заставить его вспомнить лучше. А может заставить ещё увереннее рационализировать первоначальную ошибку. С моделью возникает похожая структурная проблема, хотя внутренний механизм иной: повторная генерация не превращает её автоматически в независимого фактчекера.
Один и тот же пробел в знаниях может проявиться дважды. Один и тот же неверно найденный документ может стать основой и ответа, и его проверки. Если проверяющая система построена на похожей модели и получает тот же контекст, ошибки могут быть коррелированы. Два одинаковых ответа не доказывают истину; они доказывают лишь согласованность двух процедур генерации.
Поэтому настоящая независимость проверки возникает не от количества фраз «проверь ещё раз», а от появления новой опоры: первичного документа, базы данных, расчёта, внешнего инструмента, другого метода измерения или компетентного человека, который способен увидеть ошибку без помощи исходного ответа.
Есть и ещё одна проблема: измерять фактическую точность сложнее, чем кажется.
Короткий ответ вроде «Париж» легко признать правильным или неправильным. Но длинное объяснение может содержать десятки отдельных утверждений. Одно точно. Второе слегка упрощено. Третье верно только для определённой страны. Четвёрто устарело. Пятое не подтверждается приведённой ссылкой. Что в таком случае считать «процентом фактичности» всего текста?
Исследователи пытаются автоматизировать такую оценку, в том числе с помощью других языковых моделей. Но и проверяющие системы ошибаются. В работе, представленной на ACL 2025, исследователи повторно оценили пять современных метрик factuality на одиннадцати наборах данных для суммаризации, генерации с поиском и ответов на вопросы. Метрики нередко расходились между собой и могли неверно оценивать фактическую точность, особенно при сильном перефразировании или использовании информации из удалённых частей источника.
Это не аргумент против автоматической проверки. Это предупреждение против бесконечной башни доверия:
модель написала ответ;
вторая модель сказала, что он верен;
третья модель оценила вторую;
значит, факт установлен.
В какой-то точке цепочка должна соприкоснуться с чем-то, что не является ещё одним правдоподобным текстом.
С документом. Измерением. Наблюдением. Записью в реестре. Экспериментом.
То есть с источником, который ответ не просто повторяет, а действительно подтверждает.
Когда ошибка проходит человеческую проверку
Можно подумать, что это история ранней эпохи. В 2023 году люди ещё не знали, что языковые модели способны выдумывать ссылки. Теперь профессионалы предупреждены, интерфейсы улучшены, а организации вводят правила проверки.
Но знание о риске не устраняет риск автоматически.
В 2025 году Deloitte подготовила для австралийского Department of Employment and Workplace Relations крупный обзор системы, связанной с соблюдением требований к получателям социальных выплат. После публикации исследователи обнаружили проблемы в ссылках и источниках. Из документов, позднее раскрытых австралийским правительством, следует, что команда Deloitte использовала генеративные инструменты, включая внутренний MyAssist и ChatGPT, в частности для дополнительного суммирования и оформления цитат. В письме компании прямо говорилось: результаты генеративных инструментов проверялись людьми; часть ошибок была исправлена, но не все были обнаружены.
После дополнительной проверки Deloitte подтвердила, что генеративные инструменты дали неточные результаты в ряде сносок и источников. Государственный отчёт был исправлен; версия на сайте ведомства в феврале 2026 года снова обновлялась для внесения коррекций. По данным парламентских слушаний, Deloitte вернула финальный платёж по контракту — 97 587,11 австралийского доллара.
Этот эпизод интересен не потому, что «крупная фирма тоже ошиблась».
Он разрушает более удобную надежду: будто проблему галлюцинаций можно решить одним словом — «человек проверит».
Какой человек?
Сколько времени у него есть?
Что именно он проверяет?
Открывает ли каждую ссылку или просто оценивает, выглядит ли она правдоподобно?
Проверяет ли первоисточник или просит другую модель проверить первую?
Есть ли у него достаточная экспертиза, чтобы увидеть ошибку?
Если текст в целом выглядит профессионально, не снижает ли это бдительность проверяющего?
Human in the loop — «человек в контуре» — звучит успокаивающе. Но само присутствие человека ещё ничего не гарантирует. Человек может быть перегружен, недостаточно компетентен, слишком доверчив или просто считать, что его работа — стилистическая редактура, а не независимая верификация каждого факта.
Позже эта проблема станет гораздо серьёзнее — в работе, медицине, государственном управлении и военных системах. Но начинается она с простого текстового окна.
Если машина дала ответ, кто именно должен проверить его до того, как ответ превратится в действие?
Сильнейший аргумент в пользу доверия
Теперь стоит защитить противоположную сторону максимально серьёзно.
Люди тоже ошибаются.
Юристы забывают дела. Врачи неверно вспоминают рекомендации. Журналисты допускают неточности. Учёные цитируют работы, которых не читали целиком. Сотрудники службы поддержки дают клиентам противоречивые ответы. Эксперты бывают самоуверенными. Память человека — не база данных истины.
Поэтому требовать от ИИ абсолютной безошибочности было бы странным стандартом, если мы не требуем её от людей.
Более того, машина может дать нам инструменты контроля, которых у человеческого собеседника часто нет.
Ответ можно автоматически сопоставить с десятками документов. Ссылки можно проверить программно. Система может показывать фрагмент первоисточника рядом с выводом. Можно измерять её ошибки на тысячах стандартных тестов — гораздо систематичнее, чем ошибки отдельного человека. Можно заставлять модель генерировать несколько вариантов и искать расхождения. Можно ограничить её работу закрытым набором проверенных документов.
В некоторых задачах итоговая система «человек плюс ИИ плюс проверка» вполне может оказаться надёжнее одного человека.
Это важная возможность, и книга не должна её прятать.
Проблема начинается, когда мы сравниваем не две системы, а два образа.
Образ безошибочного человеческого эксперта — миф.
Но и образ универсального искусственного эксперта, который «прочитал весь интернет и знает всё», — тоже миф.
Нужно сравнивать конкретный процесс с конкретным процессом: человек один; человек с поиском; человек с языковой моделью; модель с retrieval; модель с автоматической проверкой; эксперт, который обязан подтверждать источники; пользователь, который просто нажимает «отправить».
Тогда вопрос становится эмпирическим.
В каком процессе меньше ошибок?
Какие ошибки он совершает?
Кто их замечает?
Какова цена пропущенной ошибки?
И что происходит, когда система уверена именно там, где ошибается?
Не все ответы требуют одинакового доверия