Евгений Волков – Когда машина отвечает (страница 7)
Для обычного пользователя главный вывод этой главы не должен быть «никогда не верьте ИИ».
Такая рекомендация бесполезна почти так же, как «всегда проверяйте всё».
Человек не проверяет всё. На это не хватит жизни.
Полезнее научиться различать типы задач.
Если вы просите систему сократить письмо, которое сами написали, исходная информация находится перед вами. Если просите придумать десять вариантов заголовка, не существует скрытого правильного ответа. Если хотите потренироваться в разговорном испанском, отдельная неточность может быть неприятна, но её цена обычно невелика.
Совсем другая ситуация возникает, когда ответ содержит внешние факты, которые вы не знаете сами: юридическое правило, медицинское утверждение, научную ссылку, финансовую цифру, условия визы, дату, цитату, биографический факт, содержание договора или новость о событии.
Тогда гладкость текста должна перестать быть аргументом.
Чем выше цена ошибки и чем меньше вы способны проверить ответ самостоятельно, тем менее разумно использовать один сгенерированный текст как конечный источник истины.
Здесь есть простой, но не всегда приятный переворот. Наиболее опасна не та тема, в которой вы хорошо разбираетесь: там вы быстрее заметите нелепость. Наиболее опасен ответ в области, где модель звучит профессионально, а вы не знаете достаточно, чтобы возразить. Именно тогда удобство интерфейса максимальное — и одновременно максимальна асимметрия знания между пользователем и системой, которую он по ошибке принимает за эксперта.
Это не делает модель бесполезной. Наоборот, она может помочь сформулировать вопрос, найти направления поиска, объяснить документ простыми словами, сопоставить источники, подготовить черновик или показать, что именно стоит проверить.
Но роль меняется.
Из оракула она превращается в инструмент исследования.
Именно эта смена роли может оказаться одной из главных привычек эпохи генеративного ИИ.
Не «спросить и поверить».
А «спросить, понять, что именно утверждается, и решить, где требуется доказательство».
Что мы знаем — и чего пока не знаем
По состоянию на август 2026 года можно достаточно уверенно утверждать несколько вещей.
Генеративные языковые системы способны создавать фактически ошибочные утверждения в уверенной и правдоподобной форме. Это не случайная легенда из первых месяцев ChatGPT, а хорошо описанный класс риска, который NIST по-прежнему включает в профиль рисков генеративного ИИ.
Ошибка зависит от задачи. Универсального процента галлюцинаций нет.
Привязка генерации к внешним источникам, поиск, инструменты, дополнительные проверки и умение системы отказываться от ответа способны существенно снижать риск, но не гарантируют его исчезновения.
Люди не всегда хорошо распознают ошибку по стилю ответа. Подробное объяснение может увеличить доверие, не увеличивая точность.
И критерии, которыми мы оцениваем модель, способны влиять на её поведение: если угадывание вознаграждается сильнее, чем разумный отказ, система получает стимул отвечать даже при недостаточной уверенности.
Но остаются важные неизвестные.
Мы не знаем, насколько близко можно подойти к практически надёжной фактической генерации в открытых областях знаний, где информация постоянно меняется.
Мы не знаем, какой интерфейс лучше всего учит обычного пользователя различать уверенную форму и реальную надёжность.
Мы ещё учимся измерять factuality длинных ответов, где одно предложение может быть точным, второе спорным, третье верным только при определённых условиях, а четвёрто — выдуманным.
Мы не знаем, насколько люди сохранят привычку проверки, если правильных ответов станет настолько много, что ошибка будет встречаться редко. Иногда редкая ошибка опаснее частой: к часто ошибающейся системе быстро перестают прислушиваться, а к системе, которая права девяносто девять раз подряд, человек особенно уязвим в сотый.
И наконец, мы не знаем, изменится ли сама социальная норма знания.
Раньше хороший ответ подразумевал человека, который либо знает, либо знает, где проверить.
Теперь между вопросом и источником появился новый слой — машина, способная мгновенно создать убедительную версию ответа.
Этот слой невероятно полезен. Он делает знания доступнее, объяснения дешевле и интеллектуальную помощь ближе.
Но он меняет привычный сигнал доверия.
Связность больше не доказывает компетентность.
Подробность не доказывает проверку.
Ссылка не доказывает существование источника.
Уверенность не доказывает знание.
И отсюда возникает вопрос, который важнее любой таблицы с процентами ошибок:
если система научилась говорить так, что мы почти автоматически слышим в её голосе знание, — кто должен измениться сильнее: машина, чтобы честнее показывать границы своей уверенности, или человек, чтобы перестать принимать уверенную речь за доказательство истины?
Примечания к главе 2
1. Mata v. Avianca, Inc., No. 1:22-cv-01461-PKC, Opinion and Order on Sanctions, U.S. District Court for the Southern District of New York, 22 June 2023. Суд описал представление несуществующих решений, перечислил шесть судей, которым были ложно приписаны фиктивные мнения, и назначил совместную санкцию в размере 5000 долларов. https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2022cv01461/575368/54/
2. Autio, C., Schwartz, R., Dunietz, J. et al. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600—1, 26 July 2024; page updated 8 April 2026. В документе используется термин confabulation для уверенно предъявляемого ошибочного или ложного содержания и подчёркивается риск ошибочных логических обоснований и цитат. https://doi.org/10.6028/NIST.AI.600-1
3. Dahl, M., Magesh, V., Suzgun, M., Ho, D. E. Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. Journal of Legal Analysis, 2024, Vol. 16, No. 1. Исследование использовало проверяемые вопросы о случайно выбранных федеральных судебных делах США; показатели зависят от конкретной модели и постановки задачи и не являются универсальным «процентом галлюцинаций». https://reglab.stanford.edu/publications/hlarge-legal-fictions-profiling-legal-hallucinations-in-large-language-models/
4. Kalai, A. T., Nachum, O., Vempala, S. S., Zhang, E. Evaluating large language models for accuracy incentivizes hallucinations. Nature 653, 1047—1051 (2026). DOI: 10.1038/s41586-026-10549-w. В экспериментах с SimpleQA использовались 4326 вопросов на модель; авторы показывают, что снижение ошибочных ответов через более частые отказы может ухудшать стандартную метрику accuracy. https://doi.org/10.1038/s41586-026-10549-w
5. Steyvers, M., Tejeda, H., Kumar, A. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 221—231 (2025). Исследование поведенчески измеряло разрыв между фактической надёжностью ответов моделей и уверенностью пользователей; более длинные объяснения увеличивали человеческую уверенность, не улучшая различение правильных и неправильных ответов. https://doi.org/10.1038/s42256-024-00976-7
6. Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., Ho, D. E. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. 2024. Пререгистрированная оценка специализированных систем юридического исследования показала снижение, но не устранение галлюцинаций; в исследованных продуктах показатель находился в диапазоне 17—33 процента в зависимости от системы и оценки. https://reglab.stanford.edu/publications/hallucination-free-assessing-the-reliability-of-leading-ai-legal-research-tools/
7. Australian Government, Department of Finance, FOI 25-26-084, Document 1. Переписка Deloitte описывает использование MyAssist и ChatGPT для отдельных задач суммирования и оформления цитат и признаёт, что человеческая проверка исправила часть, но не все ошибки в сгенерированных результатах. https://www.finance.gov.au/sites/default/files/foi-25-26-084-document-1.pdf
8. Australian Government, Department of Employment and Workplace Relations. Targeted Compliance Framework Assurance Review — Final Report. Отчёт создан 14 August 2025; версия на сайте обновлена 3 February 2026 для внесения выявленных исправлений. https://www.dewr.gov.au/assuring-integrity-targeted-compliance-framework/resources/targeted-compliance-framework-assurance-review-final-report
9. Godbole, A., Jia, R. Verify with Caution: The Pitfalls of Relying on Imperfect Factuality Metrics. Findings of ACL 2025. Авторы переоценили пять метрик factuality на 11 наборах данных и показали, что автоматические оценщики могут расходиться и систематически ошибаться в отдельных типах генерации. DOI: 10.18653/v1/2025.findings-acl.1175. https://aclanthology.org/2025.findings-acl.1175/
10. Parliament of Australia. Senate Estimates Hansard, 8 October 2025. Представитель Department of Finance сообщил, что Deloitte вернула финальный платёж по контракту в размере A$97,587.11; DEWR рассматривал это как меру исправления ситуации. https://www.aph.gov.au/Parliamentary_Business/Hansard/Hansard_Display?bid=committees%2Festimate%2F28993%2F&sid=0016
Глава 3. От помощника к исполнителю
Представим вполне обычную задачу ближайшего будущего — настолько обычную, что в ней нет ничего футуристического.