Евгений Волков – Когда машина отвечает (страница 4)
Так вопрос об интеллекте постепенно превращается в вопрос об ответственности.
И это, возможно, важнее определения.
Что мы уже знаем — и чего не знаем
По состоянию на август 2026 года несколько вещей можно утверждать достаточно уверенно.
Современные AI-системы способны выполнять широкий набор хорошо очерченных интеллектуальных задач: писать и анализировать текст, работать с кодом, создавать изображения и короткие видео, решать ряд сложных математических и научных задач, использовать компьютерные интерфейсы и инструменты.
Их возможности заметно улучшались, в том числе благодаря масштабированию обучения и методам, применяемым после первоначального обучения: дополнительной настройке, обучению на обратной связи и увеличению вычислений при формировании сложных ответов.
Мультимодальные системы стирают границы между отдельными видами цифровой информации.
Агентные системы делают переход от генерации ответа к выполнению последовательности действий.
Но одновременно сохраняется выраженная неровность способностей. Высокий результат на одном тесте не гарантирует устойчивости в другом. Controlled benchmark не равен реальной среде. Система может успешно решать сложные задачи и допускать ошибки, которые человеку кажутся примитивными. Для долгих, нестандартных и многошаговых процессов надёжность остаётся ключевым ограничением.
Есть и вопросы, на которые наука пока не дала ответа.
Как далеко можно продвинуть существующие архитектуры?
Какие ограничения исчезнут при увеличении вычислений и улучшении обучения, а какие окажутся фундаментальнее?
Можно ли создать систему, которая переносит компетентность между областями столь же гибко, как человек?
Насколько сегодняшние тесты вообще измеряют то, что общество хочет называть «общим интеллектом»?
Появится ли система, которую большинство исследователей согласится назвать AGI, и по каким критериям это согласие будет достигнуто?
И наконец, самый сложный вопрос: есть ли основания связывать всё более убедительное интеллектуальное поведение с субъективным опытом или сознанием?
Последний вопрос мы пока оставим открытым. Он вернётся позже, когда речь пойдёт о человеческой уникальности. Убедительная речь сама по себе не является доказательством сознания. И отсутствие такого доказательства не позволяет честно закрыть философскую проблему одним предложением.
Эта неопределённость не мешает обсуждать реальные последствия технологии.
Наоборот.
Именно потому, что мы не обязаны заранее решить, «думает ли машина по-настоящему», мы можем внимательнее исследовать то, что уже происходит вокруг неё.
Компания может перестроить работу независимо от философии сознания.
Ученик может передать системе часть мышления независимо от определения AGI.
Пациент может получить рекомендацию независимо от того, считает ли модель себя врачом — нынешним системам вообще не нужно приписывать такое внутреннее «считает».
Мошенник может синтезировать голос.
Государство может использовать алгоритмическое решение.
Человек может привязаться к искусственному собеседнику.
Технология способна изменить социальную реальность задолго до того, как философы договорятся о природе её интеллекта.
Поэтому в этой книге мы будем применять простой принцип.
Не спрашивать у машины, кто она.
Смотреть, что система делает, в каких условиях, насколько надёжно, кому даёт новую возможность и кому передаёт новый риск.
А затем задавать человеку следующий вопрос.
Если система способна выдавать результат, который мы ещё недавно считали доказательством человеческого ума, достаточно ли внешнего поведения, чтобы назвать её интеллектуальной, — или слово «интеллект» для нас всегда означало нечто большее, чем способность правильно отвечать?
Примечания к главе 1
1. OECD. Explanatory memorandum on the updated OECD definition of an AI system. OECD Artificial Intelligence Papers, No. 8, 5 March 2024. https://doi.org/10.1787/623da898-en
2. Stanford Institute for Human-Centered Artificial Intelligence. The 2026 AI Index Report, Chapter 2: Technical Performance. Данные по International Mathematical Olympiad, ClockBench, OSWorld и робототехническим задачам отражают конкретные benchmark-оценки, а не универсальную меру «интеллекта». https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance
3. International AI Safety Report 2026. Разделы о general-purpose AI, неровном профиле способностей, post-training, агентах и ограничениях реальных оценок. https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026
4. Vaswani, A., Shazeer, N., Parmar, N. et al. Attention Is All You Need. 2017. https://arxiv.org/abs/1706.03762
5. NIST Computer Security Resource Center Glossary. Generative Artificial Intelligence. Определение класса генеративных моделей. https://csrc.nist.gov/glossary/term/generative_artificial_intelligence
6. International AI Safety Report 2025. Для разграничения general-purpose AI и AGI: отчёт отдельно отмечает отсутствие универсального определения AGI. https://internationalaisafetyreport.org/publication/international-ai-safety-report-2025
Глава 2. Почему машина врёт так убедительно
Весной 2023 года федеральный судья в Нью-Йорке столкнулся с юридическим документом, который на первый взгляд выглядел вполне обычным. В нём были ссылки на судебные решения, названия дел, номера томов, страницы, цитаты из постановлений. Всё то, чем профессиональный юридический текст обычно подтверждает: перед вами не мнение автора, а аргумент, опирающийся на право.
Проблема заключалась в том, что нескольких решений не существовало.
Дело называлось Mata v. Avianca. Один из адвокатов использовал ChatGPT при подготовке возражений на ходатайство авиакомпании. Система выдала не просто неверные сведения. Она создала убедительно оформленные судебные прецеденты: с названиями сторон, цитатами, ссылками и текстами, похожими на настоящие судебные решения. Когда адвокаты другой стороны не смогли найти эти дела, суд начал задавать вопросы. В ответ были представлены тексты якобы существующих решений — тоже созданные системой.
В июне 2023 года суд назначил адвокатам и фирме санкцию в 5000 долларов. В постановлении были перечислены шесть судей, которым система ложно приписала авторство несуществующих решений. Но важнее суммы и числа было признание самого адвоката. Он объяснял, что просто не мог поверить: программа способна полностью выдумать судебное дело.
Это признание стоит запомнить.
Ошибка произошла не потому, что текст выглядел плохо. Наоборот. Она стала опасной именно потому, что текст выглядел достаточно хорошо.
Если бы система отвечала бессвязным набором слов, проблема была бы гораздо меньше. Если бы перед каждым сомнительным утверждением она печатала крупными буквами «Я НЕ ЗНАЮ», пользователь быстро научился бы относиться к ней как к ненадёжному справочнику. Но современная языковая модель способна ошибаться в той же форме, в какой человек привык встречать знание: спокойно, связно, грамотно и с подробностями.
Отсюда возникает один из самых важных вопросов этой книги.
Почему способность красиво говорить так легко принимается за способность знать?
Это не совсем ложь
Название этой главы намеренно провокационно. В обычной речи мы говорим: «ИИ соврал». Так короче и понятнее.
Но буквально это неточно.
Ложь предполагает как минимум различие между тем, что субъект считает правдой, и тем, что он сознательно сообщает другому. Чтобы утверждать, что современная модель лжёт в человеческом смысле, пришлось бы сначала доказать наличие у неё убеждений, намерения обмануть и соответствующего внутреннего состояния. Таких оснований у нас нет.
Поэтому технические документы часто используют другое слово. NIST — Национальный институт стандартов и технологий США — называет этот класс ошибок confabulation, «конфабуляцией»: генеративная система создаёт и уверенно предъявляет ошибочный или ложный материал, иногда противоречащий входным данным или даже собственному предыдущему ответу. В разговорной речи закрепилось слово hallucination — «галлюцинация».
Оба термина несовершенны. Оба заимствованы из описания человеческой психики и поэтому слегка очеловечивают машину. Но нам важен не ярлык, а механизм.
В предыдущей главе мы уже разобрали основную идею: языковая модель строит продолжение на основе закономерностей, усвоенных во время обучения, и текущего контекста. Она не открывает внутри себя картотеку «истина», из которой достаёт проверенную карточку с ответом. Генерация устроена иначе.
Это различие особенно заметно на фактах, которые выглядят как продолжение знакомого шаблона.
Представьте вопрос о малоизвестном научном исследовании. В данных модели могли встречаться тысячи похожих библиографических записей: фамилии авторов, название журнала, год, том, страницы, DOI. Система хорошо знает форму академической ссылки. Она знает, какие фамилии правдоподобны в этой области, как обычно устроено название статьи, какой диапазон страниц выглядит естественно.
Но знание формы ссылки не гарантирует существования самой статьи.
То же самое произошло с судебными решениями в Mata v. Avianca. Форма была правдоподобной. Содержимое — нет.
Это помогает понять странный парадокс. Чем лучше модель осваивает структуру человеческой речи, тем убедительнее может выглядеть её ошибка. Улучшение языковой компетентности само по себе не является улучшением проверки фактов.