Рэн Асахина – Думайте лучше искусственного интеллекта. Управляйте мышлением, а не знаниями (страница 6)
Флавелл, Дж. Х. (1979). «Метапознание и когнитивный мониторинг: новая область исследований в области когнитивно-развивающей психологии».
Brynjolfsson, E., & McAfee, A. (2014).
Агравал, А., Ганс, Дж., и Голдфарб, А. (2018).
Nelson, T. O., & Narens, L. (1990). «Metamemory: A Theoretical Framework and New Findings.»
Глава 3: Знать, чего ты не знаешь / Knowing Your Unknowns
3.1 Вступительная история: «обещание» чат-бота
В ноябре 2022 года умерла бабушка Джейка Моффатта, жителя Ванкувера. Он зашёл на официальный сайт авиакомпании Air Canada, чтобы забронировать билет домой. В правом нижнем углу сайта появилось всплывающее окно чата — ИИ-бот службы поддержки авиакомпании.
Моффатт спросил: «Предусмотрены ли скидки на поездки в связи с траурными обстоятельствами?»
Бот ответил четко сформулированным и логически выстроенным объяснением: пассажир может сначала приобрести билет по полной стоимости, а затем в течение 90 дней после поездки подать заявку на скидку в связи с похоронами, после чего ему будет возвращена часть стоимости билета. Тон ответа был профессиональным, условия — четкими, и даже были заботливо перечислены шаги для подачи заявки. Это читалось совершенно как официальная политика компании.
Моффатт поступил именно так. Он купил билет по полной стоимости, полетел домой на похороны, а затем в установленный срок подал заявку на возмещение.
«Эйр Канада» отказала. Причина: согласно политике компании в отношении скидки в связи со смертью близкого человека, заявку необходимо подавать до вылета, а подача заявки задним числом не допускается. Процедура, о которой рассказал Моффатту бот, была ошибочной от начала до конца. Такой «политики» вообще не существовало.
Моффатт подал иск против авиакомпании в Канадский суд по гражданскому арбитражу. Стратегия защиты авиакомпании оказалась удивительной — они утверждали, что чат-бот является «отдельным юридическим лицом» (a separate legal entity), его высказывания не отражают позицию компании, и компания не несет ответственности за то, что говорит бот.
Арбитр Кристофер Риверс (Christopher Rivers) в своем решении от февраля 2024 года отклонил этот довод защиты. В решении говорится: «Air Canada не объяснила, почему пассажир должен самостоятельно проверять, соответствует ли информация, предоставленная чат-ботом, данным на других страницах официального сайта. Если вы размещаете ИИ на своем сайте для обслуживания клиентов, вы обязаны нести ответственность за его результаты». Моффатт получил компенсацию.
Сумма компенсации по этому делу невелика, но оно прекрасно иллюстрирует ситуацию, когда все три стороны «не знают, чего они не знают»:
ИИ не знает, чего он не знает. У чат-бота нет никаких встроенных механизмов, позволяющих ему оценить точность выдаваемой им информации о правилах. Он не колеблется, не помещает пометку «Эта информация не проверена» и не предлагает в случае неопределённости обратиться к оператору службы поддержки для подтверждения. Он с полной уверенностью выдал совершенно неверную информацию.
Пассажир не знал, чего он не знает. У Моффатта были все основания доверять этому ответу — он появился на официальном сайте авиакомпании, был сформулирован профессионально и логически последовательно. У него не было причин подозревать, что крупная авиакомпания разместит в своей системе обслуживания клиентов ненадежный источник информации. Он не знал, что общается с языковой моделью, не способной проверять факты.
Авиакомпания не знала, чего она не знает. «Эйр Канада» внедрила этот чат-бот, но, по-видимому, не создала никаких механизмов для контроля соответствия его ответов фактической политике компании. Только после получения решения арбитражного суда они обнаружили, что их ИИ все это время «обещал» клиентам несуществующие правила.
У провалов всех трех сторон есть одна общая причина: никто — и ни одна система — не проверил информацию на уровне «действительно ли мы знаем, что эта информация верна». Именно об этом ключевом умении и пойдет речь в данной главе: осознание когнитивных границ — понимание того, что мы знаем, чего не знаем, а также, что еще опаснее, осознание того, о каких «незнаниях» мы даже не подозреваем.
Реальные последствия: дело Air Canada — не единичный случай. В 2023 году нью-йоркский адвокат Стивен Шварц (Steven Schwartz) представил в деле
3.2 Основная теза: опасность «незнания о собственном незнании»
Флавелл (Flavell, 1979) в своей работе, заложившей основу концепции метапознания (metacognition), отмечает: когнитивный мониторинг (cognitive monitoring), то есть осознание и оценка собственных когнитивных процессов и состояний, является ключевой способностью, отличающей человека от многих систем обработки информации. Самый опасный когнитивный пробел заключается в том, что вы не знаете, чего вы не знаете.
Галлюцинации ИИ, то есть генерация казалось бы разумного, но полностью вымышленного контента, по сути являются машинной версией того же самого провала. ИИ не знает, чего он не знает. Он будет уверенно придумывать цитаты, фабриковать данные и выдумывать события, не имея под собой реальных знаний. Это происходит из-за отсутствия у него осознания границ собственных знаний.
Если человек развит мощную метакогнитивную калибровку (metacognitive calibration), то есть способность соотносить уровень своей уверенности с фактической точностью, он сможет улавливать ошибки, упускаемые ИИ и людьми, чрезмерно полагающимися на ИИ. Ключевой способностью является более острое, чем у ИИ, осознание того, что «на самом деле я этого не знаю», а объем знаний при этом имеет второстепенное значение.
Рис. 3-1: Четыре уровня когнитивных границ
3.3 Доказательства и мыслительные эксперименты
3.3.1 Иллюзии ИИ: окно для наблюдения за отсутствием метапознания
Иллюзии ИИ предоставляют нам уникальную возможность понять последствия «отсутствия метапознания». В период с 2023 по 2025 год множество пользователей сообщали о случаях, когда модели большого языкового объёма (LLM) придумывали ссылки, выдумывали научные статьи и фальсифицировали статистические данные. Например, более половины ссылок на судебные прецеденты, сгенерированных одним из инструментов для юридических исследований, не существовало в базе данных; юристы обнаружили это только тогда, когда сослались на них в суде, и выяснилось, что в судебных протоколах этих дел вообще не было. Одна из систем ответов на медицинские вопросы давала по поводу редких заболеваний рекомендации по приему лекарств, которые казались профессиональными, но на самом деле были полностью ошибочными, что едва не привело к задержке лечения пациента. Еще один ученый обнаружил, что в обзоре литературы, написанном для него ИИ, названия, авторы и журналы многих «ключевых ссылок» были полностью вымышленными, хотя читались как настоящие.
Ещё более тревожно то, что эти «галлюцинации» часто появляются именно в самых «бегло» сформулированных ответах ИИ. Столкнувшись с неопределённым вопросом, он ни за что не признает: «Я не знаю». Вы всегда получаете ответ, который выглядит полным, связным и подкреплённым ссылками. Разрыв между беглостью изложения и точностью — типичный симптом отсутствия метапознания.
У этих систем есть одна общая черта: они не «знают», что они не знают. У них отсутствует внутренний механизм метакогнитивного мониторинга (metacognitive monitoring) для оценки надежности вывода. Они выдают правильные ответы и полную чепуху с одинаковой уверенностью, и для человеческого пользователя на первый взгляд их невозможно отличить.