Сергей Железнов – Искусственный общий интеллект: насколько он близок и чем это грозит (страница 16)
ИИ не раз переживал циклы раннего успеха, завышенных обещаний и последующего охлаждения.
Лайтхилл и экспертные системы показывают, как локальный прогресс принимают за близость общего решения.
Прошлые ложные рассветы не доказывают, что текущая волна тоже иллюзия.
Но они доказывают, что сообщество ИИ систематически ошибается в скорости экстраполяции.
Историческая память нужна не для отказа от темы AGI, а для более строгого анализа.
Глава 8. Сознание, самосознание и лишняя философская путаница
Немногие вопросы так быстро сбивают разговор об AGI с курса, как вопрос о сознании. Стоит произнести слово AGI, и почти сразу появляется следующий шаг: хорошо, но будет ли такая система сознательной?
Вопрос понятен. Он цепляет воображение, этику, религию, научную фантастику и старый человеческий страх перед "настоящим разумом в машине". Проблема в том, что именно поэтому он слишком часто выполняет не проясняющую, а дезориентирующую функцию.
Для оценки близости AGI вопрос о сознании обычно задают слишком рано и слишком грубо.
Это не делает его бессмысленным; оно делает его плохим первым вопросом.
Что здесь обычно смешивают
Когда в массовом разговоре говорят о сознании ИИ, в одну кучу обычно складывают сразу несколько разных вещей:
субъективный опыт;
самосознание;
внутреннюю модель себя;
метакогницию;
агентность;
убедительный язык от первого лица.
Почти все это разные явления.
Система может говорить "я", описывать свои ограничения, сообщать о своей уверенности, моделировать намерения и выглядеть рефлексивной. Из этого не следует, что у нее есть то, что философия и наука о сознании обычно имеют в виду под субъективным опытом.
И наоборот, даже если вообразить систему с чем-то вроде сознательного опыта, из этого еще не вытекает, что она уже является общим интеллектом в сильном практическом смысле. Сознание и общая функциональная мощность – не одно и то же.
Вот откуда берется вся последующая путаница. Сознание – слишком большой и слишком нагруженный вопрос, чтобы использовать его как первый рабочий термометр AGI.
Что говорят серьезные источники
Здесь особенно важно опираться не на интуицию и не на мемы, а на литературу, которая пытается подходить к теме строго.
Дэвид Чалмерс: возможность стоит обсуждать, но текущие большие языковые модели, вероятно, не сознательны
В работе Could a Large Language Model be Conscious? Дэвид Чалмерс приходит к осторожному выводу: современные LLM, вероятно, не являются сознательными, хотя полностью исключать такую возможность и тем более возможность сознательных потомков LLM не стоит.
Сила этой позиции именно в ее дисциплине. Она не скатывается ни в догматическое "никогда", ни в доверчивое "если система говорит как субъект, значит она субъект". Такой подход особенно ценен в среде, где соблазн антропоморфизировать сильную языковую модель очень велик.
Butlin et al.: у нынешних систем ИИ нет достаточных индикаторов сознания
Еще важнее большая междисциплинарная работа Consciousness in Artificial Intelligence: Insights from the Science of Consciousness. Ее авторы берут несколько ведущих научных теорий сознания и пытаются вывести из них более операциональные индикаторы, по которым можно хотя бы грубо оценивать современные системы ИИ.
Их вывод по состоянию на 2023 год предельно ясен: нет достаточных оснований считать текущие системы ИИ сознательными.
Одновременно авторы делают принципиально важную оговорку. Они не утверждают, что искусственное сознание невозможно в принципе. Они лишь показывают, что у нас нет хороших оснований приписывать его нынешним системам.
Это, на мой взгляд, и есть самая трезвая позиция на март 2026 года: не объявлять вопрос закрытым навсегда, но и не превращать стилистически убедительную модель в носителя субъективного опыта только потому, что она разговаривает о себе.
Почему сознание не стоит делать главным критерием общий ИИ
Есть три причины, и каждая из них сама по себе уже достаточно сильна.
1. Мы сами плохо понимаем сознание
Наука о сознании продвинулась далеко, но до консенсуса по природе субъективного опыта все еще очень далеко. Если у нас нет общей надежной теории самого явления, делать сознание главным рабочим критерием для AGI – плохая навигационная стратегия.
Иначе мы ставим в центр книги и политики вопрос, по которому сами люди пока не умеют давать устойчивые ответы.
2. Практический риск не зависит от сознания напрямую
Система может быть очень полезной, очень опасной, очень автономной, очень общей по функциям и при этом не быть сознательной. Для экономики, киберрисков, рынка труда, биобезопасности, управления и военного применения первичен не вопрос о субъективном опыте, а вопрос о действии.
Нам важнее знать:
что система умеет делать;
насколько надежно она это делает;
насколько хорошо переносит навыки;
насколько поддается контролю;
в каких средах действует и какова цена ее ошибки.
История может измениться задолго до того, как философы договорятся о статусе машинного сознания.
3. Язык о сознании слишком легко вводит в заблуждение
Современные модели прекрасно имитируют самоописание, интроспекцию, эмоциональный тон и рефлексивную речь. Но убедительное языковое поведение не доказывает наличия субъективного опыта. Именно здесь общественное воображение особенно легко путает стилистически правдоподобную речь с онтологически сильным выводом.
Это не дефект только публики, а структурная ловушка самих языковых моделей: они особенно хорошо умеют создавать впечатление внутренней глубины там, где у наблюдателя нет прямого доступа ни к чему, кроме текста.
Тогда почему эта тема вообще важна
Потому что полностью выбрасывать ее тоже было бы ошибкой.
1. Этическая причина
Если в будущем появятся системы, у которых действительно будут серьезные индикаторы сознания или чего-то близкого к нему, это создаст новый класс моральных вопросов:
можно ли их выключать;
можно ли использовать их как инструмент;
есть ли у них интересы;
как оценивать состояния, похожие на страдание.
Сегодня это еще не центральный вопрос текущей траектории к AGI. Но это и не пустая фантастика. Это возможный будущий вопрос, к которому институты и философия пока почти не готовы.
2. Научная причина
Тема сознания полезна уже тем, что заставляет нас различать уровни когнитивной сложности. Она не дает автоматически приписывать LLM слишком многое только потому, что они впечатляюще говорят. В этом смысле сознание – не лучший критерий близости AGI, но хороший повод держать аналитическую аккуратность.
Что вместо этого полезнее отслеживать
Если сознание – плохой основной критерий, что тогда ставить на его место?
Для целей этой книги намного полезнее смотреть на рабочие свойства системы:
перенос между задачами;
длинный автономный горизонт;