Сергей Железнов – Искусственный общий интеллект: насколько он близок и чем это грозит (страница 8)
3. Новая глубина проблема контроля
Проблема согласования целей и контроля становится острее уже при AGI. Но при ASI она приобретает принципиально другой характер. Если система заметно сильнее человека в планировании, обмане, поиске лазеек и разработке новых стратегий, даже хороший локальный контроль может оказаться недостаточным.
Поэтому в литературе о рисках часто такая тревога связана именно с ASI, а не просто с AGI.
Почему массовая дискуссия постоянно путает эти уровни
Есть несколько причин.
1. Человеку трудно удерживать промежуточную ступень
Между "модель пишет текст" и "машина умнее всех людей" общественное воображение часто не видит устойчивого среднего состояния. Но именно в этом среднем состоянии и лежит значительная часть будущих конфликтов.
2. Маркетинг любит размытые границы
Чем меньше различий между "общим интеллектом", "сильным ассистентом", "сверхразумной машиной" и "человеческим уровнем", тем легче производить впечатление.
3. Риск-риторика любит максимальные сценарии
Часть публичных обсуждений сразу прыгает от нынешних моделей к картине мира, где есть почти богоподобный интеллект. Это может быть полезно как проверка гипотезы на прочность, но плохо подходит для анализа текущей траектории.
4. Скептики тоже выигрывают от путаницы
Если смешать AGI и ASI, потом легко высмеять сам разговор: мол, до сверхинтеллекта далеко, значит и серьезно обсуждать пока нечего. Это тоже ошибка.
Полезная практическая граница
Для этой книги полезнее всего думать о различии так.
общий ИИ – это вопрос замены и усиления широкого спектра человеческой когнитивной работы
Ключевой вопрос здесь:
может ли система действовать как общий цифровой работник или исследователь в широком наборе сред?
сверхинтеллект – это вопрос стратегического превосходства и потери человеческой сопоставимости
Ключевой вопрос здесь:
может ли система устойчиво обгонять людей почти во всем важном и использовать это преимущество способами, которые людям трудно оценить и контролировать?
Это два разных вопроса. И оба важны. Но они требуют разного языка, разных индикаторов и разных институтов ответа.
Почему для сроков это принципиально
Опрос авторов исследований ИИ хорошо показывает полезность такого различения. Даже в одной и той же экспертной выборке сроки для сильных вех роста возможностей и сроки полной автоматизации всех человеческих профессий расходятся на десятилетия.
Это означает, что даже если относительно ранний режим систем, приближающихся к AGI, станет реальным, дальнейший путь к более полной и сверхчеловеческой трансформации может быть:
быстрее, если возникнет сильная положительная обратная связь;
медленнее, если узкие места, проблемы согласования целей и перенос навыков в физический мир окажутся серьезнее, чем думают оптимисты.
Смешивать все это в одну дату – значит терять содержательность.
Как я предлагаю использовать эти термины дальше
В рамках книги я предлагаю очень простое дисциплинарное правило.
Использовать общий ИИ, когда речь идет о широкой общей способности
То есть когда вопрос в том, что система:
универсальна по задачам;
переносима;
автономна в разумной степени;
и достаточно надежна, чтобы реально действовать в мире.
Использовать сверхинтеллект, когда речь идет о сверхчеловеческом масштабе
То есть когда обсуждение касается:
резкого превосходства;
неуправляемого ускорения;
потери симметрии контроля;
и наиболее крайних системных рисков.
Если держать эту дисциплину, становится сразу легче:
читать опросы;
понимать литературу о рисках;
различать экономические и цивилизационные сценарии;
и не перепрыгивать через промежуточные стадии.
Рабочая рамка
AGI и ASI нельзя путать, потому что это разные уровни исторического перелома.
AGI уже сам по себе достаточно силен, чтобы:
изменить рынок труда;
ускорить науку и программирование;
усилить государственные и корпоративные структуры;
создать новые риски контроля.
ASI – это уже следующий режим, в котором речь идет о потере сопоставимости человека с системой и о гораздо более глубокой проблеме контроля.
Поэтому разумная позиция выглядит так:
не ждать ASI, чтобы начать серьезную подготовку;
не объявлять ASI там, где пока речь идет только о ранней общей цифровой способности;
и не позволять путанице между терминами разрушать анализ.
Что важно запомнить
AGI и ASI – не одно и то же.
AGI – это человеческий или сопоставимый общий уровень в широком наборе задач.
ASI – это устойчивое сверхчеловеческое превосходство почти по всем значимым измерениям.
AGI уже сам по себе исторически переломен.
Ждать начала серьезного управления только на стадии ASI – плохая стратегия.