Сергей Железнов – Искусственный общий интеллект: насколько он близок и чем это грозит (страница 7)

Но она перестает быть полезной там, где нужно описывать реальное положение дел.

Современная LLM – это уже:

система широкого обучения по контексту;

ядро агентного стека;

движок цифровой работы с инструментами;

и, вероятно, первая массовая технологическая форма неполной, но реально широкой цифровой общности.

То есть это еще не AGI. Но и точно уже не просто автодополнение.

Что важно запомнить

LLM по-прежнему основаны на предсказании следующего токена, но этого уже недостаточно для описания их поведения.

Их сила рождается из сочетания масштаба, обучения по контексту, постобучения и инструментария.

LLM уже умеют гораздо больше, чем обычное языковое дописывание.

При этом они все еще хрупки, плохо калиброваны и слабы на длинных горизонтах.

LLM – не AGI, но именно они сделали путь к AGI инженерно осмысленным.

Глава 4. Общий ИИ и сверхинтеллект: где проходит граница

В массовой дискуссии AGI и ASI очень часто сливаются в одно целое. Люди говорят "общий интеллект", а на деле представляют себе систему, которая:

умнее лучших ученых;

быстрее лучших инженеров;

стратегически глубже лучших государств;

и вообще стоит над человечеством как отдельный вид разума.

Но это уже не AGI в узком смысле. Это шаг дальше.

Если не развести эти понятия, разговор об ИИ почти неизбежно ломается. Он становится либо чрезмерно алармистским, либо чрезмерно самодовольным.

Зачем вообще различать общий ИИ и сверхинтеллект

Потому что это разные режимы:

возможностей;

угроз;

управления;

и временных горизонтов.

AGI в рабочем смысле – это система человеческого или сопоставимого с человеческим уровня общей способности в широком наборе задач.

ASI – это система, которая существенно превосходит человека почти по всем значимым интеллектуальным измерениям и, вероятно, делает это устойчиво и масштабируемо.

Это различие не академическое. Оно меняет все.

Почему общий ИИ уже сам по себе исторический перелом

Иногда можно услышать примерно такую мысль: настоящая опасность начинается только с ASI, а AGI – это просто очень сильный универсальный инструмент.

Это глубокое недооценивание.

Даже если представить AGI как "всего лишь" человеческий уровень общей цифровой компетентности, последствия будут уже огромны.

Почему?

1. общий ИИ достаточно для мощной экономической перестройки

Если система способна в широком наборе задач работать на уровне компетентного человека, этого уже достаточно, чтобы радикально изменить:

программирование;

аналитику;

исследования;

документооборот;

внутренние офисные функции;

часть управления и координации.

Для передела рынков труда и прибыли не нужен сверхинтеллект. Нужен просто достаточно дешевый и масштабируемый человеческий или около-человеческий уровень в большом числе цифровых ролей.

2. общий ИИ достаточно для нового уровня системных рисков

Кибероперации, социальная инженерия, автоматизация опасной интеллектуальной работы, автономное планирование и давление на институты – все это уже может резко усилиться до наступления ASI.

3. общий ИИ достаточно для положительной обратной связи

Если система уровня AGI начинает ускорять код, исследования, инструментарий и сами исследования и разработки в ИИ, она уже может запустить динамику, при которой путь к ASI становится заметно короче. То есть AGI и ASI нельзя мыслить как два полностью независимых мира.

Поэтому ждать "настоящего риска только от ASI" – плохая стратегия. Реальный цивилизационный перелом может начаться уже на стадии AGI.

Что тогда делает сверхинтеллект качественно другим

Если AGI уже достаточно, чтобы менять историю, зачем вообще отдельное понятие ASI?

Потому что при переходе к сверхинтеллекту меняется не только масштаб, но и сама структура проблемы.

1. Потеря симметрии с человеком

Пока система находится примерно на человеческом уровне, можно по крайней мере воображать:

сравнительное тестирование;

человеческий аудит;

соревновательную проверку;

возможность частичного институционального контроля на основе человеческой экспертизы.

Когда система становится устойчиво выше человека почти по всем когнитивным параметрам, эта симметрия ломается. Контроль перестает быть задачей "понять почти равного", а становится задачей управления тем, что уже превосходит оператора.

2. Ускорение стратегического преимущества

AGI может заменить или усилить работников. ASI потенциально может:

резко ускорить науку;

резко ускорить инженерные циклы;

радикально изменить военное равновесие;

создавать новые механизмы убеждения, оптимизации и контроля в масштабе, недоступном людям.