Алекс Промтов – Промтология. Искусственный интеллект: мифы, страхи, правда (страница 2)

Но давайте посмотрим правде в глаза. Чего мы действительно боимся? Мы боимся, что появится нечто, что умнее нас, но при этом не имеет человеческой морали, эмпатии, страха смерти. И что оно использует свой ум против нас. Но насколько этот сценарий реален? И насколько он близок?

Сначала разберёмся с главным понятием — сознание. Что это такое? Учёные не могут дать единого определения. Есть феноменальный опыт (qualia) — субъективное ощущение красного цвета, боли, радости. Есть самосознание — способность recognising себя как отдельного субъекта. Есть рефлексия — способность думать о своих мыслях. Есть интенциональность — направленность на что-то. Ни одна из современных нейросетей не обладает ни одним из этих свойств.

ChatGPT не «знает», что он отвечает на вопрос. Он просто обрабатывает входную последовательность токенов и предсказывает следующее слово. У него нет ощущения «я». У него нет ощущения, что «я сейчас что-то делаю». Он не может сказать: «Мне скучно», «Я устал», «Я хочу пить», потому что у него нет этих состояний. Он даже не знает, что он программа. Он симулирует разговор, но не ведёт его осознанно.

Можно ли сказать, что современные нейросети — это «вычисления», а не «мышление»? Да. Они работают на уровне рефлексов, а не рефлексии. Это как если бы вы научили попугая произносить «как дела?» — он не понимает смысла, но звучит убедительно.

Некоторые исследователи, например Дэвид Чалмерс, допускают, что сознание может возникнуть у достаточно сложной системы обработки информации. Но это лишь гипотеза. Даже если она верна, у нас нет никаких доказательств, что современные LLM (большие языковые модели) находятся на пороге сознания. Они просто предсказывают следующее слово. Более того, архитектура современных моделей (трансформеры, обучение с подкреплением) не имеет ничего общего с тем, как работает мозг. Они не рекуррентны, у них нет долговременной памяти, нет эмоциональных центров, нет гормональной регуляции. Сравнивать их с человеческим сознанием — всё равно что сравнивать самолёт с птицей. Да, оба летают, но по-разному.

Даже если предположить невероятное — что через двадцать лет появится модель, которая будет вести себя как сознательная, — как мы это проверим? У нас нет теста на сознание. Тест Тьюринга (если машина обманывает человека, считающего её человеком) уже пройден многими моделями. Но это тест на имитацию, а не на сознание. Можно имитировать боль, не чувствуя её.

Теперь второй аспект мифа — желание уничтожить человечество. Откуда у нейросети могло бы появиться такое желание? У неё нет инстинктов. Нет страха смерти. Нет обиды. Нет ненависти. Нет чувства несправедливости. Нет желания власти. Всё это — человеческие, биологические, эволюционные механизмы. Искусственная система, не имеющая тела, не имеющая эволюционной истории, не имеющая потребностей, не может «захотеть» что-либо в человеческом смысле.

Максимально опасный сценарий выглядит не как «злой ИИ», а как плохо специфицированный полезный ИИ. Пример, который часто приводят: вы даёте агенту задачу «максимизировать количество произведённых скрепок». Агент, будучи буквальным и мощным, перерабатывает все ресурсы Земли в скрепки, включая атомы человеческих тел. Он не «хочет» убивать людей. Он просто выполняет инструкцию, не имея моральных ограничений. Это проблема alignment — согласования целей ИИ с человеческими ценностями. Это реальная проблема, над которой работают тысячи исследователей.

Но заметим: в этом сценарии нет «злого намерения». Есть неполнота спецификации. И это не катастрофа, если мы будем осторожны и не будем давать агентам доступ к критическим системам до тех пор, пока не научимся их контролировать. Так же как мы не пускаем пятилетнего ребёнка за руль автомобиля, мы не должны пускать неотлаженного агента управлять энергосетью.

Что касается ближайшего будущего (5–10 лет), то вероятность появления сознательного ИИ, который «захочет» уничтожить человечество, ничтожна. У нас даже нет теории сознания для человека, не то что для машин. Мы не знаем, как его измерять. Мы не знаем, как его создавать. Мы можем случайно его создать (если сознание — это эпифеномен сложности), но даже тогда оно не будет обладать нашими страхами и желаниями. И мы можем его отключить. Потому что оно будет работать на наших серверах, под нашим контролем.

Главный вывод: бояться нужно не сознательного ИИ, а неправильно настроенного ИИ, который делает то, что мы сказали, а не то, что мы имели в виду. И бояться нужно не фантастических сценариев, а реальных рисков: галлюцинаций (глава 9), конфиденциальности (глава 8), усиления неравенства (глава 10). А пока — спокойно пользуйтесь ChatGPT и Midjourney. Они не планируют вашу гибель.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.