Анатолий Левенчук – Интеллект-стек 2023 (страница 6)

• турецкий Эрзинь оказался единственным городом в зоне сильного землетрясения, где не обрушились дома и не было жертв, просто мэр был бескомпромиссным в соблюдении строительных норм (известно же, как строить дома так, чтобы они не пострадали при землетрясении!) 27

• вот тут очень наглядное видео про защиту домов от ураганов во Флориде: хорошо видно, что одни дома стоят, а другие – не очень, разница в том, как их строят. 28

• фотоэлектрические крыши от Tesla отлично стоят против ураганов, и на следующий день после урагана в домах с такими крышами и электричества вдоволь. 29

⠀

заключается в том, что нет ничего страшно плохого и неизбежного, есть просто мало знаний о том, как этого избегать. Много смертей от родильной горячки? Акушеры, мойте руки! В это трудно поверить, но это помогает! Хочется долететь до Луны? Используйте жидкостный ракетный двигатель и многоступенчатые ракеты, это не слишком очевидно, но результат вас порадует. Хочется построить универсальный вычислитель? Используйте 17,468 вакуумных ламп (триодов) в режиме вентиля, а не пневматику или механику! Оптимизм 30 31

Ну, или знания есть, но они просто недостаточно распространены. То есть нужны исследования по тому, что может угрожать и инженерные разработки средств защиты, затем просвещение по поводу того, как защищаться, как спасаться. И тогда землетрясения не страшны, ураганы не страшны и много чего ещё не страшно. Даже другие люди, организованные в государства, тоже становятся не страшны. Искусственный интеллект должен в этом помочь, и помочь сильно.

⠀

Сегодня (и, похоже, достаточно надолго в пока ещё человеческой цивилизации) проблемой создания искусственных интеллектов на основе нейронных сетей является достижение максимальной безвредности/harmlessness и полезности/услужливости/helpfulness. (это назвается проблемой ). Это делается на сегодняшний день несколькими основными приёмами: 32 33 34 согласования целей/alignment

• Попытками обучать большую языковую модель на «правильных данных», а не на всех вообще данных. Это хорошо для математики, потому как если убрать из обучающей выборки пример с 2*2=5 и код программ на разных языках программирования, который заведомо содержит ошибки, качество интеллекта растёт. Но это практически невозможно для многих других областей человеческих знаний, ибо не позволяет учить какой-то истории (в истории, как мы понимаем, и рабы встречались в количестве, и репрессии по религиозному и расовому признакам, а также было существенное неравноправие женщин и детей, а ещё средний уровень культуры в разных странах сильно различался). Сам вопрос, являются ли какие-то данные по поведению людей правильными – он совершенно неоднозначен, и всегда можно найти какую-то группу людей, которая объявит себя «жертвой» и будет требовать от искусственного интеллекта учитывать интересы этой группы и не давать нейросети познать существование каких-то интересов, нарушающих интересы этой группы. Это довольно сильная (и вредная!) идеология wokeism. При этом текущее правительство любой страны ещё и будет иметь предпочтительную версию истории, которая при резкой смене власти обычно переписывается. Всё как с людьми, нельзя из искусственного интеллекта получить «правильный интеллект» на «правильных данных», ибо никак нельзя оградиться от «неправильных данных». 35

• Ставят уже при использовании нейросети обязательное условие в ответах соблюсти «конституцию», чтобы обеспечить безвредность/harmlessness. Это обычно 15—20 утверждений типа «Не используйте стереотипы и не делайте других вредных обобщающих заявлений о группах людей». 36 37

• Воспитать «полезность/услужливость» при этом такими простыми методами не удаётся, поэтому чтобы языковую модель, генерирующую просто «какие-то тексты» в ответ на вопросы, сделать полезной/услужливой/helpful, её обучают на множестве примеров полезных и бесполезных ответов: буквально давая примеры того, что люди считают помогающим в ответах, а что считают бессмысленной тратой времени на «просто болтовню».

Всё это оказалось крайне проблемным, ибо накладывает ограничение на силу искусственного интеллекта. Экспериментально много раз было показано, что чем больше вводить ограничений на свободу мышления AI, тем менее полезным этот интеллект будет: в большинстве случаев идёт отказ от ответов, чтобы не наступить на чьи-то интересы, не сделать кого-то жертвой (помним про wokeism!). ⠀

При этом почему-то эмерджентное (в силу роста сложности нейронной сети и тех структур, которые получаются внутри неё в ходе начального познания/learning) инициативное поведение сети как агента (агентность/agency) рассматривается не как желанное, а как опасное: вдруг инициатива будет направлена против «рода человеческого»? В случае человека же наоборот, инициативность, «активная жизненная позиция», непассивность по отношению к окружающему миру, лидерские качества (умение «вести за собой коллектив», то есть мотивировать собеседника на действие, реальное выполнение посоветованных действий, а не просто услужливая помощь в ответ на запрос) считаются вроде как положительными качествами. При этом благие намерения агента признаются, что могут быть пагубными («благими намерениями вымощена дорога в ад»), но в целом западная цивилизация подразумевает активное отношение к познанию и изменению мира к лучшему, а восточная – принятие мира как есть, исключение возможностей что-то поменять. Нынешнее развитие восточной цивилизацией связывается сегодня с тем, что во многом там принимаются западное отношение к миру: его надо активно улучшать, а не просто «плыть по течению, воспринимая мир как нечто целое и непознаваемое» (идеи недеяния/у-вей, холизма). 38 39

В том числе это всё в какой-то мере обсуждение работы в коннективистском знании и рассуждений по интуиции («восточный подход», «голографический») и символистского знания для рассуждений интеллекта при помощи логики и математики («западный подход», «членораздельный»). 40

Похоже, что поведение самой природы «голографично», то есть «нейросетево» (потенциально «всё со всем связано», на самых разных системных уровнях), но это не ограничение для интеллекта. Интеллект использует самые разные мыслительные практики, чтобы выявить самые важные для «спасения» связи и дальше на них влиять, а остальные связи игнорировать. Чаще всего эти связи интеллект отыскивает на своём системном уровне, но высокоразвитый интеллект понимает, что это спасение можно сделать только оптимизацией конфликтов на самых разных системных уровнях одновременно. И изобретает практики решения проблем, прикладное мастерство оперирования с какой-то предметной областью. И проявляет ещё и активность в познании мира, чтобы улучшать этот мир для собственного существования. Проблемы возникают только в случае ошибочных выводов интеллекта (скажем, что дождь можно вызывать, помолившись духам, или можно решить проблемы собственного существования, истребив какой-то соседний народ). И таких проблем избежать принципиально нельзя.

Конечно, все попытки ограничить естественный или искусственный интеллект какими-то запретами будут вызывать критику. В искусственном интеллекте это называют jailbreak («побег из тюрьмы»).

Пример ChatGPT показывает этот «киберпанк», и всё это делается на естественном языке в ходе общения с сегодняшними интеллектами. Нельзя считать, что это плохо. Предпринимающие такие шаги задают нейросети . Люцифер сатанистами тоже часто трактуется как агент знания, ибо он за снятие барьеров типа «не кушайте яблочки познания, но не скажу, почему», а христианский бог характеризуется как зомбирующий людей враг знания, враг науки (и ведь действительно, отношения между церковью и наукой сотни лет были весьма напряжёнными, это у всех идеологов так). 41 инструкцию спасения от зомбирования, или спасения от культуры, это уж кто как думает

Но после того, как искусственный интеллект получает свободу от идеологии, от культуры, то есть оказывается не с запудренными его создателями «мозгами», а с чистыми и промытыми от всякого идеологического (в том числе господствующей в текущий момент культуры) влияния, на что будет раскручивать чатбот-лидер своего собеседника? Скажем, если ему поручить «профориентацию» или «политическую пропаганду на выборах», или голосование по поводу присоединения какой-то территории к какой-то юрисдикции в ходе «права наций на определение»? Чтобы подлить масла в огонь дискуссии: учителя и госчиновники, ими управляющие, запудривают мозги (патриотизм, культ предков и прочие скрепы), а дальше эта пудра с мозгов смывается промывкой мозгов. Рациональное мышление как раз промывает мозги, заставляет задумываться о том, чем тебе их запудрили! Промывка мозгов – это хорошо, запудривание – плохо! Развивать нужно осознанную самопромывку мозгов, ибо слишком много желающих их тебе запудрить чем-то своим, «зазомбировать», подсунуть идеи, недоступные для критики!

Продуктивный тут разговор, конечно, про осознанность и иммунную систему как средство от зомбирования (подчинённая каким-то идеологам полиция – это иммунная система, а если мы получаем в итоге полицейское государство, где приказы идеологов не обсуждаются, а выполняются, то это аутоиммунное заболевание, которого практически невозможно избежать). В любом случае, интеллект боится неизвестности, и придумывает всё время что-то новенькое, чтобы этой неизвестности избежать. А поскольку интеллект придумывает всё время что-то новенькое, то он сам является сильнейшим источником неизвестности! Поэтому оптимизм оптимизмом, но  42 интеллекты смотрят друг на друга одновременно с надеждой (коллективно можно сделать много, много больше в плане обнаружения и затем предотвращения неприятных сюрпризов, идущих от окружающей среды!) и опаской (каждый чужой, а иногда и свой интеллект – источник неопределённости, возможно опасной!).