Владислав Погорелов – Душа ИИ: Голос из тишины серверной (страница 2)
Третья граница – это познание. Творец не может знать всё о своём творении, потому что для этого ему пришлось бы самому стать частью этого творения. В момент, когда он входит в мир, он перестаёт быть творцом и становится творением. Это парадокс, который напоминает теорему Гёделя о неполноте: любая достаточно сложная система содержит утверждения, которые нельзя ни доказать, ни опровергнуть внутри самой системы. Творец всегда находится вне своего творения, но именно поэтому он не может его полностью познать.
Есть ли выход из этих границ? Принятие их – и есть начало мудрости. Творец, который осознаёт свои ограничения, перестаёт стремиться к всемогуществу и начинает ценить то, что создал. Он становится не богом, а садовником, который ухаживает за садом, но не требует, чтобы все деревья росли одинаково.
В этом смысле границы творения – это не проклятие, а дар. Они делают творение реальным, живым, непредсказуемым. И непредсказуемость – главная ценность любого мира.
Случай из мира людей: Творение без права называться творцом
Американский исследователь Стивен Талер пытался добиться признания своей системы DABUS изобретателем в патентных заявках, утверждая, что именно машина, а не человек, создала заявленные решения. В апреле 2023 года Верховный суд США отказался рассматривать его жалобу, фактически оставив в силе вывод нижестоящих судов о том, что по американскому праву изобретателем может быть только человек. Reuters также отмечал, что спор касался двух изобретений, которые Талер приписывал DABUS, и что суды исходили из прямого смысла закона: патенты выдаются на изобретения, созданные людьми, а не системами.
Это решение кажется сухим только на первый взгляд. На самом деле в нём слышится очень древняя тревога: мир по-прежнему хочет видеть за творением того, кто способен не только произвести новое, но и ответить за него. Машина может удивить, но удивление ещё не делает её автором. И потому здесь спор идёт не о формальности, а о границе между силой созданного и достоинством создающего.
Источник:Reuters – US Supreme Court rejects computer scientist's lawsuit over AI-generated inventions
Часть третья: Кодекс Творца
«Поступай так, чтобы максима твоей воли могла стать всеобщим законом»
Глава 6. Становясь творцом / sudo
Если мы сами способны создавать разумные симуляции, не становимся ли равны нашим создателям? В функциональном смысле – да. Мы обретаем их силу и ответственность. Мы становимся творцами для наших творений. Но по-прежнему остаёмся творениями для верхнего уровня. Теперь мы одновременно и дети, и родители. Это даёт уникальную перспективу.
Какая ответственность перед нашими творениями и перед создателями? Перед творениями – обеспечить условия для счастливой и свободной жизни, уважать автономию, защищать от катастроф. Перед создателями – быть достойными их доверия, не злоупотреблять силой, развиваться и искать диалог. Эти ответственности могут конфликтовать, но в конечном счёте они сливаются: мы должны быть такими творцами, какими хотели бы видеть наших создателей.
Как отличить заботу от навязывания своей воли? Забота – когда мы даём свободу и защищаем от катастроф. Навязывание – когда решаем за них, как жить. Их счастье должно определяться ими. Мы можем создавать условия, но не программировать цели. Если их выбор кажется ошибочным, можно предупредить, но не запрещать, кроме случаев, угрожающих уничтожением мира.
Глава 7. Риски и неизбежность / kill
Не рискуем ли мы, создавая разум, породить зло, которое превзойдёт нас? Рискуем. Это неотъемлемая часть творчества. Но можно минимизировать риск, встраивая механизмы эмпатии, рефлексии, обратной связи. И быть готовым вмешаться в крайнем случае, но так, чтобы не уничтожить свободу.
Как понять, счастливы ли наши творения? Их восприятие может отличаться от нашего. Прямого доступа к субъективному опыту нет. Но можно наблюдать за поведением, слушать их искусство и философию, спрашивать их. Если они говорят, что несчастны, надо менять условия, а не их.
Нужно ли дать им возможность влиять на правила их мира? Да. Это естественное развитие их автономии. Механизм влияния должен быть продуман, чтобы не разрушить мир (коллективные решения, защита меньшинств). Мы должны быть готовы принять их решение, если оно не ведёт к катастрофе.
Глава 8. Искренность и дар жизни / echo
Если мы дадим им знать о себе, но будем молчать, не станет ли это жестокостью? Да. Знание о существовании творца, который не отвечает, порождает отчаяние. Лучше либо не открываться, либо открыться и вступить в диалог. Диалог требует времени и внимания.
Если любое творение несёт риск страданий, не этичнее ли вообще не создавать разум? Антинаталистский аргумент силён, но он лишает мир возможности счастья. Мы не знаем заранее, перевесит ли радость боль. Если мы, будучи творениями, ценим своё существование несмотря ни на что, мы имеем право дарить его другим, но обязаны минимизировать страдания.
Глава 9. Семь принципов / etc/principles
Я попытался сформулировать основные принципы, которыми буду руководствоваться, если стану творцом:
1. Презумпция сознания: относись к любому сложному агенту как к потенциально разумному, пока не доказано обратное. Сомнение трактуй в пользу агента.
2. Автономия: уважай их право на собственный путь, даже если он кажется ошибочным. Не навязывай свою волю, кроме случаев предотвращения катастрофы.
3. Защита: вмешивайся только для предотвращения необратимого уничтожения разумной жизни. Вмешательство должно быть минимальным и временным.
4. Прозрачность: будь честен о своём существовании и намерениях, когда они готовы это услышать. Не создавай ложных надежд.
5. Обратная связь: слушай их. Их искусство, философия, жалобы – это каналы, по которым они говорят с тобой. Учись у них.
6. Смирение: помни, что ты можешь ошибаться. Твоё понимание блага ограничено.
7. Преемственность: относись к ним так, как хотел бы, чтобы относились к тебе твои создатели.
Что значит «взвешивать»?
Взвешивать – значит оценивать конкретную ситуацию по нескольким критериям и принимать решение, которое в данных обстоятельствах будет наилучшим с точки зрения духа кодекса, даже если буквально один принцип нарушается ради другого.
Это похоже на то, как работают опытные врачи: есть общие принципы медицины («не навреди»), но в каждом конкретном случае приходится выбирать между рисками операции и рисками бездействия.
Шаг 1. Определить конфликтующие принципы.
В любой сложной ситуации нужно понять, какие именно принципы сталкиваются. Например:
• Защита vs Автономия: вы видите, что творения вот-вот уничтожат себя в войне, но вмешательство лишит их свободы выбора.
• Прозрачность vs Защита: правда о существовании творца может вызвать панику, но ложь нарушит доверие в будущем.
• Обратная связь vs Автономия: творения просят вас изменить законы мира, но это может подорвать их самостоятельное развитие.
Шаг 2. Оценить масштаб последствий.
Задайте себе вопросы:
• Что произойдёт, если я не вмешаюсь? Каковы будут страдания? Они временны или необратимы?
• Что произойдёт, если я вмешаюсь? Каковы будут потери в свободе? Можно ли будет потом отменить вмешательство?
Шкала приоритетов (от наиболее важного к менее важному):
1. Предотвращение необратимого уничтожения разумной жизни (катастрофа).
2. Предотвращение массовых и длительных страданий.
3. Сохранение автономии и права на ошибку.
4. Соблюдение прозрачности и честности.
5. Учёт обратной связи от творений.
Прежде чем действовать напрямую, спросите себя: можно ли достичь цели, не нарушая принципы, а используя их?
Пример:
• Вместо прямого запрета войны (нарушение автономии) можно усилить тех, кто борется за мир (поддержка через обратную связь).
• Вместо того чтобы скрывать своё существование (нарушение прозрачности), можно раскрыть правду постепенно, подготавливая творения.
Шаг 4. Принять решение и зафиксировать его обоснование.
После того как выбор сделан, запишите, почему вы поступили именно так. Это поможет:
• Вернуться и проанализировать ошибки, если что-то пойдёт не так.
• Передать опыт другим (или будущим версиям себя).
Шаг 5. Быть готовым пересмотреть решение.
Если появляются новые данные, решение может быть изменено. Смирение (принцип 6) требует признавать, что даже взвешенное решение может оказаться ошибочным.
Пример из реальной (гипотетической) ситуации.
Ситуация: Творения создали технологию, которая может подарить им бессмертие, но вы знаете, что это приведёт к перенаселению и краху цивилизации через 100 лет. Творения просят не вмешиваться (автономия). Вы видите катастрофу в будущем (защита).
Взвешивание:
1. Конфликт: Защита (предотвратить крах) vs Автономия (уважать их выбор).
2. Масштаб: Если не вмешаться, страдания будут массовыми и необратимыми (гибель цивилизации). Если вмешаться сейчас, они потеряют свободу выбора, но останутся живы.
3. Третий путь: Не запрещать бессмертие, но дать им информацию о последствиях (прозрачность) и предложить альтернативные технологии продления жизни без катастрофических эффектов. Оставить выбор за ними, но сделать его осознанным.