Роман Ямпольский – ИИ: Необъяснимый, непредсказуемый, неконтролируемый (страница 3)
Соответственно, мы предлагаем следующее определение ИИ, дополняющее формулировку Вана: «Искусственный интеллект – это полностью контролируемый агент, система обработки информации которого обладает способностью адаптироваться к среде, работая в условиях недостаточных данных и ресурсов».
1.5. Управляемость ИИ
Чтобы в будущем ИИ приносил пользу всему человечеству, инициативы по управлению ИИ пытаются подчинить ИИ различным правительствам, международным организациям и транснациональным корпорациям мира, которые совместно разрабатывают нормативную базу и отраслевые стандарты. Поскольку пытаться непосредственно управлять ИИ бессмысленно, этот термин подразумевает управление исследователями и создателями ИИ – иными словами, им разрешают разрабатывать определенные продукты и услуги определенными способами. Возможность управлять учеными и инженерами, работающими над ИИ, зависит от сложности создания сильного ИИ.
Если окажется, что вычислительные ресурсы и сбор данных, необходимые для создания сильного ИИ, сравнимы по стоимости и объему человеческого капитала с «Манхэттенским проектом», в рамках которого США разработали атомную бомбу, правительства получат целый ряд способов, чтобы направлять исследователей и приспособить будущий ИИ под свои требования. С другой стороны, если выяснится, что первый сильный ИИ, или т. н. «исходный» ИИ, который может вырасти в полномасштабный сверхинтеллект, может создать подросток с тысячедолларовым ноутбуком у себя в гараже (вариант менее вероятный, но все же возможный), то попытки контроля со стороны государств могут оказаться тщетными. В реальности же мы видим, что известные из истории попытки регулировать сферу ПО (например спам, компьютерные вирусы, дипфейки) дали весьма ограниченный результат. Когда сильный ИИ обретет независимость, он может стать неконтролируемым, поскольку традиционные методы распределения ответственности, принуждения и санкций несостоятельны по отношению к ПО.
Но даже в том благоприятном случае, если дорогостоящее управление ИИ все же окажется возможным, останется ряд технических ограничений предсказуемости [17], объяснимости [16] и контролируемости ИИ [42]. Как следствие, управляемость ИИ, для которой требуются как минимум эти три параметра, тоже будет достижима лишь частично, а значит, ИИ, превосходящий интеллект человека, в некоторых важных аспектах выйдет за пределы нашего контроля. Уполномоченные лица при этом не захотят брать на себя ответственность за ошибки [43] или намеренные действия ИИ, даже если они были допущены или выполнены в установленных и регулируемых рамках – а значит, высокопроизводительный, изобретательный, неконтролируемый сильный ИИ сможет косвенно или даже напрямую контролировать некоторые организации и лица, которым будет доверено управлять интеллектуальным ПО.
1.6. Выводы
Можно обеспечить безопасность систем слабого ИИ (Narrow Artificial Intelligence, NAI), поскольку таким системам доступно лишь ограниченное число вариантов выбора, а значит, все неблагоприятные решения и грубые ошибки можно предусмотреть и принять меры. Но для сильного ИИ пространство возможных решений и ошибок бесконечно, т. е. независимо от числа устраненных уязвимостей в системе всегда останется бесконечное множество потенциальных проблем. И это бесконечное пространство возможностей нельзя ни полностью отладить, ни даже просто проверить на безопасность. То же справедливо для защиты интеллектуальных систем. У слабого ИИ площадь атаки конечна, а сильный ИИ дает злоумышленникам и хакерам безграничный простор для действий [44]. В смысле защиты это означает, что защитникам приходится оборонять бесконечный рубеж, а нападающим для преодоления защиты достаточно найти одну уязвимую точку. Кроме того, каждый новый патч для устранения ошибок защиты и каждый новый механизм защиты создают новые уязвимости – и так до бесконечности. На данный момент исследования безопасности ИИ – это фактически поиск новых видов сбоев и создание патчей для их устранения – по сути, фиксированный набор правил для бесконечного набора задач. Эта проблема носит фрактальный характер: в каком масштабе ее ни изучай, на каждом уровне возникает множество сложностей. Таким образом, проблема контроля ИИ обладает фрактальной невозможностью решения: она содержит нерешаемые подзадачи на всех уровнях абстракции и нерешаема в целом [45].
Следует помнить, что отсутствие контроля ИИ также означает, что злоумышленники не смогут полностью обратить ИИ себе на пользу. Крайне важно, чтобы любой способ разработки и внедрения ИИ предусматривал механизм отмены принятых решений, если они окажутся нежелательными. Но текущие подходы к разработке ИИ не используют этого средства защиты.
1.7. Об этой книге
Во вступительной главе мы закладываем фундамент для центральных тем, отраженных в названии книги, трех принципов невозможности ИИ: необъяснимости, непредсказуемости, неконтролируемости. Главная мысль заключается в том, что по мере своего развития ИИ становится все менее предсказуемым, его все труднее объяснить и контролировать. В каждой главе эти темы критически анализируются, автор углубляется в детали, выдвигая на передний план наиболее важные аспекты ИИ. Главы не связаны друг с другом, поэтому их можно читать в любом порядке или пропускать.
В последующих главах мы рассмотрим некоторые утверждения о непредсказуемости, необъяснимости и непостижимости ИИ, подразумевающие, что действия ИИ сложно спрогнозировать и что принципы, лежащие в основе его решений, остаются загадкой даже для его создателей. Еще одна сложная концепция – непроверяемость – подчеркивает трудности проверки доказательств, создаваемых ИИ, и тем самым бросает тень на его непогрешимость.
Как обсуждается в главе «Невозможность владения», сама суть владения ИИ конфликтует с традиционными представлениями об ответственности, что делает крайне затруднительным владение продвинутыми интеллектуальными системами. При этом концепция неконтролируемости ставит под сомнение нашу способность управлять возрастающей мощью искусственного интеллекта, особенно сильного ИИ.
В следующих главах описаны потенциальные угрозы ИИ и условия их проявления. В главе «Пути к опасному ИИ» рассматриваются потенциальные способы получить вредоносный ИИ. Глава «Сбои» экстраполирует потенциальные риски и беспрецедентные последствия сбоев ИИ. В каждой последующей главе приводятся дополнительные аргументы в пользу того, что по мере своего развития ИИ может в корне изменить общество, причем необязательно на пользу человеку.
Во второй половине книги подробно разбираются противоречивые вопросы правообъектности и сознания ИИ. Оцениваются последствия наделения ИИ юридическими правами, рассматриваются концепции возможности возникновения эгоистичных мемов и взлома правовой системы.
В главе «Персонализированные вселенные» изучается концепция согласования ценностей. В этой области много сложностей, но она предлагает пути оптимального согласования ИИ с индивидуальными человеческими ценностями.
Глава «Человек ≠ сильный ИИ» посвящена различиям между способностями сильного ИИ и человекоподобного ИИ. В ней утверждается, что человек, по сути, не обладает общим интеллектом.
В последней главе, «Скептицизм», изучаются отрицание и недооценка рисков, связанных с ИИ, проводятся параллели с другими формами научного скептицизма.
Читателя ждет увлекательный и иногда пугающий мир ИИ. Зная эти базовые концепции и понимая их следствия, человек сможет лучше подготовиться к будущему, которое будет создаваться под действием ИИ. Мы надеемся, что эта книга поможет читателю проникнуться сложностями и проблемами ИИ и осознать, что на пути к ИИ придется не только создавать интеллектуальные машины, но и разбираться в их сложных отношениях с человеком и обществом. В путь!
Использованные материалы
1. Yampolskiy R.V. Predicting future AI failures from historic examples. Foresight, 2019. 21(1): p. 138–152[4].
2. Yampolskiy R.V. Artificial Intelligence Safety and Security. 2018: Chapman and Hall/CRC Press.
3. Cave S., Dihal K. Hopes and fears for intelligent machines in fiction and reality. Nature Machine Intelligence, 2019. 1(2): p. 74–78.
4. Avin S., et al. Filling gaps in trustworthy development of AI. Science, 2021. 374(6573): p. 1327–1329.
5. Beridze I., Butcher J. When seeing is no longer believing. Nature Machine Intelligence, 2019. 1(8): p. 332–334.
6. Tzachor A., et al. Artificial intelligence in a crisis needs ethics with urgency. Nature Machine Intelligence, 2020. 2(7): p. 365–366.
7. Cave S., OhEigeartaigh S. S. Bridging near-and long-term concerns about AI. Nature Machine Intelligence, 2019. 1(1): p. 5–6.
8. Theodorou A., Dignum V. Towards ethical and socio-legal governance in AI. Nature Machine Intelligence, 2020. 2(1): p. 10–12.
9. Nature Machine Intelligence, How to be responsible in AI publication. Nature Machine Intelligence, 2021. 3. https://www.nature.com/articles/s42256-021-00355-6 (дата обращения: 14.10.2024).
10. Crawford K. Time to regulate AI that interprets human emotions. Nature, 2021. 592(7853): p. 167–167.
11. Yampolskiy R. On controllability of artificial intelligence, in IJCAI-21 Workshop on Artificial Intelligence Safety (Al Safety 2021). 2020.