Тоби Орд – На краю пропасти. Экзистенциальный риск и будущее человечества (страница 30)

Биотехнологические компании работают над сдерживанием негативных эффектов демократизации в своей сфере. Так, неограниченный синтез ДНК позволил бы злоумышленникам без особых проблем создавать чрезвычайно смертоносные патогены. Он предоставил бы им возможность получать доступ к ДНК таких контролируемых патогенов, как оспа (геном которой можно найти в интернете), и модифицировать ДНК таким образом, чтобы патоген становился более опасным[384]. В связи с этим многие компании, предоставляющие услуги синтеза, по собственной инициативе внедряют меры для управления этим риском и просматривают поступающие к ним заказы, чтобы выявлять опасные последовательности. Но методы скрининга несовершенны, а проверить удается лишь около 80 % заказов[385]. Этот процесс можно отладить гораздо лучше, а скрининг очень желательно сделать обязательным. Проблемы лишь усугубятся, когда появятся настольные аппараты для синтеза ДНК, поскольку придется внедрять защиту, обеспечивающую скрининг всех конструируемых последовательностей на уровне программного или аппаратного обеспечения, чтобы избежать злоупотреблений[386].

Стоит призвать и научное сообщество к более осторожному обращению с биологическими рисками. Многие опасные подвижки, которыми могут воспользоваться страны и небольшие группы, были сделаны в сфере открытой науки (см. врезку “Информационные угрозы”). Мы убедились, что наука сопряжена со значительным риском чрезвычайных происшествий. Научное сообщество пытается регулировать опасные исследования, но успехи в этом направлении остаются скромными. Это вызывает огромные трудности по целому ряду причин: очень сложно определить, где следует проводить черту; нет центрального органа, который мог бы унифицировать практику таких исследований; господствует культура открытости и свобода выбора темы для исследования; наука развивается гораздо быстрее, чем совершенствуются методы ее регулирования. Возможно, научное сообщество сумеет ответить на эти вызовы и наладить управление глобальными рисками, но для этого придется осознанно смириться с серьезными изменениями в культуре и принципах регулирования науки – например, относиться к безопасности в сфере биотехнологий примерно так же, как в сфере ядерной энергетики. И это осознание должно прийти к научному сообществу до того, как произойдет катастрофа.

Из лабораторий утекают не только патогены. Страшнее всего не утечки микробов, а утечки данных, то есть не биологическая, а информационная угроза [387] . Она может принимать форму опасных данных, которые оказываются в открытом доступе, например при публикации геномов оспы и испанки. Это могут быть и опасные идеи, такие как обнародованные методы воскрешения оспы и испанки на основе их геномов (что перечеркнет все прошлые попытки ограничить физический доступ к ним). Оказавшись в открытом доступе, такая информация распространяется не хуже любого вируса и столь же яростно сопротивляется уничтожению.

Если лаборатория уровня BSL-4 устроена так, чтобы не допускать утечек микробов, то в научной среде идеями принято делиться. Научная работа зиждется на принципе открытости, а потому культура и правила, необходимые для предотвращения распространения опасной информации, приживаются плохо. Особенно если граница между в конечном счете полезным и слишком опасным настолько размыта и спорна.

В ученых поддерживают стремление думать самостоятельно и бросать вызов властям. Но когда каждый сам определяет, перевешивают ли выгоды от публикации возникающие издержки, возникает предрасположенность к риску, называемая проклятием односторонности[388]. Дело в том, что, даже если подавляющее большинство ученых полагает, что опасность перевешивает пользу, достаточно одной чрезмерно оптимистичной оценки, чтобы информация оказалась обнародованной[389]. Вопреки принятой в научном мире практике решение за все сообщество принимает единственный отщепенец.

Как только информация обнародована, предпринимать что-либо уже поздно. Если попытаться сдержать распространение раскрытой информации или дискредитировать того, кто ее опубликовал, это привлечет к ней больше внимания. Информация о том, на что обращают внимание бдительные люди, – отдельный вид информационной опасности. “Аль-Каиду” к биотерроризму подтолкнули предостережения Запада о мощности и простоте биологического оружия[390]. Японская программа по разработке биологического оружия во время Второй мировой войны (когда бубонная чума использовалась в борьбе с Китаем) была непосредственно вдохновлена соглашением о запрете биологического оружия: раз западные державы сочли необходимым запретить его применение, это оружие, должно быть, и правда отличается огромной мощностью[391].

Порой достаточно и знания о возможности чего-либо, ведь в таком случае злоумышленник может уйти в работу с головой, не боясь, что растратит ресурсы зря.

Информационные угрозы имеют особенную важность для биориска, поскольку для него характерно высокое соотношение риска злоупотребления и риска несчастного случая[392]. И они затрагивают не только биологов. Изучая текущие уязвимости общества и опасности новейших техник, сообщество специалистов по биологической безопасности также раскрывает опасную информацию (о чем я должен прекрасно помнить, когда пишу этот раздел)[393]. Это еще сильнее усложняет задачу тем, кто пытается нас защитить.

Неконтролируемый искусственный интеллект

Летом 1956 года небольшая группа математиков и программистов собралась в Дартмутском колледже, чтобы приступить к грандиозному проекту по разработке разумных машин. Они изучали многие аспекты познания, включая логическое мышление, креативность, речь, принятие решений и обучение. Их вопросы и установки в итоге определили облик зарождающейся сферы искусственного интеллекта (ИИ). Свою конечную цель они видели в том, чтобы создать машину, чей интеллект мог бы сравниться с человеческим[394].

Несколько десятилетий спустя сфера ИИ упрочила свои позиции, но умерила амбиции. Наблюдаются серьезные успехи в логике, мышлении и играх, но в некоторых других областях прогресса нет вовсе. К 1980-м годам исследователи начали понимать эту закономерность успехов и провалов. Как ни странно, с задачами, выполнение которых мы считаем вершиной человеческого интеллекта (например, математическим анализом и игрой в шахматы), компьютеры справляются гораздо легче, чем с задачами, которые даются нам практически без труда (например, узнать кошку, понять простое предложение или поднять яйцо). В связи с этим, хотя в одних сферах ИИ значительно превосходил человеческие способности, в других он уступал даже двухлетнему ребенку[395]. Из-за невозможности добиться всестороннего прогресса многие исследователи ИИ отказались от изначальных целей по созданию общего интеллекта и стали ориентироваться на разработку специализированных методов для решения конкретных задач. Задачи более амбициозные списали на юношеский задор первооткрывателей в незрелой области исследований.

Но маятник начал обратный ход. С первых дней исследования ИИ ученые стремились создать системы, способные обучаться новым вещам без перепрограммирования. Одним из первых подходов к машинному обучению стало конструирование искусственных нейронных сетей, напоминающих строение человеческого мозга. В последнее десятилетие этот метод наконец начал развиваться. Их структура и принципы обучения стали технически совершеннее, базы данных – больше, а вычислительная мощность – выше, и это в совокупности позволило нам обучать гораздо более крупные и глубокие сети, чем когда-либо ранее[396].

Такое глубокое обучение дает сетям способность усваивать тонкие идеи и проводить различия. Теперь они не только в состоянии узнать кошку, но и лучше человека справляются с распознаванием разных кошачьих пород[397]. Они лучше нас узнают людей в лицо и различают идентичных близнецов[398].

И мы научились применять эти способности не только для распознавания и классификации. Системы глубокого обучения могут переводить с языка на язык почти на уровне профессионального переводчика. Они могут создавать изображения людей и животных с фотографической точностью. Могут говорить голосами людей, которых послушали всего несколько минут. И могут освоить точное непрерывное управление, например научиться водить машину или собирать конструктор лего с помощью роборуки[399].

Но, пожалуй, главным предвестником грядущего служит их способность обучаться играм. Игры занимали центральное положение в сфере ИИ со времени Дартмутской конференции. В результате непрерывного поступательного прогресса ИИ, который в 1957 году играл в шахматы на любительском уровне, в 1997 году вышел на сверхчеловеческий уровень, а затем, по сути, пошел дальше[400]. Для этого потребовался огромный объем специальных человеческих знаний о шахматной стратегии.

В 2017 году в шахматное дело вступило глубокое обучение, которое показало впечатляющие результаты. Команда исследователей из ИИ-компании DeepMind создала AlphaZero – основанную на нейронной сети систему, которая научилась играть в шахматы с нуля. Она прошла путь от новичка до гроссмейстера всего за четыре часа[401]. Потратив меньше времени, чем у профессионала уходит на две партии, она приобрела стратегическое знание, на овладение которым у людей ушли века, и стала играть лучше, чем самые способные люди и чем традиционные программы. К огромному удовольствию шахматистов, она играла не в скучном методическом стиле, который ассоциируют с компьютерными шахматами, а выбирала нестандартные и смелые ходы, напоминающие о романтической эпохе в истории этой игры[402].