Максим Байтович – Сплетая разум. Нейросети и будущее (страница 2)
И машина училась!
Летом 1958 года мир взорвался. Журнал The New Yorker вышел с сенсационной статьей, где Perceptron называли «самой удивительной машиной из когда-либо созданных». The New York Times пошла еще дальше, предсказав, что этот «электронный младенец» скоро научится ходить, говорить, видеть, писать и даже «осознавать собственное существование». Военные немедленно увидели в этом потенциал для систем наведения ракет и распознавания целей, и щедро финансировали проект. Розенблатт стал звездой. На его лекции в аудиториях набивались толпы. Казалось, до мыслящих машин рукой подать. Мы просто берем побольше нейронов, побольше связей, и... сознание возникнет само собой.
Но у этой мечты был могущественный и непримиримый враг. Его звали Марвин Мински.
Мински был гением совершенно иного склада — язвительным, блестящим математиком из MIT, одним из отцов-основателей «символьного» подхода к ИИ. Он считал, что разум — это манипуляция символами по четким логическим правилам, а не какая-то аналоговая каша из подстраивающихся железок. Перцептрон с его мистическим «обучением» казался ему ересью и шарлатанством, угрожающим «настоящему» искусственному интеллекту.
Мински вместе с коллегой Сеймуром Пейпертом сели за стол, взяли перцептрон и препарировали его с математической беспощадностью. В 1969 году они выпустили книгу с убийственным названием «Перцептроны» (Perceptrons). Это была блестящая и уничтожительная работа. Они математически строго доказали, что простой однослойный перцептрон, столь разрекламированный Розенблаттом, не может решить даже элементарную логическую функцию «Исключающее ИЛИ» (XOR). Проще говоря: если даны два утверждения, и правдой может быть только одно из них, но не оба сразу, машина Розенблатта в принципе не способна это понять. Она слепа. И добавление тысяч новых нейронов ничего не изменит. Фундамент оказался порочным.
Удар был смертельным. Книга Мински и Пейперта, подкрепленная их колоссальным академическим авторитетом, практически мгновенно убила интерес и финансирование всего направления. Военные закрыли проекты. Правительство перестало выделять гранты. Студентам рекомендовали не связываться с нейронными сетями, чтобы не губить карьеру.
Фрэнк Розенблатт не смог этого пережить. Он пытался бороться, разрабатывал более сложные модели, но его звезда закатилась. Он погиб в 1971 году при загадочных обстоятельствах — разбился на своей яхте в день своего 43-летия. Многие говорили о несчастном случае. Другие — о самоубийстве, сломленности человека, чью мечту растоптали.
Так закончилась первая великая эра нейросетей. Механическое дитя, подававшее такие надежды, было объявлено мертворожденным. Началась Первая зима искусственного интеллекта — долгий, мрачный период, длившийся почти полтора десятилетия. Немногие оставшиеся верные идее ученые, такие как Джеффри Хинтон, которого мы встретим позже, работали в полной безвестности, зная, что правда была не на стороне Мински... или, точнее, не совсем на его стороне. Мински и Пейперт доказали ограниченность лишь однослойных сетей, но их приговор на долгие годы ошибочно распространили на всю область. Они знали, что решение есть — многослойные сети. Но никто в мире еще не знал, как их обучить. Этот секрет будет храниться в тишине научных библиотек еще долгих семнадцать лет. А пока... на землю опустилась снежная тишина.
Глава 3. Долгая зима и одинокие хранители огня
Если предыдущая глава была похожа на яркую вспышку фейерверка, оборвавшуюся внезапной тьмой, то теперь представь себе долгую, глухую, бесснежную зиму. Без фанфар, без заголовков в газетах, без конференций с шампанским. Так выглядели 1970-е и начало 1980-х для тех, кто верил в нейронные сети. Это было время великого исхода. Термин «нейросеть» стал в приличном академическом обществе почти ругательством. Произнести его на кафедре значило вызвать снисходительную усмешку или откровенное презрение. «Этим же ещё Мински доказал...», — говорили авторитетные профессора, и спорить с ними было карьерным самоубийством.
Мейнстрим исследований искусственного интеллекта ушёл в совершенно другое русло — в то, что позже назовут «добрым старым ИИ» (GOFAI, Good Old-Fashioned AI). Это был подход Мински: интеллект как набор чётких, формальных правил. Экспертные системы. Если ты хочешь, чтобы машина ставила медицинский диагноз, ты должен вручную записать все правила: «ЕСЛИ у пациента температура И сыпь И боль в горле, И НЕТ кашля, ТО, ВОЗМОЖНО, это скарлатина». Тысячи и тысячи таких правил, выуженных из голов живых врачей «инженерами по знаниям». Эти системы работали, иногда даже неплохо. Они могли управлять химическими заводами, находить месторождения полезных ископаемых. Они были логичны, прозрачны и понятны.
Но у них была фатальная слабость: они были абсолютно слепы и беспомощны перед всем, что не укладывалось в правила. Увидеть кошку на фотографии? Невозможно. Понять смысл произнесённой с акцентом фразы? Исключено. Мир бесконечно сложен и грязен, его не запихнуть в таблицу «ЕСЛИ-ТО». Реальный интеллект — это не свод законов. Это интуиция, это умение вычленять закономерности из хаоса. Именно это и обещали нейросети, но их могила, казалось, была залита бетоном.
И всё же в этом бетоне оставались крошечные трещины. По всему миру, в полном одиночестве, работали несколько упрямцев, которые знали, что Мински и Пейперт убили не всю идею. Они доказали ограниченность лишь однослойных сетей. А что, если слоёв будет много? Что, если информация пойдёт сквозь каскад нейронов, преобразуясь на каждом этапе? Теоретически это решало проблему XOR и открывало путь к настоящему обучению. Но как, чёрт возьми, обучать такую многослойную сеть? Как узнать, какой именно нейрон в глубине этой «тёмной материи» ошибся, и насколько нужно подкрутить его веса? Сигнал об ошибке приходит только на самый последний слой, на выход сети. А что делать со слоями скрытыми? Эта проблема так и называлась — «проблема присвоения значимости» (credit assignment problem). Она казалась неразрешимой.
Одним из таких хранителей огня был Пол Вербос. В 1974 году он, будучи аспирантом Гарварда, в своей диссертации предложил решение. Оно было настолько изящным математически, что его современники просто не поняли, на что смотрят. Вербос предложил рассматривать нейронную сеть не как набор дискретных переключателей, а как сложную математическую функцию. И чтобы понять, как изменить любой вес в сети, нужно взять производную ошибки по этому весу. Это то же самое, что спросить: «Если я чуть-чуть шевельну вот этот рычажок, как сильно изменится итоговая ошибка?». И делать это не вручную, а по цепному правилу из школьного курса математики, последовательно прогоняя ошибку от выхода обратно ко входу. Отсюда и название — метод обратного распространения ошибки (backpropagation).
Работа Вербоса прошла почти незамеченной. Его научный руководитель не увидел в этом перспектив, диссертация пылилась на полке. Зима продолжалась.
Через несколько лет, в начале 1980-х, искра вспыхнула снова и уже громче. На этот раз в Японии. Кунихико Фукусима создал «Когнитрон», а затем «Неокогнитрон» — иерархическую многослойную сеть, способную распознавать рукописные символы. Его архитектура была вдохновлена устройством зрительной коры мозга: простые клетки реагируют на линии, сложные — на комбинации линий, и так далее. Это был прообраз будущих сверточных сетей. Но и его работа не смогла растопить лёд глобального скепсиса. Слишком силён был авторитет Мински, слишком свежа была рана от краха перцептрона.
Но история, как это часто бывает, любит точку бифуркации. И этой точкой стал тихий 1986 год. В журнале Nature выходит статья под скромным названием «Learning representations by back-propagating errors». Авторы: Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс.
Это была бомба. Не потому что они придумали что-то принципиально новое — Вербос уже описал этот метод. Они сделали нечто гораздо более важное: они показали, что это работает. Причём работает на задачах, которые казались исключительной прерогативой человека. Например, их многослойная сеть училась формировать правильную форму прошедшего времени английских глаголов, включая исключения. Она получала на вход корень, на выходе должна была выдать прошедшую форму. Она не просто запоминала таблицу. Она улавливала правило, а потом, подобно ребёнку, начинала совершать «ошибки»: брала правильные глаголы и применяла к ним правило для неправильных («go» -> «goed»), пока не доучивала исключения. Это было ошеломляюще. Машина, которая учится как человек, ошибается как человек и исправляется как человек!
Джеффри Хинтон, праправнук логика Джорджа Буля, человек с несгибаемой волей и тихим голосом, стал знаменем возрождения. Он читал лекции, на которые снова начали приходить люди. Он убеждал, что символьный ИИ — это тупик. Интеллект не программируется, он выращивается. Мозг не начинает с чистого листа, полного правил, — он начинает с гибкой сети связей, которая лепится под давлением данных.
Зима начала отступать. Лёд треснул. Но до весеннего половодья и буйного цветения было ещё далеко. В распоряжении учёных всё ещё были смехотворно маленькие наборы данных и слабые процессоры. Однако в их руках наконец-то оказался правильный алгоритм — алгоритм, который умел учиться на своих ошибках, протаскивая сигнал обучения сквозь все слои искусственных нейронов. Механизм был запущен.