Терренс Сейновски – Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет (страница 42)
Соломон Голомб был моим тестем, и однажды я спросил его, как он нашел такое элегантное решение проблемы коммуникации. Он сказал, что благодаря изучению теории чисел – одного из самых абстрактных разделов математики. Он познакомился с последовательностями сдвигового регистра во время летней практики в компании Glenn L. Martin Co. в Мэриленде. Получив в 1956 году в Гарвардском университете докторскую степень по математике в области теории чисел, он устроился на работу в Лабораторию реактивного движения в Калтехе, где возглавил группу связи и работу над космической связью. В дальние уголки Солнечной системы посылали космические зонды, и сигналы, поступающие обратно, были слабыми. Последовательности сдвиговых регистров и коды коррекции ошибок значительно улучшили передачу сигналов на космические зонды, а математика заложила основу для современных цифровых коммуникаций.
Рис. 15.3. Соломон Голомб. Математический анализ последовательностей сдвиговых регистров, проведенный им во время работы в Лаборатории реактивного движения в Калтехе в Пасадене, позволил связываться с зондами для исследования дальнего космоса, и позже эти регистры были встроены в системы сотовой связи. Каждый раз, когда вы используете свой мобильный телефон, вы используете его математические коды
Голомб нанял Эндрю Витерби, еще одного выдающегося специалиста в области теории информации, и познакомил его с Ирвином Джейкобсом из МТИ, которого пригласил посетить лабораторию, когда тот будет в творческом отпуске. Витерби и Джейкобс позже вместе основали компанию Qualcomm, которая произвела революцию в технологии сотовых телефонов, используя последовательности сдвиговых регистров для связи в частотном диапазоне, что эффективнее, чем работа на единой частоте. Эту идею ранее высказывала Хеди Ламарр (рис. 15.4), киноактриса и изобретатель, получившая в 1941 году патент на скачкообразную перестройку частоты, которую она разработала в качестве безопасной системы связи для военных во время Второй мировой войны[405]. Когда Голомб покинул Лабораторию реактивного движения, чтобы стать преподавателем в Университете Южной Калифорнии, руководство его группой взял на себя основатель NIPS Эд Познер, но Голомб продолжал поддерживать их советами.
Математика, лежащая в основе последовательностей сдвиговых регистров, – самая темная часть теории чисел. Когда Голомб получил докторскую степень в Гарварде, его научный руководитель, как и большинство математиков того времени, гордился тем, что чистая математика никогда не найдет практического применения. Эту точку зрения разделял и ведущий специалист из Кембриджа Годфри Харолд Харди, автор известного эссе «Апология математика», в котором он писал, что «хорошая» математика должна быть чистой, а прикладная математика – «неинтересна». Некоторые ученые хотят, чтобы их математика оставалась теоретической, но они не могут помешать математике изменять им, решая практические задачи в реальном мире. Математика такая, какая она есть, не чистая и не прикладная. Карьеру Голомба во многом определили важные практические задачи, которые он мог решить, используя подходящие инструменты из «чистой математики».
Рис. 15.4. Хеди Ламарр. Звезда театра и кино, во время Второй мировой войны она совместно с Джорджем Антейлом изобрела скачкообразное изменение частоты, легшее в основу связи с расширенным спектром, используемой военными и в сотовых телефонах
Голомб также любил придумывать математические игры. Его книга «Полимино» познакомила мир с играми, в которых использовались фигуры, состоящие из квадратов (отсылка к фишкам домино из двух квадратов). Мартин Гарднер популяризировал их в своей колонке математических игр в журнале Scientific American. Тетрамино, фигуры из четырех квадратов, послужили источником вдохновения для создания тетриса – увлекательной игры, в которой тетрамино падают сверху и должны складываться в слоты внизу. Замощение плоскости с помощью полимино стало популярной настольной игрой, которая привела к появлению широкого круга интересных комбинаторных задач в математике.
Соломон Голомб также был библеистом и знал десятки языков, включая японский и китайский. Беатрис однажды принесла первое издание книги Дугласа Хофштадтера «Гёдель, Эшер, Бах: эта бесконечная гирлянда»[406]. Соломон открыл ее на фронтисписе. Подпись к рисунку гласила, что на нем первые двадцать строк «Книги Бытия» на древнееврейском языке. «Во-первых, все вверх ногами», – сказал он и перевернул книгу. «Во-вторых, это не древнееврейский, а древнесамаритянский язык. В-третьих, это не первые двадцать строк «Бытия», а только первые семь слов каждой из первых двадцати строк Бытия». Затем он прочитал и перевел текст.
Клод Шеннон присутствовал на Ежегодной конференции по информационным наукам в Брайтоне, когда Голомб читал свою лекцию Шеннона. Это единственная лекция Шеннона, которую он посетил, кроме собственной. Ближе к концу жизни Шеннон боролся с слабоумием. Как быстро жизнь движется вперед, и даже великие люди остаются позади.
Прогностическое кодирование
В коммуникационной системе высока информационная ценность изменений, независимо от того, происходят они в пространстве или во времени. Изображение с равномерной интенсивностью несет мало информации, так же как и сигнал, который не меняется. Датчики, посылающие сигналы в мозг, в основном сообщают об изменениях, как мы уже видели на примере сетчатки в главе 5 и DVS-камеры Тоби Дельбрюка в главе 14. Когда изображение стабилизируется на сетчатке, оно исчезает через несколько секунд[407]. Мы не осознаем, что несколько раз в секунду наше глазное яблоко делает едва уловимые движения, называемые микросаккадами. Каждый такой рывок обновляет внутреннюю модель мира.
Когда что-то движется в поле зрения, сетчатка должным образом сообщает об этом вверх по цепочке, что также используется для обновления картины мира. Процесс проиллюстрирован на рис. 15.5. Модель в мозге иерархическая, и сравнение между поступающей сенсорной информацией и ожиданиями модели идет на нескольких уровнях[408]. Яркая вспышка или громкий звук немедленно привлекают ваше внимание. Но если вы заметили, что что-то на вашем столе изменилось, это будет представлено на гораздо более высоком уровне путем нисходящего сравнения с памятью. Все это происходит в мозге в реальном времени, и Карвер Мид часто повторял, что в мозге «время – его собственное представление»[409].
Рис. 15.5. Прогностическое кодирование. Упрощенная схема прохождения сигнала на одном уровне нейронной системы обработки. Модель получает входной сигнал и должна предсказать следующий; прогноз сравнивается с фактическим появлением входного сигнала. Когда модель точно предсказывает входные данные, информация не передается на следующий уровень, но когда модель не может предсказать входные данные, разница передается следующему слою и используется для корректировки модели. Эта операция отфильтровывает ожидаемые события на низких уровнях, позволяя центрам уровнями выше сосредоточиться на более многообещающих
Прогностическое кодирование[410] восходит к Гельмгольцу, который объяснил зрение как бессознательное умозаключение или формирование визуальной информации по нисходящей для отбрасывания шумов, достраивание неполной информации и интерпретацию увиденного[411]. Например, размер человека на сетчатке нашего глаза сигнализирует о том, насколько человек далеко, так как нам известны его габариты и по опыту вы знаете, как размер на сетчатке изменяется с расстоянием. На более высоком когнитивном уровне Макклелланд и Румельхарт обнаружили, что, когда буквы расположены в слове, испытуемые определяют их быстрее, чем буквы в псевдословах без смысловой нагрузки[412]. Их модель параллельной обработки продемонстрировала аналогичное поведение, дав им уверенность в том, что они на правильном пути к пониманию того, как информация представлена в мозге.
Глобальный мозг
Мозг – это непревзойденная информационная машина. Американская правительственная программа BRAIN, запущенная 2 апреля 2013 года (рис. 15.6), направлена на создание новых нейротехнологий для ускорения темпов прогресса в понимании работы и проблем мозга. Как NIPS собрала исследователей из многих дисциплин для разработки обучающих машин, так программа BRAIN привлекает инженеров, математиков и физиков в нейробиологию, чтобы улучшить инструменты для исследования мозга. По мере того как мы узнаем больше о мозге и особенно о механизмах, лежащих в основе обучения и памяти, мы начинаем гораздо лучше понимать принципы работы мозга.
Хотя о мозге многое известно на молекулярном и клеточном уровнях, мы еще не недостаточно хорошо понимаем, как мозг организован в бо́льших пространственных масштабах. Мы знаем, что разные типы информации хранятся в разных частях коры, но не знаем, как такая разрозненная информация извлекается для решения сложной задачи, например, соотнесение имени человека с изображением его лица. Этот вопрос тесно связан с происхождением сознания в мозге. Сотрудники моей лаборатории недавно выявили глобальные закономерности активности в мозге спящего человека, которые могут дать нам представление о том, как части информации, распределенные в коре, связаны между собой[413].