Леонид Черняк – Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта (страница 45)

Три подхода к NLP

Можно выделить три основных подхода к NLP:

– Символьный подход предполагает использование лингвистических правил, записанных человеком.

– Статистический подход основан на распознавании образов в больших объемах текстов с целью «понимания» естественного языка.

– Коннекционистский подход сочетает элементы символьного и статического с использованием нейронных сетей.

NLP на основе символьного подхода

Сохранение, казалось бы, устаревшего символьного подхода в NLP имеет очевидную причину – язык является символьным по своей природе. С символьного подхода все началось и он существует до сих пор, поэтому в определенной мере сохраняют актуальность некоторые первые решения, основанные на логике, правилах и онтологиях как формах представления знаний. Время с конца 40-х – до конца 60-х ассоциируется главным образом с задачами машинного перевода (Machine Translation, MT), описанными в главе 3. По итогам широко известного Джорджтаунского эксперимента стало формироваться MT как новое научное направление, с 1954 началось издание журналов Mechanical Translation и Computational Linguistics, на протяжении 10 лет было проведено несколько крупных, в том числе международных конференций. В них участвовали самые заметные ученые того времени, среди которых был Марвин Минский и Ханс Лун, более известный как изобретатель алгоритма Луна (Luhn algorithm), используемого до сих пор для вычисления контрольной цифры номера пластиковой карты с целью выявления ошибок, вызванных непреднамеренным искажением данных.

Энтузиазм первопроходцев находился в явном противоречии с возможностями существовавших на тот момент компьютеров, напомним, что иных средств взаимодействия с компьютером кроме принтера перфокарт не существовало и вся работа осуществлялась в пакетном режиме. Решение задач MT требовало иного аппаратного обеспечения, поэтому возникали утопические проекты создания специализированных компьютеров для работы с нецифровыми данными. Несмотря на то, что ничего позитивного в области MT тогда достигнуто не было, важнейшим наследием первого периода NLP стали теоретические работы в области вычислительной лингвистики. В первую очередь следует отметить труды Нома Хомского (Noam Chomsky, 1928), еще одного потомка выходцев из Российской Империи.

Следующие 10–15 лет с начала 60-х напоминают недолгий, но яркий взлет экспертных систем, случившийся в интервале между двумя зимами AI. Он привел к вопросно-ответным системам NLP с их попытками использовать экспертные знания, эту волну можно назвать семанически-ориентированной. В 1961 году в МТИ создали систему Baseball, способную вести диалог, она понимала вопросы, относящееся к культовой в Бостоне бейсбольной команде Red Sox и могла давать подходящие ответы, система детально описана в статье Baseball: an Automatic Question-Answerer. Выбор в пользу бейсбола понятен – клуб Red Sox был и остается одним из символов Бостона. В конце 60-х там же в МТИ Терри Виноград (Allen Winograd, 1946), фамилия которого недвусмысленно подсказывает происхождение, создал программу для «понимания естественного языка». Она была написана на языке LISP для компьютера DEC PDP-6, снабженного графическим дисплеем, новинкой того времени. Необычное название SHRDLU взято от раскладки алфавитных клавиш наборных строкоотливных машина, их называли линотипами и массово использовали для механизации набора пока их не заменили компьютерами.

Пользователь мог общаться с SHRDLU приказами на простом английском, следуя им SHRDLU перемещала изображения простых объектов в упрощенном «мире блоков»: кубики, конусы, шары и так далее. Среда SHRDLU была настолько проста, что для описания действий хватало пятидесяти слов, таких как существительные «блок» или «конус», глаголов «помести на» или «перемести в» и прилагательных «большой» или «синий». Выражения из них были тривиальны, но создавалось впечатление, будто программа понимала то, что имел в виду пользователь. SHRDLU. Человек может попросить SHRDLU: «Положи зеленый конус на красный блок и затем сними конус». Человек также мог задавать вопросы об истории действий – например, может спросить: «Ты поднимала что-нибудь до того, как поднять конус?» Позже Виноград, уйдя из МТИ в Стэнфорд, дал вполне критическую оценку этой системе: «Я пришел к выводу, что успешность взаимодействия самым серьезным образом зависит прежде всего от интеллекта человека, и что существует множество иных способов взаимодействия с компьютером, который таким интеллектом не обладает».

В большей мере удача сопутствовала Уильяму Вудсу (William Woods, 1942) и его вопросно-ответной системе LUNAR, созданной в рамках космической программы Apollo содружеством ученых из МТИ и уникальной компании Bolt Beranek and Newman (BBN), получившей гораздо большую известность в качестве разработчика и производителя маршрутизаторов для сети ARPAnet. Эта система описана в опубликованном компанией BBN в 1972 году в отчете The Lunar Science Natural Language Information System.

Наиболее близка к практической реализации NLP была компания Artificial Intelligence Corporation, разрабатывавшая с 1975 года вопросно-ответную систему INTELLECT.

Однако идею создания вопросно-ответных систем на основе правил, задаваемых человеком (handwritten rules), в конечном счете постигла та же участь, что и первые попытки создания систем MT. Окончательно же судьбу вопросно-ответных систем не в их пользу решил Даг Энгельбарт, разработавший NLS (On-Line System), создатель манипулятора мышки и того, что мы сегодня называем презентациями, без чего не обходится ни одна лекция, ни одно публичное выступление. Энгельбарт смотрел на жизнь совершенно иначе, чем создатели вопросно-ответных систем, он не пытался заменить человека компьютером, уже тогда прекрасно понимая значение разделения функций между машиной и человеком. NLS строилась на принципе ETLANTU (Easy To Learn And Natural To Use), т. е. «легко изучить и просто использовать», и главное в ней – идея создания интегрированной интерактивной визуальной среды, адаптированной к нуждам пользователя.

Публике NLS была впервые представлена в 1968 г. на Осенней объединенной компьютерной конференции (Fall Joint Computer Conference). Именно там состоялся дебют основных составляющих системы, включая мышь. Отметим, что все это происходило в режиме телеконференции между залом и лабораторией в SRI. Появление современных человеко-машинных интерфейсов окончательно похоронило первое поколение вопросно-ответных систем, однако ему было суждено возродиться через полвека в образе разнообразных чат-ботов.

NLP на основе статистического подхода

В 90-х изменилась парадигма NLP – вместо превращения компьютера в инструмент для перевода или оперирования заложенными в память человеческими знаниями возникла идея использования его в качестве инструмента для автоматизации работы с текстами и извлечения информации из текстовых данных. Это направление получило название NLU. Один из известных подходов к извлечению скрытой в тексте информации основывается на статистике, достаточно вспомнить «Пляшущих человечков» Конан Дойла.

Математическую структуру текста начал изучать Андрей Андреевич Марков (1856–1922), использовав для этого первые 20 000 букв из «Евгения Онегина». В качестве эксперимента он поместил их в 200 таблиц 10х10, исключив из текста знаки препинания и пробелы, чтобы потом определить вероятность появления гласных и согласных. Он хотел убедиться в том, что появление буквы в том или ином месте не совсем случайно и подчиняется какой-то закономерности. Эта работа привела его к тому, что теперь называют цепью Маркова. Речь идет об анализе последовательности случайных событий с конечным исходом, где вероятность каждого события зависит от состояния, достигнутого в предыдущем событии, увязывая таким образом настоящее с будущим независимо от прошлого.

Основными импульсами к развитию статистического подхода стали, с одной стороны, возможность работы с большими объемами текстовых данных, доступными через интернет, а с другой – применение статистических методов для разбора с использованием алгоритмов динамического программирования. Успеху статистического подхода способствовал постоянный рост производительности, обычно связываемой с законом Мура и постепенная утрата доминантного положения лингвистической теории Хомского.

NLP на основе коннекционстского подхода

О коннекционистском подходе Connectionist Natural Language Processing (CNLP) начали говорить с конца 90-х и он активно обсуждается сейчас. Из названия следует, что это комплексный подход, уходящий корнями в физику психологию, физиологию, лингвистику биологию и инженерию. Стоящие на этом пути проблемы далеки от решения, поэтому иногда этот подход упрощенно сводят к сочетанию символического и статистического подходов.

Заключение

За короткий срок представление о том, что такое AI радикально изменилось, еще лет 10–15 назад под AI понимали область отвлеченных академических изысканий, а в общественном сознании доминировало навязанное авторами научной фантастики и футурологами представление о чем-то враждебном и опасном для человека или даже человечества в целом. Еще совсем недавно, в 2006 году к 50-ой годовщине Дартмутского семинара автором была написана статья с названием «Весна придет, когда не знаю», адресующим к зимам AI и с надеждой на благоприятные изменения. Предположить столь скорое наступление весны было совершенно невозможно. Наконец все стало на свои места – забыты мечты о Сильном AI, полный отказ от мыслей о конкуренции AI с человеком (competition) в сторону сотрудничества (coopetition). Апокалиптические прогнозы остались в прошлом, сейчас на самых разных уровнях об AI говорят как об одной из важнейших составляющих мирового рынка высоких технологий со всеми вытекающими из этого последствиями – рост производительности, улучшение условий и безопасности труда, возможность автоматизации в новых сферах и т. д.