Денис Соломатин – Искусственный интеллект от А до Б (страница 8)

Один из подходов, который может ответить на критику Рудина, основан на использовании обобщенных аддитивных моделей с парными взаимодействиями – класса моделей, которые ограничивают «вклад одного признака в итоговый прогноз», чтобы он зависел только от этого признака. Цель этих моделей состоит в том, чтобы отделить каждый признак от всех других признаков таким образом, чтобы их можно было оценивать независимо друг от друга.

В первую очередь корреляционный характер и может помочь экспертам в предметной области выбрать особенности – например, авторы модели отмечают, что риск повторной госпитализации пневмонии снижается, а не увеличивается при астме – парадоксальный вывод. Эта модель выявляет этот вывод. Тем не менее, эксперты в предметной области должны затем объяснить этот вывод следующим образом: пациенты с астмой в анамнезе, у которых была пневмония, обычно госпитализировались не только в больницу, но и непосредственно в отделение интенсивной терапии. Хорошая новость заключается в том, что агрессивная помощь, которую получали пациенты с астматической пневмонией, была настолько эффективной, что снижала риск смерти от пневмонии по сравнению с населением в целом. Плохая новость заключается в том, что, поскольку прогноз для этих пациентов лучше среднего, модели, обученные на данных, неверно узнают, что астма снижает риск, тогда как на самом деле риск астматиков гораздо выше (если они не госпитализированы).

Приведенное выше обсуждение показывает, что эти опасения относятся к объяснимости, где цель состоит в том, чтобы помочь специалисту по обработке и анализу данных понять, как работает модель, но могут быть менее применимы к интерпретируемости, где цель в основном состоит в том, чтобы помочь лицу, принимающему решение, связать выходные данные модели со значимым различием, которое позволит ему использовать свои ценности. цели и предпочтения для выбора. В частности, приведенное выше объяснение может помочь пользователю отладить модель или даже решить, стоит ли доверять модели; тем не менее, он может не предоставлять пользователю в явном виде значимую информацию, которая может помочь ему принять окончательное решение о лечении.

Монотонно ограниченные градиентные бустинговые машины стремятся использовать ансамбль «слабых учеников», т.е. моделей с низкой прогностической точностью, для совместного составления точных прогнозов. Такой подход приводит к значительному улучшению возможностей прогнозирования за счет усложнения модели. Чтобы справиться с этой сложностью, монотонно ограниченные градиентно-бустящие машины накладывают ограничение, согласно которому любой данный элемент в модели должен иметь монотонную связь с выходом. Предполагается, что это повышает объяснимость, потому что эти монотонные отношения ограничивают отношения между признаками и предсказаниями, чтобы иметь четкие качественные направления – увеличение признака должно постоянно приводить либо к увеличению, либо к уменьшению точности предсказания. Как и выше, эти модели предполагают, что более простые функциональные формы по своей сути более объяснимы. Однако эти модели в их нынешнем виде могут просто применять форму регуляризации, которая не обязательно основана на знании предметной области. Монотонность может быть уместна в некоторых случаях, например, в кривой «доза-реакция», но не в других, например, при моделировании волн или другого синусоидального поведения. Знание предметной области требуется для определения того, являются ли подходящими ограничения монотонности или любые другие ограничения. При отсутствии знаний в этой области применение таких ограничений действительно может упростить модель, но может сделать это вводящим в заблуждение образом, что может способствовать выводу неправильных объяснений.

Вообще говоря, предположение о том, что упрощенные модели по своей природе интерпретируемы, предполагает некоторую степень знания предметной области со стороны пользователей моделей, т.е. что они обладают достаточным опытом в науке о данных, чтобы разобраться в линейных моделях, деревьях решений, списках правил и т. д. Кроме того, эти «интерпретируемые» модели могут не предоставлять пользователям достаточного контекста для применения их ценностей, целей и принципов для принятия решений. Эти методы действительно дословны в том смысле, что они предоставляют правило, но не дают представления о фактическом механизме алгоритма. Они обеспечивают корреляцию, но не причинно-следственную связь. Тем не менее, они могут помочь профильным экспертам или специалистам по обработке и анализу данных сделать вывод о причинно-следственной связи. Эти методы могут побудить экспертов, обладающих соответствующими базовыми знаниями, более глубоко изучить механизмы, с помощью которых была произведена конкретная классификация, хотя, и не делая эти механизмы явными. Таким образом, технический эксперт, возможно, может использовать свои базовые знания о типе алгоритма, используемого для вывода причинно-следственной связи из этих инструментов. Это может позволить им построить объяснение таким же образом, как присяжный или читатель могут сделать вывод о связной структуре из связного текста. Однако, в конечном счете, именно человек приписывает объяснение выходным данным модели. Описанные выше методы не обеспечивают явного представления причинно-следственных механизмов или взаимодействия с ценностями, целями или предпочтениями пользователей. Скорее, они должны полагаться на базовые знания человека для своей полезности. Таким образом, эти модели предполагают большую часть работы наблюдателя, включая потенциально значимые знания в предметной области относительно значения технических терминов (таких как «гематокрит» в примере с диагнозом пневмонии), способность различать непрерывные и дискретные переменные и т. д. Аналогичным образом, субъекты должны обладать обширными знаниями в предметной области, чтобы быть в состоянии распознать, например, что предыдущий анамнез астмы не должен быть связан с более низким риском пневмонии. Таким образом, модель сама по себе не может быть интерпретирована или объяснена в том смысле, в каком психологи понимают эти термины, но может помочь пользователям, обладающим соответствующими базовыми знаниями и готовностью к исследованию, сделать более значимые и точные выводы.

Поскольку эти модели являются корреляционными по своей природе, они могут быть подвержены ложным ассоциациям. Действительно, в социальных науках уже давно признано, что идентификация значимой структуры в данных (например, из-за корреляции или регрессии) является лишь первым шагом в вменении причинного механизма и при отсутствии контрфакта (например, экспериментальной контрольной группы) не может быть использована для выдвижения каузальных утверждений.

Таким образом, подходы, упрощающие сложные модели путем сведения их к набору монотонных отношений, могут ввести пользователей в заблуждение, заставив их приписывать причинно-следственный механизм в рамках модели там, где его нет. Эта проблема не ограничивается вычислительными системами, а является общей особенностью сложной инженерной системы с множеством взаимодействующих частей. Таким образом, будущая работа в области объяснимого искусственного интеллекта может быть продуктивно сосредоточена на том, как помочь специалистам по обработке и анализу данных и экспертам в предметной области точно вменять причинно-следственные связи, избегая при этом выводов, основанных на ложной корреляции.

В целом, описанные выше подходы направлены на повышение объяснимости, помогая пользователям понять, как изменения в конкретном признаке могут повлиять на выходные данные модели. Несмотря на то, что теоретически они повышают объяснимость, когда специалист по обработке и анализу данных может использовать их для вывода причинно-следственных механизмов о том, как работает алгоритм, эти методы могут быть менее эффективными для установления интерпретируемости, т.е. значения в контексте для конечного пользователя. В то время как разработчикам необходимо знать, как работает система, чтобы они могли выявлять недостатки в ее реализации и исправлять их, представителям общественности или экспертам из других областей, как правило, не хватает глубокой технической подготовки и опыта специалистов по информатике. Например, иммиграционный адвокат может захотеть узнать о юридических последствиях алгоритма рассмотрения визы, а финансовый аналитик может захотеть узнать о финансовых последствиях алгоритма кредитного рейтинга. Часто эти пользователи просто предполагают, что алгоритм был реализован правильно, и что обучающие данные были достаточно репрезентативными. Наконец, соискатели работы/визы/кредита, естественно, захотят знать стандарты, по которым их оценивают, и конкурентоспособны ли они для конкретной должности. Эти пользователи должны знать, почему система сгенерировала свой результат. То есть они стремятся придать смысл выходным данным модели таким образом, чтобы они могли контекстуализировать их в терминах, которые имеют для них значение.

В некоторых случаях графические пользовательские интерфейсы, такие как инструмент «Что, если» от Google, могут быть объединены с выходными данными модели, чтобы помочь пользователям с ограниченными знаниями в области счета или статистики «понять суть». Например, существует множество работ в области принятия медицинских решений, изучающих индивидуальные различия в уровне грамотности персонала и методы, которые могут быть использованы для преодоления этих различий для передачи сути сложной медицинской информации. Тем не менее, дизайнеры должны позаботиться о том, чтобы не предполагать, что графический формат обязательно более интерпретируем. Скорее, графический вывод должен быть контекстуализирован соответствующими представлениями базовых ставок, пороговых значений и других индикаторов значимых категориальных различий, которые во многих случаях могут потребоваться получить от пользователей. В конечном счете, машинные интерпретации должны быть контекстуализированы с точки зрения фоновых знаний и целей, а также адаптированы к индивидуальным различиям, если они хотят быть эффективными.