Денис Соломатин – Искусственный интеллект от А до Б (страница 6)

Теория нечетких следов объясняет эти противоречивые выводы основным теоретическим различием между сущностными и дословными ментальными представлениями, которые закодированы отчетливо, но параллельны (сущностные представления не являются производными от дословных представлений). Хотя люди предпочитают полагаться на зыбкие смыслы, они также кодируют и, следовательно, могут распознавать дословные представления. В отличие от них, алгоритмы являются дословными по самой своей природе. Таким образом, люди, работающие вместе с алгоритмами машинного обучения, могут получить лучшее из обоих миров, применяя структурированные фоновые знания, основанные на сути, для интерпретации алгоритмических выходных данных, основанных на ассоциациях.

Ключевая конструкция теории нечетких следов, суть, также выходит за рамки других теорий, которые полагаются на интуитивное суждение. Исследовательская парадигма «эвристики и предубеждения» также признает роль интуиции в поведении человека, но считает интуитивные суждения примитивными и, следовательно, связанными с плохим принятием решений. Эта традиция указывает на рутинные нарушения человеком статистических данных и аксиом принятия решений в качестве доказательства этого утверждения. Тем не менее, развитая образованная интуиция часто приводит к лучшим результатам, даже когда эксперты могут достичь этих результатов по причинам, которые внешний наблюдатель может счесть «неправильными». Например, опытный врач может принять правильное решение о том, как лечить пациента по результатам анализов, даже если его математические расчеты относительно числовых вероятностей, которые он присваивает различным результатам лечения, могут быть неверными. Действительно, основные представления сложных проблем позволяют экспертам принимать решения, основанные на контексте, основанном на обширных базовых знаниях. Такой контекст позволяет экспертам при принятии решений сосредоточиться на сути информации, пренебрегая менее важными особенностями, которые не дают понимания. Таким образом, представления сути, когда они основаны на экспертных знаниях, основаны не только на механическом упрощении, но и на глубоких упрощениях, которые имеют значение для лиц, принимающих решения.

Свидетельства в пользу теории нечетких следов показывают, что эта теория является как научно экономной, так и обладает большей предсказательной точностью, чем теория кумулятивных перспектив – ведущая теоретическая теория в традиции эвристики и предубеждений – которая, тем не менее, не может объяснить ключевые экспериментальные эффекты, которые объясняет теория нечетких следов.

Натуралистическое принятие решений, еще одна ведущая концепция, которая особенно популярна в литературе по инженерии человеческих факторов и сильного ИИ, утверждает, что люди опираются на свой предыдущий опыт для распознавания закономерностей, которые, в свою очередь, управляют решениями. Как натуралистическое принятие решений, так и теория нечетких следов признают роль интуиции в улучшении процесса принятия решений; однако решения, основанные на интуиции сути, не являются просто «решениями, основанными на распознавании», как это утверждается в традиции натуралистического принятия решений. Скорее, контекстные сигналы (например, когда испытуемых поощряют думать о проблеме с медицинской или статистической точки зрения) могут влиять на уровень ментальной репрезентации, а это означает, что распознавание не гарантирует, что решение будет основываться на интуиции эксперта. В то время как распознавание является механической дословной стратегией (теоретизированной ассоциационизмом), основные представления привносят фоновые знания, контекстуализируя сценарии таким образом, чтобы они имели смысл, и, следовательно, предоставляя понимание человеку, принимающему решения. На самом деле, обширная литература показывает, что люди могут распознавать как суть, так и дословное представление параллельно, и все же предпочитают полагаться на суть при принятии решений.

Таким образом, обширная литература поддерживает утверждение о том, что теория нечетких следов является более экономной и более предсказательной, чем конкурирующие теоретические подходы о роли интерпретации в суждениях и решениях. Эти результаты применимы как к текстам, которые можно найти в области юридического обоснования, так и к числовым стимулам, таким как в области инженерии или сгенерированным моделями машинного обучения.

В приведенном выше обсуждении подчеркивается, что интерпретируемость и объяснимость являются функциями пользователя, сценария использования и других контекстуальных факторов, в той же мере, в какой они являются функциями используемой системы. Тем не менее, психометрические свойства пользователей, как правило, не находятся под контролем дизайнеров. В этой статье мы обсудим современное состояние объяснимых алгоритмов ИИ и то, как можно спроектировать системы для повышения интерпретируемости и объяснимости.

В то время как люди генерируют несколько ментальных представлений параллельно, алгоритмы «поверхностного обучения» генерируют одну модель или распределение моделей из одного математического семейства при представлении набора данных – дословный процесс. Помимо поверхностного обучения, некоторые методы машинного обучения действительно генерируют несколько представлений. Например, ансамблевое обучение – это процесс, в ходе которого генерируется несколько моделей, а затем в конечном итоге агрегируется для формирования одной гипотезы. Однако эти модели не отличаются друг от друга по уровню точности – они просто применяют разные семейства математических операторов к одному и тому же набору признаков. В отличие от этого, многозадачные алгоритмы обучения стремятся воспроизвести гибкость человеческих представлений о сути, обучая модель генерировать общее представление нескольких стимулов из разных областей, тем самым обеспечивая «дальнюю передачу». В случае успеха эти модели могут обучаться более абстрактным представлениям, которые внешне похожи на основные представления; тем не менее, они по-прежнему генерируют только одну модель. Наконец, глубокие нейронные сети генерируют несколько представлений набора данных; однако они делают это, выводя абстрактные представления из более конкретных представлений, в то время как люди кодируют эти представления одновременно и параллельно, а это означает, что люди не получают более простых интерпретаций из более детальных представлений.

В недавнем всестороннем обзоре литературы о вычислительных подходах к объяснимому ИИ отмечается, что для специалистов по информатике понятия интерпретируемости и объяснимости «тесно связаны». Эти авторы утверждают, что «непреложные системы объяснимы, если их действия могут быть поняты людьми». Несмотря на то, что объяснимость и интерпретируемость иногда используются как взаимозаменяемые в литературе по информатике, в этом обзоре приводятся данные, подтверждающие утверждение о том, что «в сообществе машинного обучения термин «интерпретируемый» используется чаще, чем «объяснимый»», особенно по сравнению с использованием этих терминов широкой публикой. В соответствии с изложенными выше психологическими определениями, этот вывод может указывать на то, что производители продуктов ИИ более способны интерпретировать выходные данные этих систем, поскольку они обладают специализированными базовыми знаниями. Действительно, Бхатт и др. утверждают, что это различие может скрывать разницу в целях проектирования этих групп пользователей: разработчики алгоритмов обычно ищут объяснения, чтобы они могли отлаживать или иным образом улучшать свои алгоритмы, и поэтому они могут разрабатывать объяснимые инструменты ИИ для этой цели. Таким образом, объяснение обычно понимается специалистами по информатике как указание на то, как вычислительная система пришла к определенному выводу или сгенерировала его. Хорошее объяснение часто является причинно-следственным и оправданным по отношению к реализации системы – например, «алгоритм смещен в сторону отказа в визе, потому что данные обучения несбалансированы». Такого рода объяснения весьма полезны для отладки этих сложных систем, но только в том случае, если пользователь обладает соответствующими базовыми знаниями и техническими знаниями для этого. Например, приведенное выше объяснение приведет к тому, что разработчик соберет более сбалансированные данные и переобучит алгоритм, но не предложит конечному пользователю немедленного действия, за исключением, возможно, отказа от использования алгоритма.

Большая часть работы в области объяснимого искусственного интеллекта направлена на то, чтобы помочь разработчикам определить простые механические дословные связи между входами и выходами с целью помочь им сделать вывод о потенциальных причинно-следственных механизмах. Например, парадигма важности локального признака может быть наиболее популярным способом взаимодействия практиков с техническими объяснениями. Этот подход направлен на то, чтобы объяснить, как небольшие изменения в конкретных элементах могут привести к изменениям в конкретных выходных данных модели.