Денис Соломатин – Искусственный интеллект от А до Б (страница 4)

Ментальные представления иерархичны по своей природе, и люди предпочитают принимать решения на основе наименее точного, часто категоричного представления стимула. Тем не менее, эти категории проводят значимые различия. Например, для чисел эти категориальные представления часто принимают форму простых контрастов, таких как «некоторый» и «никакой» величины. Причина тому видится в категорическом различии между «некоторыми» и «никакими», что является одной из самых основных сущностей. В этих обстоятельствах люди опираются на свои предыдущие знания при принятии этих решений. Например, рассмотрим набор моделей машинного обучения, предназначенных для обнаружения вредоносного поведения в Интернете. Платформа социальных сетей может использовать этот классификатор для автоматического удаления учетных записей, которые нарушают Условия предоставления услуг платформы. Специалист по информатике, оценивающий эти классификаторы, может заметить, что классификатор k-ближайшего соседа (kNN) имеет точность 52,4% в этой задаче двоичной классификации, и определить, что у него «практически отсутствует» точность прогнозирования (где 50% – это производительность случайного подбрасывания монеты). Примечательно, что эта оценка требует некоторых базовых знаний: 1) что существует только два класса; 2) что классы сбалансированы в обучающей выборке. В отличие от этого, точность двух других моделей будет выше по сравнению. И то, и другое будет иметь «некоторую» точность. В этом случае он исключил бы классификатор kNN. Однако эти сутью не просто просты – они еще и проницательны. Например, наивный байесовский классификатор имеет точность 26,7%, что, хотя и является наименьшим значением, также должно быть классифицировано как имеющее суть «некоторой точности», поскольку специалист по информатике поймет, что для двоичных классификаторов точность 26,7% эквивалентна точности 73,3%, если просто инвертировать метки классов. В противоположность этому, новичок, применяющий дословные правила, не будет разделять это понимание и может ошибочно полагать, что наивный байесовский классификатор менее прогностический, чем классификатор kNN.

При принятии решения люди должны опираться на числовые значения, чтобы определить, какая категория в бинарной паре лучше. Здесь некоторая точность – это хорошо, а отсутствие точности – это плохо. Эти двоичные валентности хранятся в долговременной памяти и составляют часть того, что человек привносит в процесс оценки.

Несколько вариантов могут иметь одну и ту же суть. Например, все модели классификаторов, кроме kNN, имеют «некоторую» точность. В данном случае категориальные классификации не делают значимых различий и поэтому не могут помочь в принятии решения. Чтобы различить эти классификаторы, можно использовать более точный уровень ментального представления. Классификатор логистической регрессии имеет «большую точность», чем другие классификаторы. "Больше" против "меньше" – это фактически порядковый номер. Однако эта суть полезна при выборе модели только при наличии одной метрики оценки. На практике модели машинного обучения можно оценивать с помощью нескольких метрик. Например, наивная байесовская модель имеет более высокую полноту, но меньшую точность, тогда как модель логистической регрессии имеет более высокую точность, но меньшую полноту. Таким образом, эти модели не могут быть ранжированы по этим измерениям, используя только порядковый номер.

Как правило, практикующие специалисты пытаются свести эти множественные метрики к одной метрике для сравнения. Процесс получения этих составных, точных метрик требует механического применения математических правил. Например, можно полагаться на составную метрику, такую как F1-оценка (т.е. гармоническое среднее точности и запоминаемости). В этом примере классификаторы логистической регрессии и наивного Байеса имеют одинаковые значения F1, что означает, что люди (или алгоритмы), полагающиеся на это дословное правило, будут безразличны между ними. Напротив, Метод опорных векторов имеет самый высокий балл F1 из трех моделей.

Означает ли это, что метод опорных векторов является лучшей моделью? Несмотря на то, что люди кодируют несколько уровней представления параллельно, мы предпочитаем принимать решения на основе имеющегося опыта, когда это возможно. Эти параметры не являются произвольными, а соответствуют значимым различиям. В случае моделей машинного обучения мы используем эти модели для достижения цели. В приведенном выше примере классификатор использовался для выявления вредоносного поведения в Интернете. В контексте этой задачи имеет смысл отдавать предпочтение точности, а не запоминанию и аккуратности, поскольку последствия ложноотрицательного результата значительно хуже, чем последствия ложноположительного. Новичок может слепо применить это правило и таким образом выбрать метод опорных векторов. Однако эксперт-человек не обязательно будет это делать. Учтите, что метод опорных векторов имеет точность 100% – «идеальный результат». Хотя кто-то, полагающийся на дословное представление, например, неопытный студент, может решить, что это наилучший возможный показатель точности, опытный специалист по моделированию поймет, что такое высокое значение может быть индикатором проблемы в реализации алгоритма. Например, можно достичь идеальной точности, если правильно классифицировать лишь очень небольшое число случаев. Соответствующая суть была бы "слишком хороша, чтобы быть правдой". Как описано выше, классификатор kNN может быть исключен, потому что он не имеет точности, которая, независимо от точности, является проблематичной. Таким образом, эксперт-человек может полагаться на порядковый номер для выбора модели с «лучшей» точностью – модели логистической регрессии – потому что контекстуальные подсказки указывают на то, что две другие модели уступают функциональному назначению, т. е. цели задачи машинного обучения. Исследования, основанные на теории нечетких следов, показали, что модели, которые подчеркивают суть, например, отображают выходные данные таким образом, чтобы пользователи могли сделать значимые выводы, вызывают большее доверие, уверенность и понимание, в этом случае ИИ будто потакает своему реальному собеседнику. Это подразумевает четкую цель проектирования для проектировщиков систем машинного обучения, которых интересует интерпретируемость – вывод системы должен передавать суть.

Один из ключевых принципов теории нечетких следов заключается в том, что люди кодируют множественные ментальные представления. В то время как интерпретации – это ментальные репрезентации, которые сообщают о новых категориальных инсайтах, объяснения – это подробные ментальные репрезентации, которые сообщают о механизмах реализации, приведших к определенному результату.

Некоторые теории объяснения подчеркивают важность вывода «причинно-следственной цепи», ведущей к выходу конкретной модели. Обзор объяснений в человеческом познании, сделанный Ломброзо, также указывает на то, что каузальные структуры являются одним из факторов, способствующих объяснимости. Например, Хоффман и Кляйн связывают объяснение с каузальным выводом, особенно утверждая, что люди объясняют вещи, создавая перспективные (т.е. предсказательные) каузальные объяснения и подчеркивая пробел в литературе вокруг этого конкретного типа объяснения, вместо этого утверждая, что большинство предыдущих работ было сосредоточено на физической причинности и ретроспективной причинности. Хоффман с соавторами описывает предыдущую работу по выделению различных структур причинно-следственных цепей, относящихся к событиям по всему миру, а Кляйн развивает эту тему, утверждая, что причинно-следственные сети могут и должны быть основой для передачи объяснений. Наконец, Хоффман подчеркивает роль исследования в формировании каузальных объяснений, дифференцируя глобальные и локальные объяснения, которые согласуются с ментальными моделями пользователей, и подчеркивая потребность локальных объяснений в контрастивных или контрфактических подходах; неявно помещая причинно-следственные структуры в центр объяснения. Согласно этим ученым, объяснение по своей сути является каузальной ментальной моделью.

Эти утверждения подкрепляются обширными предыдущими работами в области психолингвистики и нарративного мышления, особенно в юридической сфере. В нескольких предыдущих работах в области психолингвистики подчеркивалась роль построения каузальной структуры в создании «ситуационной модели», т.е. структурированного ментального представления данного текста. Аналогичная иерархия может быть построена и для выходных данных ML-модели.

Причинно-следственные связи относятся к числу наиболее важных (хотя, конечно, не единственных) типов выводов, которые извлекаются из повествовательных текстов читателями, стремящимися понять текст. Кроме того, исследования в области психолингвистики определили причинно-следственную связность повествования как ключевой фактор, определяющий понятность истории. Несмотря на то, что было выявлено несколько измерений связности повествования, в литературе существует консенсус о том, что когерентные нарративы позволяют читателям строить модели причинно-следственных ситуаций описываемых событий. Можно было бы ожидать, что пользователям, стремящимся понять или объяснить выходные данные модели, будут помогать когерентные причинно-следственные объяснения, как система пришла к определенному выводу.