Денис Соломатин – Искусственный интеллект от А до Б (страница 11)

Тем не менее, термин «абстракция» сам по себе многозначен, и мы подчеркиваем, что форма абстракции, о которой мы говорим, является не просто упрощением, а скорее дополнением к базовым знаниям пользователя.

Иерархия абстракций предполагает, что системы следует оценивать с точки зрения их «требований», а не конкретных технических характеристик. Хорошие требования являются «нейтральными к решению» – в них не указываются детали реализации, а только функция, которую должна выполнять система. Цель состоит в том, чтобы как можно яснее определить эту функцию, не ограничивая при этом техническую конструкцию самой системы. Например, в требовании, нейтральном по отношению к решению, может быть указано, что система должна достичь точности не менее 0,85, без указания конкретного используемого алгоритма. Таким образом, требования определяются в терминах показателей эффективности или показателей результативности, которые имеют значение с точки зрения конечной функции системы; а не его реализация. Эта форма проектирования знакома исследователям машинного обучения, которые часто используют несколько разных алгоритмов для получения одной и той же функции. Например, функция может быть классификацией, которая имеет четко определенные метрики – точность, полнота, точность и т. д. – с лучшей метрикой, выбранной на основе задачи. Учитывая требуемую функцию и эталон метрики, который система должна достичь (т.е. требование), проектировщики системы могут использовать любое количество алгоритмов для достижения этой функции. Для классификации алгоритмы-кандидаты могут включать классификаторы логистической регрессии, наивные байесовские классификаторы, классификаторы опорных векторов, классификаторы k-ближайших соседей, сверточные нейронные сети и т. д., все они выполняют одну и ту же функцию, но используют очень разные реализации.

Концепция нейтральности решения в равной степени знакома ученым-юристам и регуляторам, а также ученым-юристам, которые имеют значительный опыт оценки сложных систем, таких как взаимодействие человека и лекарств, в других высокотехнологичных областях. Таким образом, ключом к хорошему дизайну является соответствие метрики оценки системы целям конечного пользователя. Стандартные метрики машинного обучения, такие как определенные выше, могут быть недостаточными для удовлетворения функциональных требований системы. Системная инженерия, и особенно инженерия требований, – это дисциплина, которая фокусируется на оценке потребностей конечных пользователей и преобразовании их в набор показателей. Однако для достаточно сложных систем группы инженеров должны объединить свои знания для достижения лучших результатов проектирования. Попытки создания унифицированных моделей, органично интегрирующих входные данные из различных областей инженерии, дали неоднозначные результаты. В отличие от этого, методы, направленные на перевод значимой информации между инженерными специальностями, более широко принимаются практикующими инженерами. Хотя нет никакой гарантии, что эти методы приводят к оптимальным результатам, они, как минимум, приемлемы. Таким образом, в других областях инженерии разработаны методы, гарантирующие, что экспертный вклад из нескольких областей может быть интегрирован в более крупный и сложный проект. В частности, системная инженерия – это область инженерии, которая занимается координацией этих многочисленных экспертов из разных областей. Поскольку в настоящее время ни один человек не может быть экспертом во всех областях человеческих исследований, системные инженеры разработали набор инструментов и методов, чтобы повысить уверенность в использовании опыта при разработке сложных систем.

Наш опыт подсказывает, что объяснимость и интерпретируемость должны быть отдельными требованиями для систем машинного обучения, причем первые в первую очередь представляют ценность для разработчиков, которые стремятся отлаживать системы или иным образом улучшать их дизайн, а вторые более полезны для регулирующих органов, политиков и обычных пользователей. Однако эта дихотомия не является абсолютной – индивидуальные различия могут быть связаны с зависимостью от одного представления системы в большей степени, чем от другого. Для разработчиков объяснение может быть очень похоже на интерпретацию – подобно тому, как люди с нумерацией принимают решения, основанные на дословных вычислениях, – однако, если разработчикам не хватает опыта в предметной области, они могут быть не в состоянии контекстуализировать свои интерпретации в терминах, значимых для конечных пользователей. Точно так же конечные пользователи, которым не хватает опыта разработчиков, могут быть не в состоянии понять, как система пришла к своему выводу (но они также могут не захотеть этого делать).

История современной инженерии показывает, что системы могут быть спроектированы таким образом, чтобы облегчить как объяснимость, так и интерпретируемость, и, действительно, примеры этого есть на протяжении всей недавней истории, начиная от разрешений на лекарства и заканчивая автомобильным сектором. Несмотря на то, что значительные усилия были направлены на разработку автоматизированных подходов к созданию объяснений алгоритмов ИИ, сравнительно мало внимания уделялось интерпретируемости. Поскольку интерпретации у разных людей различаются, необходимы дополнительные исследования, чтобы определить, как лучше всего связать выходные данные модели с конкретными gist, чтобы пользователи могли надлежащим образом контекстуализировать эти выходные данные. Вопрос о том, в какой степени этот процесс может быть полностью автоматизирован или потребует курирования экспертами в предметной области, остается открытым.

Приведенное выше обсуждение указывает на то, что интерпретируемые алгоритмы – это алгоритмы, которые контекстуализируют данные, помещая их в контекст структурированных фоновых знаний, представляя их в простой форме, которая фиксирует существенные, проницательные различия, а затем обосновывает соответствующий вывод относительно значений, полученных от пользователей-людей. Такие представления контекстуализируют выходные данные модели и придают смысл пользователю в терминах значений, хранящихся в долговременной памяти. Как правило, эти ценности (или подобные конструкции, генерирующие предпочтения, такие как цели) не могут быть получены непосредственно из данных, основанных на механических, хрупких, дословных ассоциациях. Таким образом, методы упрощения сложных моделей, вероятно, будут иметь ту же хрупкость. В отличие от них, представления сути просты, но в то же время гибки и проницательны; они задействуют контекстуальные элементы, такие как цели и ценности, которые явно не представлены в данных. Таким образом, будущая работа может быть продуктивно сосредоточена на выявлении этих основных представлений от экспертов в форме сопоставлений структурированных фоновых знаний со значимыми, но простыми категориями, связанными с целями, ценностями, принципами или другими предпочтениями. Предыдущие «экспертные системы» не имели возможности масштабирования именно из-за трудностей с выявлением этих существенных различий. Чтобы выйти из этого тупика, обсуждение в этой статье подчеркивает необходимость учета нескольких уровней ментальной репрезентации при создании интерпретируемых выходных данных ИИ. Короче говоря, вместо того, чтобы ассимилировать человеческое познание с машинным обучением, мы могли бы извлечь выгоду из разработки моделей машинного обучения, которые лучше отражают эмпирические представления о человеческом познании. Между дословным подходом, основанным на данных, и негибким нисходящим схематическим подходом находится подход, в котором пользователи-люди участвуют в процессе контекстуализации выходных данных модели, которые затем используются для выбора между существующими структурами фоновых знаний и их уточнения. Есть некоторые предварительные свидетельства того, что эти «коммуникативные» подходы, в которых пользователи взаимодействуют с системами ИИ и курируют их результаты, могут оказаться многообещающими. Кроме того, потребности пользователей варьируются в зависимости от индивидуальных различий, например, в метапознании и обучении. Поэтому будущая работа должна быть сосредоточена на характеристике этих факторов в сообществах пользователей. Данный обзор обеспечивает теоретическую основу для такого подхода и дает четкие указания для будущей работы: такие подходы должны доводить суть данных до пользователя.

Этическая составляющая искусственного интеллекта

Начнем с предостережения Бреннана о важнейшем характере процедур установления фактов: для опытных юристов общеизвестно, что исход судебного разбирательства и, следовательно, защита законных прав чаще зависят от того, как устанавливающий факты оценивает факты, чем от спорного толкования закона или толкования ряда прецедентов. Таким образом, процедуры, с помощью которых устанавливаются обстоятельства дела, приобретают столь же важное значение, как и действительность применяемой материальной нормы права. И чем важнее поставлены на карту права, тем важнее должны быть процессуальные гарантии, связанные с этими правами. «Вопрос о том, какая степень доказательства требуется… Это тот вопрос, который традиционно оставлялся на усмотрение судебной системы…»