Денис Соломатин – Искусственный интеллект от А до Б (страница 3)

Другой наглядный пример: медицинский диагноз. Как и приложения для аренды, медицинская диагностика является областью, в которой высказываются опасения по поводу алгоритмической дискриминации, что требует прозрачности и, следовательно, интерпретируемого ИИ. Рассмотрим систему искусственного интеллекта, предназначенную для выработки рекомендаций по назначению антибиотиков при инфекциях верхних дыхательных путей. Для простоты мы снова предположим, что эта модель реализована с помощью классификатора логистической регрессии с двумя классами, соответствующими рекомендациям по назначению антибиотиков и против них. Наконец, с учетом данных, передаваемых в систему, предположим, что модель определила, что вероятность того, что у пациента есть бактериальное заболевание, составляет 5%-10%. Затем система предоставит врачу, выписывающему лекарство, стимул – рекомендацию не назначать лекарство.

Пояснение к этой рекомендации будет относиться к реализации модели. Например, система может перечислить коэффициенты модели логистической регрессии и значения всех переменных модели (есть ли у пациента боль в горле, боль при глотании, лихорадка, красные и опухшие миндалины с белыми пятнами или прожилками гноя, крошечные красные пятна на нёбе, увеличенные лимфатические узлы в передней части шеи, кашель, насморк, охриплость голоса или конъюнктивит). Учитывая эти коэффициенты, система могла бы далее объяснить, что, когда мы умножаем коэффициенты на значения переменных, а затем суммируем результат, совокупная вероятность того, что болезнь является бактериальной, составляет 5-10%, что указывает на то, что «нет ни дальнейших испытаний, ни антибиотиков». На этом объяснение заканчивается.

В отличие от этого, интерпретация рекомендации системы будет ссылаться на простые, категориальные представления относительного риска, а затем связывать их со значениями. Например, могут применяться следующие значения: когда пациент болен, выздоровление – это хорошо, в то время как болезнь остается плохим исходом. Кроме того, неприятные побочные эффекты плохи (они заставят пациента чувствовать себя хуже), и никакие побочные эффекты не являются хорошими. Наконец, ненужное назначение способствует устойчивости к антибиотикам, потенциально причиняя вред другим (плохо), в то время как отсутствие назначения не оказывает никакого влияния на других. Учитывая эти значения, система будет утверждать: 1) вероятность того, что антибиотики помогут, практически равна нулю; 2) антибиотики, в случае их назначения, могут привести к неприятным побочным эффектам; 3) использование антибиотиков, когда в них нет необходимости, может нанести вред другим, указывая на то, что «Никаких дальнейших испытаний и антибиотиков».

Несмотря на эти рекомендации, есть несколько причин, по которым опытный врач может назначить антибиотики в этих обстоятельствах. Например, эксперт может признать, что пациент особенно восприимчив к бактериальной инфекции, или просто сделать стратегический выбор, основанный на сути, что «лучше перестраховаться, чем потом сожалеть».

Хотя интерес к объяснимому искусственному интеллекту (ИИ) восходит к развитию экспертных систем в 1980-х годах, объяснимость в последнее время вновь стала желательным требованием для современных сложных систем ИИ/МО. В значительной степени это связано с распространением таких систем в обществе и из-за все более сложных и ресурсоемких алгоритмов, иногда обученных на терабайтах данных, которые развертываются для решения реальных проблем.

Это развитие не является уникальным для ИИ, скорее, оно является следствием все более сложного внедрения технологий во все аспекты жизни общества. Несмотря на то, что наше внимание здесь ограничено вычислительными технологиями и особенно технологиями машинного обучения, эти разработки являются частью более широкой тенденции, которая распространяется на все области технологий. Повсеместное внедрение встроенных вычислений ускорило эту тенденцию. Редко можно найти технологию, которая не имела бы какой-либо вычислительной составляющей – от обучающих термостатов до вынесения решений по кредитному рейтингу и заявлений на визу. Эти технологии также требуют нескольких различных типов знаний для надлежащего регулирования. Во-первых, необходимы технические знания, чтобы понять, как работают эти технологии, и, поскольку технологии настолько сложны, эти знания ограничены относительно небольшим числом людей, в то время как число людей, на жизнь которых это напрямую влияет, значительно выросло. Тем не менее, многие виды экспертизы актуальны. Например, оценка правовых последствий технологий AI/ML требует глубокого знакомства с соответствующими областями права. Аналогичные опасения могут относиться к оценке финансового кредита, рассмотрению заявлений о приеме на работу, вопросам политического и социального равенства и другим этическим проблемам. Таким образом, недостаточно опросить экспертов в определенной области. Для эффективной оценки и, следовательно, регулирования интерпретируемых и объяснимых систем ИИ требуется объединение экспертных знаний из разных областей, которые традиционно не взаимодействовали.

Можно ожидать, что темпы этой тенденции к усложнению систем будут ускоряться. Эта эволюция основных технологических тенденций была задокументирована движением «Инженерные системы». Начавшись в начале 2000-х годов, это движение признало, что технологии и современное общество тесно переплетены и что темпы технологических и социальных изменений требуют, чтобы дизайн сложных систем был адаптирован с учетом того, что эти ученые назвали «недугами». Объяснимость и интерпретируемость являются «недостатками» и сопряжены с аналогичными трудностями, связанными с их измерением. «Недуги» исторически были подвержены проблемам как многозначности, что означает, что одни и те же термины часто используются для описания различных концепций, так и синонимии, означающей, что разные термины иногда относятся к одному и тому же основополагающему конструкту. Кроме того, эти термины влекут за собой значительную социальную составляющую, которую невозможно отделить от основных ценностей пользователей, дизайнеров и лиц, принимающих решения. Наконец, «недуги» имеют сильную политическую составляющую, потому что их нельзя изучать в отрыве от их воздействия на общество, и особенно на уязвимые группы населения. Таким образом, попытки определить объяснимость и интерпретируемость в искусственном интеллекте сопоставимы с проблемами, с которыми сталкиваются ученые, изучающие другие сложные инженерные системы, для которых определения абстрактных, но важных понятий, таких как гибкость, устойчивость и т. д., сильно зависят от социальных оценок. Два десятилетия исследований в этой области показали, что эти крайне абстрактные требования может быть трудно измерить стандартным способом из-за их крайне чувствительной к контексту и социально обусловленной природы. Тем не менее, их важность оправдывает задачу установления стандартов, которые были бы достаточно гибкими, чтобы быть гибкими в различных контекстах.

Определения интерпретируемости и объяснимости, предложенные выше, основаны на десятилетиях эмпирических исследований в области экспериментальной психологии. Опираясь на эту обширную литературу, мы проводим различие между интерпретацией – процессом извлечения значения из стимула (например, результата модели) – и объяснением – процессом создания подробного описания того, как был достигнут результат. Мы утверждаем, что связь между принятием решений человеком и алгоритмическим принятием решений аналогична различным уровням ментальной репрезентации. Индивидуальные различия между людьми также последовательно предсказывают, какие люди предпочитают полагаться на эти различные представления при принятии последовательных решений, особенно о том, как использовать числовую информацию.

Интерпретируемое машинное обучение призвано помочь людям создавать интерпретации данных и выходные данные модели. Таким образом, мы рассматриваем литературу по психологии человека, относящуюся к тому, как люди получают интерпретации из стимулов, и особенно количественных. Ведущая теория в этой области, теория нечетких следов, утверждает, что люди кодируют стимулы в несколько ментальных представлений одновременно и параллельно. Эти ментальные представления отличаются друг от друга по уровню точности, при этом люди предпочитают полагаться на наименее точное представление, которое все же делает значимое различие при принятии решения.

Люди склонны принимать решения, основываясь на простейшем из этих представлений – интерпретации сути стимулов. Люди могут кодировать несколько смыслов с различными уровнями точности, формируя иерархию смыслов. В отличие от этого, алгоритмы следуют только механическим дословным процессам при составлении прогнозов. Люди также кодируют дословные ментальные представления, которые являются просто подробными представлениями самого стимула (например, исходными выходными данными системы). Эти различные уровни ментальной репрезентации стимула кодируются одновременно и параллельно. Более того, эти представления могут конкурировать друг с другом или основываться друг на друге, внося свой вклад в процесс принятия решений человеком.