Денис Соломатин – Искусственный интеллект от А до Б (страница 10)

Принятие решений человеком демонстрирует различную степень согласованности и соответствия. В частности, представления экспертов о сути, как правило, соответствуют лучшим результатам в реальном мире, демонстрируя соответствие; тем не менее, эксперты могут нарушить когерентность, т.е. они могут дать объяснение действию в определенном контексте, но это объяснение не обязательно может распространяться на все контексты, что примерно аналогично линейной оценке нелинейной модели. В отличие от этих линейных оценок, которые обеспечивают объяснительную силу в узком диапазоне параметров, у экспертов можно спрашивать об их обосновании. Приведенное выше обсуждение подчеркивает, что высокая корреспонденция с низкой объяснимостью не только не является уникальной особенностью моделей машинного обучения, но и может быть характерной чертой некоторых видов человеческого опыта. На самом деле, существует значительный объем литературы по инженерному менеджменту, в которой обсуждается «неявная» природа человеческого опыта. Другими словами, как и в случае с самыми сложными моделями, эксперты-люди могут не осознавать, как они получили определенный результат. Тем не менее, они часто могут описать, почему они сделали то, что сделали – например, опытные теннисисты с большей вероятностью оправдывали свои действия относительно целей игры, в то время как новички сосредоточили более осознанное внимание на механике выполнения конкретных маневров. Таким образом, решения экспертов демонстрируют высокую степень эмпирического соответствия, несмотря на подверженность «смещениям» в предсказуемых обстоятельствах. Кроме того, эксперты в предметной области, как правило, полагаются на результаты модели, которые интерпретируют, а не объясняют релевантные результаты, потребляют и предпочитают их использовать.

Это обсуждение предполагает, что дизайнеры могут повысить интерпретируемость путем создания «моделей серого ящика», которые могут предоставить обоснование для данного решения в отношении набора функциональных требований. Благая цель согласуется с аналогичными проблемами при попытке интегрировать крупномасштабные системы из нескольких различных сложных областей знаний в общий артефакт, который будет использоваться потребителями, включая политиков, с различными уровнями технической сложности.

Можно утверждать, что разработка объяснимой или интерпретируемой системы ИИ сводится к выбору соответствующего уровня абстракции, на котором будут передаваться выходные данные системы с учетом потребностей пользователя. Здесь мы рассматриваем исследования в области психологии и системной инженерии, подтверждающие это утверждение. В научной литературе основное внимание уделяется проведению аналогии между понятием ментальной репрезентации и уровнями абстракции.

Успешная работа информатики зависит от последовательных уровней абстракции просто потому, что операции вычислительных систем слишком сложны на физическом уровне, чтобы их можно было объяснить даже самым опытным специалистам в области информатики. Предположим, что компьютер сам по себе является абстракцией – «машиной Тьюринга», которая реализуется с помощью другой абстракции – битов, которые сами реализуются в кремниевых полупроводниках. Эбботт указывает, что биты сами по себе являются абстракциями, и в той степени, в которой абстракция не нарушается (например, из-за физических ограничений, таких как слишком большое количество тепла), разработчикам систем не нужно понимать механизм (например, физические закономерности), лежащие в основе реализации вычислительной системы, которую они используют. Аналогичная логика применима и к разработке программного обеспечения. Хотя в некоторых случаях при проектировании программного обеспечения, безусловно, полезно понимать архитектуру компьютера, большинству разработчиков программного обеспечения не требуется детальное понимание реализации кода, лежащего в основе операционной системы конкретного компьютера, при проектировании приложения. Кролл даже утверждает, что объяснения, которые сосредоточены на механизмах работы системы ИИ, на самом деле скрывают способность пользователей понять, как система функционирует в ее социальном контексте (например, в структуре власти). Действительно, пользователи обычно используют приложения, например, в Интернете, без подробных объяснений того, как эти приложения работают. Скорее, они знакомы с набором функций, для выполнения которых предназначено приложение, и, поскольку эти функции выполняются таким образом, чтобы не создавать чрезмерных внешних эффектов, пользователю обычно не нужно или даже не нужно знать о деталях реализации. Именно эти внешние эффекты лежат в основе потребности в интерпретируемости системы. Таким образом, Эбботт предоставляет раздел, относящийся к «управлению платформой», в котором представлен обзор некоторых исследований по управлению общими ресурсами, которые могут быть продуктивно адаптированы к алгоритмической объяснимости и интерпретируемости, и особенно к разработке стандартов в этой области. В частности, эти стандарты могут быть сформулированы в терминах высокоуровневых требований с мерами эффективности для интерпретируемых и объяснимых систем.

Различие между уровнями ментальной репрезентации «как» и «почему» теоретически мотивировано и эмпирически обосновано в литературе по психологии. Теория конструального уровня, ведущая теория абстракции в человеческой психологии, проводит различие между ментальными репрезентациями в терминах их «психологической дистанции». В данном случае менее отдаленная репрезентация влечет за собой память о вещах, которые находятся либо в пространстве, либо во времени, в то время как более отдаленная репрезентация влечет за собой память о вещах, которые находятся на более отдаленных расстояниях. Вопросы, которые задают «как» – то, что мы называем объяснениями – психологически более близки, чем вопросы, которые задают «почему» – интерпретации. Кроме того, модель характеризует различие между более и менее удаленными представлениями с точки зрения уровня их абстракции.

Наконец, последние результаты показывают, что увеличение психологической дистанции, в том числе за счет предоставления более абстрактных представлений, приводит к лучшим решениям, потому что эти более отдаленные представления используют интерпретации сути. Это имеет прямое значение для дизайна: интерпретируемые системы ИИ, то есть те, которые помогают конечным пользователям принимать значимые решения, на самом деле могут быть менее объяснимыми, и наоборот, по крайней мере, для конечных пользователей, не обладающих опытом в области науки о данных.

Идея о том, что объяснения – обоснованные относительно реализации системы – и интерпретации – оправданные по отношению к целям системы – отличаются друг от друга, также подтверждается обширной литературой по инженерии человеческого фактора. В этой статье было описано, как теория нечетких следов утверждает, что эти представления кодируются четко и параллельно, при этом эксперты предпочитают полагаться на более абстрактные описания. В этом разделе обсуждается, как эти понятия абстракции используются в инженерном проектировании практикующими инженерами. В частности, основная конструкция – иерархия абстракций, различающая более детальные вопросы «как», которые определены относительно конкретных реализаций и, следовательно, менее значимые по отношению к системным целям – и менее детализированные, но более значимые вопросы «почему» – была предвосхищена в литературе по инженерии человеческих факторов и системной инженерии в работе Йенса Расмуссена. Работа Расмуссена, которая проводилась исключительно с техническими экспертами (в основном инженерами-электриками, принимающими важные решения, относящиеся к сложным системам, таким как атомные электростанции), определила иерархию абстракций как такую, в которой «… Функциональные свойства технической системы представлены в нескольких уровнях функциональной абстракции по размеру средство-цель» – континуум представлений, ограниченный снизу «физической формой» системы (в данном случае, аналогично реальной физической реализации алгоритма машинного обучения на компьютере, в терминах которого переворачиваются биты), вплоть до «обобщенной» и «абстрактной функции» системы (аналогично программным функциям, реализуемым конкретным машинным обучением системы, которые дают результаты, обоснованные относительно этих функций), которые определяют причинно-следственную структуру системы и/или топологию информационных потоков и ограничены выше «функциональным назначением» системы, т.е. ее целями относительно конечных пользователей. Далее Расмуссен и Линд отмечают, что, имея дело со сложностью, инженеры часто полагаются на несколько уровней представления, даже переключаясь между ними с целью диагностики, причем более высокие уровни указывают на функциональные требования, объясняющие, почему реализуются более низкие уровни, а более низкие уровни указывают на конкретную реализацию того, как выполняются требования более высокого уровня. Таким образом, пользователи и проектировщики могут понимать вывод системы только в той степени, в которой они обладают техническими или предметными знаниями, необходимыми для использования соответствующих уровней иерархии абстракций. В целом, переход между уровнями абстракции требует понимания этого уровня абстракции на его собственных условиях и использования соответствующих фоновых знаний. Таким образом, форма абстракции, которую мы здесь обсуждаем, имеет некоторое сходство с определением сложности Колмогорова [78] – это упрощенное представление, которое может быть выражено с помощью краткого описания, где длина описания определяется относительно заранее определенного знания.