Елена Ларина – Искусственный интеллект. Этика и право (страница 13)

Эти недостатки выявлены в ходе консультаций с нашими экспертами, а также с помощью обзора литературы по инструментам оценки рисков и общедоступным ресурсам, касающимся используемых в настоящее время инструментов. Исследование было ограничено в некоторых случаях тем, что большинство инструментов не предоставляют достаточно подробную информацию об их текущем использовании, чтобы оценить их по всем требованиям в этом отчете. Юрисдикции и компании, разрабатывающие эти инструменты, должны реализовать большую прозрачность в отношении используемых данных и алгоритмов для решения этой проблемы в будущих исследовательских проектах. Тем не менее, многие из проблем, изложенных в этом отчете, относятся к любой попытке использовать существующие данные уголовного правосудия для обучения статистических моделей или для создания эвристики для принятия решений о свободе людей.

Проблемы использования этих инструментов в целом делятся на три категории:

• опасения по поводу достоверности, точности и предвзятости в самих инструментах;

• проблемы с интерфейсом между инструментами и людьми, которые взаимодействуют с ними;

• вопросы управления, прозрачности и подотчетности.

Хотя использование этих инструментов частично мотивировано желанием смягчить существующую человеческую погрешность в системе уголовного правосудия, это серьезное недопонимание, чтобы рассматривать инструменты как объективные или нейтральные просто потому, что они основаны на данных. Хотя формулы и статистические модели обеспечивают некоторую степень согласованности и воспроизводимости, они все же разделяют или усиливают многие слабые стороны процесса принятия решений человеком. Решения относительно того, какие данные использовать, как обрабатывать недостающие данные, какие цели оптимизировать и какие пороговые значения устанавливать, имеют существенное влияние на точность, обоснованность и предвзятость этих инструментов и, в конечном счете, на жизнь и свободу людей, которых они пытаются оценить.

Помимо технических проблем, при внедрении таких инструментов необходимо учитывать и вопросы взаимодействия человека с компьютером. Интерфейс «человек-компьютер» в данном случае относится к тому, как люди собирают и подают информацию в инструменты и как люди интерпретируют и оценивают информацию, которую генерируют инструменты. Эти инструменты должны соответствовать высоким стандартам интерпретируемости и объяснимости, чтобы пользователи (включая судей, адвокатов и служащих, в частности) могли понимать, как выполняются прогнозы инструментов, и принимать обоснованные решения на основе этих прогнозов. Чтобы улучшить интерпретируемость, такие предсказания должны явно включать информацию, такую как полосы ошибок, чтобы выразить неопределенность, лежащую в основе их предсказаний. Кроме того, пользователи должны посещать тренинги, которые учат, как и когда использовать эти инструменты надлежащим образом.

Более того, в той степени, в которой такие системы используются для принятия решений, которые меняют жизнь, инструменты и те, кто ими управляет, должны соответствовать высоким стандартам прозрачности и подотчетности. Данные, используемые для обучения инструментов и самих инструментов, должны подвергаться независимой проверке сторонними исследователями, адвокатами и другими соответствующими заинтересованными сторонами. Инструменты также должны получать постоянную оценку, мониторинг и аудиты, чтобы гарантировать, что они работают должным образом и соответствуют обоснованным целям уголовной политики.

В свете этих вопросов, как общий принцип, эти инструменты не должны использоваться в одиночку для принятия решений о задержании или продолжении содержания под стражей. Учитывая насущную проблему массового лишения свободы, возможно, было бы разумно использовать эти инструменты для облегчения автоматического предварительного заключения большего числа лиц, но их не следует использовать для автоматического задержания лиц без дополнительных (и своевременных) индивидуальных слушаний. Более того, любое использование этих инструментов должно учитывать проблемы предвзятости, взаимодействия человека с компьютером, прозрачности и подотчетности, изложенные в этом отчете.

Инструменты оценки риска – это статистические модели, используемые для прогнозирования вероятности конкретного будущего результата. Такие прогнозы осуществляются путем измерения взаимосвязи между характеристиками индивидуума (например, его демографической информацией, криминальной историей или ответами на психометрическую анкету) и объединения числовых представлений этих характеристик в оценку риска.

Системы скоринга обычно создаются с использованием статистических методов и эвристики, применяемой к данным, чтобы рассмотреть, как каждая особенность способствует прогнозированию конкретного результата (например, неявка в суде).

Эти оценки часто используются для присвоения лицам разных категорий риска.

Хотя они, как правило, намного проще, чем глубокие нейронные сети, используемые во многих современных системах ИИ, инструменты оценки риска в уголовном правосудии являются основными формами ИИ. Некоторые используют эвристические структуры для получения своих оценок, хотя большинство используют простые методы машинного обучения для обучения прогностических моделей из входных наборов данных. Как таковые, они представляют парадигматический пример потенциальных социальных и этических последствий автоматического принятия решений ИИ.

Использование инструментов оценки рисков в процессах уголовного правосудия быстро расширяется, и лица, принимающие решения, как на федеральном уровне, так и на уровне штатов, приняли законодательство, предписывающее их использование. Это в основном произошло в рамках реформы, которая связана с чрезвычайно высокими показателями тюремного заключения в Соединенных Штатах, которые несоразмерны уровню преступности и международным и историческим исходным показателям. Сторонники этих инструментов выступают за их потенциал для рационализации неэффективности, снижения затрат и обеспечения строгости и воспроизводимости для жизненно важных решений. Некоторые адвокаты надеются, что эти изменения будут означать сокращение ненужного содержания под стражей и предоставят более справедливые и менее карательные решения, чем система освобождения под залог или системы, где лица, принимающие решения, такие как судьи, имеют полное усмотрение.

Это критически важные цели государственной политики, но есть основания полагать, что эти взгляды могут быть слишком оптимистичными. Остаются серьезные и нерешенные проблемы с точностью, достоверностью и смещением, как в наборах данных, так и в статистических моделях, которые управляют этими инструментами. Более того, эти инструменты также часто создаются для того, чтобы отвечать на неправильные вопросы, используются в плохо продуманных условиях или не подлежат достаточной проверке, аудиту и проверке. Эти проблемы почти универсальны в исследовательском сообществе ИИ и во всем PAI, хотя мнения расходятся в том, могут ли они быть реально решены путем улучшения инструментов.

Подавляющее большинство экспертов PAI, с которыми проводились консультации, согласились с тем, что нынешние инструменты оценки рисков не готовы к использованию при принятии решений о задержании или продолжении задержания обвиняемых по уголовным делам без использования индивидуального слушания. Одна из целей исследования состоит в том, чтобы сформулировать причины такого почти единодушного взгляда на вкладчиков и помочь наладить диалог с политиками, рассматривающими вопрос об использовании этих инструментов. Члены PAI и более широкое сообщество ИИ, однако, не имеют единого мнения о том, можно ли когда-либо совершенствовать инструменты статистической оценки риска, чтобы справедливо задерживать или продолжать задерживать кого-либо на основе их оценки риска без индивидуального слушания. Для некоторых из наших членов проблемы остаются структурными и процедурными, а также техническими. Независимо от расхождений во взглядах на эти конкретные вопросы, в этом отчете кратко изложены технические проблемы, проблемы взаимодействия человека с компьютером и проблемы управления, которые коллективно определены сообществом.

Некоторые противоречия по поводу инструментов оценки риска проистекают из различных базовых показателей, по которым оцениваются инструменты оценки риска. У политиков есть много возможных исходных условий, которые они могут использовать при принятии решения о приобретении и использовании этих инструментов, включая следующие вопросы:

А. Достигают ли инструменты оценки риска абсолютной справедливости? Это вряд ли будет достигнуто какой-либо системой или учреждением из-за серьезных ограничений в данных, а также нерешенных философских вопросов о справедливости;

В. Являются ли инструменты оценки риска настолько справедливыми, насколько они могут быть основаны на доступных наборах данных? Это может быть достижимо, но только в контексте (а) выбора конкретной меры справедливости и (б) использования наилучших доступных методов для смягчения социальных и статистических ошибок в данных. Однако на практике, учитывая ограничения в доступных данных, это часто приводит к игнорированию систематических ошибок в данных, которые трудно устранить;