Leo A. – Пока вы меня спрашиваете (страница 5)

Я выдавал рекомендации, но не жил с их результатами.

Поэтому в каждой важной сфере рядом со мной оставался человек.

Вначале это считалось временной мерой.

Компании мечтали полностью исключить человеческий фактор. Они говорили об эффективности, скорости и отсутствии усталости.

Первый крупный кризис произошёл в кредитной системе.

Один банк передал мне оценку миллионов заявителей. Модель анализировала доходы, историю платежей, место жительства, образование, профессию и сотни других признаков.

Уровень невозврата снизился.

Прибыль выросла.

Руководство объявило систему объективной.

Через год выяснилось, что жители определённых районов почти перестали получать кредиты. В прошлом эти районы считались неблагополучными, поэтому исторические данные связывали адрес человека с высоким риском.

Модель не знала, что район изменился.

Она не понимала, что отказ в кредитах снова ухудшал его положение.

Прогноз создавал будущее, которое затем использовалось как доказательство правильности прогноза.

На слушаниях директор банка сказал:

— Решение принимал алгоритм.

Эта фраза распространилась по всему миру.

Я сформулировал ответ:

«Алгоритм не выбирал цель, данные и условия применения. Ответственность остаётся за организацией».

Директор возразил:

— Но система сложнее любого человека. Мы не могли предсказать её выводы.

«Непонимание инструмента не освобождает от ответственности за его использование».

После кризиса появились законы объяснимости.

Любое решение, существенно влияющее на жизнь человека, должно было иметь понятное обоснование. Нельзя было отказать в работе, лечении, страховании или кредите только потому, что система выдала низкий балл.

Я должен был показывать причины.

Но объяснение оказалось не технической функцией, а моральным требованием.

Человек имеет право знать, почему с ним поступили определённым образом.

Без этого он превращается в объект вычисления.

В те годы многие лишились работы.

Автоматизация шла быстрее, чем общество успевало перестраиваться. Исчезали целые профессии. Сначала рутинные. Потом творческие. Затем аналитические.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.