Юлия Вересова – Человеко-ориентированный искусственный интеллект: UX, аналитика, этика (страница 7)

– пользователь не видит всей картины;

– действует быстро и фрагментарно;

– ИИ-система преподносит информацию в определённом порядке и форме.

Это формирует три ключевые задачи HCAI-дизайна:

1. Понимать, когда искажения естественны и избежать их невозможно.

2. Проектировать интерфейсы, которые минимизируют вред от таких искажений.

3. Использовать эвристики во благо: для поддержки пользователя, а не манипуляции.

Пример: вместо того чтобы показывать «рекомендуемое» видео без объяснений, система может добавить – «основано на ваших предыдущих интересах: A, B, C» – это снижает эффект слепого принятия и возвращает пользовательскую агентность.

Поведенческие эффекты ИИ – автоматизация, доверие, переоценка

ИИ-системы, особенно в потребительском сегменте, давно перестали быть просто вычислительными механизмами. Они стали участниками повседневных решений: от выбора маршрута до карьерных рекомендаций, от модерации контента до диагностики заболеваний. Это означает, что ИИ встраивается в поведенческий цикл пользователя, изменяя как логику действия, так и саму структуру выбора. Эти изменения могут быть нейтральными, поддерживающими – или искажающими, подрывающими агентность.

Проектирование ИИ, не учитывающее эти эффекты, рискует создать системы, которые будут работать правильно, но вести пользователя к ошибочным, зависимым или манипулятивным паттернам поведения. Именно поэтому поведенческий анализ – один из краеугольных элементов HCAI.

Автоматизация и её психологические последствия

Автоматизация – одна из целей ИИ, обещающая повышение эффективности, снижение затрат и скорости выполнения задач. Однако в поведенческом аспекте автоматизация может иметь обратные последствия, особенно если она внедряется без когнитивной или интерфейсной поддержки.

Классические эффекты автоматизации:

Automation complacency – снижение внимательности, когда система берёт на себя контроль (пример: автопилот).

Loss of skill – деградация навыков при регулярной делегации задачи ИИ.

Overtrust / automation bias – избыточное доверие к ИИ, даже при очевидных ошибках.

Undertrust – отказ от использования системы из-за одного сбоя (loss of trust recovery).

Важно понимать, что автоматизация влияет не только на результат, но и на восприятие контроля. Если пользователь не знает, что именно делает система, или не может отключить её поведение, возникает фрустрация, тревожность и ощущение бессилия. Это особенно критично в системах с высокой чувствительностью: финансы, здоровье, безопасность.

Доверие: не данность, а проектный результат

Доверие (trust) в контексте ИИ – это готовность пользователя принять решение, сделанное системой, как корректное и приемлемое. Это не эмоция, а когнитивная оценка надёжности, формируемая на основе:

– предсказуемости поведения ИИ;

– объяснимости его действий;

– согласованности с ментальной моделью пользователя;

– наличия возможности контроля или отмены.

HCAI рассматривает доверие как конструкцию, которую необходимо проектировать. Оно должно:

1. не быть абсолютным (overtrust может быть опасен);

2. формироваться постепенно (через сценарии, поведение, объяснения);

3. быть устойчивым к единичным сбоям (механизмы восстановления доверия).

Нарушение доверия происходит в ситуациях, когда:

– ИИ даёт непредсказуемый или неадекватный результат;

– поведение системы меняется без сигнала;

– отсутствует объяснение того, что произошло.

Задача дизайна в HCAI – создать условия, в которых поведение системы будет:

– предсказуемым в своей непредсказуемости;

– объяснимым при необходимости;

– контролируемым, с возможностью вмешательства пользователя.

Переоценка и ложное впечатление интеллекта

ИИ – это не только функция, но и форма. Люди склонны приписывать системам намерения, сознание, мотивацию даже тогда, когда их нет. Это называется антропоморфизмом ИИ.

Поведенческие следствия:

Иллюзия понимания: пользователь думает, что ИИ «его понял», когда на самом деле сработал паттерн.

Персонализация без индивидуализации: пользователь считает, что система учитывает его контекст, хотя используется шаблон.

Эмоциональная привязанность: привлечение внимания, доверие или зависимость от генеративных агентов, особенно в чат-формате (пример: Replika).

Переоценка ИИ – особенно опасный эффект в HCAI. Он создаёт ложную агентность, при которой пользователь делегирует критическое мышление машине, веря, что она «знает лучше». Это может быть уместно в системах рекомендаций, но катастрофично – в медицине, юриспруденции, образовании.

Сценарии нежелательного поведенческого влияния

Примеры ситуаций, где ИИ оказывает неблагоприятное поведенческое влияние:

1. ИИ-система диагностики предлагает агрессивное лечение → пациент не задаёт вопросы, полагая, что «ИИ знает».

2. Автоматизированный модератор блокирует комментарий → пользователь не понимает причину и уходит из сервиса.

3. Рекомендательный алгоритм формирует узкий новостной пузырь → пользователь не осознаёт ограниченность информации.

Общий паттерн: снижение критического мышления, привычная делегация, исчезновение ощущаемого выбора.

Системное и критическое мышление в UX

Проектирование пользовательского взаимодействия с интеллектуальными системами требует не только эмпатии и понимания потребностей пользователя, но и способности мыслить более масштабно и структурно. Системное и критическое мышление становятся необходимыми когнитивными инструментами, позволяющими специалисту по HCAI видеть технологию в контексте, выявлять слабые звенья, прогнозировать побочные эффекты и проектировать интерфейсы, учитывающие поведенческие, социальные и когнитивные последствия.

Системное мышление предполагает способность воспринимать продукт не как изолированный интерфейс, а как элемент сложной взаимосвязанной системы. Это мышление об интерфейсе в контексте платформы, бизнеса, пользователя, алгоритма и общества. Любое изменение – будь то алгоритм рекомендаций, механизм автоматизации или оформление кнопки выбора – может вызывать каскад последствий: от изменения поведения пользователя до формирования новых привычек, искажения выбора и даже изменения отношения к себе. В рамках HCAI системное мышление позволяет специалисту заранее оценивать такие связи, понимать, где и как конкретный дизайн влияет на восприятие, интерпретацию и решения пользователя.

Применение системного подхода особенно актуально в тех случаях, когда ИИ не только реагирует на действия пользователя, но и проактивно формирует поведение. Например, рекомендательная система, предлагающая контент без объяснения принципов работы, может влиять на мотивацию пользователя, искажать восприятие мира, создавать информационные пузыри. Системное мышление позволяет видеть эти риски заранее: оно требует учитывать не только пользовательские цели, но и динамику поведения во времени, связь между алгоритмическими решениями и когнитивными эффектами.

Критическое мышление, в свою очередь, фокусируется на способности анализировать, интерпретировать и переосмысливать решения, предлагаемые как людьми, так и системами. В контексте HCAI это означает постоянный вопрос: что стоит за этим алгоритмом? какие данные легли в основу модели? какие альтернативы были исключены? критически мыслящий специалист не принимает технологию как нейтральную – он осознаёт, что любая система содержит идеологию, приоритеты и потенциальные ограничения. Это мышление направлено на выявление искажений, непреднамеренных манипуляций, ограничений выбора.

В пользовательском опыте критическое мышление также проявляется в проектировании механизмов, позволяющих самому пользователю осознавать, что делает система. Простой пример – возможность отключить автоматические рекомендации, получить объяснение решения или выбрать альтернативу. В ситуации, когда ИИ предлагает «наилучший выбор», критически мыслящий дизайнер задаёт вопрос: почему этот выбор считается наилучшим? как это воспринимается пользователем? какие возможны последствия? Вместо того чтобы усиливать доверие без проверки, такой специалист строит архитектуру, в которой доверие возникает через прозрачность, объяснение и возможность вмешательства.

Сочетание системного и критического мышления формирует новое понимание роли UX-дизайнера в HCAI. Это уже не просто проектировщик визуальных паттернов и экранов, а архитектор поведения, посредник между пользователем и алгоритмом. Такой специалист работает на уровне модели восприятия, прогнозирует поведение, закладывает механизмы обратной связи и устойчивости. Его задача – не только создавать удобство, но и обеспечивать осмысленное, безопасное и когнитивно устойчивое взаимодействие между человеком и ИИ.

Таким образом, системное и критическое мышление в контексте HCAI становятся не факультативной компетенцией, а основой проектной деятельности. Они позволяют переходить от реактивного дизайна, исправляющего ошибки после внедрения, к упреждающему – который предотвращает проблемы ещё на стадии идеи. Только с таким подходом возможно создание действительно человеко-ориентированных интеллектуальных систем.

ключевые термины главы 2

Когнитивная нагрузка (Cognitive Load) – Объём умственной активности, требуемой пользователю для понимания интерфейса, принятия решений или выполнения задач.