Юлия Вересова – Человеко-ориентированный искусственный интеллект: UX, аналитика, этика (страница 1)
Человеко-ориентированный искусственный интеллект: UX, аналитика, этика
Юлия Владимировна Вересова
© Юлия Владимировна Вересова, 2025
ISBN 978-5-0067-6401-9
Создано в интеллектуальной издательской системе Ridero
Сведения об авторе
Юлия Вересова – исследователь в области HCAI, поведенческой аналитики и проектирования взаимодействия человека и ИИ.
Профессиональные интересы включают разработку адаптивных ИИ-интерфейсов, построение этически устойчивых цифровых сред, исследование когнитивных и эмоциональных механизмов взаимодействия с интеллектуальными системами, а также создание моделей пользовательского поведения в условиях автоматизации и генеративного ИИ.
Предисловие
Книга посвящена основам и прикладным аспектам Human-Centered Artificial Intelligence (HCAI). Цель книги – сформировать у читателя целостное понимание принципов HCAI и подготовить его к осознанной работе в сфере проектирования, оценки и сопровождения интеллектуальных систем.
Материалы структурированы по модулям и соответствуют академической логике изучения предмета в формате учебного курса. Каждый раздел включает теоретическую основу, методические подходы, практические акценты и глоссарий ключевых терминов. Отдельное внимание уделено таким аспектам, как объяснимость моделей, доверие к ИИ, когнитивная нагрузка, пользовательские исследования в AI-интерфейсах, юридические нормы и анти-паттерны UX в интеллектуальных продуктах.
Книга ориентирована на UX-исследователей, аналитиков, дизайнеров взаимодействия, разработчиков ИИ-систем, преподавателей и студентов старших курсов. Она может быть полезна как для самостоятельного изучения, так и в рамках образовательных программ по HCAI, цифровой этике, взаимодействию человек—технологии и гуманитарным аспектам искусственного интеллекта.
Примечание: В тексте упоминаются организации, деятельность которых запрещена на территории РФ.
Глава 1. Введение в человеко-ориентированный ИИ (HCAI)
Почему недостаточно просто «разработать ИИ»
На протяжении многих десятилетий развитие искусственного интеллекта рассматривалось в первую очередь как инженерная задача. Исследования концентрировались на алгоритмах, моделях, вычислительной эффективности, способности систем к обучению и обобщению. Главной метрикой «успеха» считалась точность модели, измеряемая на тестовой выборке. В рамках такой парадигмы предполагалось, что если система демонстрирует высокий уровень точности или классификационной силы, то она по определению полезна, применима и эффективна. Однако с развитием практического применения ИИ, особенно в пользовательских и социально чувствительных сферах – от медицины до образования и социальных сетей – стало очевидно, что алгоритмическая эффективность не гарантирует качество взаимодействия с человеком.
Иными словами, разработать работающий ИИ – это необходимое, но не достаточное условие создания полезной, безопасной и этичной интеллектуальной системы.
I. Алгоритмическая корректность ≠ пользовательская приемлемость
Интеллектуальная система может формально выполнять задачу, но оставаться для пользователя:
– непонятной – её поведение будет казаться случайным или не поддающимся объяснению;
– непредсказуемой – человек не сможет интерпретировать, когда и как сработает тот или иной механизм;
– неконтролируемой – пользователь не ощущает возможности влиять на результат или отменить решение;
– неприемлемой – модель может воспроизводить или усиливать дискриминационные паттерны, даже если это отражает «реальные» данные.
Типичный пример – алгоритмы рекомендаций, применяемые в социальных сетях или маркетплейсах. Даже если они эффективно повышают engagement и кликабельность, пользователь может чувствовать тревожность, потерю контроля, снижение автономии принятия решений, что приводит к эмоциональному выгоранию и цифровому отторжению.
II. Проблема ментальной модели и когнитивного разрыва
Одной из важнейших проблем взаимодействия человека с ИИ является несоответствие между реальной логикой работы модели и ментальной моделью пользователя – то есть тем, как человек думает, что система работает. Если пользователь не может предсказать поведение системы или объяснить себе её действия, возникает ощущение хаоса и фрустрации. Такое состояние известно в когнитивной психологии как когнитивный разрыв (cognitive dissonance или breakdown of sensemaking).
Когнитивные модели взаимодействия, начиная с концепций Дональда Нормана (Norman, 1986), подчеркивают важность предсказуемости и объяснимости интерфейсов. Когда же в системе действует обучаемая модель, поведение которой зависит от скрытых признаков, распределений и вероятностных предсказаний, пользователь оказывается в ситуации, где интерфейс видим, а логика – нет.
Таким образом, ИИ может функционировать «правильно» по техническим критериям, но быть непригодным для реального пользователя без поддержки когнитивной прозрачности.
III. Игнорирование этики, эмоций и восприятия
Системы, разработанные без учёта эмоциональных реакций, поведенческих паттернов, социальной справедливости или культурных особенностей, могут приводить к последствиям, несовместимым с этическими и правовыми нормами.
Так, система автоматического распределения социальных пособий, внедрённая в Нидерландах в 2019 году, использовала ИИ для прогнозирования вероятности мошенничества на основе демографических и поведенческих признаков. Модель была «эффективна», но нарушала принцип справедливости, поскольку дискриминировала по происхождению, району проживания и типу семьи. В итоге программа была отменена, а правительство принесло официальные извинения.
Этот кейс наглядно показывает, что формально корректная работа ИИ может нарушать базовые принципы прав человека, если не учитывать контекст взаимодействия, восприятие пользователя и социальную ответственность.
IV. Автоматизация без дизайна взаимодействия = потеря контроля
Во многих системах с ИИ наблюдается тенденция к «скрытой автоматизации» – то есть переходу от явно управляемых пользователем интерфейсов к системам, в которых алгоритмы принимают решения автономно и без объяснений. Такие интерфейсы уменьшают участие человека, но одновременно снижают доверие и разрушают пользовательскую агентность – ощущение, что человек способен действовать осознанно и по собственной инициативе.
Иными словами, автоматизация без сопровождения объяснений, обратной связи, возможности редактирования или отмены приводит к ощущению отчуждённости: пользователь становится пассивным наблюдателем, а не участником процесса.
V. Неразвитость UX-слоя в AI-системах как системная проблема
Большинство ИИ-платформ разрабатываются техническими командами, сфокусированными на точности моделей и производительности. В результате:
UX-дизайн внедряется на финальных этапах, в виде интерфейсной «обёртки»;
Обратная связь от пользователя не включена в петлю обучения модели;
Оценка качества ограничивается метриками (F1, precision, recall), не учитывающими восприятие и интерпретируемость;
Поведенческая аналитика воспринимается как второстепенная.
Это приводит к парадоксам: технологически сложные системы оказываются недоступными, тревожными или неприемлемыми для пользователей. Даже при наличии ресурсоёмких архитектур, дорогостоящих моделей и технической реализации, продукт может провалиться из-за отсутствия понимания человеческого фактора.
Сегодняшний этап развития ИИ требует не только прорывов в моделировании, но и переноса центра внимания с алгоритма на взаимодействие. Human-Centered AI (HCAI) предлагает фундаментальный сдвиг:
– от архитектур к контексту использования,
– от точности к объяснимости,
– от автономии к контролю,
– от поведения машины к переживанию человека.
Это не отказ от ИИ, а интеграция его возможностей в структуру человеческой деятельности – осмысленно, прозрачно и безопасно. Только при таком подходе интеллектуальные технологии смогут не просто работать, а быть принятыми, понятными и полезными в повседневной жизни.
Нарушенное доверие как следствие ошибок взаимодействия
Один из фундаментальных ресурсов, на которых строится успешное использование интеллектуальных систем, – это доверие пользователя. В отличие от традиционных программных продуктов, в которых поведение системы строго детерминировано и предсказуемо, искусственный интеллект действует в условиях неопределённости: он обучается на данных, принимает вероятностные решения, и его поведение может меняться в зависимости от контекста, новых входных данных или даже обновлений модели. Это делает взаимодействие с ИИ принципиально более хрупким: как только пользователь сталкивается с решением, которое он не может объяснить, обоснованно интерпретировать или предсказать, он начинает терять уверенность в системе.
Доверие формируется не на основании технической корректности, а через восприятие. Пользователь ожидает, что система будет действовать понятно, справедливо, логично и – при необходимости – под его контролем. Когда интерфейс не объясняет, почему была сделана та или иная рекомендация, или когда система действует вопреки ожиданиям пользователя, происходит нарушение ментальной модели взаимодействия. Человек ощущает, что ИИ ведёт себя «сам по себе», игнорирует его намерения и контекст. Это приводит к тому, что система воспринимается как неконтролируемая, а в ряде случаев – как враждебная.