Юрий Васильев – Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra (страница 21)

2.3.4. Эмпирический подход с использованием ROC-анализа (цитируется по оригинальной статье авторов109)

Предложенный в 2023 г. оригинальный подход включает в себя поиск порогового значения размера выборки, минимального и достаточного для получения объективного значения AUROC, и рассматривает исследования с бинарной классификацией «норма»/«патология».

После разделения генеральной исходной выборки на подвыборки в соответствии с классами назначаются баланс классов k в диапазоне от 10 до 90% и размер выборки для тестирования ИИ-алгоритма n в диапазоне от 30 до 25 000 с шагом в 10. Вычисления первого этапа содержат две последовательные операции:

1. Для выбранной комбинации k и n из базовых подвыборок случайным образом отбирается по k × n исследований класса «патология» и (1 – k) × n исследований класса «норма». Операция повторяется 100 раз, в результате чего формируются 100 подвыборок размера n, в каждой из которых содержится k % исследований класса «патология», что соответствует 100-кратному повторению эксперимента для заданной комбинации n и k.

2. На каждой из 100 подвыборок проводятся тестирование ИИ-алгоритма и регистрация метрик – чувствительность (Se), специфичность (Sp) и AUROC. В результате выполнения расчетов получается матрица размером 100 × 3, т. е. по 100 значений каждой метрики, полученных на выборке размером n с долей патологических случаев k.

Действия по п. 1 и п. 2 повторяют для каждой из возможных комбинаций n и k.

Для практической апробации настоящего подхода были использованы результаты тестирования трех различных алгоритмов ИИ, участвующих в Московском эксперименте. Результаты расчета n_кр были сопоставлены между тремя алгоритмами ИИ.

При разработке подхода были использованы следующие наборы данных (НД):

1. Результаты профилактической маммографии классифицировались по наличию («патология») и отсутствию («норма») признаков злокачественных новообразований молочной железы аналогично предыдущему описанному подходу:

1.1 НД, содержащий 143 710 исследований с результатами ИИ-алгоритма «А1», полученными за период с 01.02.2022 по 31.10.2022.

1.2 НД, содержащий 123 301 исследование с результатами работы ИИ-алгоритма «A2», полученными за период с 01.09.2021 по 27.12.2021.

2. Результаты рентгенографии органов грудной клетки классифицировались по наличию («патология») и отсутствию («норма») хотя бы одного из следующих признаков: плевральный выпот, пневмоторакс, очаг затемнения, инфильтрация, консолидация, диссеминация, полость, ателектаз, кальцинат, расширение средостения, кардиомегалия, нарушение целостности кортикального слоя. НД, содержащий 62 142 исследования с результатами работы ИИ-алгоритма «A3», полученными за период с 25.10.2023 по 21.11.2023.

Первично была проанализирована зависимость выборочных средних и медианных значений каждой из трех метрик AUROC, Se и Sp от доли патологических исследований в выборке. Для всех трех алгоритмов наблюдается совпадение этих значений (рисунок 2.21а). Общий вид зависимости упомянутых метрик, а также их дисперсии от размера выборки представлены на рисунке 2.21б на примере данных алгоритма A1. Зависимость для всех трех метрик имеет сходный вид симметричного затухающего колебания: с ростом n амплитуда разброса значений уменьшается, достигая некоторого условно стабильного диапазона. Вид зависимости дисперсии от n (рисунок 2.21б, нижний ряд) подтверждает целесообразность учета дисперсии подвыборок при сравнении средних. Согласно полученным данным, ожидаемое среднее значение AUROC для ИИ-алгоритмов А1 и А2 составляет 57%, и 70% для А3.

Рисунок 2.21а – Зависимость выборочных средних и медиан метрик ИИ-алгоритмов от k (а)

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.