Юрий Васильев – Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra (страница 8)
Итоги первого года Московского эксперимента были противоречивы. С одной стороны, реализованы процессы масштабного научного исследования, впервые в масштабе мегаполиса технологии компьютерного зрения внедрены в практическое здравоохранения. С другой стороны – качество и ценность для врача первых ИИ-сервисов были откровенно низкими. Именно поэтому итогам этого первого периода, опубликованным в виде монографии24, предшествовал эпиграф в виде высказывания К. Э. Циолковского: «Чем грандиознее идея и ее польза, тем слабее бывает первое исполнение. Причина понятна. Это – трудность ее реализации»25.
На пути истинной науки крайне редко встречается быстрая победа. Результат дают вера, упорство и скрупулезный, системный труд. Подтверждением этого тезиса служат положительная динамика, успешность и общественное признание научных достижений Московского эксперимента в последующие годы.
Динамика эксперимента (2020—2024 гг.). В 2020 г. в Московском эксперименте приняли участие 39 ИИ-сервисов от 21 компании-разработчика; 18 продуктов успешно интегрировались в ППАК ЕРИС ЕМИАС и работали в условиях реального потока результатов лучевых исследований.
На анализ направлялись результаты исследований по четырем модальностям, проведенные в медицинских организациях Департамента здравоохранения Москвы, оказывающих медицинскую помощь взрослому населению.
Для ИИ-сервисов были определены 4 направления (клинических задачи), в том числе внепланово установленное, имеющее целью выявление признаков и определение объема поражения легких при COVID-19.
Всего ИИ-сервисами проанализированы результаты 1 468 872 лучевых исследований, в том числе результаты КТ и НДКТ – 56,0% (818 296), ММГ – 4,0% (61 497), РГ – 18,0% (270 965), ФЛГ – 22,0% (318 114).
Впервые разработаны и введены базовые функциональные и диагностические требования.
Маршрутизация результатов исследований на ИИ-сервисы осуществлялась двумя способами: первоначально – весь поток исследований данного направления на каждый из ИИ-сервисов по данному направлению; позднее введена «шахматная маршрутизация» с формированием отдельных потоков для каждого ИИ-сервиса данного направления и периодическим «переключением» потоков между собой (благодаря этому каждый ИИ-сервис мог поработать с результатами исследований от всех диагностических устройств).
В 2021 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 23 ИИ-сервиса от 21 компании-разработчика.
Количество направлений эксперимента (клинических задач для ИИ-сервисов) возросло до 9.
Всего ИИ-сервисами проанализированы результаты 2 917 095 лучевых исследований, в том числе результаты КТ и НДКТ – 31,0% (902 002), ММГ – 9,0% (257 065), РГ – 24,0% (713 882), ФЛГ – 36,0% (1 044 146).
Произошло развитие принципов маршрутизации результатов исследований на ИИ-сервисы:
1. Процесс работы ИИ-сервиса в ППАК разделен на два этапа – апробации и опытной эксплуатации. Апробация – ограниченная по времени поочередная работа ИИ-сервиса со всеми медицинскими организациями (диагностическими устройствами по данному направлению) ДЗМ. Опытная эксплуатация – неограниченная по времени работа с медицинскими организациями, которые самостоятельно (по результатам ежеквартального опроса) выбрали данный ИИ-сервис.
2. Появление так называемого «маркетплейса» – каталога ИИ-сервисов и функции отправки результатов лучевого исследования на дополнительный автоматизированный анализ. «Маркетплейс» доступен на рабочем месте каждого врача-рентгенолога и может быть использован, исходя из предпочтений и по усмотрению специалиста, проводящего описание результатов данного исследования.
Наиболее важными достижениями 2021 г. стали:
– выполнение научных исследований по определению объема выборки для ежемесячного технического мониторинга качества работы ИИ-сервисов;
– создание открытой библиотеки наборов данных (https://mosmed.ai/datasets/);
– организация и проведение постоянных семинаров между разработчиками и врачами-рентгенологами;
– привлечение компаний-разработчиков к процессу формирования тарифов на анализ исследований, что повысило прозрачность процессов Московского эксперимента и объективность предоставляемых грантов;
– включение НПКЦ ДиТ ДЗМ в единый реестр уполномоченных организаций, имеющих право проводить исследования (испытания) медицинских изделий, благодаря чему в стенах Центра также в 2021 г. начались официальные технические и клинические испытания программного обеспечения на основе технологий искусственного интеллекта (https://telemedai.ru/uslugi/ispytaniya-medicinskih-programmnyh-produktov).
В 2022 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 43 ИИ-сервиса от 20 компаний-разработчиков.
Количество направлений эксперимента вновь возросло до 16, в том числе появились задачи для автоматизированного анализа результатов магнитно-резонансной томографии. Параллельно начался процесс создания «комплексных ИИ-сервисов» путем объединения отдельных задач для данного вида исследований. Прежде всего, были объединены в комплексный ИИ-сервис отдельные задачи для анализа результатов исследований органов грудной клетки.
Всего ИИ-сервисами проанализированы результаты 4 104 505 лучевых исследований, в том числе результаты КТ и НДКТ – 24,4% (1 001 051), ММГ – 12,2% (501 051), МРТ – 0,1% (4164), РГ – 29,0% (1 188 908), ФЛГ – 34,3% (1 409 331).
Наиболее важные достижения 2022 г.:
– научная разработка методологии и внедрение ежемесячного клинического мониторинга (теперь регулярно оценивалась не только техническая надежность, но и диагностическая точность, медицинское качество ИИ-сервисов);
– масштабирование Московского эксперимента в виде подключения медицинских организаций Ямало-Ненецкого автономного округа;
– развитие базовых диагностических требований по маммографии в виде перехода на шкалу BI-RADS из пяти степеней.
В 2023 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 57 ИИ-сервисов от 24 компаний-разработчиков.
Количество направлений эксперимента продолжило увеличиваться и составило 29.
Всего ИИ-сервисами проанализированы результаты 3 246 277 лучевых исследований, в том числе результаты КТ и НДКТ – 24,0% (778 937), ММГ – 10,0% (316 236), МРТ – 1,0% (37 015), РГ – 37,0% (1 189 980), ФЛГ – 28,0% (924 109).
Наиболее важные достижения 2023 г.:
– научная разработка и внедрение методологии интегральной оценки качества ИИ-сервисов – матрицы зрелости;
– полноценное внедрение научных результатов Московского эксперимента в практическое здравоохранение – введение в системе здравоохранения г. Москвы медицинской услуги, оказываемой с применением медицинских изделий на основе технологий искусственного интеллекта и финансируемой за счет средств обязательного медицинского страхования;
– научная разработка и первичная проверка гипотезы о возможности автономной сортировки результатов лучевых исследований ИИ-сервисами, настроенными на максимальную чувствительность;
– совместные проекты с врачами клинических специальностей.
В 2024 г. успешно прошли входное тестирование и работали в промышленном контуре ЕРИС ЕМИАС 59 ИИ-сервисов от 26 компаний-разработчиков.
Количество направлений эксперимента уменьшилось до 12 за счет объединения отдельных задач в комплексные (соответствующее развитие комплексных ИИ-сервисов для анализа результатов КТ органов грудной клетки, головного мозга).
Всего ИИ-сервисами проанализированы результаты 2 603 669 лучевых исследований, в том числе результаты КТ и НДКТ – 34,0% (890 145), ММГ – 8,0% (213 528), МРТ – 5,0% (120 713), РГ – 49,0% (1 264 614), ФЛГ – 4,0% (114 669).
Наиболее важные достижения 2024 г.:
– масштабирование возможностей Московского эксперимента на общегосударственном уровне; создание и запуск платформы «МосМедИИ» для обеспечения работы всех медицинских организаций Российской Федерации с лучшими и постоянно контролируемыми ИИ-сервисами;
– организация и проведение проспективного научного исследования медицинской и экономической эффективности автономного искусственного интеллекта;
– научное развитие методологий матрицы зрелости, формирования выборок для регулярных контрольных мероприятий, клинического мониторинга;
– закрытие входа в Эксперимент для моносервисов по направлениям, где на опытной эксплуатации есть три и более комплексных ИИ-сервиса.
Всего за период 2020—2024 гг. в Московском эксперименте приняли участие 39 компаний, представившие 204 ИИ-сервиса. Подавляющее большинство продуктов (77,5%) были созданы разработчиками из Российской Федерации. Зарубежные ИИ-сервисы, в соответствии с нормативно-правовым обеспечением Московского эксперимента, участвовали через своих официальных представителей в РФ; за 5 лет 10 компаний из Австрии, Республики Беларусь, Израиля, Индии, Китая, Франции, Южной Кореи представили для участия в Московском эксперименте 46 ИИ-сервисов по разным направлениям.
За период 2020—2024 гг. из 204 ИИ-сервисов 57,0% (116) работали в промышленном контуре ЕРИС ЕМИАС, то есть осуществляли анализ потока результатов лучевых исследований в условиях практического здравоохранения.