Юрий Васильев – Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra (страница 7)
Для непосредственной работы с потоком результатов лучевых исследований в составе ЕРИС сформирован так называемый продуктивный программно-аппаратный комплекс (ППАК). Из ТПАК в ППАК ИИ-сервис «переключается» по факту успешного завершения тестовых процедур.
Интеграция и работа ИИ-сервисов в ЕРИС ЕМИАС осуществляется в строгом соответствии с действующим законодательством в сфере государственных информационных систем, информационной безопасности, защиты персональных данных.
Научно-методологическое обеспечение. Систематизация общемирового и собственного практического опыта продемонстрировала необходимость научной разработки ряда оригинальных, специфических методологий и процедур, предназначенных для обеспечения контроля и мониторинга безопасности и качества ИИ-сервисов на этапах жизненного цикла. Чрезвычайно важно отметить, что по состоянию на 2019—2020 гг. большинства требуемых методик не существовало, а значит их следовало изобрести, создать «с нуля». Лишь по отдельным аспектам (например, разметке данных) имелось некое количество разрозненных, неунифицированных способов и приемов, как минимум требовавших вдумчивой научной систематизации и приведения к единообразию.
Исходя из сказанного, в рамках Московского эксперимента сотрудниками научных, медицинских и иных подразделений НПКЦ ДиТ ДЗМ были разработаны:
1. Принципы клинического целеполагания при разработке ИИ-сервисов.
2. Стандартизированные базовые функциональные и диагностические требования к ИИ-сервисам.
3. Методология создания наборов данных (в том числе схема жизненного цикла; унифицированные требования к структуре наборов; классификации самих наборов, а также способов разметки данных; стандарты описания датасета, технического задания; формализованные производственные процессы).
4. Методологии и процедуры тестирования ИИ-сервисов на этапах интеграции в тестовом контуре ЕРИС ЕМИАС для определения качества, точности и возможности работы в условиях реальной информационной системы в сфере здравоохранения:
– функционального (проверка технологического качества интеграции ИИ-сервиса);
– калибровочного (проверка диагностической точности ИИ-сервиса на эталонных наборах данных, сравнение результатов с метриками точности, заявленными разработчиком);
– контрольно-технического (проверка корректности маршрутизации и обмена данными между каждым диагностическим устройством и ИИ-сервисом).
5. Методологии и процедуры мониторинга ИИ-сервисов в процессе их работы в условиях реального потока результатов лучевых исследований в промышленном контуре ЕРИС ЕМИАС:
– технологического (проспективный контроль с оценкой в динамике сроков обработки данных, технической надежности путем проверки результатов работы ИИ-сервиса на наличие категоризированных технологических дефектов);
– клинического (проспективная проверка диагностической точности ИИ-сервисов с оценкой в динамике).
6. Методология оценки зрелости технологий ИИ для здравоохранения (интегральная оценка технологического и медицинского качества ИИ-сервисов в динамике).
7. Рекомендации по проведению испытаний ИИ-сервисов на этапах жизненного цикла с описанием конкретных методологий, инструментов и процедур:
– самостоятельного тестирования разработчиком;
– предварительных клинико-технических испытаний;
– клинических испытаний.
Ряд методик, процедур и процессов были разработаны в 2019 – начале 2020 гг., непосредственно к старту Московского эксперимента. Иные были созданы позже, исходя из полученных новых знаний о работе технологий искусственного интеллекта в практическом здравоохранении, а также на фоне развития требований к ИИ-сервисам. Детальнее об этом будет сказано далее; также в последующих главах будут представлены сами методологии.
Процесс Московского эксперимента. Общий ход эксперимента в 2020 г. представлен на рисунке 1.1. В последующие годы логическая структура и последовательность процедур в целом не изменились; развивались и дополнялись методологии контроля и мониторинга, эволюционировали подходы маршрутизации, общему менеджменту, решались новые актуальные научные задачи.
Нормативное обеспечение и методика Московского эксперимента предусматривали наличие строго установленных клинических задач, которые должны были решать ИИ-сервисы в рамках процесса анализа, интерпретации и описания результатов лучевых исследований врачом-рентгенологом. Изначально описание клинических задач включало: модальность (вид исследования), анатомическую область, целевую патологию (рентгенологический признак, синдром или нозологию в соответствии с МКБ-10). Позднее к этому перечню добавились стандартизированные базовые диагностические требования к результатам работы ИИ-сервисов при решении данной задачи. В рамках Московского эксперимента клинические задачи для ИИ именуются «направлениями Эксперимента».
Первоначально в 2019 г. были определены 3 направления Московского эксперимента:
1. Компьютерная томография и низкодозная компьютерная томография (КТ/НДКТ) органов грудной клетки с целью выявления рака легких.
2. Маммография (ММГ) с целью выявления рака молочных желез.
3. Рентгенография (РГ) /флюорография (ФЛГ) легких с целью определения наиболее распространенных патологий.
Несмотря на наличие на потенциальном рынке определенного количества решений на основе ИИ по данным направлениям, их разработчики не спешили принимать участие в Эксперименте. Во многом это объясняется субъективными причинами – страхом и опасениями, связанными с публичным представлением своего продукта и независимым контролем его качества; иногда встречалось и необоснованное оспаривание стандартизированных требований к результатам работы ИИ-сервисов. Среди объективных причин со стороны разработчиков часто фигурировала техническая неготовность к интеграции с реальной информационной системой в сфере здравоохранения, к работе с данными в форматах и стандартах, принятыми в лучевой диагностике. Надо особо отметить, что по итогам 2020 г. только 46,0% из общего числа начавших интеграцию ИИ-сервисов смогли успешно ее завершить. Это прямое свидетельство низкого уровня готовности компаний-разработчиков технологий ИИ к работе с реальными информационными системами в сфере здравоохранения. К счастью, в последующие годы эта ситуация принципиальным образом изменилась в лучшую сторону; случаи критичных проблем технической интеграции в ЕРИС ЕМИАС стали единичными.
11 марта 2020 года Всемирная организация здравоохранения объявила вспышку нового типа коронавируса 2019-nCoV (COVID-19) пандемией. Последовавшие за этим события нанесли колоссальный вред в социально-экономическом, медицинском, а также демографическом аспектах. Наглядным доказательством сказанного служит следующий факт: на протяжении десятилетий стандартной «триадой» основных причин смертности населения всегда были злокачественные новообразования, болезни системы кровообращения и травмы. В период пандемии травмы были вытеснены COVID-19, уверенно занявшим третье место в структуре смертности от всех причин22.
Оценка итогов пандемии с позиций диалектики указывает на наличие и положительных сторон. Одной из таковых, несомненно, является принципиальное изменение отношения к цифровым технологиям в здравоохранении, особенно к телемедицине. В Московском эксперименте пандемия стала своеобразным триггером:
– в число направлений были включены КТ/НДКТ и рентгенография органов грудной клетки с целью выявления признаков коронавирусной инфекции (COVID-19)23;
– сотрудниками НПКЦ ДиТ ДЗМ был подготовлен и выложен в открытый доступ набор данных КТ органов грудной клетки, в котором были представлены результаты поражения легких COVID-19 с классификацией тяжести поражения по шкале «КТ0—4»;
– сразу несколько компаний в очень короткие сроки подготовили ИИ-сервисы для указанного выше направления;
– необходимость сортировки и маршрутизации пациентов в условиях массового поступления буквально вынудила взглянуть на технологии ИИ и Московский эксперимент не только как на отвлеченное научное изыскание, но и на прикладной инструмент, востребованный «прямо сейчас».
В результате в июне 2020 г. процесс входа новых продуктов в Московский эксперимент кардинальным образом интенсифицировался. Один за другим ИИ-сервисы интегрировались в тестовый контур, проходили входное тестирование и начинали работу с потоком исследований в промышленном контуре ЕРИС ЕМИАС. Соответственно, стартовали и выплаты Правительством Москвы грантов за обработанные исследования.
Пример первых успешных участников оказался мощным стимулом для многих разработчиков: в Эксперимент начали входить ИИ-сервисы и по другим направлениям.
Организационное обеспечение. С учетом высокого уровня ответственности, сложности и комплексности перечисленных процессов с IV кв. 2020 г. начался переход на новую форму их организации на принципах проектного управления. В структуре НПКЦ ДиТ ДЗМ создан проектный офис как структура, непосредственно ответственная за проведение Московского эксперимента. Улучшено структурирование задач и соответствующих им процессов; в частности, более четко обозначены административные, научно-исследовательские, технические, образовательные, вспомогательные процессы. Из состава сотрудников всех подразделений учреждения сформированы соответствующие рабочие группы. Задачи и зоны ответственности установлены локальными нормативными актами.