Юрий Васильев – Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra (страница 12)
5) общее количество клинических случаев, исследований, изображений, документов и их распределение по диагностическим группам;
6) соотношение случаев «норма»/«патология» (случаи «патология» могут быть разделены на несколько подклассов);
7) сведения о верификации (патогистологическом или ином окончательном диагнозе);
8) методологию разметки.
На международном уровне сформирован рекомендательный список метаданных для верифицированного набора медицинских изображений46:
1. Тип изображения: вид исследования (компьютерная томография, рентгеновское исследование и т.п.); разрешение; общее число изображений и по сериям.
2. Число исследований.
3. Источники исследований: оборудование; типы оборудования; медицинская организация.
4. Параметры сканирования изображений.
5. Параметры хранения изображений: формат данных; уровень и тип сжатия данных.
6. Аннотация (разметка): тип; что и как описано; привлеченная экспертная группа.
7. Контекст.
8. Как определена истинная разметка и промаркирована.
9. Связанные данные: демографические; клинические; лабораторные; геномные; временные; принимаемые медикаментозные средства; другие.
10. Временной диапазон сбора изображений: дата и время исследования.
11. Использование данных: какое программное обеспечение использовать для просмотра данных.
12. Кому принадлежат данные.
13. Кто ответственен за данные.
14. Допустимое использование.
15. Назначение набора данных.
16. Информация об одобрении комитета по этике.
17. Информация о деидентификации набора данных.
18. Информация о проведенном контроле качества набора данных.
19. Параметры доступа: доступность; цена и лицензионные соглашения.
20. Распределение случаев (если применимо): процент «норма/патология» (код МКБ-10); данные патологии: число исследований с каждой патологией.
Уже на первых этапах Московского эксперимента сформирован общетеоретический подход к классификации, состоящий в выделении трех видов наборов данных, определяемых процессом выполнения разметки (рисунок 2.2). Классификация цитируется по ГОСТ Р 59921.5—202247:
1. Набор данных по ретроспективной разметке. Такая разметка подразумевает сбор данных в соответствии с указанными метаданными, перечень которых выбирают в соответствии с поставленной целью формирования НД. Она выполняется путем выгрузки данных из медицинской информационной системы. Ретроспективная разметка не предполагает выполнение манипуляций или какой-либо обработки элементов. Для каждого элемента НД лишь устанавливают соответствие с медицинской информацией (диагноз, результаты лабораторного тестирования и т.п.). Такой способ разметки не требует участия врача, он может быть реализован на основе технического задания техническим специалистом, который имеет опыт работы с НД.
2. Набор данных по проспективной разметке. Такая разметка подразумевает сбор данных в соответствии с поставленной целью формирования НД, а также проведение дополнительных манипуляций с элементами (например, путем постановки метки начала и окончания события, меток обнаружения признаков, обозначений патологий и т.п.). Такую разметку проводят с участием обученного медицинского персонала путем ручного аннотирования содержания данных или их частей, которое может быть выполнено в графической или текстовой форме, либо в их комбинации.
3. Верифицированный набор данных. Разметка в таком случае подразумевает включение верифицированной (то есть подтвержденной объективными свидетельствами) медицинской информации. Такой НД формируют путем дополнения результатов проспективной разметки данными из медицинской документации. Для верификации можно применять метод «золотого стандарта» для целевой патологии, информацию об окончательном и/или патологоанатомическом диагнозе, повторное исследование пациента через определенное время, результаты патогистологических, иммунологических исследований и др. Отдельным методом верификации служит слепой анализ набора данных экспертами с достижением заданного уровня согласованности их решений.
Сформированы следующие
– данные получены из реальной практики (не допускается получение синтезированных данных);
– данные получены в «сыром виде» – без применения фильтров и математических средств постобработки;
– структура НД соответствует поставленной цели его формирования (обучение, тестирование, клинические испытания и проч.);
– количество наблюдений (исследований) достаточно для достижения статистической значимости результата;
– разметка и/или аннотирование проведены экспертной группой, соответствующей определенным критериям (см. далее);
– разметка и/или аннотирование проведены с использованием тезауруса (кодированной библиотеки типовых формулировок, соответствующих клиническим рекомендациям, национальным стандартам, рекомендациям ассоциаций специалистов в данной области).
Приведенный подход включен в национальный стандарт ГОСТ Р 59921.5—2022 как основополагающий48. В дальнейшем, по мере накопления практического опыта и научных знаний, были разработаны более специализированные классификации наборов данных лучевой диагностики по диагностической ценности (рисунок 2.3) и по целевому назначению (таблица 2.1). Также в дальнейшем были классифицированы методы верификации (рисунок 2.4).
Классификация по диагностической ценности предполагает разделение наборов данных на три вида (1, 2, 3) и три класса (A, B, C)49. Вид подразумевает типовой способ верификации:. Бинарная оценка факта наличия или отсутствия целевой патологии.
2. Классификация целевой патологии в соответствии с клиническими рекомендациями, стандартизованными клинико-рентгенологическими классификациями, шкалами, системами описания.
3. Наличие данных о верификации природы целевой патологии.
Класс подразумевает типовой способ отображения патологической находки в результатах лучевого исследования – информация о наличии/отсутствии целевой патологии:
1. Содержится в метаданных, сопроводительных файлах (таблицах), отсутствует на изображении.
2. Представлена в виде координат. Может помещаться в метаданные (аннотация, сводный табличный сопроводительный файл) и/или присутствовать на изображении в виде отметки области расположения простой геометрической фигурой.
3. Представлена на изображении в виде пиксельной маски (оконтуренной области изображения), дополнительно может содержаться в метаданных (в аннотации).
Классификация может применяться в отношении наборов данных для любых задач лучевой диагностики. Она не зависит от типов (модальности) диагностических данных, но вместе с тем четко отображает взаимосвязь между собой:
– объемов и качества исходных данных;
– трудозатрат на подготовку;
– методик разметки и работы с первичными данными;
– диагностической ценности в контексте той или иной медицинской задачи.
Классификация по цели использования с появлением новых задач претерпела значительные изменения и в итоговом варианте содержит 10 типов НД (таблица 2.1).
Исторически самым первым и самым разнообразным типом являются наборы данных для научных исследований (VII). Опыт их создания послужил основой для всех остальных типов и для формирования методологии, в процессе которой определился VI тип. На первых этапах исследования НД собирались исключительно вручную на потоке (просматривались все исследования целевой модальности на предмет наличия патологии), однако централизованное хранение всех лучевых исследований в ЕРИС ЕМИАС, включая текстовые протоколы описания и заключения, позволили в дальнейшем автоматизировать этот процесс. Было положено начало направлению работы с медицинскими текстами, которое потребовало создания специальных наборов данных (VI). Большинство наборов данных принадлежит к I типу (минимум 4 НД на каждое направление), так как предназначены для валидационных тестирований ИИ-сервисов в Московском эксперименте, а также к III и IV типу – для самотестирования (самостоятельной проверки корректности диагностической оценки ИИ-сервисами и их работоспособности на разных диагностических устройствах). Отдельные типы (IV и V) НД созданы для клинических испытаний. На более поздних этапах при разработке собственных ИИ-сервисов потребовались наборы данных для обучения (VIII). Накопленный научный и практический опыт позволил разрабатывать национальные стандарты, в рамках которых также требовались эталонные НД (тип X). Деятельность ГБУЗ «НПКЦ ДиТ ДЗМ» включает самые разные направления, например, образовательную работу, в рамках которой создаются НД для обучения и тестирования врачей (тип IX). По-видимому, список типов наборов данных в дальнейшем также будет претерпевать изменения с еще большим расширением возможностей и появлением новых задач.
Также опыт показал, что количество исследований (единиц НД) не определяется типом набора. Расчет объема выборки является нетривиальной задачей и зависит от множества факторов (подробнее см. 2.3.1).
Одной из первых задач, которую решали ИИ-сервисы в Московском эксперименте, стало определение на результатах лучевого исследования наличия признаков, характерных для целевой патологии. В рамках данной задачи валидационные НД (те, которые использовались при тестировании ИИ-сервисов) преимущественно относились к С-классу разметки (рисунок 2.3); при разметке в этом случае прежде всего требовалось отнести исследование к верному классу (как правило, с наличием/отсутствием патологии, реже – ее классификация по степени тяжести). В дальнейшем, в ходе анализа результатов работы ИИ-сервисов, возникали новые задачи, требующие более сложных НД. Так, отмечалась некорректная работа ИИ-сервисов в исследованиях с артефактами, дефектами укладки или некорректно заполненной метаинформацией. В результате были созданы соответствующие НД и впервые разработан ИИ-сервис для определения их качества50.