Юрий Васильев – Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra (страница 17)

– работа с областью сегментации как с графом (удаление/выделение компоненты/главной компоненты, удаление определенных по размеру компонент);

– сглаживание полученной области (удаление полостей, выпуклостей и др.);

– расширение/сужение области на определенную величину.

5. Полуавтоматические инструменты:

– наиболее эффективные методы – Thresholds, SurfaceCut, Fill between slices, Region Growing 2D, Intelligent Scissors и RITM Interactive.

Существуют три основных подхода к техническому обеспечению разметки результатов лучевых исследований:

1. Применение стандартного DICOM-просмотровщика и электронных таблиц из пакета офисных программ.

2. Применение специального разработанного оригинального программного обеспечения.

3. Применение программного обеспечения с открытым исходным кодом.

Первый подход максимально широко доступен, вместе с тем он имеет ряд принципиальных ограничений:

– позволяет выполнять только самые простые виды разметки (например, фиксировать в таблице координаты очагов или некие размеры);

– возможна только ручная разметка;

– крайне сложно организовать и управлять работой команды врачей-разметчиков.

Второй подход оптимален с точки зрения обеспечения максимально релевантной функциональности. Подобные программные продукты обычно содержат модули собственно разметки с различными инструментами работы с изображениями (измерений, оконтуривания и проч.), управления работой команды (так называемые «оркестраторы»), а также единую базу данных. Возможно проведение как ручной, так и полуавтоматической или автоматической разметки. К ограничениям подхода можно отнести высокие финансовые затраты на разработку собственного решения, сложность масштабирования в силу лицензионных ограничений и изначального создания программного обеспечения для решения узких задач конкретной группы разработчиков СИИ.

Третий подход оптимален с точки зрения баланса сильных и слабых сторон. В настоящее время он приобрел значительную популярность. В силу активного конкурентного развития бесплатное программное обеспечение с открытым исходным кодом зачастую не уступает коммерческому или проприетарному.

Далее приводится описание и специально проведенное сравнение программного обеспечения для разметки результатов лучевых исследований с открытым исходным кодом, впервые опубликованное в статье «Обзор современных средств разметки цифровых диагностических изображений»81.

Свод характеристик, включенных в обзор программных решений представлен в таблице 2.2.

3D Slicer82. Модульный продукт широкого профиля, позволяющий обрабатывать многомерные изображения и обладающий наиболее обширным функционалом, по сравнению с аналогами, в области сегментации, регистрации, фильтрации и других областях обработки медицинских и других биологических изображений.

ITK-SNAP83. Программный продукт, специализирующийся на сегментации структур в многомерных диагностических изображениях.

MITK84. Программный продукт на основе библиотеки c открытым исходным кодом Medical Imaging Interaction Toolkit.

Medseg85. Программный продукт с базовой функциональностью и инструментами ручной разметки. Содержит ряд автоматических и полуавтоматических методов на основе нейронных сетей для сегментации различных органов и некоторых видов патологии.

CVAT86. Веб-платформа с открытым исходным кодом для ручной и полуавтоматической разметки изображений и видео. Требует преобразования медицинских изображений в графические форматы.

Supervisely87. Коммерческая веб-платформа для осуществления всех этапов обучения моделей компьютерного зрения, включая задачи организации, разметки (аннотации) и аугментации данных, обучения моделей, обеспечения качества и многие другие. Добавлена в обзор для наглядности сравнения (непосредственно в НПКЦ ДиТ ДЗМ данный продукт не применяется).

Функционал организации и управления процессом разметки имеется только у CVAT и Supervisely. В частности, CVAT позволяет хранить изображения на локальном сервере и осуществлять распределенную работу нескольких экспертов. У Supervisely присутствует обширная функциональность по управлению, включая экзамены для экспертов по разметке, онлайн-проверки разметки одних экспертов другими, расчет метрик согласованности разметки и др.

Возможностью расширять функциональность и добавлять новые пользовательские модули обладают 3D Slicer, MITK, Supervisely, CVAT; все перечисленные решения снабжены развернутым руководством для программирования и сопроводительной документацией.

В последних версиях ITK-SNAP появилась возможность удаленного подключения к дополнительным сервисам обработки изображений (DDS) и создания собственного сервиса.

Наибольшее разнообразие форматов обрабатываемых исходных изображений и форматов областей сегментации имеется у 3D Slicer. Основные форматы (DICOM, NRRD, NIfTI) и некоторые другие поддерживаются MITK, ITK-SNAP. Supervisely работает только с форматами DICOM, NRRD; Medseg – c форматом NIfTI, DICOM.

На этом фоне CVAT «не умеет» работать с медицинскими изображениями в традиционных форматах, необходимо предварительно конвертировать изображения в графические форматы с помощью поставляемой разработчиками утилиты. Следует отметить, что конвертация медицинских изображений влечет за собой риск неверной интерпретации данных. Например, при преобразовании КТ-изображений в графические форматы происходит потеря точности из-за более узкого диапазона дискретных значений интенсивностей цвета по сравнению с исходным диапазоном, теряется информация о параметрах протокола сканирования и т. д.

Наиболее удобная загрузка файлов реализована в 3D Slicer. Этот модуль поддерживает загрузку нескольких сегментаций и изображений в различных форматах, а также изображений формата DICOM из иерархической структуры папок. В MITK и 3D Slicer загруженные файлы представлены в виде иерархической структуры, отображающей связь между сегментациями и исходными изображениями.

Можно гибко менять видимость различных изображений и сегментаций в окне просмотра, сравнивать несколько сегментаций между собой. Дополнительно в 3D Slicer существует возможность просматривать и синхронизировать несколько серий изображений одновременно.

Относительно представления и сохранения данных сегментации следует сказать, что у MITK, 3D Slicer и Medseg каждая сегментация представлена слоями для каждого класса разметки. В CVAT и Supervisely принципиально другое представление разметки – в виде объектов: полигонов, прямоугольников, растровых объектов и др. В CVAT объекты сгруппированы по изображениям, к которым они относятся. В Supervisely формируются классы разметки на основе различных типов (прямоугольник, полигон, маска, любая форма). Создаются объекты на основе классов разметки, включающие фигуры только указанного типа. Благодаря такой структуре в CVAT и Supervisely полигоны и другие векторные фигуры можно редактировать после создания.

Сохранение разметки удобно реализовано в 3D Slicer. Можно выборочно сохранять произвольные наборы исходных изображений и областей сегментации в отличие от другого ПО (MITK, ITK-SNAP), где можно сохранить или все рабочее пространство, или каждую сегментацию по отдельности. В Supervisely и СVAT присутствует возможность сохранения векторных объектов в векторном виде для последующей коррекции, что делает данное ПО объектом выбора, когда разметка требует сохранения векторной информации для полигонов, прямоугольников, например, в случае аннотаций прямоугольниками для задачи детекции.

Отдельный вопрос – возможности визуализации медицинских изображений в программном обеспечении для разметки. Для определения минимальной функциональности проведен специальный опрос врачей-рентгенологов, участвующих в разметке наборов данных, и трех специалистов по подготовке наборов данных НПКЦ ДиТ ДЗМ. Решение о включении каждой из функций в анализ принимали на основании большинства голосов опрошенных экспертов (таблица 2.3).

CVAT не обладает средствами визуализации медицинских изображений, так как работает уже с графическими форматами. Возможность 3D-отображения исходного изображения есть только в MITK, ITK-SNAP и 3D Slicer. Наличие настраиваемых и стандартных окон преобразования HU-интенсивностей в интенсивности цвета есть в большинстве программ, кроме ITK-SNAP, где контрастность и окно преобразования настраиваются по гистограмме HU-интенсивности. В 3D Slicer доступна автонастройка контраста по выбираемому региону.

Инструменты ручной сегментации и дополнительные возможности корректировки области сегментации в целом идентичны в различных программах. В CVAT, Supervisely доступна посткоррекция вручную созданных векторных объектов. В 3D Slicer есть удобная возможность редактировать области сегментации в 3D-окне, а также инструмент «Ножницы», позволяющий вырезать подпространства, ограниченные цилиндрической поверхностью в срезах и в 3D-окне.

В 3D Slicer, а также в MITK существует множество дополнительных инструментов для коррекции сформированной области сегментации: логические операции со слоями, расширение/сужение области сегментации на некоторую величину, работа с областями как с элементами графа (выделение главной компоненты, удаление маленьких по размеру компонент, выделение/удаление выбранной компоненты), сглаживание различными методами (заливка полостей, удаление выпуклостей и др.).