Automatic segmentation of demyelination lesions in multiple sclerosis

Alexander V.  Zakharov; Захаров А. В.; Igor V. Shirolapov; Широлапов И. В.; Elena V. Khivintseva; Хивинцева Е. В.; Mariya S. Sergeeva; Сергеева М. С.; Natalya P. Romanchuk; Романчук Н. П.; Dmitry A. Dedyk; Дедык Д. А.; Darya D. Melnikova; Мельникова Д. Д.; Arseniy M. Andreev; Андреев А. М.; Alexandra I. Mavletova; Мавлетова А. И.; Anton O. Shchepetov; Щепетов А. О.; Jude Hemanth; Hemanth Jude

doi:10.35693/SIM636947

Автоматическая сегментация очагов демиелинизации при рассеянном склерозе

Авторы: Захаров А.В.¹, Широлапов И.В.¹, Хивинцева Е.В.¹, Сергеева М.С.¹, Романчук Н.П.¹, Дедык Д.А.¹, Мельникова Д.Д.¹, Андреев А.М.¹, Мавлетова А.И.¹, Щепетов А.О.¹, Hemanth J.²
Учреждения:
1. ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России
2. Институт технологий и наук Карунья
Выпуск: Том 9, № 4 (2024)
Страницы: 284-290
Раздел: Медицинская информатика
Статья опубликована: 15.12.2024
URL: https://innoscience.ru/2500-1388/article/view/636947
DOI: https://doi.org/10.35693/SIM636947
ID: 636947

Цитировать

Полный текст

Аннотация
Полный текст
Об авторах
Список литературы
Дополнительные файлы
Статистика

Аннотация

Цель – оценить эффективность использования алгоритма YOLOv8 для автоматической сегментации очагов демиелинизации различной локализации у пациентов с рассеянным склерозом.

Материал и методы. В исследование включены 120 пациентов с клинически достоверным диагнозом «рассеянный склероз», которым была проведена МРТ с контрастированием. Были проанализированы МРТ пациентов с различным типом течения заболевания. Для анализа использовались T1-, T2-взвешенные и FLAIR последовательности. Алгоритм YOLOv8 был адаптирован для медицинских данных и обучен на размеченных вручную МРТ-снимках. Оценка производительности модели проводилась с использованием метрик точности (Precision), полноты (Recall) и F1-мера.

Результаты. Модель YOLOv8 показала высокие результаты сегментации: точность – 0,79, полнота – 0,73, F1 мера – 0,61. Модель эффективно идентифицировала очаги демиелинизации различной локализации, типичной для рассеянного склероза. Остается необходимость в повышении полноты для минимизации пропуска поражений. Тестирование на независимых данных подтвердило стабильность результатов модели.

Выводы. Алгоритм YOLOv8 демонстрирует высокий потенциал для автоматической сегментации очагов демиелинизации у пациентов с рассеянным склерозом. Данная методика может быть успешно внедрена в клиническую практику, что позволит ускорить диагностику и улучшить контроль за прогрессированием заболевания. Для дальнейшего повышения точности и полноты сегментации возможна оптимизация модели через использование методов усиления данных и гибридных архитектур.

Ключевые слова

магнитно-резонансная томография, рассеянный склероз, сегментация, глубокое обучение

Полный текст

Список сокращений

МРТ – магнитно-резонансная томография; ПИТРС – препараты, изменяющие течение рассеянного склероза; РС – рассеянный склероз; ЦНС – центральная нервная система; CNN – англ. convolutional neural network; EDSS – англ. Expanded Disability Status Scale; nnU-Net – англ. 'no-new-Net'; SVMs – англ. Support Vector Machines; U-сеть – англ. ultra long сеть.

ВВЕДЕНИЕ

Рассеянный склероз (РС) – нейровоспалительное заболевание центральной нервной системы (ЦНС), вызывающее демиелинизацию и повреждение нейронов. Данное заболевание сопровождается частой инвалидизацией среди молодых людей (в возрасте 18–40 лет) [1]. Прогрессирование инвалидизации у пациентов с РС оказывает существенное влияние на социальное, экономическое и индивидуальное благополучие. Ежегодное экономическое бремя РС в США оценивается в 85 млрд долл. США. Аналогичные данные были получены и в EC, где ежегодные средние расходы варьируются от 22 800 евро (при легкой форме заболевания) до 57 500 евро (при тяжелой форме заболевания) по паритету покупательной способности, причем прямые медицинские расходы составляют до 68% от этих общих расходов [2]. Своевременная диагностика является важным фактором снижения прогрессии инвалидизации заболевания, по причине раннего назначения терапии препаратами, изменяющими течение заболевания (ПИТРС) [3].

Формирование диагноза РС опирается на диагностические критерии Макдональда 2017 года [4], которые обес-печивают повышенную точность диагностики данного заболевания на основе клинических, визуализационных и иммунологических показателей. Основным тезисом данных критериев является обнаружение диссеминации клинических или инструментальных признаков в пространстве и/или времени [4].

Диссеминация в пространстве характеризуется появлением очагов демиелинизации в следующих анатомических областях ЦНС: перивентрикулярная область мозга, корковая или юкстакортикальная область мозга, инфратенториальная область мозга или спинной мозг, что указывает на мультифокальное поражение. Распространение в пространстве может быть показано одним или несколькими Т2-гиперинтенсивными очагами, характерными для РС, по крайней мере в двух из четырех областей ЦНС [5]. Распространение во времени описывает развитие или появление новых очагов демиелинизации в ЦНС с течением времени.

Ключевым инструментом для диагностики и наблюдения за больными РС и основным компонентом постоянно обновляемых диагностических критериев РС является МРТ [6].

Процесс выявления и сегментации поражений при РС обычно выполняется вручную опытными нейрорадиологами, что является трудоемкой и подверженной ошибкам задачей [6]. Поэтому существует необходимость в разработке автоматизированных инструментов для облегчения этой процедуры.

На данный момент работы в направлении автоматизации сегментации очагов демиелинизации с использованием алгоритмов машинного обучения позволили получить достаточно впечатляющие результаты для начала внедрения их в рутинную клиническую практику [7, 8].

Для обнаружения и сегментации повреждений было разработано множество других автоматических методов. Так, были использованы такие методы, как «k-ближайший сосед» [9, 10], метод опорных векторов (англ. Support Vector Machines, SVMs) [11, 13], «Марковские случайные поля» [14, 15], «случайный лес» [16, 17] или специальные алгоритмы, основанные на интенсивности [18–21]. Преобладала категория глубоких нейронных сетей высокого уровня, которые наиболее часто представлены сверточными нейронными сетями (англ. convolutional neural network, CNN) в виде U-сетей [22]. Предложена модификация данной сети – nnU-Net [23] – метод, который автоматически настраивает этапы предварительной обработки, архитектуру, обучение и постобработку для лучшей адаптации к свойствам набора данных и доступному оборудованию.

Таким образом, в большинстве исследований на данный момент в автоматической сегментации МРТ данных используются алгоритмы глубокого обучения с использованием архитектуры U-сети [24] в ее модификации 2D и 3D [25].

Несмотря на накапливающиеся данные МРТ, решить проблему получения качественных и устойчивых метрик работы алгоритмов сегментации для использования в клинической практике на данный момент не удалось. Поэтому отдельные исследовательские группы продолжают поиск оптимальных архитектур нейронных сетей, предварительной обработки данных МРТ, синтетических данных [26], использование нескольких архитектур или подходов для их обучения [27, 28].

Обнаружение и сегментация новых поражений РС остаются очень сложными задачами. В настоящее время автоматические методы могут быть более чувствительными для обнаружения новых поражений, но дают больше ложноположительных результатов по сравнению с ручной сегментацией радиологами, имеющими опыт оценки данных МРТ пациентов с РС [8].

ЦЕЛЬ

Использование нового алгоритма глубокого обучения YOLOv8 для обнаружения очагов демиелинизации в субкортикальной, инфратенториальной, перивентрикулярной и юкстакортикальной локализациях, а также подсчета их объема.

МАТЕРИАЛ И МЕТОДЫ

Исследование одобрено этическим комитетом ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России (протокол №52 от 12.12.2023 г.).

В исследование включено 120 пациентов с активным и стабильным течением РС, установленным в соответствии с критерием Макдональда 2017 года [4]. Средний возраст пациентов составил 35,7 ±10,2 года, распределение по полу было равномерным. Активность заболевания устанавливалась на основании наличия одного обострения в течение предыдущего года или двух обострений в течение последних двух лет у пациентов с ремиттирующим и вторично-прогрессирующим с обострениями РС. У пациентов с первично-прогрессирующим течением активность определялась прогрессированием заболевания в течение последнего года. У пациентов со стабильным течением заболевания обострений или усиления заболевания в указанный период времени не было [4]. У пациентов с активным течением наблюдалось нарастание неврологического дефицита не менее чем на 2 балла по одной из функциональных шкал (например, зрительной, стволовой, пирамидной, сенсорной, координационной) или не менее чем на 1 балл по двум функциональным системам. Также могло наблюдаться прогрессирование инвалидизации по шкале EDSS (англ. Expanded Disability Status Scale, EDSS) [29]: нарастание не менее чем на 1 балл, если исходный EDSS был ниже 4,0 балла или нарастание не менее чем на 0,5 балла, если исходный EDSS был 4,0 и выше [30]. У пациентов с прогрессирующим течением наблюдается нарастание неврологического дефицита на 1 балл по шкале EDSS [4]. Неврологический осмотр и оценка по шкале EDSS [31] проводились сертифицированным неврологом с опытом ведения больных рассеянным склерозом более 10 лет. Неврологический статус пациентов согласно шкале EDSS представлен в таблице 1.

Таблица 1. Показатели баллов по шкале EDSS пациентов с РС

Table 1. EDSS scores of patients with MS

EDSS (функциональные системы)
Зрительная	Стволовая	Пирамидная	Мозжечковая	Сенсорная	Тазовые функции	Церебральные функции	Балл EDSS
0-2 (0)	0-3 (1)	1-4 (2)	0-4 (2)	0-3 (1)	0-3 (1)	0-2 (1)	1,0-7,0 (3,0)

Примечания. Среднее значение (мин.-макс.).

У 18 пациентов наблюдалось активное течение рецидивирующе-ремитирующего течения РС, у 68 пациентов активность не наблюдалась в течение последних двух лет, 30 пациентов имели вторично-прогрессирующее течение с обострениями РС, у остальных 4 пациентов наблюдалось первично-прогредиентное течение заболевания.

Исследование проводилось с использованием магнитно-резонансного томографа (МРТ) с напряженностью магнитного поля 1,5 Т. Для улучшения визуализации активных очагов демиелинизации применялся контрастный агент на основе гадолиния, который вводился внутривенно.

Протокол МРТ для оценки очагов демиелинизации включал последовательности: T1-взвешенные изображения (T1WI) – проводились до и после введения контрастного вещества для выявления активных очагов и оценки накопления контраста; T2-взвешенные изображения (T2WI) – использовались для выявления хронических и новых очагов демиелинизации за счет высокой чувствительности к изменениям в тканевой структуре; FLAIR (Fluid Attenuated Inversion Recovery) – применялась для подавления сигнала от жидкости и лучшего выявления гиперинтенсивных очагов в белом веществе, особенно вблизи желудочков мозга; DWI (Diffusion Weighted Imaging) – проводилась для оценки диффузии воды в тканях и дифференциации активных очагов от хронических; PD-взвешенные изображения (англ. Proton Density) – использовались для дополнительной характеристики демиелинизированных зон и их отличия от нормальной ткани.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Для сегментации изображений МРТ у пациентов с РС использовалась нейронная сеть YOLOv8. YOLOv8 (англ. You Only Look Once, версия 8) является последней итерацией семейства моделей YOLO, предназначенной для задач обнаружения и сегментации объектов в режиме реального времени. Эта архитектура характеризуется высокой скоростью обработки и точностью предсказаний, что делает ее подходящей для анализа медицинских изображений, где важна не только точность, но и эффективность обработки больших объемов данных при детекции одновременно нескольких классов объектов. В нашем исследовании выступали очаги демиелинизации субкортикальной, юкстакортикальной, перивентрикулярной и инфратенториальной локализаций.

В этом исследовании использована архитектура YOLOv8 с модификациями, предназначенными для улучшения производительности на медицинских данных. Модель была предварительно обучена на большом наборе изображений (ImageNet) с последующей дообученной на специализированном наборе данных, состоящем из размеченных МРТ изображений пациентов с РС. Эти изображения включали несколько последовательностей МРТ (T1-взвешенные, T2-взвешенные, FLAIR), что обеспечило более полное представление о морфологии поражений.

Архитектура модели включает в себя следующие блоки.

Backbone – используется модифицированная версия CSPNet (агл. Cross Stage Partial Network) для извлечения признаков с различных уровней абстракции. CSPNet разделяет поток данных на две части: одна часть проходит через последовательные слои сверток, в то время как другая часть пересылается на более поздние этапы. Это помогает уменьшить вычислительные затраты и улучшить сходимость модели [32].
Neck – для объединения признаков с различных уровней используется FPN (англ. Feature Pyramid Network) вместе с PAN (англ. Path Aggregation Network). FPN помогает объединять признаки с низким и высоким разрешением, а PAN улучшает передачу информации по всей сети, что критично для точной сегментации.
Head – выходной слой включает адаптивные якорные блоки (англ. Anchor Boxes) и сверточные слои, которые предсказывают классы объектов, их местоположение и маски сегментации. В данной модификации YOLOv8 для задач медицинской сегментации также был использован блок глубокого сверточного слоя для повышения чувствительности к мелким деталям поражений [33].

Для обучения модели использовались изображения размером 512x512 пикселей. Обучение проводилось с использованием стохастического градиентного спуска с импульсом 0,9 и начальной скоростью обучения 0,001. Датасет был разделен на обучающую и тестовую выборки в соотношении 90/30. В результате сегментации очагов демиелинизации врачом-радиологом были получены изображения (рисунок 1), на основе которых сформированы «маски» для обучения алгоритма YOLOv8.

Рисунок 1. А – МРТ Т2 режим с очага демиелинизации. В – «маска» очагов демиелинизации, полученная в результате сегментации врачом-радиологом.

Figure 1. A – MRI T2 mode with a focus of demyelination. B – “mask” of demyelination foci obtained as a result of segmentation by a radiologist.

Блок-схема полного алгоритма создания обучающей выборки, включающей в себя все этапы первичной подготовки, их стандартизация исходя из особенностей различий в матрице самого изображения, представлена на рисунке 2.

Рисунок 2. Блок-схема алгоритма создания обучающей выборки.

Figure 2. Flowchart of the algorithm for creating a training sample.

Для оценки качества сегментации использовались метрики Intersection over Union (IoU) и Dice Score.

В результате обучения модели на данных из 30 исследований, в каждом из которых содержится приблизительно по 86 снимков в среднем (2580 снимков в целом).

Полученная модель обладает хорошей способностью распознавать области демиелинизации на МРТ снимках с высокой точностью и уверенностью. Однако модель может быть улучшена с целью минимизации пропуска положительных случаев. Метрики полученной модели изображены на рисунке 3.

Рисунок 3. Метрики, характеризующие качество модели, полученной на тестовой выборке. А – график функции F1 от аргумента Confidence; B – график функции Precision от аргумента Confidence; C – график функции Confidence от аргумента Recall; D – график функции от аргумента Recall.

Figure 3. Metrics characterizing the quality of the model obtained on the test sample. A – function of the F1 graph from the Confidence argument; B – graph of the function Accuracy versus the argument Confidence; C – graph function Confidence from the argument Recall; D – graph function Precision by argument Recall.

Сводная таблица метрик, характеризующих качество полученной модели по отдельным типам очагов демиелинизации, представлена в таблице 2.

Таблица 2. Показатели метрик полученной модели относительно классификации отдельных очагов демиелинизации

Table 2. Metrics of the resulting model regarding the classification of individual demyelination lesions

Локализация очагов демиелинизации	Precision	Recall	F1-Score	Confidence
Перивентрикулярные (1)	0,82	0,76	0,59	0,85
Юкстакортикальные (2)	0,80	0,71	0,52	0,82
Субкортикальные (3)	0,78	0,70	0,79	0,80
Инфратенториальные (4)	0,76	0,68	0,58	0,78
Все типы очагов	0,79	0,73	0,61	0,81

Одним из основных показателей качества работы модели является матрица ошибок, показанная на рисунке 4. Классификатор работает с четырьмя классами, каждый из которых соответствует отдельному типу очагов демиелинизации и классу, объединяющим все типы очагов демиелинизации. Предсказания модели соответствуют строкам, истина соответствует столбцам. На тестовых данных модель предсказала 258 областей, из которых 210 соответствуют действительности, а оставшиеся 48 – ложноположительные результаты.

Рисунок 4. Матрица ошибок модели (0 – все типы очагов демиелинизации; 1 – перивентрикулярные; 2 – юкстакортикальные; 3 – субкортикальные; 4 – инфратенториальные).

Figure 4. Confusion Matrix (0 – all types of demyelination lesions; 1 – periventricular; 2 – juxtacortical; 3 – subcortical; 4 – infratentorial).

Матрица ошибок помогает визуализировать и понять, какие классы модель определяет правильно, а какие вызывают затруднения. Это критически важно для дальнейшей оптимизации модели и улучшения ее производительности.

Таким образом, можно сказать, что оценка метрик precision, recall, F1-Score и confidence позволяет детально анализировать качество работы модели и ее способность различать области интереса на медицинских изображениях. Их улучшение необходимо для получения более устойчивой модели, позволяющей использовать результаты своей работы в клинической или исследовательской практике. Эти метрики обеспечивают всестороннюю оценку модели и помогают в дальнейшем улучшении ее параметров и алгоритмов, что критически важно для разработки эффективной системы поддержки принятия врачебных решений для диагностики и лечения РС.

ЗАКЛЮЧЕНИЕ

Применение алгоритма глубокого обучения YOLOv8 для автоматической сегментации очагов демиелинизации у пациентов с рассеянным склерозом продемонстрировало высокие показатели точности и эффективности, что подтверждает потенциал данного подхода для клинической практики. Однако, несмотря на достигнутые результаты, существует несколько направлений, по которым модель может быть улучшена.

Во-первых, показатели полноты сегментации (Recall) остаются ниже, чем требуется, что говорит о возможности пропуска отдельных очагов демиелинизации. Для повышения полноты сегментации можно рассмотреть использование гибридных архитектур, комбинирующих YOLOv8 с другими моделями, например, U-Net или nnU-Net, которые продемонстрировали свою эффективность в медицинской сегментации. Объединение преимуществ разных архитектур может улучшить способность модели обнаруживать мельчайшие и трудноразличимые очаги. Также перспективным направлением является внедрение механизмов ансамблирования моделей, когда результаты нескольких алгоритмов объединяются для улучшения общей точности и полноты.

Во-вторых, одним из путей дальнейшей оптимизации может быть использование методов усиления данных (англ. data augmentation) и генерации синтетических изображений. Модели глубокого обучения часто зависят от объема и разнообразия данных, и увеличение набора данных за счет генерации новых МРТ-снимков, особенно для редких или труднодоступных случаев, может повысить точность сегментации и снизить вероятность ложноположительных результатов. Использование генеративно-состязательных сетей (англ. Generative adversarial network, GANs) для создания таких синтетических данных может стать эффективным подходом в этом направлении.

Кроме того, модель может выиграть от применения методов адаптации домена (англ. domain adaptation). Этот подход позволяет алгоритмам, обученным на одном наборе данных, эффективно работать на других наборах, отличающихся по качеству или методам сканирования. В условиях реальной клинической практики часто используются различные аппараты МРТ с разными техническими характеристиками, что может влиять на качество изображений. Адаптация модели под разные наборы данных, возможно, через использование механизмов трансферного обучения (англ. transfer learning), позволит повысить универсальность и надежность ее работы.

Возможные направления дальнейшего применения модели включают интеграцию ее в комплексные системы поддержки принятия врачебных решений. Автоматическая сегментация очагов демиелинизации может использоваться не только для диагностики, но и для мониторинга прогрессирования заболевания и оценки эффективности терапии. Например, регулярное использование МРТ с автоматической сегментацией может помочь врачам в динамическом наблюдении за состоянием пациентов, свое-временном выявлении новых очагов и оценке изменений в уже существующих. Это позволит быстрее корректировать терапию и предотвращать развитие осложнений.

Еще одним перспективным направлением является использование модели для обучения специалистов. Алгоритмы автоматической сегментации могут служить основой для образовательных систем, позволяя молодым врачам и радиологам тренироваться на реальных медицинских данных, сравнивая свои результаты с результатами, полученными алгоритмом. Это может способствовать повышению уровня профессиональной подготовки и снижению человеческого фактора в диагностике.

Таким образом, внедрение и дальнейшая оптимизация моделей автоматической сегментации, таких как YOLOv8, могут значительно улучшить качество диагностики РС, ускорить процессы обработки данных и снизить нагрузку на медицинский персонал.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ	ADDITIONAL INFORMATION
*Соблюдение этических норм.* Исследование одобрено этическим комитетом ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России (протокол №52 от 12.12.2023 г.).	*Compliance with ethical standards.* The study was approved by the Ethics Committee of the Samara State Medical University (Protocol No. 52 dated 12.12.2023).
*Источник финансирования.* Исследование проводилось без спонсорской поддержки.	*Study funding.* This research received no external funding.
*Конфликт интересов.* Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с содержанием настоящей статьи.	*Conflict of interest.* The authors declare that there are no obvious or potential conflicts of interest associated with the content of this article.
*Участие авторов.* А.В. Захаров – формулирование идеи и целей исследования, разработка методологии; проведение экспериментов, исследований или сбора данных; редактирование, корректировка и подготовка текста к публикации; общее руководство проектом. И.В. Широлапов – разработка методик или процедур, используемых в исследовании; написание первоначального текста статьи; организация и координация проекта. Е.В. Хивинцева – проведение экспериментов и сбора данных. М.С. Сергеева – предоставление необходимых ресурсов, включая материалы, инструменты, оборудование, данные или другой доступ. Н.П. Романчук – управление данными, их организация, аннотирование и обеспечение доступности для анализа. Д.А. Дедык, Д.Д. Мельникова, А.М. Андреев, А.И. Мавлетова, А.О. Щепетов – программирование, создание программного обеспечения, написание кода, тестирование и техническая поддержка. Jude Hemanth – проверка результатов экспериментов; воспроизведение исследований и валидация анализа данных; применение математических, статистических или вычислительных методов для анализа данных; редактирование, корректировка и подготовка текста к публикации. Все авторы одобрили финальную версию статьи перед публикацией, выразили согласие нести ответственность за все аспекты работы, подразумевающую надлежащее изучение и решение вопросов, связанных с точностью или добросовестностью любой части работы.	*Contribution of individual authors.* A.V. Zakharov – formulation of the idea and aims of the study, development of methodology; conducting the experiments, research, or collecting data; editing, proofreading, and preparing the text for publication; general project management. I.V. Shirolapov – development of the methods or procedures used in the study; writing the initial text of the article; organization and coordination of the project. E.V. Khivintseva – conducting the experiments and collecting data. M.S. Sergeeva – provision of necessary resources, including materials, instruments, equipment, data, or other access. N.P. Romanchuk – data management, organization, annotation, and ensuring availability for analysis. D.A. Dedyk, D.D. Melnikova, A.M. Andreev, A.I. Mavletova, A.O. Shchepetov – programming, software creation, coding, testing, and technical support. Jude Hemanth – verification of experimental results; reproducing studies and validating data analysis; application of mathematical, statistical, or computational methods to analyze data; editing, proofreading and preparing text for publication. All authors gave their final approval of the manuscript for submission, and agreed to be accountable for all aspects of the work, implying proper study and resolution of issues related to the accuracy or integrity of any part of the work.