Тромбоэмболия легочной артерии (ТЭЛА) проявляется в виде блокады легочных артерий, вызванной сгустками крови, пузырьками воздуха или накоплением жировой ткани, которые обычно возникают во время операции, беременности или рака. Известно, что ТЭ является одной из основных причин смертности от сердечных заболеваний, и ожидается, что ранняя диагностика и лечение окажут значительное влияние на контроль уровня смертности.
Подсчитано, что в США от 300 000 до 600 000 человек ежегодно страдают от ТЭЛА [1]. Компьютерная томографическая ангиография легких – это первичное диагностическое исследование для выявления артериальных заболеваний. Каждое исследование представляет собой трехмерное изображение, содержащее сотни срезов, некоторые из которых демонстрируют признаки ТЭЛА в виде дефектов заполнения неправильной формы.
На практике каждое проявление ТЭЛА может относиться к одной из следующих широких категорий: периферический, сегментарный, субсегментарный, долевой или седловидный, который обычно можно определить на основе его артериального расположения. В частности, считается, что сложнее всего обнаружить субсегментарные ТЭЛА, поскольку они часто возникают незаметно в субсегментарных ветвях легочной артерии.
Рисунок 1 - модель для распознавания ТЭЛА.
Следовательно, врачи должны тщательно исследовать каждый срез на КТ-изображении для обнаружения ТЭЛА, что делает этот процесс очень громоздким и трудоемким. Более того, в отличие от других распространенных заболеваний, визуализируемых на КТ грудной клетки, таких как узелки в легких, которые обычно имеют сферическую форму, или эмфизему, которая может наблюдаться во всем легком, известно, что ТЭЛА гораздо более асимметрично проявляется только в отдельных областях сосудов легких.
Учитывая вышеупомянутые проблемы при обнаружении ТЭЛА инструменты компьютерной диагностики [2] стали набирать популярность. В частности, подходы на основе данных, основанные на глубоком обучении, дали многообещающие результаты для автоматического обнаружения ТЭЛА [3]. Наиболее успешные решения в области анализа медицинских изображений часто включают многоступенчатые конвейеры, адаптированные для конкретного органа / заболевания. Без потери общности такой конвейер, в свою очередь, включает этап сегментации для генерации кандидатов, т. е. семантически значимые области, которые могут соответствовать возникновению заболевания, и этап классификации для фактического обнаружения.
Слабым местом этого подхода является необходимость в больших размеченных наборах данных. Получение экспертных аннотаций для трехмерных объемов, в которых каждый случай возникновения болезни аннотируется, требует много времени и подвержено ошибкам. Большая часть исследований в этой области проводится на пользовательских наборах данных или небольших наборах данных проблем [4]. На практике проблема малых объемов данных часто решается путем использования Fine Tuning / Transfer learning – технологии, при которой уточняются классификаторы, предварительно обученные на данных естественного изображения [5] [6].
Я попробовал применить альтернативный подход к обучению модели обнаружения ТЭЛА, а именно – двухэтапная модель обнаружения (Рис. 1), разработанная исключительно с использованием 2D CNN, новой контекстно-расширенной U-Net, а на этапе классификатора используется простая 2D-модель Conv-LSTM в сочетании с многократным обучением [7, 8, 9]. Я заметил, что даже со значительно меньшим обеспечивает отличные результаты обнаружения на сложном, крупномасштабном реальном наборе данных.
Датасет
В качестве датасета выступили 1874 ТЭЛА-положительных и 718 отрицательных анонимных КТ-исследований грудной клетки вместе с аннотациями.
Положительные исследования были дополнительно проверены сертифицированными радиологами, которые аннотировали снимки, нарисовав контур вокруг каждого проявления эмболии на срезах, расположенных на расстоянии примерно 10 мм друг от друга.
Этот процесс привел к появлению нескольких неаннотированных срезов между каждой парой аннотированных срезов, в зависимости от расстояния между ними. Такие снимки являются спорными.
Результаты
Рисунок 2 - сравнение размеченной фотографии с результатами работы модели.
В качестве функции потерь используется Focal loss. Ее использование позволяет добиться лучшего обучения сравнительно с Binary crossentropy.
Рисунок 3 - результаты обучения.
Возможность использования в реальной жизни
В приложениях медицинской визуализации применяемые алгоритмы обнаружения заболеваний часто включают многоступенчатые конвейеры, включающие модели сегментации и классификации [16]. В ранней работе по обнаружению ТЭЛА использовалось выделение настраиваемых признаков, основанное на иерархической анатомической сегментации таких органов, как сосуды, легочная артерия и аорта [17]. Хотя кажется очевидным напрямую построить модель классификатора на трехмерных объемах, на практике более эффективными оказываются алгоритмы, которые сначала идентифицируют семантически значимые области-кандидаты, а затем извлекают из этих областей отличительные признаки.
Однако важно отметить, что адаптация этих методов к задачам медицинской визуализации оказалась менее тривиальной в основном по двум причинам. Во-первых, эти решения требуют больших наборов данных с достоверной информацией в виде областей интереса (ROI) или аннотаций, которые обычно труднее получить в клинической области. Во-вторых, модели должны быть способны справиться с большим дисбалансом между количеством положительных случаев и более распространенными отрицательными ROI. Были предложены методы, которые используют информацию в диапазоне от однопиксельных меток [19] до приближенных меток сегментации из карт активации классов [20].
Однако в контексте обнаружения ТЭЛА большинство существующих методов полагались исключительно на контролируемое обучение с аннотациями, а современные решения, такие как PENet [6], используют Transfer learning из предварительно обученных моделей для эффективного обнаружения.
Заключение
В этой работе я попробовал применить модель для обнаружения тромбоэмболии легочной артерии (ТЭЛА), наблюдаемой на КТ-изображениях. Модель состоит из модели UNet с расширенным контекстом для генерации масок сегментации и сверточного классификатора на основе LSTM для обнаружения ТЭЛА.
Предлагаемый подход позволяет достичь самых современных результатов на сложном и небольшом реальном наборе данных, используя модели со значительно меньшим числом параметров по сравнению с предшествующими попытками.
Удалось достичь AUC 0,94 на валидационной выборке и 0,85 на тестовой выборке ТЭЛА высокой степени тяжести.
Источники
[1] M. G. Beckman, W. C. Hooper, S. E. Critchley, and T. L. Ortel, “Venous thromboembolism: a public health concern,” American journal of preventive medicine, vol. 38, no. 4, pp. S495–S501, 2010.
[2] J. Liang and J. Bi, “Computer aided detection of pulmonary embolism with tobogganing and mutiple instance classification in CT pulmonary angiography,” in Biennial International Conference on Information Processing in Medical Imaging. Springer, 2007, pp. 630–641.
[3] N. Tajbakhsh, M. B. Gotway, and J. Liang, “Computer-aided pulmonary embolism detection us- ing a novel vessel-aligned multi-planar image representation and convolutional neural networks,” in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2015, pp. 62–69.
[4] U. C. de Radiodiagnóstico and the M+Visión consortium. (2013) ISBI 2013 CAD-PE challenge dataset. [Online]. Available: http://www.cad-pe.org
[5] N. Tajbakhsh, J. Y. Shin, S. R. Gurudu, R. T. Hurst, C. B. Kendall, M. B. Gotway, and J. Liang, “Convolutional neural networks for medical image analysis: Full training or fine tuning?” IEEE
transactions on medical imaging, vol. 35, no. 5, pp. 1299–1312, 2016.
[6] S.-C. Huang, T. Kothari, I. Banerjee, C. Chute, R. L. Ball, N. Borus, A. Huang, B. N. Patel, P. Rajpurkar, J. Irvin, J. Dunnmon, A. Y. Ng, and M. P. Lungren. (2019) PENet - a scalable deep-learning model for automated diagnosis of pulmonary embolism using volumetric CT imaging. [Online]. Available: https://ssrn.com/abstract=3384889
[7] W. Zhu, Q. Lou, Y. S. Vang, and X. Xie, “Deep multi-instance networks with sparse label assignment for whole mammogram classification,” in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2017, pp. 603–611.
[8] M. Ilse, J. M. Tomczak, and M. Welling, “Attention-based deep multiple instance learning,” arXiv preprint arXiv:1802.04712, 2018.
[9] N. Braman, D. Beymer, and E. Dehghan, “Disease detection in weakly annotated volumetric medical images using a convolutional LSTM network,” arXiv preprint arXiv:1812.01087, 2018.
[10] O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional networks for biomedical image segmentation,” in International Conference on Medical image computing and computer-assisted intervention. Springer, 2015, pp. 234–241.
[11] S. Xingjian, Z. Chen, H. Wang, D.-Y. Yeung, W.-K. Wong, and W.-c. Woo, “Convolutional LSTM network: A machine learning approach for precipitation nowcasting,” in Advances in neural information processing systems, 2015, pp. 802–810.
[12] Y. Guo, D. Kakrania, T. Baldwin, and T. Syeda-Mahmood, “Efficient clinical concept extraction in electronic medical records,” in Thirty-First AAAI Conference on Artificial Intelligence, 2017.
[13] F. Milletari, N. Navab, and S.-A. Ahmadi, “V-Net: Fully convolutional neural networks for volumetric medical image segmentation,” in 2016 Fourth International Conference on 3D Vision
[14] H. Song, D. Rajan, J. J. Thiagarajan, and A. Spanias, “Attend and diagnose: Clinical time series analysis using attention models,” in Thirty-Second AAAI Conference on Artificial Intelligence, 2018.
[15] T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollár, “Focal loss for dense object detection,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 2980–2988.
[16]D.Ardila, A.P.Kiraly, S.Bharadwaj, B.Choi, J.J.Reicher, L.Peng, D.Tse, M.Etemadi, W.Ye, G. Corrado et al., “End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography,” Nature medicine, vol. 25, no. 6, p. 954, 2019.
[17] H.Bouma, J.J.Sonnemans, A.Vilanova and F.A.Gerritsen, “Automaticdetectionofpulmonary embolism in CTA images,” IEEE transactions on medical imaging, vol. 28, no. 8, pp. 1223–1230, 2009.
[18] R. Girshick, “Fast R-CNN,” in Proceedings of the IEEE international conference on computer vision, 2015, pp. 1440–1448.
[19] R. Anirudh, J. J. Thiagarajan, T. Bremer, and H. Kim, “Lung nodule detection using 3D convolutional neural networks trained on weakly labeled data,” in Medical Imaging 2016: Computer-Aided Diagnosis, vol. 9785. International Society for Optics and Photonics, 2016, p. 978532.
[20] Y. Zhou, Y. Zhu, Q. Ye, Q. Qiu, and J. Jiao, “Weakly supervised instance segmentation using class peak response,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 3791–3800.