Огляд та аналіз основних каркасних мереж виявлення ознак для класифікації зображень мрт в моделях глибинного навчання

ОГЛЯД ТА АНАЛІЗ ОСНОВНИХ КАРКАСНИХ МЕРЕЖ ВИЯВЛЕННЯ ОЗНАК ДЛЯ КЛАСИФІКАЦІЇ ЗОБРАЖЕНЬ МРТ В МОДЕЛЯХ ГЛИБИННОГО НАВЧАННЯ

REVIEW AND ANALYSIS OF BASIC FEATURE DETECTION NETWORKS FOR CLASSIFICATION OF MRI IMAGES IN DEEP LEARNING MODELS

Сторінки: 183-187. Номер: №6, 2022 (315) 
Автори:
ПУКАЧ Павло
Національний університет «Львівська політехніка»
ORCID ID: 0000-0002-0488-6828
e-mail: pavlopukach@gmail.com
PUKACH Pavlo
Lviv Polytechnic National University
DOI: https://www.doi.org/10.31891/2307-5732-2022-315-6-183-187

Анотація мовою оригіналу

У цій статті представлено оцінку сучасних моделей глибокого навчання для класифікації зображень МРТ колінного суглоба. Серед усіх робіт, пов’язаних з цим дослідженням, було кілька спроб перенавчити оригінальну модель MRNet на більш сучасні архітектури комп’ютерного зору. Крім того, ще не повідомлялося про спроби задокументувати поступове покращення точності прогнозування MRNet за допомогою нових архітектур комп’ютерного бачення. У даній роботі представлено порівняльний аналіз сучасних архітектур комп’ютерного бачення для вилучення ознак з МРТ-зображень колінного суглоба в задачах класифікації ушкоджень та аномалій колінного суглоба. Такий аналіз є необхідним як інструмент для створення прикладних архітектур моделей машинного навчання, спрямованих на автоматизовану діагностику травм коліна в медичних пристроях і системах.
Алгоритми глибинного навчання можуть бути застосовані безпосередньо до багатьох різноманітних завдань рентгенології опорно-рухового апарату, включаючи реконструкцію зображення, синтез зображення, сегментацію тканин, а також діагностику та виявлення характеристик захворювань опорно-рухового апарату на рентгенограмах, ультразвуку, зображеннях КТ та МРТ. Щоб сформулювати такий порівняльний аналіз, у цій статті порівнюється продуктивність базової архітектури MRNet для завдання класифікації зображень МРТ колінного суглоба, використовуючи різні найсучасніші архітектури комп’ютерного бачення як каркасні мережі для виділення ознак. Це також демонструє поступове підвищення точності прогнозування цих моделей відповідно до еволюції самих каркасних моделей. Досить важливим аспектом представленого дослідження є той факт, що всі моделі машинного навчання, розроблені та навчені в розглянутому експерименті, мають уніфіковану архітектуру, за винятком шару виділення ознак, і всі вони були навчені з нуля з використанням однакових гіпер-параметрів моделі та параметрів навчання. Також, для порівняння результатів класифікації було використано додаткову метрику — показник Каппа Коена, який є значущим через незбалансованість використаного набору даних
Ключові слова: МРТ, каркасна мережа, MRNet, глибинне навчання, комп’ютерне бачення.

Розширена анотація англійською  мовою

This paper presents an evaluation of modern deep learning models for the classification of MRI images of the knee joint. Among all the work related to this research, there have been several attempts to retrain the original MRNet model on more modern computer vision architectures. Also, no attempt has yet been reported to document the incremental improvement in MRNet prediction accuracy using newer computer vision architectures. This paper presents a comparative analysis of modern deep architectures of computer vision for extracting features from MRI images of the knee joint in the tasks of classification of injuries and anomalies of the knee. Such an analysis is needed, at least as a guide to creating applied architectures of machine learning models aimed at automated diagnosis of knee injuries in medical devices and systems.
In the field of artificial intelligence, deep learning (DL) algorithms can be applied directly to many different musculoskeletal radiology tasks, including image reconstruction, synthetic imaging, tissue segmentation, and diagnosis and detection of musculoskeletal disease characteristics on radiographs, ultrasound , CT and MRI images. Ideally, such systems should also help radiologists focus on rare diseases as well as very complex abnormalities. At the same time, the task of automating the process of diagnosing typical injuries and anomalies is set. The level of confidence in the result of prediction should be similar to the conclusions of commissions of expert radiologists. To frame such a benchmarking analysis, this paper compares the performance of the basic MRNet architecture for the knee MRI image classification task, using various state-of-the-art computer vision architectures as framework networks for feature extraction. It also demonstrates a gradual increase in the prediction accuracy of these models in accordance with the evolution of the framework models themselves. A rather important aspect of the presented research is the fact that all machine learning models developed and trained in the considered experiment have a unified architecture, except for the feature extraction framework, and they were all trained from scratch using the same model parameters and training parameters. In addition, the model estimation strategies in this work use an additional metric that has not yet been measured and compared in any related work, namely Cohen’s Kappa metric. This metric is significant because the MRNet dataset used in this paper is not balanced.
Keywords: MRI, framework network, MRNet, deep learning, computer vision.

References

1. Nacey N.C. Magnetic resonance imaging of the knee: An overview and update of conventional and state of the art imaging / N.C. Nacey, M.G. Geeslin, G.W. Miller, J. L. Pierce // J. Magn. Reson. Imaging. – 2017. – № 45. – P.  1257–1275.
2. IHS Markit Ltd (Prepared for the AAMC). The Complexities of Physician Supply and Demand: Projections from 2019 to 2034 AAMC, Washington, DC, USA, June 2021. https://www.aamc.org/media/54681/download.
3. Gore J.C. Artificial intelligence in medical imaging / J.C. Gore // J. Magn. Reson. Imaging. – 2020. – № 68. – P. A1-A4.
4. He K. Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun. // arXiv. – 2015. – arXiv:1512.03385.
5. Tsai C. Knee Injury Detection using MRI with Efficiently-Layered Network (ELNet) / C. Tsai, N. Kiryati, E. Konen, I. Eshed, A. Mayer // Proceedings of the Third Conference on Medical Imaging with Deep Learning, Montreal, QC, Canada, 6–8 July 2020, Volume 121, p. 784–794.
6. Krizhevsky A. ImageNet Classification with Deep Convolutional Neural Networks / A. Krizhevsky, I. Sutskever, E.G. Hinton // Proceedings of the Advances in Neural Information Processing Systems 25 (NIPS 2012), Lake Tahoe, NV, USA, 3–8 December 2012. https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html
7. Azcona D. A Comparative Study of Existing and New Deep Learning Methods for Detecting Knee Injuries using the MRNet Dataset / D. Azcona, K. McGuinness, A.F. Smeaton // Proceedings of the 2020 International Conference on Intelligent Data Science Technologies and Applications (IDSTA), Valencia, Spain, 19–22 October 2020, p. 88–94.
8. Simonyan K. Very Deep Convolutional Networks for Large-Scale Image Recognition / K. Simonyan, A. Zisserman // arXiv. – 2015. – arXiv:1409.1556.
9. Tan M. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks / M. Tan, Q.V. Le // arXiv. – 2019. – arXiv:1905.11946.
10. Štajduhar I. Semi-automated detection of anterior cruciate ligament injury from MRI / I. Štajduhar, M. Mamula, D. Mileti´c, G. // Unal Comput. Methods Programs Biomed. – 2017. – 140. – P. 151–164.
11. Bien N. Deep-learning-assisted diagnosis for knee magnetic resonance imaging: Development and retrospective validation of MRNet / N. Bien, P. Rajpurkar, R.L. Ball, J. Irvin, A. Park, E. Jones, M. Bereket, B.N. Patel, K.W. Yeom, K. Shpanskaya // LoS Med. – 2018. – 15. – e1002699.
12. Shorten C. A survey on Image Data Augmentation for Deep Learning / C. Shorten, T.M. Khoshgoftaar // J. Big Data. – 2019. – 6. – P. 1–48.
13. Wang J. The Effectiveness of Data Augmentation in Image Classification using Deep Learning / J. Wang, L. Perez // arXiv. – 2017. – arXiv:1712.04621.