Ein Hirntumor ist eine Ansammlung entarteter Zellen im Gehirn, die unter anderem durch das Eindringen in benachbarte Gewebe und die Bildung von Metastasen lebensbedrohlich werden kann. Eine genaue Diagnose ist für eine erfolgreiche Behandlungsplanung unerlässlich, beispielsweise durch die Magnetresonanztomographie (MRT), das wichtigste bildgebende Verfahren zur Diagnose von Hirntumoren und deren Ausmaß. Deep-Learning-Methoden in Computer-Vision-Anwendungen haben sich in den letzten Jahren deutlich verbessert, was vor allem darauf zurückzuführen ist, dass eine große Menge an Daten zum Trainieren der Modelle zur Verfügung steht und die Verbesserungen der Modellarchitekturen zu besseren Annäherungen in einem überwachten Umfeld führen. Die Klassifizierung von Tumoren mithilfe solcher Deep-Learning-Methoden hat mit der Verfügbarkeit offener Datensätze mit zuverlässigen Annotationen erhebliche Fortschritte gemacht. In der Regel handelt es sich bei diesen Methoden entweder um 3D-Modelle, die volumetrische 3D-MRTs verwenden, oder sogar um 2D-Modelle, die jede Schicht separat betrachten. Durch die getrennte Behandlung einer räumlichen Dimension oder durch die Betrachtung der Schichten als zeitliche Abfolge von Bildern können für diese Aufgabe jedoch räumliche Modelle als "spatiospatiale" Modelle eingesetzt werden. Diese Modelle haben die Fähigkeit, spezifische räumliche und zeitliche Beziehungen zu erlernen und gleichzeitig die Rechenkosten zu reduzieren.
Unsere Arbeit zeigt die Anwendbarkeit der spatiotemporalen Modelle ResNet (2+1)D und ResNet Mixed Convolution als spatiospatiale Modelle bei der Klassifizierung von volumetrischen 3D-MRTs und demonstriert ihre Überlegenheit gegenüber dem konventionellen 3D-Modell ResNet18 bei der Klassifizierung von Hirntumoren aus 3D-MRTs. Das leistungsstärkste Modell erreichte einen Makro-F1-Score von 0,9345 und eine Testgenauigkeit von 96,98 %.
Publikation: Classification of brain tumours in MR images using deep spatiospatial models, Authoren: Soumick Chatterjee, Faraz Ahmed Nizamani, Andreas Nürnberger & Oliver Speck, Journal: Scientific Reports volume 12, Article number: 1505 (2022), Verlag: Nature, DOI: 10.1038/s41598-022-05572-6, URL: https://www.nature.com/articles/s41598-022-05572-6
(Februar 2022)
--------------------------------------
Publication at Nature Scientific Reports about Classification of brain tumours in MR images using deep spatiospatial models
A brain tumour is a mass or cluster of abnormal cells in the brain, which has the possibility of becoming life-threatening because of its ability to invade neighbouring tissues and also form metastases. An accurate diagnosis is essential for successful treatment planning, and magnetic resonance imaging is the principal imaging modality for diagnosing brain tumours and their extent. Deep Learning methods in computer vision applications have shown significant improvement in recent years, most of which can be credited to the fact that a sizeable amount of data is available to train models, and the improvements in the model architectures yield better approximations in a supervised setting. Classifying tumours using such deep learning methods has made significant progress with the availability of open datasets with reliable annotations. Typically, those methods are either 3D models, which use 3D volumetric MRIs or even 2D models considering each slice separately. However, by treating one spatial dimension separately or by considering the slices as a sequence of images over time, spatiotemporal models can be employed as “spatiospatial” models for this task. These models have the capabilities of learning specific spatial and temporal relationships while reducing computational costs.
Our paper shows the applicability of the spatiotemporal models ResNet (2+1)D and ResNet Mixed Convolution as spatiospatial models while classifying 3D volumetric MRIs, and demonstrates is superiority over the conventional 3D model ResNet18 for the task of brain tumour classification from 3D brain MRIs. The best performing model achieved a macro F1-score of 0.9345 and a test accuracy of 96.98%.
Journal paper: Classification of brain tumours in MR images using deep spatiospatial models, Authors: Soumick Chatterjee, Faraz Ahmed Nizamani, Andreas Nürnberger & Oliver Speck, Journal: Scientific Reports volume 12, Article number: 1505 (2022), Publisher: Nature, DOI: 10.1038/s41598-022-05572-6, URL: https://www.nature.com/articles/s41598-022-05572-6
(February 2022)
Eröffnung
