Lennart Walger (Bonn / DE), Matthias Schmitz (Bonn / DE), Arendt Christophe (Frankfurt a. M. / DE), Tobias Baumgartner (Bonn / DE), Johannes Birkenheier (Bonn / DE), Valeri Borger (Bonn / DE), Christoph Endler (Bonn / DE), Franziska Grau (Bonn / DE), Christian Immanuel (Bonn / DE), Markus Kölle (Bonn / DE), Patrick Kupczyk (Bonn / DE), Asadeh Lakghomi (Bonn / DE), Sarah Mackert (Bonn / DE), Elisabeth Neuhaus (Frankfurt a. M. / DE), Julia Nordsiek (Bonn / DE), Anna Odenthal (Bonn / DE), Karmele Olaciregui Dague (Bonn / DE), Laura Ostermann (Bonn / DE), Jan Pukropski (Bonn / DE), Attila Rácz (Bonn / DE), Klaus von der Ropp (Bonn / DE), Carsten Schmeel (Frankfurt a. M. / DE), Felix Schrader (Bonn / DE), Aileen Sitter (Bonn / DE), Alexander Unruh (Bonn / DE), Marilia Voigt (Bonn / DE), Martin Vychopen (Bonn / DE), Philip von Wedel (Bonn / DE), Randi von Wrede (Bonn / DE), Ulrike Attenberger (Bonn / DE), Thomas Klockgether (Bonn / DE), Hartmut Vatter (Bonn / DE), Alexandra Philipsen (Bonn / DE), Albert J. Becker (Bonn / DE), Alexander Radbruch (Bonn / DE), Elke Hattingen (Frankfurt a. M. / DE), Christian E. Elger (Bonn / DE), Rainer Surges (Bonn / DE), Theodor Rüber (Bonn / DE)
Abstract-Text (inklusive Referenzen und Bildunterschriften)
Einleitung
Fokale Cortikale Dysplasien (FCDs) sind eine häufige Ursache von struktureller Epilepsie, doch in etwa 30% aller FCD-Fälle nicht im MRT sichtbar (Hauptman und Mathern, 2012). Künstlich-intelligente (KI) Modelle werden zur automatisierten Erkennung von FCDs entwickelt, mit der Hoffnung, in diesen "MRT-negativen" Fällen die Befundung zu unterstützen. Es gibt weder einheitliche Kriterien für "MRT-negativ", noch einen Goldstandard für die Erfassung menschlicher Performanz. Dies macht eine Evaluation von KI-basierten Ansätzen hinsichtlich ihrer klinischen Relevanz schwierig.
Ziele
Wir haben die menschliche Leistung bei der FCD-Erkennung und -Lokalisierung quantifiziert und diese mit existierenden KI-basierten Ansätzen verglichen, um so den potentiellen Mehrwert in der Diagnostik von FCDs zu bestimmen.
Methoden
Insgesamt bewerteten 28 Personen (25 aus unterschiedlichen medizinischen Fachbereichen mit unterschiedlichem Erfahrungsgrad, 3 Laien) 3D-FLAIR und T1-Bilder von 180 Subjekte (80 w, 100 m, Alter 30,90 +- 13,95 Jahre), davon 146 Erkrankte mit FCDs. Die Mediziner hatten im Durchschnitt 6,43 (±9,45) Jahre Neuroradiologie-Erfahrung. Mittels einer speziell entwickelten Software sollten die Rater eine mögliche FCD und deren dreidimensionales Ausmaß durch ein Rechteck lokalisieren. Zusätzlich wendeten wir drei publizierte Algorithmen auf dieselbe Kohorte an. Wir definierten Kriterien, wann ein Algorithmus als "hilfreich", "nicht hilfreich" oder "störend" bei der Befundung gelten könnte. Figur 1 zeigt Beispiele für diese drei Fälle.
Ergebnisse
Tabelle 1 zeigt die Bewertung von Menschen und Algorithmen. Der beste Algorithmus lokalisiert ähnlich viele Läsionen wie erfahrene Menschen (82,88% vs. 76,71% [66,43, 86,99]). Die getesteten Algorithmen haben vor allem bei Nicht-Experten einen Mehrwert (+8,8±6%), sind jedoch wenig hilfreich für Spezialisten (-5,48±7,35 %).
Schlussfolgerung
Die ausführliche Quantifizierung menschlicher Leistung bei der FCD-Detektion ermöglicht eine Einschätzung über den Einfluss auf die klinische Entscheidungsfindung. Die getesteten Algorithmen helfen vor allem Nicht-Experten.
Referenzen
Hauptman and Mathern (2012), "Surgical treatment of epilepsy associated with cortical dysplasia: 2012 update.", Epilepsia
David et al. (2021), "External Validation of Automated Focal Cortical Dysplasia Detection Using Morphometric Analysis", Epilepsia
Gill et al. (2021), "Multicenter Validation of a Deep Learning Detection Algorithm for Focal Cortical Dysplasia", Neurology
Spitzer et al. (2022), "Interpretable Surface-Based Detection of Focal Cortical Dysplasias: A MELD Study", Brain
Figure 1: Beispiele für Lokalisierungen von Menschen und Algorithmen. Ein Algorithmus ist nicht hilfreich, wenn die Läsion schon gefunden wurde (A), er sie auch nicht findet (B) oder er auch die vom Menschen markierte Stelle findet (C). In Fall D kann ein Algorithmus hilfreich sein. In Fällen E und F ist die fehlerhafte Lokalisierung des Algorithmus "störend".
Tabelle 1: Lokalisierungsleistung von Menschen und Algorithmen. Für Nicht-Experten haben alle Algorithmen einen positiven Mehrwert. Zusammen mit Algorithmen können die Performanz von Experten erreichen. Hinsichtlich der Segmentierung liegen die Algorithmen auf dem Niveau von Ärzten.