Blick in die Black Box – welche patientenbezogenen Faktoren beeinflussen die KI basierte Therapievorhersage lumbaler Bandscheibenvorfälle?

Abstract-Text deutsch

Einleitung:

Entscheidungen über konservative oder operative Therapien bei Schmerzen durch lumbale Bandscheibenvorfälle sind oft subjektiv geprägt. Therapievorhersagen durch KI Algorithmen könnten als objektive Orientierungshilfe dienen. Wir stellen einen solchen Algorithmus im Rahmen einer prospektiven Studie als praxistaugliche Anwendung vor um ODI und VAS Werte vorherzusagen.  Dabei identifizieren wir patientenbezogene Faktoren mit dem größten Einfluss auf die Vorhersagen.

Methoden/Material:

Sämtliche Daten wurden im Rahmen einer prospektiven Beobachtungsstudie erhoben (DRKS00017595, Ethikvotum Nr. 16098). Seit Mai 2020 wurden 123 aufeinanderfolgende Patienten eingeschlossen. Für den Aufbau des maschinellen Lernens definierten wir VAS für Beinschmerzen und den ODI Wert nach jeweils 6 Wochen, 6 Monaten und 1 Jahr nach Behandlung als Zielwerte der Vorhersage. Die Gesamtdaten wurden als csv Datei über pandas python package gelesen (pandas v. 0.23.1; python 3.6.7), grundlegende statistischen Analysen durchgeführt (Verwendung von matplotlib v. 2.1.2, seaborn v.0.8.1, Feature-Selektor v.1.0.0.0, scikit-learn v.0.21.2) und ein Trainings- und ein Testdatensatz durch stratifizierte Datenverteilung definiert. Durch rekursive Merkmalseliminierung, Gewichtung und Analyse interkorrelierender Merkmale wurde eine Komplexitätsverringerung erreicht und mit den endgültigen Merkmalen ein neuronales Netz trainiert (Keras-Framework v. 2.2.4 mit Tensorflow-Backend v.1.12.0). Dabei wurden unterschiedliche Algorithmen maschinellen Lernens auf ihre Leistung getestet, wobei ein "decision-tree-regressor" die stabilsten Vorhersagewerten erreichte. Eine Analyse der Algorithmus Funktionen erlaubte die Identifizierung der wichtigsten patientenbezogenen Faktoren der Vorhersagen.

Ergebnisse:

Die Auswertungen in einer 10-fachen Kreuzvalidierung zeigten eine Differenz zwischen vorhergesagten und realen ODI Werten zwischen 8,6 und 10,0 Punkten auf der ODI Skala von 0 bis 100 und zwischen 1,79 und 1,97 Punkten auf der VAS Skala von 0 bis 10. Damit liegen die absoluten Abweichungen für beide Werte im Rahmen der beschriebenen minimalen klinisch wichtigen Unterschiede (MCID) dieser Werte und sind daher ausreichend für eine klinische Anwendung. Die Analyse der wichtigsten Einflussfaktoren wies eine primäre Orientierung des Algorithmus am HADS Score für Angststörung, gefolgt vom BMI des Patienten und dem SF-36 Wert für die allgemeine Gesundheit auf.

Diskussion:

Wir stellen ein KI Modell zum Therapieverlauf bei lumbalen Bandscheibenvorfällen durch Vorhersage von ODI und VAS Werten vor und können zeigen, welche Faktoren die KI Entscheidungen beeinflusst. Nach unserem Kenntnisstand ist dies die erstmalige Darstellung des "Denkprozesses" einer KI bei lumbalen Bandscheibenvorfällen. Interessanterweise zeigt sich dabei, dass psychische Faktoren und Eigenwahrnehmung der Gesundheit neben dem BMI Hauptfaktoren für die Vorhersage des Schmerzverlaufs dieser Erkrankung darstellen.

Abstract-Text englisch

Introduction:

Decisions about conservative or surgical therapies for pain caused by lumbar disc herniation are often characterised by subjectivity. Therapy predictions by AI algorithms could serve as objective guidance. We present such an algorithm in the context of a prospective study as an application to predict ODI and VAS values. Thereby, we identify patient-related factors with the greatest influence on the predictions.

Method/Materials:

All data were collected as part of a prospective observational study (DRKS00017595, ethics vote no. 16098). Since May 2020, 123 consecutive patients were included. To establish the machine learning, we defined VAS for leg pain and ODI score at 6 weeks, 6 months and 1 year after treatment, respectively, as target predictive values. The total data were read as a csv file via pandas python package (pandas v. 0.23.1; python 3.6.7), basic statistical analyses were performed (using matplotlib v. 2.1.2, seaborn v.0.8.1, feature selector v.1.0.0, scikit-learn v.0.21.2) and a training and a test dataset were defined by stratified data distribution. A reduction in complexity was achieved through recursive feature elimination, weighting and analysis of intercorrelating features, and a neural network was trained with the final features (Keras framework v. 2.2.4 with Tensorflow backend v.1.12.0). Different machine learning algorithms were tested for their performance, with a decision-tree regressor achieving the most stable prediction values. An analysis of the algorithm operations allowed the identification of the most important patient-related factors of the predictions.

Results:

The evaluations were performed in a 10-fold cross-validation. The difference between predicted and real ODI value was between 8.6 and 10.0 points on the ODI scale ranging from 0 to 100 and between 1.79 and 1.97 points on the VAS scale ranging from 0 to 10. Thus, the absolute deviations for both values are within the described minimally clinically important differences (MCID) for these values and can be considered sufficient for routine application. The analysis of the most important influencing factors demonstrated a primary orientation of the algorithm towards the HADS score for anxiety disorder, followed by the patient's BMI and the SF-36 score for general health.

Discussion:

With this study, we present an AI model for the course of therapy after lumbar disc herniation by predicting ODI and VAS values. We can show which factors influence the AI decision, making it possible to draw general conclusions about the clinical picture. To the best of our knowledge, this is the first representation of the "thinking process" of an AI in lumbar disc herniations. Interestingly, it shows that psychological factors and self-perception of health, along with BMI, are major factors in predicting the course of pain in this condition.