Zuverlässigkeit von ChatGPT bei der Interpretation von Audiogrammen und der nachfolgenden Therapieempfehlung

Einleitung: Seit der Veröffentlichung von ChatGPT im Jahr 2022 gibt es vielversprechende Studien über den Einsatz von künstlicher Intelligenz im medizinischen Bereich zur klinischen Entscheidungsfindung und als Lernwerkzeug für Ärzte in Ausbildung. Es wurden bisher nur wenige Studien mit Bildanalyse durchgeführt. Das Ziel dieser Studie war es, die Fähigkeit von ChatGPT zu analysieren, Hörtests zu beschreiben und mögliche Behandlungsvorschläge abzugeben.

Methoden: 84 Tonschwellenaudiogramme (davon 75 pathologisch) von 42 Patienten wurden in ChatGPT 4o hochgeladen mit der Anforderung 1. das Audiogramm zu beschreiben sowie 2. eine Behandlungsempfehlung anzugeben. Die Korrektheit der Antworten wurde auf einer Likert-Skala von 1 bis 5 (1 = völlig falsch, 2 = mehr falsch als richtig, 3 = sowohl richtig als auch falsch, 4 = mehr richtig als falsch, 5 = völlig richtig) im Vergleich zu den Beschreibungen und Therapieentscheidungen aus der Klinik und auch mithilfe der Behandlungsrichtlinien bewertet (Pearson Chi² Test). Nicht-pathologische Hörtests wurden von der Statistik ausgeschlossen.

Ergebnisse: Die mittlere Punktzahl betrug 3.493 (1-3 Punke 45,3%, 4-5 Punkte 54,7%) für die ChatGPT-Analyse des Hörtests und 3.931 (1-3 Punke 33,3%, 4-5 Punkte 66,7%) für die Behandlungsempfehlung. Die Datenanalyse wurde mit SPSS durchgeführt. Sowohl die Beschreibung eines Hörtests als auch die Behandlungsvorschläge von ChatGPT waren statistisch signifikant schlechter als die der Klinik (p < 0,001).

Schlussfolgerung: Diese Studie zeigt, dass im Moment eine Weiterentwicklung der Bildanalyse, insbesondere von Hörtests, notwendig ist um ChatGPT als zuverlässiges Werkzeug für die Hörtestbeschreibung zu verwenden und entsprechende klinische Entscheidungen zu treffen.

Nein