Olaf Conrad (Erlangen), Konstantinos Mantsopoulos (Erlangen), Robin Rupp (Erlangen), Matthias Balk (Erlangen), Sarina Müller (Erlangen), Daniel Richter (Erlangen), Markus Beck (Erlangen), Heinrich Iro (Erlangen), Michael Koch (Erlangen), Matti Sievert (Erlangen)
Background: Accurate risk stratification of thyroid nodules is essential for optimal patient management. This study aimed to assess the suitability of ChatGPT, a language model, for risk stratification of thyroid nodules using a text-based evaluation.
Methods: A dataset was compiled comprising 50 anonymized clinical reports and associated risk assessments for thyroid nodules. The Chat Generative Pre-trained Transformer (ChatGPT) was used to classify sonographic patterns in accordance with the Thyroid Imaging Reporting and Data System (TI-RADS). The model"s performance was assessed using various criteria, including sensitivity, specificity, and accuracy. A comparative analysis was also conducted, evaluating the model against investigator-based risk stratification as well as the gold standard of histology.
Results: With an overall agreement rate of 42% in comparison with examiner-based evaluation (TI-RADS 1–5), the results show that ChatGPT has moderate potential for predicting the risk of malignancy in thyroid nodules using text-based reports. The chatbot model achieved a sensitivity of 86.7%, a specificity of 10.7%, and an overall accuracy of 68% when distinguishing between low-risk (TI-RADS 2 and 3) and high-risk (TI-RADS 4 and 5) categories.
Conclusion: This study highlights the utility of ChatGPT, a natural language processing model, in assisting clinicians with risk stratification of thyroid nodules. The findings suggest that ChatGPT can facilitate personalized treatment decisions. Further research and validation studies are necessary to establish the clinical applicability and generalizability of ChatGPT in routine practice. The integration of ChatGPT into clinical workflows has the potential to enhance thyroid nodule risk assessment and improve patient care.
Hintergrund: Eine genaue Risikostratifizierung von Schilddrüsenknoten ist für die Behandlung unerlässlich. Ziel dieser Studie war es, die Eignung von ChatGPT für die Bewertung von Schilddrüsenknoten zu untersuchen.
Methoden: 50 anonymisierten klinische Berichte und Risikobewertunge für Schilddrüsenknoten wurden zusammengestellt. ChatGPT wurde zur Klassifizierung von sonographischen Mustern in Übereinstimmung mit der TI-RADS Klassifikation verwendet. Die Leistung des Modells wurde anhand verschiedener Kriterien bewertet, darunter Sensitivität, Spezifität und Genauigkeit. Darüber hinaus wurde eine vergleichende Analyse durchgeführt, bei der das Modell mit de Untersucher sowie mit der Histologie verglichen wurde.
Ergebnisse: Mit einer Übereinstimmungsrate von 42% im Vergleich zur untersucherbasierten Bewertung (TI-RADS 1-5) zeigen die Ergebnisse, dass ChatGPT ein moderates Potenzial für die Vorhersage des Malignitätsrisikos bei Schilddrüsenknoten anhand textbasierter Berichte hat. Das Chatbot-Modell erreichte eine Sensitivität von 86,7%, eine Spezifität von 10,7% und eine Gesamtgenauigkeit von 68% bei der Unterscheidung zwischen Niedrigrisiko- (TI-RADS 2 und 3) und Hochrisikokategorien (TI-RADS 4 und 5).
Schlussfolgerung:Diese Studie unterstreicht den Nutzen von ChatGPT zur Unterstützung von Klinikern bei der Risikostratifizierung von Schilddrüsenknoten. Die Ergebnisse legen nahe, dass ChatGPT personalisierte Behandlungsentscheidungen erleichtern kann. Weitere Forschungs- und Validierungsstudien sind erforderlich, um die klinische Anwendbarkeit und Verallgemeinerbarkeit von ChatGPT in der Routine zu ermitteln. Die Integration von ChatGPT in klinische Arbeitsabläufe hat das Potenzial, die Risikobewertung von Schilddrüsenknoten und die Patientenversorgung zu verbessern.
Die Autorinnen/Autoren geben an, dass kein Interessenkonflikt besteht.