The success of complex surgical procedures, particularly in the head and neck, depends on the expertise and experience of the surgeon. Despite the utmost care, iatrogenic injuries to structures located or running in the surgical area, such as cranial nerves and vessels, can occur. To minimize these risks, an in-vivo multispectral analysis tool is integrated into a fully digital surgical microscope. The multispectral analysis enables non-invasive and automated simultaneous analysis and differentiation of tissues during the surgical procedure. This helps to reduce intraoperative complications and improve the surgeon's learning curve.

The method is based on the directional, individual control of four different LEDs in the microscope and the three RGB color channels on the sensor and uses the visual differentiation of different optical tissue behaviors. In 47 planned neck dissections and parotidectomies in the period from December 2021 to October 2023, the occurring tissue structures glandular tissue, nerves, vessels and connective tissue as well as muscles were annotated and the optical tissue behavior was assigned. A 3D Convolutional Neural Network was trained with the annotated data, whereby individual patients were previously excluded from the training data set for evaluation ('leave-one-subject-out'). All remaining data was randomly divided into a training (70%), validation (15%) and test set (15%) for each tissue type.

In the evaluation on the random test set, an overall accuracy of 98.8% was achieved with sensitivities for the five tissue types of 98.0% to 99.5%. On the set of previously excluded patients, an accuracy of 77.3% was achieved with sensitivities up to 93.8%.

Der Erfolg von komplexen chirurgischen Eingriffen, insbesondere am Kopf und Hals, hängt stark von der Expertise und Erfahrung des jeweiligen Operateurs ab. Trotz größter Sorgfalt können iatrogene Verletzungen von im Operationsgebiet liegenden oder verlaufenden Strukturen wie beispielsweise Hirnnerven und Gefäßen auftreten. Die Multispektralanalyse ermöglicht eine nicht invasive und automatisierte simultane Analyse sowie Differenzierung von Geweben während des chirurgischen Eingriffs. Dies trägt dazu bei, intraoperative Komplikationen zu reduzieren und die Lernkurve der Chirurgen zu verbessern.

Das Verfahren beruht auf der gerichteten, einzelnen Ansteuerung von vier verschiedenen LEDs im Mikroskop sowie den drei RGB-Farbkanälen auf dem Sensor und nutzt die visuelle Differenzierung unterschiedlicher optischer Gewebeverhalten. Bei 47 geplanten Neck dissections und Parotidektomien im Zeitraum von Dezember 2021 bis Oktober 2023 wurden die auftretenden Gewebestrukturen Drüsengewebe, Nerven, Gefäße und Bindegewebe sowie Muskulatur annotiert und das optische Gewebeverhalten zugeordnet. Ein 3D Convolutional Neural Network wurde mit den annotierten Daten trainiert, wobei zuvor einzelne Patienten zur Evaluation aus dem Trainingsdatensatz ausgeschlossen wurden (leave-one-subject-out). Alle restlichen Daten wurden für jede Gewebeart zufällig in ein Trainings- (70%), Validierungs- (15%) und Testset (15%) aufgeteilt.

Bei der Evaluierung auf dem zufälligen Testset wurde eine Gesamtgenauigkeit von 98,8 % erreicht mit Sensitivitäten für die fünf Gewebearten von 98,0% bis 99,5%. Auf dem Set der zuvor ausgeschlossenen Patienten wurde eine Genauigkeit von 77,3% mit Sensitivitäten bis zu 93,8% erreicht.

Die Autoren geben an, dass kein Interessenkonflikt besteht