In der Medizin versucht man große Sprachmodelle (LLMs) in die Diagnostik und Patientenaufklärung zu integrieren. Neben der Onkologie und Radiologie gibt es auch in der Augenheilkunde (Ophthalmologie) vielversprechende Ansätze, um die Arbeit von Fachärzten zu unterstützen. So können KI-Modelle etwa bei der Diagnose von Glaukom und Netzhauterkrankungen unterstützen.
Die bisherigen positiven Ergebnisse stammen überwiegend aus Studienarbeiten. Großangelegte praktische Bewährungsproben stehen noch aus. Insbesondere wäre hier viel Aufwand erforderlich, um die Ergebnisse einer KI mit den Ergebnissen erfahrener Fachärzte zu vergleichen, um die Diagnosequalität zu ermitteln. Eine aktuelle Studie hat genau das untersucht: wie gut sich die Antworten eines LLM im Vergleich mit spezialisierten Glaukom- und Netzhautexperten.
Untersuchung der Antworten eines Chatbots
In der Studie kam ChatGPT-4 zum Einsatz. Ähnlich wie in einer vorangegangenen Studie wurden Antworten des Chatbots mit Antworten erfahrener Augenärzte auf Patientenfragen und klinische Fälle untersucht. Es wurde sich dabei auf die Diagnose und Behandlung von Glaukom und Netzhauterkrankungen konzentriert.
Die Teilnehmerzahl war mit 15 Ärzten, darunter zwölf erfahrene Spezialisten für Glaukom und Netzhauterkrankungen sowie drei angehende Augenärzte, relativ klein. Als Testdaten wurden typische klinische Fälle und Patientenfragen verwendet. Die Daten stammten aus der Rubrik „Ask an Ophthalmologist“ der American Academy of Ophthalmology sowie Fälle der Mount Sinai Klinik. Alle Teilnehmer bewerteten die Antworten anonym, um voreingenommene Beurteilungen zu vermeiden. Für eine gute Vergleichbarkeit wurde darauf geachtet, dass sowohl Maschine als auch Mensch ihre Antworten in einem strukturierten Format abgaben.
KI-Chatbot mit vielversprechenden Ergebnissen
Der Chatbot erzielte im Durchschnitt eine höhere „Genauigkeit“ als die Glaukom-Spezialisten. Beim Kriterium „Vollständigkeit“ schnitt der Chatbot ebenfalls besser ab. Auch im Vergleich zu den Netzhautspezialisten konnte die KI bessere Bewertungen erzielen. Besonders auffällig war, dass Fachärzte einen deutlichen Unterschied in der Genauigkeit und Vollständigkeit des Chatbots im Vergleich zu ihren eigenen Antworten sahen.
Die Studienautoren führen diese positiven Ergebnisse auf die gezielte Fragestellung und die detaillierten Anweisungen an das Modell zurück, die darauf abzielten, dass der Chatbot in einem klinischen Format antwortet. Damit haben die Mediziner bereits zu Beginn eine wichtige Grundlage gelegt, denn ein möglichst spezifischer Prompt mit ausreichend Kontext hat hohen Einfluss auf die Antworten.
Die Ergebnisse stehen im Einklang mit vorherigen Studien aus demselben Fachgebiet. Bereits früher wurde gezeigt, dass solche KI-Systeme bei der Diagnose von Augenkrankheiten hilfreich sein können, besonders für weniger erfahrene Augenärzte. Daher betonen die Autoren, dass diese Technologie vor allem in der Unterstützung von jungen Fachkräften nützlich sein könnte.
Einschränkungen der Studie
Die Autoren weisen auf mehrere Einschränkungen der Studie hin. Der Chatbot wurde nur in einer einzigen Klinik und zu einem bestimmten Zeitpunkt geprüft. Die Teilnehmerzahl war relativ gering. Es gibt für den Einsatz einer solchen KI noch offene ethische und regulatorische Fragen.
Weiter lesen:
- Huang AS, Hirabayashi K, Barna L, Parikh D, Pasquale LR. Assessment of a Large Language Model’s Responses to Questions and Cases About Glaucoma and Retina Management. JAMA Ophthalmol. 2024;142(4):371–375. doi:10.1001/jamaophthalmol.2023.6917