Wie Augmented Reality das Unsichtbare sichtbar macht
Augmented Reality (AR) zieht in den OP ein: Trägt ein Neurochirurg bei der Punktion des Hirnventrikels die AR-Brille HoloLens, wird ihm die Navigationsunterstützung direkt ins Sichtfeld eingeblendet. Diese Marktneuheit gestalten wir gemeinsam mit Partnern im Forschungsprojekt HoloMed nutzerfreundlich. Ein erster Testlauf am Klinikum Günzburg war nun erfolgreich.
MIT AUGMENTED REALITY SICHER ANS ZIELDie Ventrikelpunktion zählt zu den Routine-Eingriffen in der Neurochirurgie. Dennoch sitzt der Katheter, der ins Gehirn eingeführt wird, nur bei zwei von drei Punktionen an der richtigen Stelle. Das Problem: Der Operateur sieht das Ziel – einen mit Hirnwasser gefüllten Hohlraum im Gehirn – nicht.
In Zukunft soll ihn dabei die HoloLens unterstützen: Aus Daten von CT- oder MRT-Scans des Patienten berechnet HoloMed vor der OP ein 3D-Modell des Gehirns.
Die HoloLens blendet das Modell millimetergenau über den Kopf des Patienten und macht das Unsichtbare sichtbar.
Außerdem helfen grafische Elemente dem Chirurgen dabei, die richtige Stelle und den richtigen Winkel zu treffen. Vorteile wie eine niedrigere Fehlerquote und mehr Sicherheit für Patienten und Chirurgen liegen auf der Hand.
Bis zur Marktreife und optimalen User Experience (UX) haben wir noch ein paar To-dos auf der Liste: Die virtuelle Einblendung muss genau zur Lage des realen Patienten passen. Hier setzen wir ein System aus Markern ein, das wir noch optimieren müssen. Besonders interessant für uns ist auch, wie der Arzt die Hologramme im OP-Situs wahrnimmt. Aktuell hat die Beleuchtungssituation im OP große Auswirkungen auf die Sichtbarkeit der Hologramme. Und es zeigte sich, dass sie die realen Instrumente teilweise stark überlagern. Ebenfalls ernst nehmen wir bestehende Bedenken hinsichtlich Hygiene und Zeitaufwand.
DÜRFEN WIR VORSTELLEN: DAS IST DAS UI VON HOLOMEDSetzt der Neurochirurg die HoloLens auf und startet HoloMed werden ihm vier Menü-Punkte eingeblendet: Vorbereitung, Kocherpunkt, Schnitt und Winkel. Die Reihenfolge entspricht dem Workflow einer Ventrikelpunktion. Über den Button MRT & CT Scans kann sich der Operateur alle wichtigen Bilder des Patienten interaktiv anzeigen lassen.
Einzelne Hologramme zur Navigationsunterstützung sind animiert und pulsieren, damit sie den Arbeitsbereich nicht konstant verdecken und der Arzt das Werkzeug optimal mit den Visualisierungen in Einklang bringen kann.
Ganz einfach per Long Gaze – die Fokussierung des Hologramms über eine bestimmte Zeitdauer – und Sprache steuert der Neurochirurg HoloMed und hat seine Hände frei für den kniffligen Eingriff. Ein zusätzlicher Nebeneffekt: Es gibt keine Probleme mit den hohen Hygieneanforderungen im Operationssaal.
PROJEKTZERTIFIZIERUNG IN SICHT
Gebrauchstauglichkeit, Sicherheit und Hygiene sind nicht zuletzt wichtige Faktoren für eine erfolgreiche Produktzertifizierung. Hier unterstützen wir das Forschungskonsortium mit unserem Wissen im Bereich der Gebrauchstauglichkeitsakte (Usability Engineering File). So bereiten wir schon jetzt den Weg für die Produktzertifizierung das HoloLens-System vor.
MEHR ZU HOLOMED
Das Forschungsprojekt „HoloMed – Kontextsensitive Unterstützung eines Chirurgen im Operationssaal durch Augmented Reality“ (Förderkennzeichen: 01IS17005) wird vom Bundesministerium für Bildung und Forschung unterstützt und von diesen Projektpartnern verwirklicht: mbits imaging GmbH, User Interface Design GmbH, Neurochirurgische Klinik der Universität Ulm und KIT – Intelligente Prozessautomation und Robotik (IAR-IPR). Es läuft bis Ende 2019.