Die AR Brain Demo hat das Ziel, komplexe medizinische Bilddaten wie CT- oder MRT-Darstellungen räumlich und interaktiv erfahrbar zu machen. Mittels des HoloLens II Head-Mounted Displays wird ein 3D-Modell des menschlichen Gehirns in unmittelbarer Nähe zur Nutzer*in visualisiert. Ein Schieberegler erlaubt das Durchblättern der medizinischen Volumsdaten (Slices), während ausgewählte Regionen via Gestensteuerung aktiviert werden können und Zusatzinformationen abrufbar sind. Zusätzlich wurde eine Registrierung implementiert, die das Modell an ein reales physisches Objekt bindet – dies erlaubt eine präzise räumliche Platzierung im realen Raum.
Die AR Brain Demo hat das Ziel, komplexe medizinische Bilddaten wie CT- oder MRT-Darstellungen räumlich und interaktiv erfahrbar zu machen. Mittels des HoloLens II Head-Mounted Displays wird ein 3D-Modell des menschlichen Gehirns in unmittelbarer Nähe zur Nutzer*in visualisiert. Ein Schieberegler erlaubt das Durchblättern der medizinischen Volumsdaten (Slices), während ausgewählte Regionen via Gestensteuerung aktiviert werden können und Zusatzinformationen abrufbar sind. Zusätzlich wurde eine Registrierung implementiert, die das Modell an ein reales physisches Objekt bindet – dies erlaubt eine präzise räumliche Platzierung im realen Raum.
Factbox:
- Entwicklung: Andreas D. Hartl
- Tools: Unity, MRTK, 3D Slicer, Blender
- Plattform: HoloLens II
Highlights & Besonderheiten:
- Verwendung von High-End AR-Hardware (HoloLens II)
- Verwendung optimierter 3D Modelle zum Rendering in Echtzeit (3D Slicer, Blender)
- Gestensteuerung für die Auswahl von Gehirnregionen und den Abruf von Zusatzinfos.
- Interaktive Navigation durch medizinische Bilddatensätze mittels AR-Slider.
Registrierung an einem physischen Objekt: Das Modell wird im Raum verankert – ideale Bedingung für die kollaborative Nutzung und Visualisierung im realen Umfeld.
Bedeutung & Ausblick:
Die AR Brain Demo demonstriert das Potenzial von Augmented Reality in der Medizin, Lehre und Forschung. Die Verbindung von Echtzeit 3D-Grafik (Unity), Medizinischer Bildgebung (3D Slicer) und 3D Nutzerschnittstellen (MRTK) ist exemplarisch für die Projekte im Studienzweig Multimediatechnik. Die Demo dienst als Lehrbeispiel für Studierende im Bereich Extended Reality (XR)-Entwicklung und 3D-Interaktion. Künftig könnte die Demo in Richtung operativer Planung, Navigation oder Remote-Zusammenarbeit erweitert werden. Ebenso könnte Anwendung für Video-See-Through-Displays (z.B., Meta Quest) adaptiert werden.