AIMR, KI-basierte Entscheidungsunterstützung in Mixed Reality Umgebungen
Das Projekt AIMR (AI based Decision Support in MR-Environments) zielt auf die Simulation realer Einflussfaktoren und das Testen ihrer Auswirkungen auf Nutzerinnen und Nutzer unter Anwendung von verschiedenen Sensoren ab. Dazu werden Mixed Reality (MR) Umgebungen ermöglicht, über verschiedene IoT-Sensoren angereichert und die gewonnen Daten mittels geeigneter KI-Algorithmen analysiert, sowie entsprechende Ergebnisse abgeleitet. Zentrales Element hierfür ist der Aufbau und Einsatz einer Low-Cost-VR-CAVE, einer Art Virtual Reality (VR) Umgebung, bei der mehrere Bildschirme so positioniert werden, dass sie einen 2x3 Meter großen Raum formen und eine virtuelle Präsentation von 3D-Daten ermöglichen. Der physische Cave-Raum dient nicht nur als Plattform für die visuelle Darstellung, sondern stellt auch eine Umgebung für die feste Installation von Sensorik bereit, der den konsistenten Einsatz und Analyse in verschiedenen Anwendungsszenarien erlaubt.
Motivation
Insbesondere die physische Bewegungsfreiheit ohne die Notwendigkeit von VR-Headsets sowie die Navigation ohne Controller innerhalb der VR-Cave bieten die Möglichkeit, Simulationen mit mehreren Personen gleichzeitig zu erleben und deren natürliche Bewegungsmuster konsistent zu analysieren. Zusätzlich können auch physische Objekte, wie Messinstrumente je nach Szenario in den Raum integriert werden, welches die Kombination realer und virtueller Komponenten im Sinne einer Mixed Reality-Umgebung ermöglicht. Die Simulationsumgebung dient nicht nur der Darstellung von statistischen und räumlichen Daten, sondern insbesondere der immersiven Visualisierung von Stadtmodellen unter verschiedenen Umgebungsfaktoren. Diese sind in der Realität aufgrund potenzieller Gefahren, Kosten oder anderer Faktoren nur schwer abzubilden.
Die Bewegungsdaten der Probanden werden während der Simulation erfasst und durch zusätzliche IoT-Sensorik, wie Bodengewichts-, Herzfrequenz- oder Temperatursensoren ergänzt. Dies ermöglicht die Untersuchung des Einflusses der Umgebungsvisualisierung auf die Probandinnen und Probanden in verschiedenen Szenarien. Unter Laborbedingungen bietet der Cave-Raum daher die ideale Umgebung, um personenbezogene Sensor- und 3D-Bewegungsdaten zu kombinieren und deren komplexe Zusammenhänge ganzheitlich zu untersuchen.
Aktivitäten
Im Zentrum des Projekts steht nicht nur der Aufbau der Cave selbst, sondern auch die Erstellung von Mixed-Reality-Szenarien. Diese ermöglichen umfassende Auswertungen von bestehenden und neu zu entwickelnden KI-Algorithmen. Dazu wird ein Reallabor in Form einer 2x3 Meter großen Low-Cost-VR-Cave über 8 Monitore, eine berührungsempfindliche Bodenplatte und ergänzende Kamera- und IoT-Hardware realisiert. Derzeit sind folgende drei Anwendungsszenarien geplant: die Analyse von Bewegungsmustern im Raum, die Ermittlung des Aktivierungsgrads der Nutzerinnen und Nutzer von MR-Anwendungen sowie virtuelle Vermessungsübungen im Studiengang Geoinformatik & Vermessung.
Die Forschungs- und Entwicklungsarbeiten, die vom i3mainz durchgeführt werden, konzentrieren sich in einem ersten Schritt auf Stadtmodelle, die so gestaltet sind, dass sie den Nutzerinnen und Nutzern ein immersives Erlebnis bieten, indem sie eine realistische und dreidimensionale Darstellung städtischer Umgebungen ermöglichen. Das Einsatzpotential dieser frei erkundbaren Stadtmodelle soll in Verbindung mit geeigneten KI-basierten Analysemethoden im Kontext des Projektes RAVFINIERT bei verschiedenen Bürgerbefragungsszenarien untersucht werden. Im Hinblick auf den Einsatz der Cave im Studiengang Geoinformatik & Vermessung soll untersucht werden, ob sich komplexe Vermessungsübungen in der Cave mit Studierenden vorbereiten lassen. Zum Beispiel ist die Platzierung von Tachymetern oder 3D-Scannern innerhalb der Cave angedacht, um virtuelle Messübungen mit realen Messinstrumenten durchzuführen.