Semantic Data Capture

Erfassung und simultane Datenklassifikation in Echtzeit - zur smarten 3D-Punktwolke mit dem mobilen Endgerät

iPad Pro und iPhone Pro Prototyp App als iOS Beta TestFlight verfügbar

Semantic Data Capture - Bastian Plaß, CC BY SA 4.0

Mit Hilfe von Augmented Reality, Machine Learning und LiDAR können 3D-Punktwolken erfasst und live klassifiziert werden. Die iOS-Applikation wurde im Rahmen des Projektes bim4cAIre am Institut für Raumbezogene Informations- und Messtechnik i3mainz prototypisch entwickelt und soll in Zukunft bei intelligenten Raumanalysen unterstützen. Derzeit werden über ein Dutzend Klassen für die strukturelle und funktionale Innenraumklassifikation unterstützt, darunter Fußboden, Wand, Decke, Tür, Fenster für die elementaren Elemente und Tisch, Stuhl, Monitor, Bett, Toilette, Waschbecken und Laptop für funktionale Einrichtungsgegenstände. Die Applikation bietet eine View-Komponente nach dem Erfassungsprozess und den Export in gängige 3D-Datenformate wie .ply und .obj an.

Anhand des Demo-Videos sind die Funktionalitäten der Applikation zu erkennen. Nach einer kurzen Initialisierungszeit werden Objekte mit Hilfe des LiDAR Sensors als 3D-Mesh erfasst. Die Knoten des Meshes werden direkt klassifiziert und entsprechend eingefärbt. Dabei unterscheidet die Applikation zwischen den Objektkategorien Fußboden, Wand, Decke, Tür, Fenster, Tisch, Stuhl und unbekannt. Nach dem Scanning erlaubt die Applikation das Klassifikationsergebnis zu verfeinern, indem Mesh-Knoten der Klasse unbekannt mittels YOLO nachklassifiziert werden.

Semantic Data Capture - Bastian Plaß, CC BY SA 4.0

Erfassung und direkte Klassifikation von Innenraumgegenständen mit der iPad Pro Applikation. Die Einfärbung des 3D Meshs ist dabei ohne Face-Färbung realisiert. Die Geometrieanpassung des Meshes wird dynamisch an die Objekttopologie angepasst, sodass komplexere Objektformen durch feinere Faces approximiert werden als weitestgehend ebene Flächen.

Semantic Data Capture - Bastian Plaß, CC BY SA 4.0

Verfeinerung des Klassifikationsergebnisses durch eine nachträgliche, bildbasierte Klassifikation spezifischer Objekte mittels YOLO. Der Scanprozess wird gestoppt, sodass keine weiteren Daten mehr erfasst werden. Das bis dahin erzeugte 3D Mesh wird mit dem Kamerafeed der Applikation überlagert. Als unbekannt klassifizierte Objekte können im Anschluss erkannt, über eine Bounding Box lokalisiert und somit in das 3D Mesh zurückprojiziert werden, worin eine weitere Einfärbung die Klassifikationsverfeinerung abschließt.

Sind Sie an der Applikation oder einer Zusammenarbeit mit uns interessiert?

Dann schreiben Sie uns gerne bastian.plass@hs-mainz.de

Unsere Datenschutzrichtlinie finden Sie hier.