Institut für Raumbezogene Informations- und Messtechnik
Hochschule Mainz - University of Applied Sciences

Wissensbasierte Detektion von Objekten in Punktwolken für Anwendungen im Ingenieurbereich (WiDOP)

Wissensbasierte Detektion von Objekten in Punktwolken für Anwendungen im Ingenieurbereich.
Motivation und Ziele: 

Punktwolken sind als primäres Messergebnis von terrestrischen Laserscannern Träger von 3D-Geometrieinformationen. Laserscanner kommen in den unterschiedlichsten Bereichen im Umfeld von Geoinformation und Vermessung zum Einsatz, wie zum Beispiel bei der topographischen Bestandsaufnahme, der Gebäudevermessung oder der geometrischen Dokumentation von technischen Anlagen. Aber auch in anderen Bereichen, wie z.B. dem Facility Management, dem Maschinenbau oder der Robotik werden Punktwolken, zum Teil auch nach anderen Messprinzipien gewonnen. Dabei kommt der Auswertung von Punktwolken hin zu praktikablen Ergebnissen (Position, Größe, Lage, Form von Objekten bis hin zu Plänen oder 3D-Modellen) eine große Bedeutung zu, da vorhandene Methoden bislang vor allem auf manueller Interaktion mit entsprechend hohem zeitlichen Aufwand beruhen und aus wirtschaftlicher Sicht ineffizient sind. Ansätze für eine Automatisierung der Modellbildung verfolgen bislang überwiegend datengetriebene Konzepte und sind angesichts der Komplexität der Objekte und des enormen Informationsgehaltes von Punktwolken in ihrem Leistungsvermögen begrenzt und nur von geringer praktischer Relevanz.

Aktivitäten: 

Ziel des Projektes ist es nun, effiziente, intelligente Methoden für eine automatisierte Auswertung von terrestrischen Laserscannerdaten zu entwickeln. Im Gegensatz zu den bisherigen Ansätzen wird hier das Ziel verfolgt, bereits vorhandenes Wissen über die zu vermessenden Objekte in die Auswertung einfließen zu lassen. Dieses Vorwissen kann beispielsweise in Datenbanken, Bestands- oder Bauplänen enthalten sein und gestattet somit eine gezielte, objektorientierte Detektion, Identifizierung und gegebenenfalls Modellierung der interessierenden Geometrien und Elemente in den Punktwolken. Die Qualität dieses Wissens kann sehr unterschiedlich sein und von einfachen Hinweisen auf die Existenz - z.B. bei punktförmigen Objekten in Datenbanken - bis zu ausführlichen geometrischen Beschreibungen - z.B. bei 3D-CAD-Datensätzen - reichen, wird aber immer einen zusätzlichen Beitrag leisten können, der für die Automatisierung der Auswertung von Nutzen ist. In gleicher Weise kann das Ergebnis von einfachen Aussagen zum Objekt (Typ, Ort, Größe, Lage) bis hin zu komplexeren Angaben (Form, 3D-Modell) reichen.

Eckdaten

Zeitraum:     01.11.2009 - 01.11.2012
  • – Helmi Ben Hmida, MSc
Kooperation:
  • – Metronom Automation GmbH
  • – Fraport AG
  • – DB Netz AG
  • – LE2I, Laboratoire d’Electronique, Informatique et Image, Université Burgundy
  • – Fraunhofer Institut für Techno- und Wirtschaftsmathematik (ITWM)
  • – FARO Technologies Inc.
  • – Hochschule Bochum
  • – Bundesministerium für Bildung und Forschung (BMBF)
Förderkennzeichen:      1758X09
Titelbild:
  • Detektion von Objekten in Punktwolken

Nachrichten

Romain, Philippe and Éric, Duncan, Maxime and Pierre are six students from France who came here to Mainz for a three months internship. They come from the…

Verwandte Projekte

Zur Dokumentation der bestehenden Fassade des Mainzer Rathauses wurde diese mit UAV-Photogrammetrie und terrestrischem Laserscanning aufgenommen. Die daraus abgeleiteten Orthoansic…
Zur Vermessung von Schächten im Bergbau wurde ein 360° Mehrkamerasystem entwickelt, das am i3mainz kalibriert wurde. Mithilfe einer simulierten Kalibrierung wurde ein geeignetes Ka…

Publikationen

Innovative concepts for image based data capture and analysis of huge point clouds

2014

F. Boochs

RTF

n.A.

Results from two sample projects will be presented, showing possibilities to improve quality and precision of data capture and evaluation.

One example explains the potential to improve the absolute positional accuracy of a robot guided effector when applying photogrammetric strategies. Need and aims of such a tracking process are explained, followed by a description of actual solutions and their restrictions. Then the potential of photogrammetric solutions for such purposes are outlined, followed by a detailed description of the system developed. Finally, practical tests are shown, underlining that the design and realization are able to hold the challenging aims and improve the absolute accuracy of a robot by a factor of 20.

In an second example possibilities to evaluate huge data sets are presented. Due to the increasing availability of large unstructured point clouds obtained from laser scanning and/or photogrammetric data, there is a growing demand for automatic processing methods. Given the complexity of the underlying problems, several new methods resort to using semantic knowledge in particular for supporting object detection and classification. A novel approach making use of advanced algorithms is shown, in order to benefit from intelligent knowledge management strategies for the processing of 3D point clouds along with object classification in scanned scenes. In particular, these method extends the use of semantic knowledge to all stages of the processing, including the guidance of the 3D processing algorithms. The complete solution consists in a multi-stage iterative concept based on three factors: the modeled knowledge, the package of algorithms, and the classification engine.


Automatic object detection in point clouds based on knowledge guided algorithms

2013

H.Q. Truong

RTF

SPIE Optical Metrology, International Society for Optics and Photonics, 2013

The modeling of real-world scenarios through capturing 3D digital data has been proven applicable in a variety of industrial applications, ranging from security, to robotics and to fields in the medical sciences. These different scenarios, along with variable conditions, present a challenge in discovering flexible appropriate solutions. In this paper, we present a novel approach based on a human cognition model to guide processing. Our method turns traditional data-driven processing into a new strategy based on a semantic knowledge system. Robust and adaptive methods for object extraction and identification are modeled in a knowledge domain, which has been created by purely numerical strategies. The goal of the present work is to select and guide algorithms following adaptive and intelligent manners for detecting objects in point clouds. Results show that our approach succeeded in identifying the objects of interest while using various data types.


Automatic Detection and Classification of Objects in Point Clouds using multi-stage Semantics

2013

H.Q. Truong,
H. Ben Hmida,
F. Boochs,
A. Habed,
C. Cruz,
Y. Voisin,
N.C. Cruz

PDF / RTF

Journal of photogrammetry, remote sensing and geoinformation processing

Due to the increasing availability of large unstructured point clouds obtained from laser scanning and/or photogrammetric data, there is a growing demand for automatic processing methods. Given the complexity of the underlying problems, several new methods try to using semantic knowledge in particular for supporting object detection and classification. In this paper, we present a novel approach which makes use of advanced algorithms to benefit from intelligent knowledge management strategies for the processing of 3D point clouds and for object classification in scanned scenes. In particular, our method extends the use of semantic knowledge to all stages of the processing, including the guidance of the 3D processing algorithms. The complete solution consists in a multi-stage iterative concept based on three factors: the modelled knowledge, the package of algorithms, and the classification engine. Two case studies illustrating our approach are presented in this paper. The studies were carried out on scans of the waiting area of an airport and along the tracks of a railway. In both cases the goal was to detect and identify objects within a defined area. With our results we demonstrate the applicability of our approach.

 

Automatische Detektion und Klassifikation von Objekten in Punktwolken unter Nutzung mehrschichtiger Semantik. Infolge der zunehmenden Verfügbarkeit großer unstrukturierter Punktwolken aus Laserscanning und Photogrammetrie entsteht wachsender Bedarf für automatisierte Auswerteverfahren. Angesichts der häufig hohen Komplexität der in den Punktwolken enthaltenen Objekte stoßen rein datengetriebene Ansätze an ihre Grenzen. Es entstehen vermehrt Konzepte, die auf verschiedene Weise auch Gebrauch von der Semantik machen. Semantik und Algorithmik sind dabei oft eng miteinander verwoben und führen zu Limitationen in Art und Umfang der nutzbaren Semantik. Mit der vorgestellten Lösung werden Algorithmik und Semantik klar getrennt und mit den exakt auf diese Domänen zugeschnittenen Werkzeugen behandelt. Deren prozedurale Verknüpfung führt dann zu einem neuen Verarbeitungskonzept, das eine nach unserem Kenntnisstand bislang nicht erreichte Flexibilität und Vielseitigkeit in der Nutzung unterschiedlichster Semantiken besitzt und auch die Steuerung der Algorithmen integriert. Die iterative Gesamtlösung fußt auf drei Säulen, nämlich dem modellierten Wissen, dem Pool der Algorithmen und dem Identifikationsprozess. Erreichbare Resultate werden an zwei Beispielen dokumentiert. Ein Beispiel befasst sich mit der Analyse von Punktwolken aus dem Bereich der Lichtraumvermessung an Bahntrassen, das zweite mit Räumlichkeiten in einem Flughafen. In beiden Fällen müssen bestimmte Objektarten aufgefunden und klassifiziert werden.


A knowledge-based approach to the automatic algorithm selection for 3D scene annotation

2012

H.Q. Truong

RTF

11th International Conference on Information Science, Signal Processing and their Applications (ISSPA) IEEE

In this paper we present a novel approach for 3D point cloud processing with the aim of annotating objects in a scanned scene. Our method is based on human cognition to guide the 3D processing algorithms and uses semantic knowledge to manage data and identify immediate situation-dependent objectives. In particular, we have built a system that allows an automatic and flexible selection of algorithms. The selection strategy exploits knowledge to identify the geometrical features to be detected as well as the objects to be annotated at each stage of the 3D processing of the point cloud.


Integration of knowledge to support automatic object reconstruction from images and 3D data

2011

F. Boochs,
H. Ben Hmida,
A. Karmacharya,
A. Marbs,
H.Q. Truong,
C. Cruz,
C. Nicolle,
A. : V. Habed

PDF / RTF

Eighth International Conference on Systems, Signals and Devices (SSD) 2011

Object reconstruction is an important task in many fields of application as it allows to generate digital representations of our physical world used as base for analysis, planning, construction, visualization or other aims. A reconstruction itself normally is based on reliable data (images, 3D point clouds for example) expressing the object in his complete extent. This data then has to be compiled and analyzed in order to extract all necessary geometrical elements, which represent the object and form a digital copy of it. Traditional strategies are largely based on manual interaction and interpretation, because with increasing complexity of objects human understanding is inevitable to achieve acceptable and reliable results. But human interaction is time consuming and expensive, why many researches has already been invested to use algorithmic support, what allows to speed up the process and to reduce manual work load.

Presently most of such supporting algorithms are datadriven and concentrate on specific features of the objects, being accessible to numerical models. By means of these models, which normally will represent geometrical (flatness, roughness, for example) or physical features (color, texture), the data is classified and analyzed. This is successful for objects with low complexity, but gets to its limits with increasing complexness of objects. Then purely numerical strategies are not able to sufficiently model the reality.

Therefore, the intention of our approach is to take human cognitive strategy as an example, and to simulate extraction processes based on available human defined knowledge for the objects of interest. Such processes will introduce a semantic structure for the objects and guide the algorithms used to detect and recognize objects, which will yield a higher effectiveness. Hence, our
research proposes an approach using knowledge to guide the algorithms in 3D point cloud and image processing.


Integration of knowledge into the detection of objects in point clouds

2010

F. Boochs,
H. Ben Hmida,
A. Marbs,
H.Q. Truong

PDF / RTF

Proceedings of ISPRS Commission III Symposium - PCV 2010,

The reconstruction of 3D objects from point clouds and images is a major task in many application fields. The processing of such spatial data, especially 3D point clouds from terrestrial laser scanners, generally consumes time and requires extensive interaction between a human and the machine to yield a promising result. Presently, algorithms for an automatic processing are usually datadriven and concentrate on geometric feature extraction. Robust and quick methods for complete object extraction or identification are still an ongoing research topic and suffer from the complex structure of the data, which cannot be sufficiently modelled by purely numerical strategies. Therefore, the intention of our approach is to take human cognitive strategy as an example, and to simulate these processes based on available knowledge for the objects of interest. Such processes will first, introduce a semantic structure for the objects and second, guide the algorithms used to detect and recognize objects, which will yield a higher effectiveness. Hence, our research proposes an approach using knowledge to guide the algorithms in 3D point cloud and image processing.


Wissensbasierte Objekterkennung in 3D-Punktwolken und Bildern

2010

F. Boochs,
H. Ben Hmida,
A. Marbs,
H.Q. Truong

PDF / RTF

30. Wissenschaftlich-Technische Jahrestagung der DGPF 2010 - 3-Ländertagung

Konventionelle Algorithmen zur Erkennung von Objekten in Punktwolken sind bisher vor allem von manueller Interaktion mit entsprechend hohem zeitlichem Aufwand geprägt und aus wirtschaftlicher Sicht damit oftmals ineffizient. Ansätze für eine Automatisierung der Modellbildung verfolgen bislang überwiegend daten-getriebene Konzepte und sind angesichts der Komplexität der Objekte und des enormen Informationsgehaltes von Punktwolken in ihrem Leistungsvermögen begrenzt und nur von geringer praktischer Relevanz. Die Autoren haben sich daher mit diesem Vorhaben zum Ziel gesetzt, effiziente, intelligente Methoden für eine automatisierte Auswertung von terrestrischen Laserscannerdaten zu entwickeln. Im Gegensatz zu den bisherigen Ansätzen wird hier das Ziel verfolgt, bereits vorhandenes Wissen über die zu vermessenden Objekte in die Auswertung einfließen zu lassen. Dieses Vorwissen kann beispielsweise in Datenbanken, Bestands- oder Bauplänen enthalten sein und gestattet somit eine gezielte, objektorientierte Detektion, Identifizierung und gegebenenfalls Modellierung von komplexen Geometrien und Objekten. Von entscheidender Bedeutung ist dabei die Abbildung und Formalisierung des Wissens, damit es zur Unterstützung der Punktwolkenverarbeitung taugt. Im nachfolgenden Beitrag sollen erste Konzeptideen und Lösungsansätze des erst kürzlich gestarteten Forschungsvorhabens präsentiert werden. Die angestrebte Lösung wird ontologie-basiert sein und sich damit an den Konzepten des „Semantic Web“ orientieren. Dies soll es gestatten, bereits vorhandene und noch zu entwickelnde nummerische Verfahren gezielt zur Erkennung von Objekten in Punktwolken und ggf. orientierten Bildern zu steuern und damit eine automatisierte, intelligente, dem jeweiligen Objekt angepasste Algorithmik zu ermöglichen. Die zu entwickelnden Verfahren werden zunächst anhand der Anforderungen in den Anwendungsbereichen des Facility Managements und der Bahnvermessung entwickelt und erprobt, sollen aber zukünftig universal auch in anderen Gebieten einsetzbar sein.