Institut für Raumbezogene Informations- und Messtechnik
Hochschule Mainz - University of Applied Sciences

TakeIT

Das Entwicklungsprojekt „TakeIT“ soll einen Beitrag zur Lösung eines zentralen Problems der Automatisierungstechnik leisten und konzeptionelle, strukturelle und technologische Voraussetzungen schaffen, die Roboter in die Lage versetzen, ungeordnet in einem Behälter liegende Objekte erkennen und greifen zu können. Um Roboter dazu zu befähigen, benötigen sie eine möglichst eindeutige, genaue und vollständige räumliche Beschreibung der zu greifenden Objekte. Trotz der weit fortgeschrittenen Messtechnik ist dieses Problem bis heute nicht zufriedenstellend gelöst. Ein wesentlicher Schritt zur Lösung dieser Problematik kann aber unter Nutzung neuerdings verfügbarer 3D-Messkameras erreicht werden. Insbesondere dann, wenn die von diesen Kameras erzeugten 3D-Punktwolken mit hochaufgelösten Bildern kombiniert werden und damit evtl. Defizite in Bezug auf Detailauflösung und geometrischer sowie optischer Charakterisierung kompensiert werden.
Motivation und Ziele: 
In der Automatisierungstechnik spielen Roboter, die ungeordnet in einem Behälter liegende Objekte erkennen und greifen können, eine zentrale Rolle („bin picking“). Um Roboter dazu zu befähigen, benötigen sie eine möglichst eindeutige, genaue und vollständige räumliche Beschreibung der zu greifenden Objekte. 
 
Trotz der weit fortgeschrittenen Messtechnik ist dies ein bis heute nicht zufriedenstellend gelöstes Problem, da die bislang eingesetzten Messverfahren nicht gleichzeitig die nötige Geschwindigkeit, Genauigkeit und Vollständigkeit in der Erfassung von 3D-Oberflächen besitzen. Neuerdings verfügbare 3D-Messkameras können mit ihrer hohen Messfrequenz zur Lösung dieser Problemstellung beitragen.
 
Um die Schwächen aktueller 3D-Kameras hinsichtlich ihres höheren Messrauschens, ihrer geringeren Auflösung und der mangelnden morphologischen Präzision an Kanten zu kompensieren, werden die 3D-Datensätze mit hochauflösenden Bildern einer simultan eingesetzten Industriekamera ergänzt.
Aktivitäten: 
Das Messsystem bestehend aus einer höher aufgelösten monochromen 2D-Kamera und einer mobilen 3D-Kamera setzt für die Ausschöpfung des Potenzials der Messsensoren und die Möglichkeit der konformen Nutzung eine gemeinsame Kalibrierung und Kenntnis der gegenseitigen Orientierung voraus. In einer sogenannten „Simultankalibrierung“ werden diesbezüglich für beide Systeme die Kameraparameter, sowie deren relative Orientierung über einen Ausgleichungsprozess mitbestimmt. Diese feste relative Beziehung zwischen beiden Sensoren ermöglicht die Korrespondenzwiederherstellung zwischen Bild und 3D Messungen.
 
Dies ermöglicht das Zusammenspiel beider Sensoren im Hinblick auf die robuste Generierung eines 3D-Gesamtmodells durch die Registrierung einzelner Aufnahmen. Aus dem Gesamtmodell wird in einem weiteren Verarbeitungsschritt die Position und Ausrichtung  der einzelnen zu entnehmenden Objekte detektiert und an den Roboter übertragen. Die Ermittlung der Positionen erfolgt dabei über Segmentierungsalgorithmen angewendet auf den 3D-Datensatz, kombiniert mit Verfahren aus der Bildanalyse.
Ergebnisse: 
Zur Fusion der aus mehreren Raumrichtungen gewonnenen 3D-Datensätze wurden verschiedene, auf unterschiedlichen Konzepten basierende, Methoden getestet. Auf Basis dieser Erkenntnisse erfolgte die Entwicklung und Implementierung von Softwarebausteinen. Mit diesen Bausteinen ist es im Gesamtsystem möglich, multisensorische und multiperspektivische 2D/3D-Datensätze in Echtzeit zu einem Gesamtdatensatz zu verschmelzen. Basierend auf diesem Datensatz erfolgt die Erkennung und robotergestützte Entnahme von Objekten.
 
Die Projektergebnisse kommen zunächst einmal primär den Projektpartnern Metronom Automation GmbH und Hirata Engineering Europe GmbH zugute. Beide Unternehmen haben ihre Tätigkeit in der Fabrikautomation und robotergestützten Fertigung bzw. Qualitätskontrolle. Perspektivisch gesehen wird TakeIT in deren zentralen Anwendungsfeldern zum Einsatz kommen können.

Eckdaten

Zeitraum:     01.09.2011 - 30.11.2013
Beteiligte Personen:
  • – Rainer SchĂĽtze M.Sc.
Kooperation:
  • – Stiftung Rheinland-Pfalz fĂĽr Innovation
  • – Hirata Engineering Europe GmbH
  • – Metronom Automation GmbH
Förderkennzeichen:     152202-386261/558
Titelbild:
  • Sensorsystem in Kombination mit Roboterarm
,

Nachrichten

Auch in diesem Jahr präsentierte sich das i3mainz auf der Hannover Messe für Industrieautomation (HMI). Als Mitaussteller am Gemeinschaftsstand des Landes…

Der Technologiepark „Bildung und Forschung – Photonik studieren“ bildete den Rahmen, in dem die Lehreinheit Geoinformatik und Vermessung der FH Mainz und…

Verwandte Projekte

Zur Dokumentation der bestehenden Fassade des Mainzer Rathauses wurde diese mit UAV-Photogrammetrie und terrestrischem Laserscanning aufgenommen. Die daraus abgeleiteten Orthoansic…
Zur Vermessung von Schächten im Bergbau wurde ein 360° Mehrkamerasystem entwickelt, das am i3mainz kalibriert wurde. Mithilfe einer simulierten Kalibrierung wurde ein geeignetes Ka…

Publikationen

Registrierung von 3D Punktwolken via 2D Korrespondenz fĂĽr ein kombiniertes Messsystem

2014

M. Burger,
S. Polat,
B. Tietz,
F. Boochs

PDF / RTF

Oldenburger 3D-Tage

Ein Messsystem, bestehend aus einem 3D-Sensor (z.B. TOF) und einem höher auflösenden 2D-Sensor (RGB- oder Monochromkamera) kombiniert die Echtzeiterfassung von 3D-Geometrien mit der hohen Informationsdichte der Oberflächentextur. Dabei stehen beide Sensoren in einer festen relativen Beziehung zueinander, die sich über Standardmethoden der Photogrammetrie bestimmen lässt. Sie bildet die Grundlage für die rechnerische Übertragung von 2D-Tracking und Merkmalsextraktion auf die 3D-Geometrie. Ziel ist, in Echtzeit, bei sequenzieller 3D-Aufnahme, ein homogenes und rauschreduziertes dreidimensionales Gesamtmodell zu generieren.

Hohes Rauschen, nicht modellierte Systematiken und frequente Messausfälle verhindern das Funktionieren etablierter Registrierverfahren. Diese, nur auf 3D-Daten basierende Verfahren, berechnen eine Grobregistrierung über homologe 3D-Merkmalspunkte und eine Feinregistrierung über ICP. Im Rahmen der hier vorgestellten Lösung wurden Maßnahmen zur Rauschkompensation und Steigerung der Robustheit konzipiert und entwickelt. Die Registrierung wird aus 2D-Korrespondenzen geschätzt. Dazu werden über Merkmalsoperatoren bestimmte homologe Bildpunkte durch die relative Orientierung mit repräsentativen 3D-Punkten in Verbindung gebracht. Aus den repräsentativen 3D-Punkten wird eine räumliche Transformation geschätzt. Da mit einer Vielzahl von korrespondierenden Punkten geschätzt wird, sind Rauschen und Punktausfälle weniger problematisch. Die Gesamtregistrierung wird zur Steigerung der Robustheit und Genauigkeit über korrespondierende Ebenen vorgenommen. Dazu werden Ebenen im 3D mit einem eigens entwickelten Segmentierungsalgorithmus ermittelt und die Korrespondenz über Ebenen- und Punkthaufenähnlichkeit hergestellt. Die Ebenenregistrierung ist ein flächenbasierter Ansatz, dessen Zuverlässigkeit grundsätzlich gegenüber punktbasierten Ansätzen nicht von Punktvarianz beeinträchtigt wird.