Institut für Raumbezogene Informations- und Messtechnik
Hochschule Mainz - University of Applied Sciences

MIndKam

Optimierte geometrisch/physikalische Modellierung digitaler Industriemesskameras im Einsatz der industriellen QualitÀtskontrolle.
Motivation und Ziele: 

Optische Messtechniken bilden heute einen wichtigen Faktor, wenn es darum geht die QualitĂ€t und ProduktivitĂ€t in der industriellen Produktion zu steigern. Zu diesem Trend hat vor allem die zĂŒgige Entwicklung von Digitalsensoren beigetragen.

Obwohl Algorithmen von Filmkameras ohne tiefgreifende VerĂ€nderungen auch bei Digitalsensoren verwendet werden können, zeigen Untersuchungen und Erfahrungen aus industriellen Projekten, dass das geometrisch-physikalische Verhalten digitaler Kameras fĂŒr höchste AnsprĂŒche nicht ausreichend modelliert wird.

Dies zeigt sich vor allem in Restfehlern, welche nach der Kalibrierung der Kameras in den Messbildern sichtbar werden. In vielen FĂ€llen sind Diese immer noch zu groß und zu systematisch (Abbildung 1) um akzeptiert zu werden. Somit ist sowohl Potenzial fĂŒr signifikante QualitĂ€tssteigerungen, wie auch fĂŒr das nicht exakt vorhandene VerstĂ€ndnis der auf die Geometrie eines Digitalsensors wirkenden Faktoren vorhanden.

Dieses VerstĂ€ndnis soll im Rahmen einer kooperativen Promotion mit der UniversitĂ€t Koblenz im Kontext dieses Projektes erarbeitet werden und die darauf bauende, erweiterte mathematische Beschreibung zu einer Genauigkeitssteigerung heutiger und zukĂŒnftiger Kameragenerationen beitragen.

AktivitĂ€ten: 

2015

In diesem Jahr legte Waldemar Kisser den Fokus seiner Forschungen auf den Nachweis von Rest-Systematiken in Bildresiduen und untersuchte, ob diese aus den physikalischen Sensoreigenschaften abgeleitet werden können.

Er konnte zeigen, dass vernachlĂ€ssigte Ellipsen-ExzentrizitĂ€tsfehler bei dreidimensionalen Kalibrierkörpern ein wesentlich geringeres Fehlerpotential haben, als dies bei ebenen Kalibrierkörpern der Fall ist. Die erzielten Ergebnisse prĂ€sentierte er wĂ€hrend der Oldenburger 3D Tage. Im Folgenden untersuchte Waldemar Kisser dazu passende Korrekturalgorithmen und stellte ein erweitertes Modell auf der SPIE Konferenz MĂŒnchen vor. Mit seiner Vorgehensweise ist es möglich, Ellipsen-ExzentrizitĂ€ten durch wenige Parameter zu beschreiben.

Nach Korrektur von Ellipsen-ExzentrizitÀten können weitere Rest-Systematiken vorkommen, die zum Beispiel durch physikalische Sensorprozesse entstehen. Hierzu hat er mit Untersuchungen begonnen, ob solche Rest-Systematiken mit aktuellsten Machine-Learning Algorithmen wie Support Vector Machines ECOC oder nach Bayes regularisierten neuronalen Netzen nachgewiesen werden können.

Gegenstand von Untersuchungen war auch, ob sich radiometrische Eigenschaften und vor allem deren Abweichungen vom Optimalfall auf die Geometrie einer Kamerakalibrierung negativ auswirken. Hierzu nahm er an einer mehrtĂ€tigen Schulung des HCI Heidelberg teil. Dabei konnte erlernen, wie physikalische Prozesse eines Sensors quantifiziert und einem Test unterzogen werden können. Auch wurden die am i3mainz verfĂŒgbaren Kamerasensoren einem Test nach EMVA1288 unterzogen. Die Auswertung der dabei gesammelten Daten ist nun Forschungsgegenstand.

2014

In diesem Jahr hat Waldemar Kisser weitere Faktoren untersucht, die sich wĂ€hrend einer Kamerakalibrierung entscheidend auf die Objekt-Geometrie auswirken können. Dazu gehören u.a. die Position und Ausrichtung der Kamera mit Fokus auf die resultierende Kovarianzmatrix, Strahlenschnittgeometrie, entfernungsabhĂ€ngige Verzeichnung im Nahbereich, Kreisdetektionsoperator und die EllipsenexzentrizitĂ€t. Diese Untersuchungen hat er mit Hilfe numerischer Simulationen durchgefĂŒhrt.

Die EllipsenexzentrizitĂ€t besitzt dabei ein großes Fehlerpotential, welches Kisser vertieft betrachtete. Sie entsteht bei kreisförmigen Zielmarken sobald deren Ebene nicht parallel zur Bildebene verlĂ€uft. Wird das Zentrum einer schrĂ€g aufgenommenen Zielmarke durch Ausgleichung aus deren Ellipsenkontur bestimmt, so stimmt dieser nicht mit dem projizierten Mittelpunkt ĂŒberein. Diese Differenz wird als Ellipsen ExzentrizitĂ€t bezeichnet. ZunĂ€chst wies Kisser deren Einfluss auf die Resultate ebener und quaderförmiger Kalibrierkörper numerisch in einer Simulation nach. Im zweiten Schritt fĂŒhrte er eine Realkalibrierung mit vergleichbaren Bedingungen durch, um diese Ergebnisse zu ĂŒberprĂŒfen.

ExzentrizitĂ€ts-Fehler verursachen WidersprĂŒche im Datenmaterial. Deren GrĂ¶ĂŸe und Auswirkung wird von vielen Faktoren bestimmt. Z.B. fĂŒhrt die Verwendung der Kalibrierebene zu einer nahezu vollstĂ€ndigen Kompensation durch das Kameramodell. Als Konsequenz verĂ€ndert sich die Ă€ußere Orientierung und es entsteht in der Kamerakonstante ein Maßstabsfehler von 29ppm. Wird die so kalibrierte Kamera zum Messen verwendet, dann kann es - ĂŒbertragen auf ein 2,5m breites Messvolumen - im ungĂŒnstigsten Fall zu einem Messfehler von ≈70ÎŒm kommen. Beim quaderförmigen Kalibrierkörper kompensiert das Kameramodell den Effekt deutlich geringer, wodurch Ă€ußere (Abbildung 3) und innere Orientierungen geringer geschĂ€digt werden. Die Kamerakonstante verĂ€ndert sich um 15ppm, wodurch es im Raum - wie oben genannt - zu einem Messfehler von ≈38ÎŒm kommen könnte.

2013

Zu Beginn untersuchte Kisser den aktuelle Stand von Nahbereich-Kalibriertechniken, die dabei erreichten Genauigkeiten und darauf wirkende Faktoren wie Optik und Licht (a), Zielmarkendesign (b), Aufnahme-Positionen und Orientierungen der Kamera (c), Vorverarbeitung Rohdaten (d) und das mathematische Modell (e).

Er fĂŒhrte Kalibrierungs-Messungen zu (c, e) durch, um die Auswirkungen von Aufnahmekonfigurationen und verschiedener mathematischer Modelle auf die geometrische Genauigkeit zu untersuchen.

Algorithmen zu (e), die es ermöglichen, vorhandene Genauigkeitsinformationen und Geometrien in die Berechnung einzufĂŒhren, implementierte er in der eigenen Software. Innerhalb des COSCH Projektes verbrachte Kisser einen Gastaufenthalt an der UniversitĂ€t Warschau, mit dem Ziel, das VerstĂ€ndnis von Optik, Lichteinfluss auf Zielmarken (a, b), dort eingesetzten Kalibriermethoden (e) und Vorverarbeitung der Bilddaten (d) zu erweitern.

Mit dem heutigen Wissensstand erreichen aufwendigere Messkampagnen Relativgenauigketen von ~1:100.000 in Bezug auf die ObjektgrĂ¶ĂŸe. Der Automobilbau bleibt damit unterhalb eines Zehntelmilllimeters fĂŒr die Sicherheit der ausgewiesenen Geometrien.

In neuesten Anstzen zu (e) versucht Kisser, mathematische UnzulÀnglichkeiten bereits etablierter Modelle zu reduzieren oder Restfehler zu korrigieren, die durch Fertigungsungenauigkeiten oder instabile Bauweise entstehen. Das Zwischenfazit zu (c, e) lautet:

‱ Neueste mathematische Modelle in (e) brachten einen Genauigkeitszuwachs von bis zu Faktor 4.
‱ VerĂ€nderte Kamera-Positionen und Orientierungen hatten nur einen geringen Einfluss auf die geometrische Genauigkeit,solange diese ausreichend in der Zahl und gut verteilt waren.
‱ Kontrollen zeigten, dass teilweise zu optimistische Genauigkeitswerte angegeben werden.

In einer Kooperation mit der UniversitĂ€t Warschau wird Kisser die am Host-Institut kennengelernten Kalibrier-Methoden mit der BĂŒndelausgleichung vergleichen. Außerdem will er prĂŒfen, wie sich die radiometrische Kalibrierung auf die erreichbare geometrische Genauigkeit auswirkt.

Ergebnisse: 

2016

W. Mordwinzew, F. Boochs, D. Paulus: „Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen“ In: T. Luhmann, C. MĂŒller (Hrsg.), Photogrammetrie – Kalibrierung und Messunsicherheit, BeitrĂ€ge der Oldenburger 3D-Tage 2016. Herbert Wichmann Verlag, Heidelberg.

2015

W. Mordwinzew, B. Tietz, F. Boochs: „Relevance of ellipse eccentricity for camera calibration“ In: Proc. SPIE 9528, Videometrics, Range Imaging, and Applications XIII, 95280D.

W. Mordwinzew, B. Tietz, F. Boochs: „Korrektur der Ellipsen-ExzentrizitĂ€t im Kontext von Kamerakalibrierungen“ In: T. Luhmann, C. MĂŒller (Hrsg.), Photogrammetrie – Kamerakalibrierung, BeitrĂ€ge der Oldenburger 3D-Tage 2015. Herbert Wichmann Verlag, Heidelberg.

 

 

 

 

Eckdaten

Zeitraum:     01.01.2013 - 31.12.2015
Beteiligte Personen:
Kooperation:
  • – Metronom Automation GmbH
  • – UniversitĂ€t Koblenz-Landau, WeST
Förderkennzeichen:     961 – 386261 / 1055

Nachrichten

Auch in diesem Jahr nahm das i3mainz wieder aktiv an den 15. Oldenburger 3D-Tagen teil. Die vom Institut fĂŒr Angewandte Photogrammetrie und Geoinformation


Verwandte Projekte

Im Zuge der Publikation und Analyse der 3D-Daten eines unberĂŒhrten Gruftkomplexes zu Qatna ist die Bereitstellung der Daten anhand einer plattformunabhĂ€ngigen Web-Applikation besch

Zur Publikation und UnterstĂŒtzung der archĂ€ologischen Interpretation sollte 2016 eine plattformunabhĂ€ngige Applikation entwickelt werden mit dessen Hilfe die unterschiedlichen 3D-D


Publikationen

Analyse von Bildresiduen mit Machine-Learning im Rahmen von Kamera-Kalibrierungen

2017

W. Kisser,
F. Boochs,
D. PAULUS

RTF

n.A.

Photogrammetrie ermöglicht es, Objekte mithilfe von Digitalbildern zu vermessen. Bei optimalen Messbedingungen sind QualitĂ€tsunterschiede der abgeleiteten Maße vor allem auf die mathematische Modellierung des verwendeten Sensors und des Objektivs zurĂŒckzufĂŒhren. Photogrammetrische Kalibrierungen erfolgen meist mittels BĂŒndelblockausgleichung. Diese gestattet es, vielerlei statistische Kennzahlen abzuleiten. Eine tiefer gehende Analyse der berechneten Parameter, Standardabweichungen, Korrelationen und deren Verteilungen kann Aufschluss darĂŒber geben, ob das verwendete Kalibriermodell SchwĂ€chen aufweist. Solche Defizite können sich durch systematische Restfehler im Bild- oder Objektraum Ă€ußern. Da solche Restfehler auch zu Ungenauigkeiten in den daraus abgeleiteten Informationen fĂŒhren können, ist deren mathematischer Nachweis und anschließende Kompensation zur Erzielung höchster Genauigkeiten unausweichlich. Neueste AnsĂ€tze nutzen Korrekturterme, um Residuensystematiken schon wĂ€hrend der BĂŒndelblockausgleichung zu modellieren. Dieser Beitrag beschreibt, wie auch Machine-Learning-
Techniken dabei helfen können, verbliebene systematische Abweichungen in Bildresiduen nachzuweisen, ohne dass hierzu ein Eingriff in die BĂŒndelblockausgleichung notwendig ist. Dies wird im ersten Schritt anhand von Beispieldaten erlĂ€utert. Im zweiten Schritt wird die Wirkung dieser Vorgehensweise an einer realen Kamerakalibrierung verdeutlicht. Abschließend erfolgt eine Diskussion der im Zuge dieser Arbeit erzielten Resultate und möglicher Eignung dieses Verfahrens in der Praxis.