Institut für Raumbezogene Informations- und Messtechnik
Hochschule Mainz - University of Applied Sciences

MIndKam

Optimierte geometrisch/physikalische Modellierung digitaler Industriemesskameras im Einsatz der industriellen QualitÀtskontrolle.
Motivation und Ziele: 

Optische Messtechniken bilden heute einen wichtigen Faktor, wenn es darum geht die QualitĂ€t und ProduktivitĂ€t in der industriellen Produktion zu steigern. Zu diesem Trend hat vor allem die zĂŒgige Entwicklung von Digitalsensoren beigetragen.

Obwohl Algorithmen von Filmkameras ohne tiefgreifende VerĂ€nderungen auch bei Digitalsensoren verwendet werden können, zeigen Untersuchungen und Erfahrungen aus industriellen Projekten, dass das geometrisch-physikalische Verhalten digitaler Kameras fĂŒr höchste AnsprĂŒche nicht ausreichend modelliert wird.

Dies zeigt sich vor allem in Restfehlern, welche nach der Kalibrierung der Kameras in den Messbildern sichtbar werden. In vielen FĂ€llen sind Diese immer noch zu groß und zu systematisch (Abbildung 1) um akzeptiert zu werden. Somit ist sowohl Potenzial fĂŒr signifikante QualitĂ€tssteigerungen, wie auch fĂŒr das nicht exakt vorhandene VerstĂ€ndnis der auf die Geometrie eines Digitalsensors wirkenden Faktoren vorhanden.

Dieses VerstĂ€ndnis soll im Rahmen einer kooperativen Promotion mit der UniversitĂ€t Koblenz im Kontext dieses Projektes erarbeitet werden und die darauf bauende, erweiterte mathematische Beschreibung zu einer Genauigkeitssteigerung heutiger und zukĂŒnftiger Kameragenerationen beitragen.

AktivitĂ€ten: 

2016

In diesem Jahr hat Waldemar Kisser den Fokus seiner Untersuchungen weiterhin auf den Nachweis von Restsystematiken in Residuen von Ausgleichungsergebnissen gelegt. Er konnte zeigen, dass unzureichend modellierte Ausgleichungsergebnisse mit Hilfe der Kleinste-Quadrate Methode sich durch systematische Muster in den Verbesserungen Ă€ußern können. Die Kleinste-Quadrate Methode wird vorwiegend dann verwendet, wenn ein Instrument kalibriert werden soll. Eine unzureichende Kalibrierung reduziert auch die maximal erreichbare PrĂ€zision der Messinstrumente.

In ersten Forschungsergebnissen zeigte er, dass sich Muster in den Verbesserungen mit Data-Mining und Machine-Learning Algorithmen zuverlĂ€ssig und automatisiert finden lassen. In einzelnen FĂ€llen konnte er mit kombinierten Kleinste-Quadrate und Machine-Learning Parametern Korrekturmodelle erstellen, die zu einer erneuten Genauigkeitssteigerung des Instruments fĂŒhrten. Erste Forschungsergebnisse zu diesen Untersuchungen hat er wĂ€hrend der Oldenburger 3D-Tage prĂ€sentiert.

In weiteren Untersuchungen betrachtete er die theoretischen und mathematischen Aspekte einer solchen Vorgehensweise, mit dem Ziel mögliche Grenzen, Risiken und Fehlinterpretationen aufzudecken. Diese werden voraussichtlich in einem begutachteten Artikel in den Allgemeinen Vermessungsnachrichten (AVN) 1/2017 publiziert.

Parallel dazu hat Waldemar Kisser Untersuchungen zu der Frage vorgenommen, inwieweit sich die Parameter des EMVA1288 Standards eignen, um erreichbare Genauigkeiten einer BĂŒndelblockausgleichung vorauszusagen. Hierzu modellierte er eine Verbindung von der Radiometrie eines Sensors in Form von Grauwertrauschen zur Unsicherheit einer photogrammetrischen Zielmarke im Bildraum. Die aus diesen Untersuchungen gewonnenen Erkenntnisse werden voraussichtlich Anfang 2017 in einem ebenfalls begutachteten Artikel der Fachzeitschrift GIS.Science veröffentlicht.

2015

In diesem Jahr legte Waldemar Kisser den Fokus seiner Forschungen auf den Nachweis von Rest-Systematiken in Bildresiduen und untersuchte, ob diese aus den physikalischen Sensoreigenschaften abgeleitet werden können.

Er konnte zeigen, dass vernachlĂ€ssigte Ellipsen-ExzentrizitĂ€tsfehler bei dreidimensionalen Kalibrierkörpern ein wesentlich geringeres Fehlerpotential haben, als dies bei ebenen Kalibrierkörpern der Fall ist. Die erzielten Ergebnisse prĂ€sentierte er wĂ€hrend der Oldenburger 3D-Tage. Im Folgenden untersuchte Waldemar Kisser dazu passende Korrekturalgorithmen und stellte ein erweitertes Modell auf der SPIE Konferenz MĂŒnchen vor. Mit seiner Vorgehensweise ist es möglich, Ellipsen-ExzentrizitĂ€ten durch wenige Parameter zu beschreiben.

Nach Korrektur von Ellipsen-ExzentrizitÀten können weitere Rest-Systematiken vorkommen, die zum Beispiel durch physikalische Sensorprozesse entstehen. Hierzu hat er mit Untersuchungen begonnen, ob solche Rest-Systematiken mit aktuellsten Machine-Learning Algorithmen wie Support Vector Machines ECOC oder nach Bayes regularisierten neuronalen Netzen nachgewiesen werden können.

Gegenstand von Untersuchungen war auch, ob sich radiometrische Eigenschaften und vor allem deren Abweichungen vom Optimalfall auf die Geometrie einer Kamerakalibrierung negativ auswirken. Hierzu nahm er an einer mehrtĂ€tigen Schulung des HCI Heidelberg teil. Dabei konnte erlernen, wie physikalische Prozesse eines Sensors quantifiziert und einem Test unterzogen werden können. Auch wurden die am i3mainz verfĂŒgbaren Kamerasensoren einem Test nach EMVA1288 unterzogen. Die Auswertung der dabei gesammelten Daten ist nun Forschungsgegenstand.

2014

In diesem Jahr hat Waldemar Kisser weitere Faktoren untersucht, die sich wĂ€hrend einer Kamerakalibrierung entscheidend auf die Objekt-Geometrie auswirken können. Dazu gehören u.a. die Position und Ausrichtung der Kamera mit Fokus auf die resultierende Kovarianzmatrix, Strahlenschnittgeometrie, entfernungsabhĂ€ngige Verzeichnung im Nahbereich, Kreisdetektionsoperator und die EllipsenexzentrizitĂ€t. Diese Untersuchungen hat er mit Hilfe numerischer Simulationen durchgefĂŒhrt.

Die EllipsenexzentrizitĂ€t besitzt dabei ein großes Fehlerpotential, welches Kisser vertieft betrachtete. Sie entsteht bei kreisförmigen Zielmarken sobald deren Ebene nicht parallel zur Bildebene verlĂ€uft. Wird das Zentrum einer schrĂ€g aufgenommenen Zielmarke durch Ausgleichung aus deren Ellipsenkontur bestimmt, so stimmt dieser nicht mit dem projizierten Mittelpunkt ĂŒberein. Diese Differenz wird als Ellipsen ExzentrizitĂ€t bezeichnet. ZunĂ€chst wies Kisser deren Einfluss auf die Resultate ebener und quaderförmiger Kalibrierkörper numerisch in einer Simulation nach. Im zweiten Schritt fĂŒhrte er eine Realkalibrierung mit vergleichbaren Bedingungen durch, um diese Ergebnisse zu ĂŒberprĂŒfen.

ExzentrizitĂ€ts-Fehler verursachen WidersprĂŒche im Datenmaterial. Deren GrĂ¶ĂŸe und Auswirkung wird von vielen Faktoren bestimmt. Z.B. fĂŒhrt die Verwendung der Kalibrierebene zu einer nahezu vollstĂ€ndigen Kompensation durch das Kameramodell. Als Konsequenz verĂ€ndert sich die Ă€ußere Orientierung und es entsteht in der Kamerakonstante ein Maßstabsfehler von 29ppm. Wird die so kalibrierte Kamera zum Messen verwendet, dann kann es - ĂŒbertragen auf ein 2,5m breites Messvolumen - im ungĂŒnstigsten Fall zu einem Messfehler von ≈70ÎŒm kommen. Beim quaderförmigen Kalibrierkörper kompensiert das Kameramodell den Effekt deutlich geringer, wodurch Ă€ußere (Abbildung 3) und innere Orientierungen geringer geschĂ€digt werden. Die Kamerakonstante verĂ€ndert sich um 15ppm, wodurch es im Raum - wie oben genannt - zu einem Messfehler von ≈38ÎŒm kommen könnte.

2013

Zu Beginn untersuchte Kisser den aktuelle Stand von Nahbereich-Kalibriertechniken, die dabei erreichten Genauigkeiten und darauf wirkende Faktoren wie Optik und Licht (a), Zielmarkendesign (b), Aufnahme-Positionen und Orientierungen der Kamera (c), Vorverarbeitung Rohdaten (d) und das mathematische Modell (e).

Er fĂŒhrte Kalibrierungs-Messungen zu (c, e) durch, um die Auswirkungen von Aufnahmekonfigurationen und verschiedener mathematischer Modelle auf die geometrische Genauigkeit zu untersuchen.

Algorithmen zu (e), die es ermöglichen, vorhandene Genauigkeitsinformationen und Geometrien in die Berechnung einzufĂŒhren, implementierte er in der eigenen Software. Innerhalb des COSCH Projektes verbrachte Kisser einen Gastaufenthalt an der UniversitĂ€t Warschau, mit dem Ziel, das VerstĂ€ndnis von Optik, Lichteinfluss auf Zielmarken (a, b), dort eingesetzten Kalibriermethoden (e) und Vorverarbeitung der Bilddaten (d) zu erweitern.

Mit dem heutigen Wissensstand erreichen aufwendigere Messkampagnen Relativgenauigketen von ~1:100.000 in Bezug auf die ObjektgrĂ¶ĂŸe. Der Automobilbau bleibt damit unterhalb eines Zehntelmilllimeters fĂŒr die Sicherheit der ausgewiesenen Geometrien.

In neuesten Anstzen zu (e) versucht Kisser, mathematische UnzulÀnglichkeiten bereits etablierter Modelle zu reduzieren oder Restfehler zu korrigieren, die durch Fertigungsungenauigkeiten oder instabile Bauweise entstehen. Das Zwischenfazit zu (c, e) lautet:

‱ Neueste mathematische Modelle in (e) brachten einen Genauigkeitszuwachs von bis zu Faktor 4.
‱ VerĂ€nderte Kamera-Positionen und Orientierungen hatten nur einen geringen Einfluss auf die geometrische Genauigkeit,solange diese ausreichend in der Zahl und gut verteilt waren.
‱ Kontrollen zeigten, dass teilweise zu optimistische Genauigkeitswerte angegeben werden.

In einer Kooperation mit der UniversitĂ€t Warschau wird Kisser die am Host-Institut kennengelernten Kalibrier-Methoden mit der BĂŒndelausgleichung vergleichen. Außerdem will er prĂŒfen, wie sich die radiometrische Kalibrierung auf die erreichbare geometrische Genauigkeit auswirkt.

Ergebnisse: 

2016

W. Mordwinzew, F. Boochs, D. Paulus: „Analyse von Bildresiduen mit Machine-Learning im Kontext von Kamera-Kalibrierungen“ In: T. Luhmann, C. MĂŒller (Hrsg.), Photogrammetrie – Kalibrierung und Messunsicherheit, BeitrĂ€ge der Oldenburger 3D-Tage 2016. Herbert Wichmann Verlag, Heidelberg.

2015

W. Mordwinzew, B. Tietz, F. Boochs: „Relevance of ellipse eccentricity for camera calibration“ In: Proc. SPIE 9528, Videometrics, Range Imaging, and Applications XIII, 95280D.

W. Mordwinzew, B. Tietz, F. Boochs: „Korrektur der Ellipsen-ExzentrizitĂ€t im Kontext von Kamerakalibrierungen“ In: T. Luhmann, C. MĂŒller (Hrsg.), Photogrammetrie – Kamerakalibrierung, BeitrĂ€ge der Oldenburger 3D-Tage 2015. Herbert Wichmann Verlag, Heidelberg.

 

 

 

 

Eckdaten

Zeitraum:     01.01.2013 - 31.12.2015
Beteiligte Personen:
Kooperation:
  • – Metronom Automation GmbH
  • – UniversitĂ€t Koblenz-Landau, WeST
Förderkennzeichen:     961 – 386261 / 1055
Titelbild:

Nachrichten

Das i3mainz gratuliert Waldemar Kisser herzlich zur erfolgreichen wissenschaftlichen Aussprache. In seiner Dissertation befasste er sich mit dem Thema: „Der


Auch in diesem Jahr nahm das i3mainz wieder aktiv an den 15. Oldenburger 3D-Tagen teil. Die vom Institut fĂŒr Angewandte Photogrammetrie und Geoinformation


Verwandte Projekte

In den zurĂŒckliegenden Jahren kann auf eine erfolgreiche Zusammenarbeit mit dem Institut fĂŒr Steinkonservierung e.V. (IfS) zurĂŒckgeblickt werden.
Durch die dreidimensionalen OberflÀchenvermessungen im Zuge des Verwitterungsmonitorings am Heidenportal des Wetzlarer Dom konnten Auswertungen und Vergleiche zwischen einzelnen Er


Publikationen

Analyse von Bildresiduen mit Machine-Learning im Rahmen von Kamera-Kalibrierungen

2017

W. Kisser,
F. Boochs,
D. PAULUS

RTF

n.A.

Photogrammetrie ermöglicht es, Objekte mithilfe von Digitalbildern zu vermessen. Bei optimalen Messbedingungen sind QualitĂ€tsunterschiede der abgeleiteten Maße vor allem auf die mathematische Modellierung des verwendeten Sensors und des Objektivs zurĂŒckzufĂŒhren. Photogrammetrische Kalibrierungen erfolgen meist mittels BĂŒndelblockausgleichung. Diese gestattet es, vielerlei statistische Kennzahlen abzuleiten. Eine tiefer gehende Analyse der berechneten Parameter, Standardabweichungen, Korrelationen und deren Verteilungen kann Aufschluss darĂŒber geben, ob das verwendete Kalibriermodell SchwĂ€chen aufweist. Solche Defizite können sich durch systematische Restfehler im Bild- oder Objektraum Ă€ußern. Da solche Restfehler auch zu Ungenauigkeiten in den daraus abgeleiteten Informationen fĂŒhren können, ist deren mathematischer Nachweis und anschließende Kompensation zur Erzielung höchster Genauigkeiten unausweichlich. Neueste AnsĂ€tze nutzen Korrekturterme, um Residuensystematiken schon wĂ€hrend der BĂŒndelblockausgleichung zu modellieren. Dieser Beitrag beschreibt, wie auch Machine-Learning-
Techniken dabei helfen können, verbliebene systematische Abweichungen in Bildresiduen nachzuweisen, ohne dass hierzu ein Eingriff in die BĂŒndelblockausgleichung notwendig ist. Dies wird im ersten Schritt anhand von Beispieldaten erlĂ€utert. Im zweiten Schritt wird die Wirkung dieser Vorgehensweise an einer realen Kamerakalibrierung verdeutlicht. Abschließend erfolgt eine Diskussion der im Zuge dieser Arbeit erzielten Resultate und möglicher Eignung dieses Verfahrens in der Praxis.


GenauigkeitsabschĂ€tzung von BĂŒndelblockausgleichungen mit Hilfe des EMVA1288 Standards

2017

W. Kisser,
F. BOOCHS,
D. PAULUS

RTF

gis.Science Zeitschrift fĂŒr Geoinformatik

Dieser Beitrag beschreibt die a priori AbschĂ€tzung erreichbarer Genauigkeiten der BĂŒndelblockausgleichung. Dies geschieht mit Hilfe des EMVA1288 Standards. Durch numerische Simulationen wird hierzu zunĂ€chst die Zentrumsunsicherheit der Zielmarken mit der daraus folgenden Objektraum-Unsicherheit verknĂŒpft. Der nĂ€chste Schritt ist eine VerknĂŒpfung der EMVA1288-Kennzahlen und der daraus resultierenden Unsicherheit eines Grauwertes mit Algorithmen zur Ellipsendetektion. Abschließend wird ein stochastisches Modell vorgeschlagen und an einer real durchgefĂŒhrten Kamerakalibrierung untersucht.