Smarte Kombi

Kombinierte 2D-/3D-Inline-Inspektion unabhängig von Oberflächen

Inline Computational Imaging ist ein Verfahren für die kombinierte 2D- und 3DInline-Inspektion. Es arbeitet weitgehend unabhängig von den Oberflächeneigenschaften der geprüften Objekte und liefert in Echtzeit optimierte Farbbilder und detaillierte 3D-Tiefenmodelle.

(Bild: AIT Austrian Institute of Technology GmbH)

Inline Computational Imaging (ICI) zielt darauf ab, die Lücke zwischen Systemen mit hoher optischer Auflösung und kleiner Prüfgeschwindigkeit bzw. hoher Prüfgeschwindigkeit und geringer optischer Auflösung zu schließen. Es ist eine neuartige Single-Sensor-Technologie für die simultane 2D- und 3D-Inspektion von bewegten Objekten und liefert nicht nur detaillierte 3D-Daten, sondern auch pixelgenau rektifizierte Farbbilder. Das Funktionsprinzip ist eine Kombination aus Lichtfeld und Photometrie. Beide Methoden stammen aus dem Bereich des Computational Imaging, die auf Basis mehrerer Aufnahmen eines Objektes seine 3D-Rekonstruktion berechnen. Die Lichtfeldtechnik verwendet dafür Abbildungen aus verschiedenen Betrachtungswinkeln. Sie ist besonders gut in der Bestimmung des Höhenprofils für texturierte Bereiche, versagt jedoch für Bereiche mit homogener oder glänzender Oberflächen sowie für feine Oberflächendetails. Photometrisch Stereo verwendet Abbildungen des Objektes mit unterschiedlichen Beleuchtungsrichtungen. Sie berechnete aus den Schattierungsverläufen lokale Oberflächenkrümmungen und hat ihre Stärken in der Rekonstruktion von feinen Oberflächendetails. ICI kombiniert die beiden Methoden in einem kompakten Setup. Der Sensorkopf besteht aus einer Matrixkamera, einem nicht telezentrischen Objektiv und zwei Lichtzeilen. Die Kamera wird dabei in einem Multi-Line-Scan-Modus betrieben, bei dem nur wenige Zeilen ausgelesen werden. Jede Zeile agiert dabei als unabhängige Zeilenkamera, die das Objekt abscannt, während es sich unter der Kamera vorbei bewegt. So ergibt sich ein Bildstapel bestehend aus genau so vielen Bildern wie Zeilen ausgelesen wurden. Jede Einzelaufnahme zeigt das Objekt dabei unter einem anderen Betrachtungs- und Beleuchtungswinkel. Der ICI-Bildstapel enthält somit gleichzeitig Lichtfeldinformationen (unterschiedlichen Blickwinkel) als auch photometrische Informationen (unterschiedlichen Beleuchtungswinkel).

Hochpräzise 3D-Rekonstruktion

Die ICI 3D-Algorithmen sind eine Kombination aus Bestimmung des 3D-Höhenprofils und Oberflächenrekonstruktion. Für die Bestimmung des Höhenprofils wird der aufgenommene ICI-Bildstapel als sogenannter EPI-Stack (Epipolar Plane Image) dargestellt. Die Neigungen (Winkel) der EPI-Linearstrukturen korrelieren dabei für jeden Bildpunkt mit der Tiefe. Größere Winkel entsprechen weiter entfernten Objektpunkten, kleiner Winkel entsprechen näher liegenden Objektpunkten. Mittels Multi-View-Korrespondenzanalyse wird das Höhenprofi, bzw. eine Tiefenschätzung der gesamten Szene ermittelt. Die Verwendung speziell entwickelter Features gewährleistet Robustheit gegenüber Helligkeits- und Kontrastschwankungen. Die Algorithmen kombinieren für jeden Bildpunkt die Tiefenschätzung aus dem Lichtfeld mit der Oberflächenrekonstruktion aus der photometrischen Stereoanalysen und erreichen damit eine verbesserte Rekonstruktionsgenauigkeit. Die 3D-Rekonstruktion kann sowohl als Punktwolke, als auch als Tiefenmap jeweils mit und ohne Konfidenzwerten bereitgestellt werden.

Foto (l.o.) eines matt schwarzen Kabelbinders, einer glänzenden Münze und einer Feile: 3D-Modelle mit Standard-Stereo-Verfahren (r.o.), aus Lichtfelddaten (l.u.) und mit dem Inline Computational Imaging (ICI) Verfahren (r.u.). (Bild: AIT Austrian Institute of Technology GmbH)

Unabhängig von den Reflexionseigenschaften

Die Kombination der beiden Technologien macht die Methode robust hinsichtlich Unterschiede in den Reflexionseigenschaften der Prüfobjekte. Bild 2 zeigt Ergebnisse unterschiedlicher 3D-Rekonstruktionsmethoden für eine Szene, bestehend aus einem matt schwarzen Kabelbinder, einer glänzenden Münze und einer Feile: Rechts oben sieht man das Ergebnis einer 3D-Rekonstruktion, die aus zwei Bildern mit einem Standard-Stereo-Algorithmus berechnet wurde. Mit dem Stereo-Algorithmus ist der Kabelbinder in der 3D-Rekonstruktion nicht erkennbar und die glänzenden Bereiche der Münze führen zu Rekonstruktionsartefakten. Insgesamt führt das Stereo-Verfahren hier zu nicht zufriedenstellenden Ergebnissen. Das linke untere Bild zeigt das 3D-Rekonstruktionsergebnis bei Verwendung eines Multi-Stereo-Algorithmus und des vollständigen ICI-Bildstapels. Hier ist erkennbar, dass durch die Verwendung von mehr als zwei Ansichten die Qualität des Ergebnisses deutlich verbessert wird, so dass alle Komponenten erkannt werden, aber noch keine feinen Oberflächendetails. Das untere rechte Bild zeigt die mit dem ICI-Verfahren ermittelte 3D-Rekonstruktion. Mit dieser Methode können alle Objekte exakt rekonstruiert werden, nicht nur die feinen Details der Feilenoberfläche, sondern auch die feinsten Oberflächendetails der glänzenden Münze und die Ausstoßpunkte des texturlosen schwarzen Kabelbinders sind deutlich erkennbar.

Optimierte 2D-Bilder

Neben der 3D-Punktwolke stehen auch Farbbilder mit optimierter Bildqualität zur Verfügung. Optimierte 2D-Farbbilder mit Glanz- und Schattenunterdrückung, All-in-Focus Bilder HDR-Bilder werden zur Verfügung gestellt. ICI ist somit nicht nur für die präzise 3D-Messung geeignet, sondern ermöglicht auch eine robustere und bessere Fehlererkennung. Die Technologie arbeitet unabhängig von der verwendeten Zeilenanzahl und kann durch Parametrierung an die jeweiligen Anforderungen angepasst werden. Kleinere Zeilenanzahl heißt schneller Aufnahmegeschwindigkeiten, geringere Datenmengen und damit kürzerer Rechenzeit, jedoch auch weniger detaillierte Ergebnisse. Die ICI Technologie arbeitet mit lateralen Auflösungen von 100 bis 4m pro Pixel. Die erreichbare Aufnahmegeschwindigkeit wird von der Framerate der verwendeten Kamera bestimmt. Typischerweise arbeitet das System mit 20kHz bei elf Zeilen. Bei Verwendung von vier Zeilen und Verwendung der xposure:camera des AIT sind Scanraten bis 150kHz realisierbar.