Erweiterte Schärfentiefe

Erweiterte Schärfentiefe

Erweiterte Schärfentiefe

Metrisch kalibrierte 3D-Lichtfeld-Kameras

Seit 2010 werden 3D-Lichtfeld-Kameras für industrielle Anwendungen wie optische Inspektion, 3D-Mikroskopie, Strömungsmessung und Phenotyping verkauft. Der Artikel gibt eine Einführung in die Technologie, beschreibt die Möglichkeit des metrischen Messens mit einer Lichtfeld-Kamera und erläutert das metrische Kalibrierverfahren.
Eine 3D-Lichtfeld-Kamera ermöglicht die Aufnahme eines 2D-Bildes in Kombination mit metrischen Tiefeninformationen über einen erweiterten Schärfentiefebereich mit nur einer Kamera, einem Standard Objektiv und einer Aufnahme ohne spezielle Beleuchtung. Die Vorteile der Kameras kommen vor allem bei der Aufnahme von kleinen Bauteilen zum Tragen, bei denen ein Stereo-Kamerasystem oder ein Laserlinienschnitt-Verfahren zu große Verdeckungsbereiche hat oder baulich nicht genug Platz vorhanden ist, z.B. tief in einem Plastikgehäuse sitzende Stecker oder Bonddrähte. Da nur ein einziges Bild nötig ist, müssen die Bauteile auch nicht stillstehen, sondern können geblitzt werden, was eine hohe Taktrate erlaubt. Prinzipiell hängt der Bildbereich, der mit einer Lichtfeld-Kamera aufgenommen werden kann, nur von dem verwendeten Objektiv ab. Die effektive laterale Auflösung ist maximal ¼ der Sensorauflösung und verändert sich über den gesamten Tiefenbereich. Die Anzahl der unterscheidbaren Tiefenebenen ist konstant ca. 100. Wird also ein Tiefenbereich von 10m abgedeckt, so ist die Tiefenauflösung ca.10cm, wohingegen bei einem Aufbau mit 10mm Tiefenbereich eine Tiefenauflösung von ca. 0,1mm erreicht wird. Die Kamera kann also durch die Auswahl eines passenden Objektivs auf den notwendigen Tiefenbereich eingestellt werden. Es stehen auch Kameras für den Anschluss an Mikroskope zur Verfügung, die ein normales Mikroskop in ein 3D-Mikroskop verwandeln.

Funktionsweise

Das Hauptobjektiv erzeugt ein virtuelles 3D-Zwischenbild (Bild 1). Dieses soll verdeutlichen, wo das Hauptobjektiv die verschiedenen Punkte des Objektes in den Fokus bringt. Jede Linse des Mikrolinsen-Arrays agiert nun wie eine kleine Kamera mit geringer Auflösung, die das virtuelle 3D-Zwischenbild aus einer leicht anderen Perspektive sieht. Der Aufbau ist vergleichbar zu einem Array von Kameras, nur dass bei der 3D-Lichtfeld-Kamera das Objektiv die Szene verkleinert (bzw. bei Mikroskopen vergrößert), bevor es von einem Array von ´Mikrokameras´ aufgenommen wird. Das so erzeugte Rohbild kann nicht direkt verwendet werden. Vielmehr werden aus dem Rohbild die Tiefeninformation und ein ´normales´ 2D-Bild anhand von spezieller Algorithmik berechnet. Da die Berechnungen sehr rechenintensiv sind, wurden sie auf die Grafikkarte ausgelagert. Bei der R12-Kamera mit einem 12MP-Sensor ist dies mit ca.15fps auf einem handelsüblichen PC mit einer Nvidia GTX780 Karte möglich. Ein erweiterter Schärfentiefebereich wird durch ein speziell entwickeltes und patentiertes Mikrolinsenarray möglich, das aus Mikrolinsen verschiedener Brennweiten besteht. Hierdurch wird eine Szene gleichzeitig mit verschiedenen Fokuseinstellungen aufgenommen, was die Schärfentiefe der Kamera stark vergrößert, ohne dass eine Verkleinerung der Blende nötig wäre. Ein vergrößerter Schärfentiefebereich bedeutet auch, dass Tiefeninformationen über einen größeren Tiefenbereich aufgenommen werden können als z.B. mit einem Stereo-Kamerasystem. Besonders beim Einsatz mit Mikroskopen kommt dies zum Tragen.

Metrische Kalibrierung

Mit der neuen Software ist nun auch die metrische Kalibrierung einer 3D-LichtfeldKamera möglich. Die Kalibrierung gleicht viele Aspekte des gesamten optischen Systems aus. Berechnet werden die Fokallänge, der Fokusabstand, die Verkippung der optischen Achse des Hauptobjektivs zum Sensor sowie die Radialverzerrung und die Krümmung der Schärfeebene des Hauptobjektivs. Zusätzlich werden Unterschiede zwischen den verschiedenen Mikrolinsentypen ausgeglichen. Die Kalibrierung unterscheidet sich wesentlich von der eines Stereo-Kamerasystems. Bei der 3D-Lichtfeld-Kamera werden benachbarte Mikrolinsen als Multi-Kamerasysteme betrachtet und über einen Korrelationsansatz gleiche Bildelemente in den entsprechenden Mikrobildern gesucht. Hieraus ergibt sich eine Disparität und somit eine Tiefe, allerdings nur für das virtuelle 3D-Zwischenbild. Der Einfluss des Hauptobjektivs muss nun auch mit in Betracht gezogen werden. Das gesamte optische System wird kalibriert, indem man eine Kalibrierplatte in verschiedenen Positionen mit einer unkalibrierten Lichtfeld-Kamera aufnimmt. Zur Validierung des Verfahrens wurde eine R29M-Kamera mit einem 29MP-Monochrom-Sensor verwendet. Mit der kalibrierten Kamera wurde ein Objekt aufgenommen, das aus fünf Treppenstufen besteht, die jeweils einen Abstand von 5mm zueinander haben. Für jede Stufe wurde aus den gemessenen Tiefendaten eine optimale Ebene berechnet. Die Standardabweichung der Tiefendaten innerhalb einer Stufe zur entsprechenden Ebene gibt Aufschluss über die Unsicherheit der Tiefenmessung. Der Abstand der gemessenen Ebenen zueinander beschreibt die absolute Genauigkeit der Tiefenmessung. Das laterale Bildfeld bei der Messung betrug 55x32mm. Der gesamte Tiefenbereich von der Oberfläche der untersten Stufe bis zur Oberfläche der obersten Stufe war 20mm. Die mittlere Standardabweichung der Tiefenmessungen von den jeweiligen Stufenebenen ergab sich als 0,19mm und die mittlere Abweichung der berechneten Stufenebenen zum Objekt lag bei 0,12mm. Es wurde also eine Genauigkeit von <1% erreicht.

Anwendungsbeispiel

Bild 2 zeigt das rekonstruierte 2D-Bild eines Steckers, aufgenommen mit einer metrisch kalibrierten R29M-Kamera. Der Stecker hat die Maße 55x32x24mm. Die 3D-Rekonstruktion des rot umrandeten Bereichs ist unter dem Bild dargestellt und zeigt, dass der Pin ganz links kürzer ist als die restlichen Pins. Der rekonstruierte Höhenunterschied von 1,83mm entspricht dem am Objekt gemessenen Unterschied von 1,9mm sehr gut. Die Gesamthöhe der guten Pins ist 7,7mm. Die 3D-Rekonstruktion des gesamten Steckers ist rechts in Bild 2 zu sehen. Neben den Pins lassen sich also auch andere Teile des Steckers auf Defekte prüfen. Um die absolute Tiefenauflösung zu erhöhen, reicht es ein Objektiv mit einer stärkeren Vergrößerung zu verwenden.

www.raytrix.de

Das könnte Sie auch Interessieren

Bild: Kontron Europe GmbH
Bild: Kontron Europe GmbH
Democratizing AI

Democratizing AI

Der Einstieg in die AI fällt vielen Unternehmen noch schwer, nicht zuletzt wegen der komplexen Hardware-Auswahl. In einer AI-Workstation verbinden Robotron und Kontron nun zwei Lösungsansätze zur unkomplizierten Anwendung von Computer Vision. Die Workstation ermöglicht auch Einsteigern das Trainieren, Ausführen und Inferenz der Algorithmen für eine Vielzahl von Modellen und Frameworks.

Bild: IDS Imaging Development Systems GmbH
Bild: IDS Imaging Development Systems GmbH
Verpixelte Gesichter

Verpixelte Gesichter

Dort wo personenbezogene oder andere sensible Daten bei Computer Vision oder kamerabasierter Bildverarbeitung im Fokus stehen, spielt das Thema Datenschutz eine große Rolle. Abhilfe soll eine dezentrale Datenverarbeitung durch Edge Computing schaffen. Ohne die Privatsphäre einzelner zu verletzen, sollen prozessrelevante Informationen direkt im Gerät extrahiert oder sensible Bildbereiche unkenntlich gemacht werden, bevor Aufnahmen das Gerät verlassen und weiter verarbeitet werden.

Bild: Vision Components GmbH
Bild: Vision Components GmbH
OEM Stereo-Kamera

OEM Stereo-Kamera

Wie Entwickler ihre Produkte schneller an den Markt bringen, Kosten einsparen und Designrisiken minimieren können, hat Vision Components kürzlich mit dem VC Power SoM
gezeigt, einem FPGA-basierten Hardwarebeschleuniger für Embedded Vision.
Jetzt entwickelt das Unternehmen sein FPGA-Modul weiter und präsentiert die VC Stereo Cam für 3D- und Zweikamera-Anwendungen.

Anzeige

Anzeige

Anzeige

Anzeige

Anzeige