Grabber-Power
FPGA-beschleunigtes Photometric Stereo
Konnte das Photometric Stereo Verfahren in Multikamerasystemen mit hohen Datenraten bisher nicht umgesetzt werden, ist dies nun durch eine Beschleunigung durch FPGA-Framegrabber leicht realisierbar.
Bild 1 | Trennung des Aufdrucks einer Pharmaverpackung (Albedobild) von der Blindenschrift (Krümmungsbild). Oben: Vier Input Bilder und das Bild einer Digitalkamera; unten: Bild der mittleren Krümmung und das Albedobild. (Bild: MSTVision GmbH)
Der grundlegende Ansatz von Photometric Stereo wurde bereits vor etwa 40 Jahren von Robert J. Woodham vorgestellt. Von einem Objekt werden bei einer festen Kameraposition mehrere Bilder erfasst, die sich allein durch die Beleuchtungsrichtung unterscheiden. Nötig sind dafür mindestens drei Beleuchtungsrichtungen, die meisten Systeme verwenden jedoch vier oder mehr. Basierend auf der bekannten Geometrie ist es möglich, die Richtung des Oberflächennormals zu errechnen und daraus sowohl die Oberflächenkrümmung des Objektes, als auch das Rückstrahlverhalten (Albedo) an jedem Pixel des Bildes. So lässt sich z.B. der Aufdruck einer Pharmaverpackung (Albedobild) von der Blindenschrift (Krümmungsbild) trennen (Bild 1). Da sich einige Oberflächendefekte nur im Krümmungsbild sicher detektieren lassen, erfreut sich das Verfahren steigender Beliebtheit. Um Systemintegratoren die Umsetzung eigener Lösungen zu ermöglichen, haben die Algorithmen schon vor einiger Zeit Einzug in kommerziell verfügbare Softwarebibliotheken gehalten. Einige Komponentenhersteller bieten sogar speziell auf dieses Verfahren abzielende Produkte an. Bei fast allen aktuell auf dem Markt verfügbaren Lösungen kommen Matrixkameras zum Einsatz. Diese sind jedoch meist nicht in der Lage, bewegte Objekte mit ausreichender Geschwindigkeit zu erfassen. Dies erschwert den Einsatz in der Oberflächeninspektion, z.B. von Endlosmaterial, erheblich.
Bild 2 | Bandbreiten mit dem FPGA-basierten Photometric Stereo-Verfahren. (*Framegrabber Silicon Software) (Bild: MSTVision GmbH)
Zeitliches Multiplexen
Durch die Verfügbarkeit von speziellen Zeilenbeleuchtungen, bei denen das Licht in Zeilenrichtung seitlich verkippt aus der Beleuchtung austritt (z.B. die CL Baureihe von MTD) ist auch die Realisierung von drei bzw. vier verschiedenen Beleuchtungsrichtungen in einem Zeilenkamera-Aufbau möglich. Für die reine Bilderfassung bietet MSTVision bereits seit Jahren die MultiChannel Technologie an. Sie basiert auf Framegrabbern von Silicon Software, deren FPGA mit Hilfe der Entwicklungsumgebung VisualApplets mit zusätzlichen Funktionalitäten ausgestattet wurde. So können mittels handelsüblicher Komponenten mehrere schnell triggerbare Zeilenbeleuchtungen durch zeitliches Multiplexen in nur einem Durchlauf erfasst werden. Die entstandenen Bilder können einfach mit Standardbibliotheken verarbeitet werden. Der Photometric Stereo Algorithmus ist jedoch so rechenintensiv, dass selbst moderne Prozessoren nicht ausreichend Rechenleistung bieten, um Oberflächen lückenlos zu untersuchen.
Bild 3 | Graphische Benutzeroberfläche zur Einstellung der Timing-Sequenz. (rot: Kamera Trigger, grün: vier LED Pulse) (Bild: MSTVision GmbH)
Photometric Stereo im FPGA
Zur Lösung hat MSTVision den Photometric Stereo Ansatz im FPGA umgesetzt und mit der MultiChannel Technologie kombiniert. So ist es jetzt möglich, große Flächen mit mehreren Zeilenkameras lückenlos nach dem Photometric Stereo-Verfahren zu bewerten. Der Framegrabber stellt dazu – ohne zusätzliche CPU-Belastung – die Ergebnisse von Photometric Stereo als vier optionale Bilder bereit (mittlere Krümmung, X- und Y-Ableitung, Albedobild). Dabei wurde viel Wert auf Vergleichbarkeit zu den auf dem Markt verfügbaren Software-Bibliotheken gelegt. Die neue Lösung ist nicht auf Zeilenkameras begrenzt, sondern kann auch für Matrixkameras eingesetzt werden. Durch die umfangreiche Parallelisierung im FPGA können je Framegrabber sehr hohe Datenraten bei gleichzeitig geringer Leistungsaufnahme verarbeitet werden. So wäre der Framegrabber microEnable 5 VCLx theoretisch in der Lage bis zu 1GByte/s zu verarbeiten. In der praktischen Anwendung wird dies jedoch durch das verwendete Interface (z.B. CameraLink), aber auch dem zur Verfügung stehendem internen Speicher (Block-RAM), limitiert. Bandbreiten von bis zu 755MB/s konnten aber bereits umgesetzt werden. Die Berechnung in der CPU und GPU ist ebenfalls möglich, hat jedoch den Nachteil einer deutlich höheren Leistungsaufnahme (Bild 2). Die neue Technologie erlaubt es zusätzlich zu den vier Beleuchtungsrichtungen noch weitere beliebige Beleuchtungen zu erfassen. Zur einfachen Parametrierung steht eine grafische Benutzeroberfläche zur Verfügung. Sie ermöglicht die Eingabe der Kameraparameter und der Beleuchtungs-Geometrien sowie die Erzeugung der benötigten Timing-Sequenzen (Bild 3).
Bild 4 | Zeilenbeleuchtung CL 60 von MTD mit schrägem Lichtaustritt. (Bild: MSTVision GmbH)
Fazit
Konnte das Photometric Stereo Verfahren in Multikamerasystemen mit hohen Datenraten bisher nicht umgesetzt werden, ist dies nun durch die FPGA-Beschleunigung leicht realisierbar. Hierfür stehen eine Vielzahl von Kameras und Beleuchtungskomponenten zur Verfügung. Eine zusätzliche Softwarebibliothek ist nicht erforderlich. Die Auslagerung der Berechnung auf den Framegrabber ermöglicht deutlich kompaktere Systemarchitekturen. Neben den hier vorgestellten standardisierten FPGA-Lösungen, bietet MSTVision auch die Erarbeitung von Sonderlösungen mit dem neuen Verfahren als Dienstleistung an. So kann diese auch mit einer im Framegrabber laufenden automatischen Defektdetektion (Blob-Analyse) erweitert und mit der von MSTVision angebotenen Highspeed-Sorting-Technologie kombiniert werden. Der Einsatz der FPGA-basierten Deep-Learning-Lösungen von Silicon Software ist ebenfalls geplant.
