Multi-Sensor-Datenfusion für optische Inline-Inspektion
Forscher des Fraunhofer IWU haben eine Inline-Monitoring-Lösung entwickelt, die Defekte bei verschiedenen Materialien möglichst früh im Produktionsprozess erkennt. Das System fusioniert die Daten aus einer Vielzahl von Sensoren, um Struktur- und Oberflächenfehler zu erkennen, während die Komponenten die Produktionslinie durchlaufen. Ziel ist es, industrielle Fertigungsprozesse robuster und nachhaltiger zu gestalten, indem die Prozesssicherheit erhöht und die Fehlererkennung verbessert wird.
Bild 1 | Die Bilddaten der 20 TIS-GigE-Industriekameras von The Imaging Source sowie die Daten von hyperspektralen und nicht-optischen Sensoren werden mithilfe des Xeidana-Software-Frameworks fusioniert. (Bild: Fraunhofer-Institut IWU)
Das Herzstück des Systems bildet das eigene Xeidana Software-Framework und eine Matrix von zwanzig Industriekameras. Die Forscher hatten sehr spezifische Kamerakriterien: Global-Shutter-Monochrom-Sensor, jitterarme Echtzeit-Triggerung, zuverlässige Datenübertragung bei sehr hohen Datenraten und einfache Integration in ihr Software-Framework. Die Wahl fiel auf GigE-Vision-Standard-Industriekameras von The Imaging Source. Obwohl Xeidanas Framework-Ansatz die nötige Flexibilität bietet, um Daten von optischen, thermischen, multispektralen, Polarisations- oder nicht-optischen Sensoren (z.B. Wirbelstrom) zu verarbeiten, werden viele Prüfaufgaben mit den von optischen Standardsensoren gelieferten Daten erledigt. Der Projektleiter, Alexander Pierer, kommentierte: „Oft nutzen wir eine Datenfusion, indem wir die kritischen Bauteilbereiche redundant abtasten. Diese Redundanz kann zum einen darin bestehen, dass wir ein und dieselbe Region unter verschiedenen Perspektiven erfassen, was das sogenannte manuelle Ausspiegeln der menschlichen Sichtprüfung nachbildet.“ Um die für diese Aufgaben erforderlichen visuellen Daten zu erfassen, richteten die Forscher eine Kameramatrix aus 20 TIS-Kameras ein: 19 Monochrom- und eine Farbkamera.
Bild 2 | Zoom-Kameras bieten ein schnell einstellbares Sichtfeld (FOV), so dass das Demosystem Komponenten unterschiedlicher Größe und Form abtasten kann (Bild: Fraunhofer-Institut IWU)
Monochrom-Sensoren für die Defekterkennung
Aufgrund ihrer grundlegenden physikalischen Eigenschaften liefern monochrome Sensoren höhere Auflösung, verbesserte Empfindlichkeit und weniger Rauschen als Farbsensoren. Monochrom-Sensoren sind meist ausreichend, um Defekte, die sich als Helligkeitsunterschiede auf der Oberfläche darstellen zu detektieren. Die Farb-Kamera wird zur Farbtonanalyse, mittels HSI-Transformation eingesetzt, um Farbabweichungen, die auf einen fehlerhaften Lackauftrag hindeuten, zu erkennen. Die Aufgabenstellung und die kurzen Belichtungszeiten führten dazu, dass die Ingenieure sehr genaue Kamerakriterien hatten. Hauptauswahlkriterien waren Global-Shutter und eine echtzeitfähige Triggerung mit sehr geringem Jitter, ume Teile in der Bewegung mit sehr kurzen Belichtungszeiten im 10µs-Bereich aufzunehmen. Dabei müssen die Belichtung zwischen Kamera und der ebenfalls über Hardware-Eingang getriggerten Beleuchtung absolut synchron laufen. Wichtig war, dass die ROI bereits in der Firmware der Kamera auf relevante Bereiche eingegrenzt werden konnte, um die Netzwerklast für die Bildübertragung zu optimieren. Weiterhin war man auf eine zuverlässige Datenübertragung bei sehr hohen Datenraten angewiesen. Da die Teile im Durchlauf geprüft werden, dürfen Bildausfälle oder fragmentierte Bildübertragungen nicht auftreten. Im Laufe des Projekts baute das Team mehrere Systeme, sowohl für den industriellen Einsatz als auch für Demonstrations- und Testzwecke. In der typischen industriellen Umgebung, in der die zu prüfenden Komponenten konstant bleiben, erfüllten die Fixfokus-Industriekameras die Anforderungen des Teams. Für das Demo-/Testsystem verwendeten die Forscher jedoch eine Reihe verschiedener Komponenten, darunter Metallteile, Holzrohlinge und 3D-gedruckte Kunststoffteile, die Kameras mit einem einstellbaren Sichtfeld (FOV) erforderten. Die Monochrom-Zoomkameras von The Imaging Source mit integriertem, motorisiertem Zoom boten diese Funktionalität.
Massively Parallel Processing
Mit über 20 Sensoren unterschiedlicher Art, die Daten an das System liefern, ist mit einem Datenstrom in der Größenordnung von 400MB/s zu rechnen: Alle drei bis vier Sekunden erzeugt die 20-Kamera-Matrix 400 Bilder. Hinzu kommen die Daten der hyperspektralen Zeilenkamera und des Rauheitsmesssystems, die alle innerhalb der Zykluszeit von 10 Sekunden verarbeitet und ausgewertet werden müssen. Um diese Anforderung zu erfüllen, ist eine so genannte massiv-parallele Datenverarbeitung erforderlich, die 28 Rechenkerne (CPU) und den Grafikprozessor (GPU) umfasst. Diese Parallelisierung ermöglicht es dem Inspektionssystem, mit dem Produktionszyklus Schritt zu halten und ein inline-fähiges System mit 100%iger Kontrolle zu liefern. Der modulare Framework-Ansatz von Xeidana erlaubt die schnelle Realisierung eines massiv parallelen, anwendungsspezifischen Qualitätskontrollprogramms unter Verwendung eines Systems von Plug-Ins, die über eine Vielzahl von Bildverarbeitungsbibliotheken um neue Funktionalitäten erweitert werden können. Die Datenfusionsfähigkeiten des Systems können auf verschiedene Weise genutzt werden, je nachdem, welche Informationen die besten Ergebnisse liefern. Zusätzlich zu den eher standardmäßigen Inspektionsaufgaben der industriellen Bildverarbeitung arbeitet das Forscherteam derzeit an der Integration anderer nicht-destruktiver Prüftechniken wie 3D-Vision sowie zusätzlicher Sensoren aus dem nicht sichtbaren Spektrum (z.B. Röntgen, Radar, UV, Terahertz) zur Erkennung anderer Arten von Oberflächen- und Innendefekten.
