Perfekte Auswahl

Farb-/Multispektralauswertung von Sortiergut in Echtzeit

Bei der industriellen Verarbeitung von Schüttgütern ist es wichtig, dass die Produkte in hoher Reinheit sortiert und fehlerhafte Teile sicher entfernt werden. Hierfür entwickelt das Fraunhofer IOSB seit Anfang der neunziger Jahre Sortieranlagen für die automatische Sortierung von Schüttgut wie Glas, Kunststoff, Gestein, Mineralien, Getreide, Kaffeebohnen und weitere Lebensmittel. Als wichtige Sortierkriterien werden Farbe, Form, Länge, Oberfläche und die Materialbeschaffenheit eingesetzt.

(Bild: Fraunhofer IOSB) Für die automatische Sortierung fällt das Schüttgut von einem Förderband. Ein IPC steuert die Ausblasdüsen positions- und zeitgenau an. Während der Flugzeit von ca. 30ms erkennt er fehlerhafte Teile bei einem Durchsatz von 70 Millionen Pixeln/s.

Für die automatische Sortierung fallen die einzelnen Schüttgutobjekte/-teile in einer Wurfparabel z.B. von einem Förderband. Während des Flugs mit einer Geschwindigkeit von etwa 3m/s nehmen eine oder mehrere 4K Zeilenkameras Farbbilder mit 4.000 Pixeln auf. Kurz hinter der Sichtlinie der Kamera befindet sich für das Ausschleusen fehlerhafter Teile eine Ausblaseinrichtung, d.h. eine Leiste mit Druckluftdüsen (etwa 200 Düsen/m Förderbandbreite). Ein schneller Bildauswertungsrechner steuert die Düsen positions- und zeitgenau an. Während der Flugzeit von ca. 30ms zwischen der Sichtlinie der Kamera und der Ausblaslinie erkennt er die fehlerhaften Teile bei einem Durchsatz von 70 Millionen Pixeln/s.

Echtzeit dank Framegrabber-FPGAs

Ein häufiges Bildauswertungsverfahren bei der Schüttgutsortierung ist es, für jeden Bildpunkt eine Klassifikation durchzuführen. Dabei kommen Klassifikatoren für die Unterscheidung von Farben, Flächen- und Längenanalyse sowie morphologische Operationen zum Einsatz: In mehreren Binärbildern sind alle Bildpunkte markiert, deren Helligkeit im Produkt nicht oder selten vorkommt. Darauf findet eine Bildbereinigung durch morphologische Filter statt. Anschließend werden die verbliebenen Teile vermessen und nach ihren Eigenschaften klassifiziert. Nach der Aufnahme eines RGB-Bildes, das einem Weißabgleich unterzogen wird, werden die Bilddaten in den HSI-Farbraum gewandelt, um die Farben von Hintergrund und Gutteilen besser zu definieren und zu separieren. Vor der eigentlichen Sortierung werden die Anlagen anhand von Aufnahmen repräsentativer Teile über eine grafische Benutzeroberfläche eingelernt, sowie Produktklassen simuliert und parametriert. Anwender haben die Möglichkeit, während der Sortierung einzugreifen und das Ergebnis der Klassifikation durch Wahl der jeweils geeigneten Sortierregel, sowie durch Anpassung verschiedener Parameter, zu beeinflussen. Die Entscheidungstabellen für den Farbklassifikator werden vor Beginn automatisch angelernt. Beim Sortierergebnis beträgt je nach Produkt die Menge der fälschlicherweise ausgeschossener Teile knapp 0,5 bis 3%, während der Fehlanteil im Gutmaterial weit unter 0,01% liegt. „Die hervorragenden Resultate bei der Sortierung des Schüttguts sind vor allem auf die hochleistungsfähigen Kameras und Bildsensoren in Verbund mit der nachgelagerten Bildverarbeitung, -auswertung und -darstellung in Echtzeit über Framegrabber-FPGAs zurückzuführen. Die Bildverarbeitungskomponenten sind maßgeschneidert auf die jeweilige Inspektionsaufgabe ausgerichtet und erlauben sehr schnelle Erkennungszeiten bei der Klassifizierung“, unterstreicht Dipl.-Ing. Günter Struck, Gruppenleiter Sichtprüfsysteme am Fraunhofer IOSB. So werden bei den zahlreichen Projekten des Instituts hochauflösende Zeilenkameras unterschiedlichen Typs (Farbe, Grauton, UV, hyperspektral) bis in den nicht sichtbaren Frequenzbereich hinein (IR-, UV-Strahlung) eingesetzt. Die hohe Verarbeitungsleistung des Bildverarbeitungssystems bei schnell bewegtem Schüttgut wird durch die FPGAs auf den Framegrabbern erzielt, die über zwei Camera Link Schnittstellen direkt an die Kameras angeschlossen sind. Dadurch ist es möglich, Kamerabilder als Rohdaten in hoher Qualität und in Echtzeit vorzuverarbeiten, ohne die CPUs auf den Rechnern zu belasten.

FPGAs auf dem MicroEnable 4 Camera Link Framegrabber ermöglichen es, die Kamerabilder als Rohdaten in Echtzeit vorzuverarbeiten. (Bild: Silicon Software GmbH)

Exakte Synchronisierung

Wird mehr Leistung als die eines einzelnen Framegrabbers benötigt, lässt sich über eine Aufsatzplatine die Leistung von FPGA und Speicher erhöhen. Die Skalierung schafft zusätzliche Ressourcen für komplexe, parallel ablaufende Visionaufgaben, insbesondere um Bildverarbeitung und externe Peripherie über Triggersignale aufeinander abzustimmen und somit die Zeilenkameras mit Drehgebern für die Transportbandpositionierung/-geschwindigkeit und den Ausblasdüsen zu synchronisieren. Für die Bildverarbeitungsaufgaben und die Verarbeitung der Datensignale ermöglicht die Entwicklungsumgebung VisualApplets die Programmierung des FPGAs. „Über diese Software lässt sich eine Echtzeit-Synchronisierung der Bildverarbeitungs- und Triggersignale exakt festlegen. Über die einfache grafische Programmierung von Algorithmen anhand von Datenfluss-Diagrammen und mithilfe von über 200 Operatoren konnten wir auf den Einsatz einer Hardware-Beschreibungssprache verzichten“, betont Struck. Mit der VisualApplets Extension Protection werden die selbst erstellten Designs des Algorithmus für die eingesetzten Framegrabber wirksam vor Kopieren geschützt. Das System bietet eine SDK-Anbindung, die es erlaubt, die erstellten Hardware-Programmierungen als C, C++ oder C# Projekt in vorhandene Anwendungen zu integrieren. Eine SDK-Ausgabe generiert einen funktionsfähigen Beispielcode in C/C++, in dem alle Parameter aufgelistet sind, um auf die Hardwareregister zuzugreifen und anhand derer sich die Bildverarbeitungsanwendung aus der eigenen Software heraus steuern lässt. „Die Kombination von Hard- und Software, die für die jeweilige Bildverarbeitungsaufgabe präzise aufeinander abgestimmt sind, führt durch die exakte Synchronisierung aller Daten sowie beteiligten Geräte und Anlagen zu besten Sortierergebnissen. Die frei mit Bildverarbeitungsanwendungen programmierbare Hardware erlaubt eine präzise Farbanalyse und -klassifikation des Schüttguts, sodass selbst feinste Farbunterschiede der Teile nahezu fehlerfrei diagnostizierbar sind“, so das Fazit von Struck.