Echtzeit für Alle
Reprogrammierbare Echtzeit-Signalverarbeitung auf FPGA-Framegrabbern
Wir kennen es vom Autofahren. Gibt es bei der Navigation verteilte Aufgaben, bei der Fahrer und Mitfahrer sich um Karten, Straßenführung und Autolenken kümmern, kann es schon passieren, dass eine Abbiegung verpasst wird. Zwischen der Auswertung der Kartendaten, dem Abgleich mit der aktuellen Position, der mündlichen Übertragung und der Fahrerreaktion gibt es eine zeitliche Verschiebung. Was aber passiert bei höheren Geschwindigkeiten? Ein Formel-1-Fahrer muss fast gleichzeitig die Rennstrecke beobachten, Gefahren erkennen und unmittelbar darauf reagieren.
Anwendungen in der Produktion gibt es unzählige, bei denen es auf extrem kurze Reaktionszeiten ankommt. Bei diesen Inline-Inspektionen werden visuelle Vorgänge aufgenommen, ausgewertet und (falls notwendig) in den Produktionsvorgang eingegriffen. Hierfür sind mehrere Prozesse notwendig, die unter strengen Zeitvorgaben ablaufen müssen. Ein klassischer Aufbau besteht aus Bildaufnahme-, Bildverarbeitungs- und Signalsteuerungseinheit, die häufig technologisch voneinander getrennt sind. Die Bildaufnahme wird mit einer Kombination Industriekamera mit/ohne Framegrabber realisiert. Die Daten werden in den Arbeitsspeicher transferiert und über eine BV-Software ausgewertet. Liegen die Ergebnisse vor, werden entsprechende Events an eine E/A-Karte gesendet, die über eine Signalausgabe die Peripherie steuert. In den meisten Anwendungen, die nach diesem Prinzip aufgebaut sind, entstehen bei den Bearbeitungs- und Transferprozessen Zeitverzüge. Diese Latenzen addieren sich auf und geben die durchschnittliche Reaktionsgeschwindigkeit wieder. Für viele Anwendungen sind hohe Latenzen kein Problem bzw. wird die Anwendung auf die maximal erlaubten Latenzen konzeptioniert. Um die Latenzen minimal zu halten, gibt es verschiedene Möglichkeiten. Echtzeit-Betriebssysteme erlauben, die Zeitverzüge berechenbar zu machen, zusätzlich kann eine hohe Investition in die technologische Rechnerausstattung sowohl das System- und das Softwareverhalten als auch die Bildanalysezeit niedrig halten.
FPGA-basierte ´Image processing boards´
Ein anderer Ansatz ist die Verwendung weniger, auf ein Echtzeitverhalten spezialisierter Komponenten. Ein FPGA-basiertes Image processing board bietet sowohl die Möglichkeit der Bildaufnahme und -verarbeitung, gleichzeitig aber auch der Signalaufbereitung und Steuerung der Systemperipherie. Werden die gesamten Prozesse auf der Karte berechnet bzw. gesteuert, entstehen nur einmalig minimale Latenzen (pipelined processes). Silicon Software verfolgt mit seiner programmierbaren microEnable Framegrabberserie und VisualApplets diesen Weg. Die Boards sind für verschiedenen Interfaces erhältlich. Vorteil ist der Einsatz der gleichen Treiber- und SDK-Basis, was eine parallele Entwicklung unterschiedlicher Systeme bzw. einen leichten Umstieg bei höheren Anforderungen garantiert. VisualApplets ist eine Programmierumgebung für die grafische Entwicklung von BV-Lösungen mittels FPGA-Technologie. Diese Prozessoren garantieren eine Verarbeitung mit minimalen Latenzen und ein deterministisches Laufzeitverhalten in Echtzeit. Die Umgebung bietet über 200 Bildverarbeitungsoperatoren in vierzehn Bibliotheken an, die für die FPGA-Hardware programmiert wurden und über Flussdiagrammmodelle kombiniert werden. Um Systeme steuern zu können, wird die Signalverarbeitungsbibliothek mit über 20 Operatoren eingebunden. Die Signale werden auf dem Framegrabber generiert und an die GPIO-Schnittstelle (General Purpose Inputs-Outputs) weitergeleitet. Von dort werden sie über ein E/A-Modul (Programmable Automation Controller) oder direkt als gepulstes 3.3V LVTTL -Steuersignal an einen Servomotor, Linearantrieb oder anderen aktiven Aktuator weitergegeben. Aus den acht E/A der Triggerschnittstelle kann über ein externes Modul die Anzahl an multigeplexten Signalausgängen erhöht werden.
Latenzfreie Steuerung der Laserintensität
Die Aufgabendefinition innerhalb des Forschungsverbundprojektes WELDone ist die latenzfreie Steuerung der Laserintensität beim Laserschweißen durch visuelle Kontrolle. Die Prozessüberwachungs- und -steuerungsanwendung wird innerhalb der Förderinitiative Mabrillas realisiert. Ziel des Gesamtvorhabens ist die Erschließung des Anwendungspotenzials hochfokussierender Laserstrahlquellen in Bezug auf die vereinfachte Anwendung und maximierte Prozessgeschwindigkeiten bei der Materialbearbeitung sowie Sicherheit beim Durchschweißgrad. Um dieses Ziel zu erreichen, muss die Überwachung, Steuerung und Regelung der Prozesseingangsparameter sowie des Laserschweißprozesses verbessert werden. Ein wichtiger Aspekt ist dabei die Sicherstellung der Echtzeitfähigkeit dieser Prozesse, die für die Erreichung der hohen Prozessgeschwindigkeit benötigt werden. Um diese Ziele realisieren zu können, werden Prozesseingangsparameter (z.B. Relativgeschwindigkeit) erfasst und eine Prozessüberwachung auf Basis direkter, quantifizierbarer Messgrößen entwickelt. Es werden neuartige Verfahren geschaffen, um die komplexen Verfahrensstrategien massiv zu beschleunigen. Hierbei werden BV-Methoden zur Berechnung der komplexen Verfahrensstrategien herangezogen. Teilziel ist die Entwicklung eines Laserschweiß-Programmiersystems zur Echtzeit-BV und -Regelung stabiler und schnellster Laserschweißprozesse. Die einzelnen BV-Aufgaben teilten sich in folgende Teilprojekte auf:
a) Überführung eines off-line Algorithmus zur Temperaturbestimmung (Temperatur- und Emissionsgradbildberechnung) in eine echtzeitfähige, Laufzeit optimierte Bildverarbeitung. Adaption des off-line Topographieverfahrens in ein Echtzeitverhalten bei einer Zielbildrate von 100Hz und einer minimalen Verarbeitungsdauer (Latenz) von 30µs. Aufgabe der Topographiebestimmung sind auch die Schweißfehlererkennung der Fehlerklassen (Humps, Spritzer, Löcher und Nahteinfall), die über ein FPGA basiertes Echtzeit-BV-System realisiert wurden.
b) Entwicklung von Echtzeitverfahren zur Geschwindigkeitsbestimmung und Schmelzbad-Geometrieanalyse für die Laserscanner-Steuerung um die Laserintensität innerhalb von 60µs nachzusteuern. Die Laserscannersteuerung erfolgt mit optoentkoppelter DAC-Ansteuerung über ein Bit-serielles Protokoll mit einer Datenübertragung von 10kHz bei 12bit, Die Ansteuerung wird direkt über den FPGA auf dem Framegrabber ausgeführt, womit weitere Datenverarbeitungs-Latenzen vermieden werden und eine zusätzliche E/A-Karte eingespart wird.
Sortierung von Schüttgut und Nahrungsmittel
Schüttgüter sind Fördergüter in loser Form wie z.B. Erze, Kies, Reis, Getreide oder Recyclingmaterialien. Bei der industriellen Verarbeitung soll das Schüttgut in möglichst reiner Form sortiert werden. Fremdkörper oder Fehlprodukte müssen aussortiert werden. Die Sortierkriterien sind produktabhängig. Bei der Farbreinheit des ausgelieferten Produktes werden Objekte mit abweichender Farbe ohne Rücksicht auf Größe des Objekts oder Art der Farbabweichung aussortiert. Enthalten die Produkte eine Vielzahl von Farbwerten, muss neben der Farbanalyse auch eine Formprüfung von farblich auffälligen Objekten durchgeführt werden. In einem Projekt des Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) für eine automatische Sortierung wird das Schüttgut in dünner Schicht auf ein Förderband aufgebracht, das sich mit 3m/s bewegt. Am Ende der Transportstrecke löst sich das Produkt vom Band und fliegt in einer Wurfparabel weiter, die auf ihrer Flugbahn mit einer 2k-Farbzeilenkamera aufgenommen wird. Der Hintergrund der Aufnahmeebene ist in Farbe und Helligkeit variabel. Knapp 20cm hinter der Kamera sind Luftdruckdüsen mit Magnetventilen in einem Abstand von 5mm voneinander in Reihe montiert, über die fehlerhafte Teile aus dem Massestrom ausgeblasen werden. Während der Flugzeit von ca. 70ms zwischen der Sichtlinie der Kamera und der Ausblaslinie erkennt der FPGA-Framegrabber fehlerhafte Produkte und sorgt dafür, dass die Düsen positions- und zeitgenau angesteuert werden, um den Ausschuss aus einer Transportmasse von ca. 2,5t/h auszublasen. Weitere Beispiele für eine Sortierung wurden im Bereich Nahrungsmittel (Reis) und Textil (Baumwollfasern) realisiert. Hierfür wurden Reiskörner im freien Fall auf Reisqualität (Farbe) und Fremdkörper überprüft und unmittelbar über Steuerung von Druckluftventilen aussortiert. Eine Zeilenkamera liefert die Bilder, die innerhalb der Fallhöhe bzw. der Fallzeit analysiert werden müssen. Innerhalb der geringen Zeitdauer des Fallens muss eine Entscheidung über die Aussortierung getroffen werden. Bei der Anwendung zur Baumwollsortierung wird, analog zur vorhergehenden Anwendung die Faser auf ihre Farbqualität geprüft, wobei die zulässigen Farbabweichungen in einer Datenbank als Farbraumprofil hinterlegt werden. Auch hier liefert eine Reihe von mehreren Zeilenkameras die Bilder, die direkt auf der Framegrabberkarte ausgewertet wird und über die E/A-Schnittstelle die Steuerung der Druckluftventile übernimmt.
Fazit
Mit der microEnable Framegraberserie und VisualApplets als Lösungsansatz wird eine latenzminimierte Verbindung zwischen Bildverarbeitung und Signalverarbeitung geschaffen. Über die grafische Programmierung der kompletten Aufgabenstellung als gemeinsame Implementierungbasis, können Ergebnisse an die Signalverarbeitung und somit direkt über die on-board GPIO-Schnittstelle an eine Maschine weitergegeben werden. Für eine weitere E/A-Karte besteht keine Notwendigkeit. Dieses ermöglicht die Entwicklung eines echtzeitfähigen autarken Systems, das für Inline-Inspektionen in der Produktion oder für die Robotik prädestiniert ist. Aber auch in Hinblick auf Industrie 4.0 mit einer Stückzahl-1-Produktionsvorgabe ergeben sich neue Möglichkeiten.
