KI per Vision-App

Künstliche Intelligenz als App für Industriekameras

Vision-App-basierte Industriekameras der IDS NXT-Familien Rio und Rome sind bereit für künstliche Intelligenz (KI). Eine Vision-App macht sie zu energieeffizienten und leistungsstarken Inferenzkameras mit integriertem KI-Beschleuniger.

IDS zeigt auf der Vision einen funktionsfähigen Prototypen einer KI-basierten Objekterkennung, die vollkommen eigenständig auf einer IDS NXT-Industriekamera läuft. (Bild: ©NicoElNino/stock.adobe.com)

Einmal programmiert, funktioniert die klassische Bildverarbeitung immer auf dieselbe Art und Weise – aber nur solange die zu identifizierenden Merkmale eindeutig sind und vorab definiert wurden. Um Fehlerquoten immer weiter zu senken, müssen Produktionsfehler frühzeitig erkannt und vermieden werden. Wo sich aber die komplette Vielfalt an möglichen Abweichungen und Fehlern kaum vollständig vorhersagen lässt, liefern KI-basierte Verfahren neue Ansätze. Künstliche Neuronale Netze (KNN) interpretieren mittlerweile komplexe Bildinhalte mit unerreichter Genauigkeit und bieten Lösungen, die sich durch die manuelle Programmierung mit bisherigen Algorithmen selbst mit hohem Aufwand nicht realisieren ließen. Neben der Qualitätssicherung oder Predictive Maintenance in der industriellen Produktion sind z.B. auch neue Einsatzgebiete in der medizinischen Diagnostik oder Lagerprüfungen in Einzelhandel und Logistik denkbar.

Embedded-Beschleuniger in der Kamera

Die Vielfalt von KNNs wird Anwendern durch ein breites Spektrum von Open-Source Frameworks, high-level-Software und Services zugänglich gemacht. Eine Vielzahl veröffentlichter KNN-Architekturen decken dabei bereits unterschiedliche Anforderungen an Komplexität, Genauigkeit oder Inferenzzeiten ab. Durch die Automatisierung und Überwachung industrieller Anlagen stehen zum Training dieser Architekturen immer mehr Daten zur Verfügung. Allerdings bedurfte der Einsatz von KNNs bisher häufig teurer und leistungshungriger Hardware. Spezielle Embedded-Beschleuniger, das heißt Hardware-Chips mit hoher Rechenleistung bei geringer Leistungsaufnahme, können hier Abhilfe schaffen. Dabei liegt es nahe, solche Beschleuniger direkt in die Kamera zu integrieren, sodass Bildanalysen dezentral stattfinden und Bandbreiten-Engpässe in der Übertragung vermieden werden. Dem Anwender wird dadurch die Wahl gelassen, ob die künstliche Intelligenz klassisch auf einem PC, in der Cloud oder auf einer Embedded-Vision-Kamera ausgeführt wird, die sich damit neben der Bereitstellung der Bilddaten, auch direkt um deren Auswertung kümmert. Die Struktur und Arbeitsweise von KNNs hat gezeigt, dass für deren Beschleunigung bewährte Hardware neu überdacht werden muss. Zwar interpretieren sie Bilder mit vergleichsweise simplen Rechenoperationen, wie Additionen und Multiplikationen, allerdings müssen je nach Tiefe der Vernetzung Milliarden solcher Berechnungen durchgeführt werden, um die Bilddaten gegen alle trainierten Merkmale zu prüfen. Um hohe Inferenzraten bei geringer Latenz bzw. in Echtzeit zu realisieren, ist daher ein hohes Maß an paralleler Verarbeitung notwendig. Die Auswahl der richtigen Technologie (z.B. GPUs, DSPs oder FPGAs) zur KI-Beschleunigung ist somit eine weitere Variable, die bei der Konzeption des kompletten Bildverarbeitungssystems zu betrachten ist, dessen Umsetzung von Anforderungen wie Kosten, Baugröße, Performance, Qualität und Hardwarekompatibilität abhängt.

Die NXT-Industriekameras werden durch die KI-Vision-App zu universellen Inferenzkameras inklusive KNN-Beschleuniger. Mehrere vortrainierte Netze gängiger Architekturen können geladen und in wenigen Millisekunden zur Laufzeit umgeschaltet werden. (Bild: IDS Imaging Development Systems GmbH)

Kamera und KI-Plattform in einem

Die neuartigen Vision-App-basierten Industriekameras IDS NXT Rio und Rome sind mehr als reine Bildlieferanten, denn sie bringen KI „on the edge“. Standard-Kamera-Funktionen können vom Anwender bequem um Bildverarbeitungsaufgaben in Form sogenannter Vision-Apps erweitert werden. Hardwareseitig wird die CPU durch einen zur Laufzeit programmierbaren, parallel arbeitenden FPGA unterstützt, wodurch der komplette Datenpfad flexibel nutzbar wird. Durch eine spezielle KI-Vision App wird dieser integrierte FPGA zum KI-Prozessor, der viele bereits bekannte Architekturen neuronaler Netze beschleunigt ausführen kann. Damit kann der Anwender seine eigenen neuronalen Netze bequem in der eigenständig arbeitenden Inferenzkamera für unterschiedliche Aufgaben bereitstellen: Anomalien erkennen, Früchte klassifizieren, Oberflächen prüfen, Leiterplatten und deren Bestückung verifizieren, usw. Die flexible Anpassungsfähigkeit der NXT-Plattform vereinfacht deren Integration in ein bestehendes System und die Anpassung an verschiedene Aufgaben.

Inferenzzeiten von wenigen Millisekunden

Ein spezieller Interpreter sorgt dafür, dass die KNNs zusammen mit ihren trainierten Gewichten und definierten Ausgaben für die Verwendung mit dem NXT KI-Prozessor vorbereitet und bei Bedarf einer Optimierung (Pruning) unterzogen werden, wodurch die KNN-Geschwindigkeit für die gewünschte Anwendung nochmals verbessert wird. Durch die FPGA-basierte KI-Beschleunigung sind Inferenzzeiten von wenigen Millisekunden mit verbreiteten Architekturen möglich. NXT-Kameras können damit, was Genauigkeit und Geschwindigkeit von KI-Aufgaben angeht, mit modernen Desktop CPUs Schritt halten – bei gleichzeitig wesentlich geringerem Platz- und Energieverbrauch. Durch die Wiederprogrammierbarkeit des KNN-Beschleunigers ergeben sich zudem Vorteile, was Zukunftssicherheit, geringe wiederkehrende Kosten und Time-to-Market betrifft. Die KI-Technik schreitet so rasant voran, dass monatlich neue Frameworks und Architekturen dazukommen, die dann sofort implementiert werden können, ohne die Hardware-Plattform zu ändern. Durch die schnelle Neukonfiguration des dedizierten Prozessors kann zur Laufzeit in wenigen Millisekunden zwischen mehreren geladenen KNNs umgeschaltet werden. Das ermöglicht die sequentielle Durchführung unterschiedlicher Klassifizierungen mit denselben Bilddaten innerhalb derselben Anwendung. Mit der flexiblen Vision-App-basierten Plattform werden Anwender ihre vorbereiteten neuronalen Netze als vollständiges KI-Bildverarbeitungssystem schnell und einfach an die Maschine bringen können. IDS zeigt auf der Vision einen funktionsfähigen Prototypen einer KI-basierten Objekterkennung, die vollkommen eigenständig auf einer NXT-Industriekamera läuft.