KI-Starterset mit NXPs Neural Processing Unit
Damit Entwickler schneller zu ihren individuellen KI-basierten Embedded-Vision-Lösungen kommen, bieten sich vorkonfigurierte Embedded-Vision-Baukästen an. Congatec hat eine Lösungsplattform zusammen mit Basler auf Basis des NXP i.MX 8 Plus Prozessors entwickelt, der eine integrierte Neural Processing Unit (NPU) hat.
Das Smarc 2.1 Modul Conga-SMX8-Plus bringt die neuromorphe Intelligenz ans Edge bei nur 6W TDP. (Bild: congatec AG)
Entwickler von KI-basierten Anwendungen setzen auf kompakte und vorkonfigurierte Embedded-Vision-Baukästen, die bewährte Hardware und Software der KI energieeffizient kombinieren. Aktuell sind Lösungen gefragt, die vor allem auf das Edge Computing abgestimmt sind. Für KI-basierte Systeme liegt hier der neuralgische Punkt, um in Echtzeit aus Bildinformationen fundierte Entscheidungen zu treffen. Der Umweg über eine cloudbasierte Analyse ist dagegen nicht nur zeitaufwändiger, sondern auch von einer kontinuierlichen Verfügbarkeit des Netzes abhängig. Am Edge ist man jedoch immer am Ort des Geschehens und kann in Sekundenbruchteilen autark visuelle Bilddaten erfassen und auswerten.
NPU für Embedded Vision
Damit am Edge jedoch eine Computerleistung erbracht werden kann, die für Deep Learning und Maschinelles Lernen benötigt wird, ist ein neuromorpher Prozessor (NPU, Neural Processing Unit) unabdingbar. Eine NPU eignet sich insbesondere für die Analyse von Bildern und Mustern und wird dadurch zur zentralen Recheneinheit für ein KI-basiertes Embedded-Vision-System. Neuromorphe Prozessoren können ereignisgesteuert arbeiten und benötigen nur gelegentlich Energie, wodurch NPUs selbst bei hoher Rechen- und Grafikleistung nur wenige Watt an Leistung benötigen. Gleichwohl können solche Low-Power NPUs eine Leistung mehrerer TOPS erzielen und genügen damit den Anforderungen, die Entwickler beim Edge-Computing für ihre Embedded-Systeme haben.
Das Congatec-Starterset für KI-Vision integriert eine Basler Dart-Kamera, ein Smarc 2.1 Carrierboard mit 2x MIPI CSI und ein Smarc 2.1 Modul. (Bild: congatec AG)
Edge Vision-Starterset
Der i.MX 8M Plus Prozessor von NXP ist mit einer solchen NPU ausgestattet. Kombiniert mit vier Arm Cortex-A53 Kernen und einem Arm Cortex-M7 Controller erzielt die Einheit bis zu 2,3 TOPS. Zudem besitzt der Prozessor einen ISP für die parallele Echtzeitverarbeitung von hochaufgelösten Bildern und Videos. Er erlaubt bereits bei der Bilderfassung eine Bildvorverarbeitung, damit die NPU im Nachgang bessere Ergebnisse liefern kann. Um den Einsatz des NXP Prozessors zu beschleunigen, hat Congatec ein Starterset konzipiert, das Edge-Anwendungen schnell und sicher KI-Vision ermöglicht. Herzstück des Embedded-Vision-Baukastens ist ein kreditkartengroßes SMARC 2.1 Computer-on-Module (COM) mit dem i.MX 8M Plus Prozessor. Das Modul kann bis zu drei unabhängige Displays ansteuern und verfügt über eine hardwarebeschleunigte Dekodierung und Kodierung von Videodaten. Der Videokomprimierungsstandard H.265 sorgt dafür, dass sich von der NPU vorselektierte hochauflösende Kamerastreamsequenzen der beiden integrierten MIPI-CSI-Schnittstellen auch direkt über das Netzwerk an zentrale Leitstellen übertragen lassen. An Datenspeicher finden Entwickler auf dem Smarc 2.1 basierten COM bis zu 128GB eMMC-Speicher. Das mit mehreren Peripherieschnittstellen ausgestattete Modul bietet Zugriff auf ein umfangreiches Ökosystem für KI-basierte Embedded-System. Für den Betrieb benötigt das SMARC Modul eine Leistung von lediglich 2 bis 6W.
Individuelle Anpassung mit eIQ
NXP bietet für die individuelle Gestaltung von Embedded Vision Anwendungen softwareseitig die Plattform eIQ Machine Learning an, wobei die Abkürzung für Edge-Intelligenz steht. Entwickler erhalten für ihre KI-basierten Systeme Zugriff auf eine Entwicklungsumgebung, die unterschiedliche Bibliotheken und Development-Tools vereint und auf Mikroprozessoren und Mikrocontroller von NXP abgestimmt sind. Dazu gehören softwarebasierte Inferenzmaschinen, die durch Schlussfolgerungen neue Fakten aus bestehenden Daten und Erkenntnissen ableiten können. Von eIQ werden Inferenzmaschinen und Bibliotheken wie Arm Neural Network (NN) und TensorFlow Lite unterstützt.
Integrierte Kamera mit SDK
Während das Smarc COM im Starterset das künstliche Gehirn des KI-Auges ist, so übernimmt ein postkartengroßes 3,5-Zoll-Carrier-Board die Aufgaben des Sehnervs. Als zentrale Schnittstelle für die Datenkommunikation vernetzt es über MIPI CSI-2.0 ohne zusätzliche Konvertermodule das Gehirn mit dem Auge – in diesem Fall einer MIPI-Kamera Basler dart BCON. Kaum größer als eine Streichholzschachtel und ausgestattet mit einem Objektiv mit einer Brennweite von 4mm lässt sich die Kamera auch auf beengtem Bauraum integrieren. Hinzu kommt, dass sie sich durch den geringen Stromverbrauch und die minimale Wärmeentwicklung besonders für den Einsatz am Edge eignet. Softwareseitig liefert die Basler pylon Camera Software Suite ein SDK, das neben MIPI CSI-2.0 auch USB3 oder GigE Industriekameras ansteuern kann. Damit erhalten Entwickler Zugriff auf zentrale KI-basierte Machine-Vision-Funktionen wie Triggering, die schnelle Bereitstellung von Einzelbildaufnahmen und hochdifferenzierte Kamera-Konfigurationsmöglichkeiten sowie einen einfachen Zugang zu kundenspezifischen Inferenzalgorithmen auf Basis der Ökosysteme von Arm NN und TensorFlow Lite.
