Embedded Deep Learning
Deep Learning mit Halcon auf Nvidia Pascal-Architekturen
Deep-Learning-Funktionen sind nun auch auf Embedded Boards mit der Nvidia Pascal-Architektur verfügbar. So wurde die Deep-Learning-Inferenz von MVTec Halcon 17.12 erfolgreich auf Nvidia Jetson TX2 Boards getestet. Dabei erreichte die Deep-Learning-Inferenz mit ca. 5ms annähernd die Geschwindigkeit einer herkömmlichen Laptop-GPU.
Inferenz mit ca. 5ms annähernd die Geschwindigkeit einer herkömmlichen Laptop-GPU. (Bild: Nvidia)
Das ist eine ungewöhnlich hohe Ablauf-Performance auf einem Embedded Device – verglichen mit einem Standard-PC. Anwender können somit alle Vorteile des Deep Learnings auch auf dem Embedded-Board Nvidia Jetson TX2 nutzen, die auf 64bit-Arm-Prozessoren basieren. Möglich wird dies durch die Verfügbarkeit von zwei vortrainierten Netzen, die MVTec mit Halcon 17.12 ausliefert. Eines davon, das sogenannte Compact-Netzwerk, ist geschwindigkeitsoptimiert und somit ideal für den Einsatz auf Embedded Boards geeignet. Interessierten Kunden stellt die Firma auf Anfrage eine Softwareversion für diese Architektur zur Verfügung. Neben Deep Learning steht auf den Embedded Devices die volle Funktionalität der Standard-Bildverarbeitungsbibliothek Halcon zur Verfügung. Applikationen können auf einem Standard-PC entwickelt und anschließend mit Hilfe der HDevEngine sowohl das trainierte Netzwerk als auch die Applikation auf das Embedded Device übertragen werden. Außerdem können Anwender leistungsfähigere GPUs von Standard-PCs verwenden, um ihr CNN zu trainieren, und dann die Inferenz auf dem Embedded-System ausführen. So wird die Time-to-Market deutlich verkürzt. „Wir haben hiermit einen erfolgreichen Technologienachweis geführt, mit dem wir das Embedded-Vision-Segment mit anspruchsvollen Deep-Learning-Funktionen bedienen können. Anwender können die neuen Features von Halcon 17.12 nun auch auf Standard-Devices mit Nvidia Pascal-Architektur nutzen – und zwar mit einer für Embedded-Technologien ungewöhnlich hohen Geschwindigkeit“, so Christoph Wagner, Produktmanager Embedded Vision bei MVTec. Ab Mai soll Deep-Learning-Inferenz auch auf Intel CPUs möglich sein. Der Geschwindigkeitsverlust soll dabei lediglich den Faktor zwei bis drei betragen. Weitere Neuheiten für den Einsatz von Halcon bei Deep-Learning sind für Ende des Jahres angekündigt.
