Beschleunigtes Deep Learning für die Bildverarbeitung

DL Toolkit

Beschleunigtes Deep Learning für die Bildverarbeitung

Eine wichtige Rolle beim Beschleunigen von Deep Learning für die Bildverarbeitung spielt das Intel OpenVino Toolkit, ein spezielles Werkzeug für Deep-Learning-Frameworks wie TensorFlow, MXNet und Caffe.

(Bild: Intel Corporation)

(Bild: Intel Corporation)

OpenVino beschleunigt Deep Learning-Inferenz sowie Workloads für die Bildverarbeitung und optimiert diese MV-Anwendungen auf verschiedenen Intel-Plattformen, inklusive Hardware-Beschleunigern für Kameras oder anderer Geräte am Netzwerkrand. Die trainierten Deep Learning Modelle können auf verschiedener Hardware mit Intel-Architektur optimiert und untereinander verglichen werden, bevor über die beste Konfiguration entschieden wird. Dadurch können Nutzer leistungsfähige Anwendungen für Bildverarbeitung und optische Messtechnik mit KI-Funktionen schneller auf den Markt bringen. Das Toolkit umfasst das Intel Deep Learning Deployment Toolkit mit einem Model Optimizer, einer Inference Engine, optimierten Bibliotheken und Funktionen für OpenCV und OpenVX sowie die webbasierte grafische Umgebung Deep Learning Workbench. Die einzelnen Komponenten erfüllen folgende Funktionen:

Deep Learning Deployment Toolkit: Mit diesem Toolkit können Entwickler trainierte Deep-Learning-Modelle über eine API mit einer C++- oder Python-Inference Engine und integrierter Anwendungslogik bereitstellen. Wichtigste Bestandteile sind ein Model Optimizer und eine Inference Engine. Der Model Optimizer ist ein Kommandozeilen-Tool auf Basis von Python und läuft unter den Betriebssystemen Windows, Linux und MacOS. Damit werden DL-Modelle importiert und für die optimale Ausführung mit der Inference Engine vorbereitet. Der Model Optimizer konvertiert und optimiert Modelle, die in gängigen Frameworks wie Caffe, TensorFlow, MXNet, Kaldi und ONNX trainiert wurden. Er führt Analysen durch und passt die Modelle für die optimale Ausführung auf verschiedenen Endgeräten an. Dadurch ermöglicht er die Bereitstellung der Algorithmen für die verschiedenen Hardware-Plattformen von Intel. Wurde die Anwendung beispielsweise ursprünglich für eine Kamera mit einer Intel Movidius VPU (Vision Processing Unit) entwickelt und soll später auf einem Intel FPGA in einem Server neu eingesetzt werden, bereitet der OpenVino Model Optimizer den Code entsprechend für die verschiedenen Plattformen auf. Das spart Zeit und Entwicklungsressourcen. Die Inference Engine stellt Inferenz-Lösungen über eine gemeinsame API auf der gewünschten Plattform bereit, sprich Prozessor (CPU), Grafikprozessor (GPU), VPU oder FPGA. So ist es auch möglich, verschiedene Schichten auf verschiedener Hardware auszuführen, z.B. CPU und GPU, sowie Workloads etwa für die Analyse von Graphen, Scheduling oder Modellkomprimierung zu optimieren.

Open CV und OpenVX: Das Toolkit bietet optimierte Bibliotheken und Funktionen für OpenCV und OpenVX. OpenCV ist eine freie Programmbibliothek mit Algorithmen für die Bildverarbeitung und maschinelles Sehen für die Programmiersprachen C, C++, Python und Java. OpenVX ist ein offener Standard für die plattformübergreifende Beschleunigung von Machine Vision-Anwendungen.

Deep Learning Workbench: Diese webbasierte grafische Umgebung ermöglicht es Anwendern, die Simulation der Leistung von Deep Learning-Modellen und Datensätzen auf verschiedenen Konfigurationen der Intel Architektur (CPU, GPU, VPU) zu visualisieren. Sie bietet wichtige Metriken wie Latenz, Durchsatz und Leistungszähler für jede Schicht des ausgewählten neuronalen Netzes. Damit lassen sich Inferenz-Experimente so konfigurieren, dass sie optimale Leistung liefern. n @Kontakt_FA:www.intel.de

Das könnte Sie auch Interessieren