Mit Quality+ hat Gidel eine neuartige Komprimierungstechnologie entwickelt, die hohe Komprimierungsraten von mehr als 1:10 ermöglicht, wobei die ursprüngliche Bildqualität erhalten bleibt. Um den Anforderungen an eine hohe Auflösung und eine hohe Bildrate gerecht zu werden, kann die Lösung mehr als eine Milliarde Bayer-Pixel pro Sekunde und pro Kamera in Echtzeit auf einem FPGA mit geringem Stromverbrauch verarbeiten. Dies ist besonders für Embedded Computing von Vorteil.
Ermöglicht wird dies durch einen Paradigmenwechsel im Vergleich zur verlustfreien Komprimierung. Bei der verlustfreien Komprimierung gilt das Originalbild als Referenz für die Bildqualität, unabhängig von der tatsächlichen Bildqualität. Das Originalbild kann Artefakte, Rauschen oder andere Informationen enthalten, die eigentlich nicht zu der für die Anwendung notwendige Bildqualität beitragen. Der neue Ansatz besteht darin, die Szene durch ein Training der Software – sogar in Echtzeit – zu analysieren und dabei Bildrauschen und anwendungsirrelevante Bildinformationen herauszufiltern. Diese irrelevanten Artefakte werden dann durch Kompressionsrauschen mit niedrigem SNR (Signal-to-Noise Ratio) ersetzt. Dadurch wird die Kompressionsrate verbessert, während die Bildqualität erhalten bleibt. In einigen Fällen kann dadurch das Rauschen reduziert und somit die Bildqualität im Vergleich zum Original sogar verbessert werden.
Quality+ lässt sich direkt auf einem Bayer-Bild umsetzen, um die Verdreifachung der Datenmenge durch die Umwandlung in RGB zu umgehen. Im Gegensatz zu allgemeinen JPEG- und Videokomprimierungsalgorithmen behält die neue Komprimierung eine hohe Wiedergabetreue der Kanten und bewegten Bildelementen bei und ermöglicht so eine hohe Bildqualität für Zooms, Bewegungsanalysen, 3D, Fisheye-Dewarping, Stitching, etc. Der gesamte Prozess bis zur Ausgabe des komprimierten Bilds in den Computerspeicher erfolgt in weniger als einer Frame-Verzögerung.
Edge- oder Cloud-Verarbeitung mit KI
KI-Vision in der Cloud hat viele Vorteile, z. B. mehr Computerleistung oder die Möglichkeit, die Ressourcen mit vielen Edge-Standorten zu teilen. Aufgrund der riesigen Datenmengen, die on-the-edge erzeugt werden, können qualitativ hochwertige Bilder jedoch nicht in Echtzeit in die Cloud übertragen werden, wenn keine kostspielige Internetverbindung besteht. Daher ist in diesen Fällen eine KI-Verarbeitung vor Ort erforderlich. Die Fähigkeit von Quality+, mit Geschwindigkeiten von mehr als 1GigaPixel/sec zu arbeiten und die Daten im Verhältnis 1:10 (oder mehr) zu komprimieren, eröffnet neue Möglichkeiten für solche Anwendungen, indem hochwertige Videoströme in Echtzeit mit einer einfachen Internetverbindung in die Cloud hochgeladen werden können.
Augmented Reality & Sport Analytics
Bei Augmented-Reality-Anwendungen bewegen die Nutzer ihre Kamera willkürlich, um ein bestimmtes Detail innerhalb einer 3D-Szene zu betrachten und sich auf bestimmte Voxel zu konzentrieren. Für ein nahtloses AR-Erlebnis muss das System einen qualitativ hochwertigen Videostream in Echtzeit mit klaren Rändern erzeugen, um eine korrekte Überlagerung der virtuellen Inhalte zu gewährleisten. Die hohe Kompressionsrate bei hoher Bildqualität ermöglicht genau das. Es ermöglicht sogar das Herunterladen der Bilder aus der Cloud oder von einem entfernten Server, wenn mehrere Benutzer dieselbe Szene aus verschiedenen Blickwinkeln betrachten.
Bei Sports Analytics sind einige Anwendungen für das Training von Spielern und die Vorbeugung von Verletzungen gedacht. Um beispielsweise technische Bewegungen wie einen Tennisaufschlag oder einen Baseballwurf genau zu analysieren, werden Bilder aus vielen verschiedenen Blickwinkeln aufgenommen. Das Aufmacherbild zeigt ein Detail aus Bildern, die mit 300fps aufgenommen wurden und den Baseball-Pitcher beim Loslassen des Balls vor und nach der Kompression durch Quality+ zeigen. Es ist kein Unterschied im Rauschen oder in der Kantenauflösung zu erkennen.
Mit Quality+ können die Bilder von allen Kameras in Echtzeit komprimiert werden. Da die Komprimierung on-the-fly erfolgt, sind zusätzliche Funktionen wie Echtzeit-KI und -Bildauswertung während des Trainings möglich. Dank der Highspeed-Komprimierung, die auf einem FPGA läuft, kann die Bildverarbeitung auf einem kleinen, stromsparenden Edge-Computer durchgeführt werden, was für Trainingskabinen im Freien von Vorteil sein kann. Andere Sport-Anwendungen dienen der Unterstützung von Schiedsrichtern oder Fernsehsendern mit animierten 3D-Wiederholungen, Analysen der Spielerpositionen auf dem Spielfeld, Torlinienverfolgung usw. In diesen Fällen wird ein großes Netzwerk von hochauflösenden Kameras im Stadion installiert, um Bilder des Geschehens aus einer 360°-Perspektive zu erfassen. Die Verarbeitung muss nahezu in Echtzeit erfolgen, damit unvorhersehbare Aktionen innerhalb von Sekunden analysiert und an die Zuschauer übertragen werden können. Solche Anwendungen erfordern mehr Verarbeitungsleistung und Speicherplatz als Trainingsanalysen. Mit der neuen Kompression, die in Echtzeit für jeden Kamerastream durchgeführt wird, kann der Bildaufnahme- und Verarbeitungsprozess beschleunigt werden, um die erforderliche Reaktivität zu erreichen.
