Visuelle verlustfreie Kompression

Garantierte 4:1 Datenkompressionsrate

Bei der schnellen Übertragung von großen Datenmengen in Visionsystemen werden an die Bandbreite des Übertragungskanals hohe Anforderungen gestellt. Oft kann diese Bandbreite durch das Kamerainterface nicht zur Verfügung gestellt werden. Diese Limitierung kann durch Bildvorverarbeitung in der Kamera oder durch ein in der Kamera implementierte Datenkompressionsverfahren durchbrochen werden.
Bei der Implementierung von Kompressionsverfahren in Industriekameras stellt sich die Frage, ob es für die industrielle Bildverarbeitung geeignete Verfahren gibt und ob Kompressionstechnologien an sich in der Technik etabliert oder nur Randanwendungen sind. Bei genauerem Hinschauen stellt man fest, dass wir bereits in einer Welt der Kompressionsverfahren leben: Audio-Codecs (MP3, Opus …), Bild-Codecs (JPEG, JPEG2000, JPEG-LS …) und Video-Codecs für TV- und Security-Applikationen (MPEG, H.264, H.265 …) umgeben uns im täglichen Leben. Die Einführung von Komprimierungstechnologien in die Industrieelle Bildverarbeitung (IBV) ist dagegen gehemmt durch Vorbehalte, wichtige Detailinformation könnten verloren gehen. Bildverarbeitungsalgorithmen richten sich nach den Mechanismen des menschlichen Sehens und Bildverstehens aus. Daher können sie auch mit der Eliminierung von redundanten und irrelevanten Informationen in Kompressionsverfahren erfolgreich zusammenarbeiten. Die Bildverarbeitungskette muss, wie auch in jeder anderen Standardapplikation, im Einzelnen überprüft werden. Bei der Implementierung von Kompressionsverfahren in Industriekameras hat man die Möglichkeit, auf Chipsätze aus der Konsumerindustrie zurückzugreifen oder Kompressionsverfahren in den FPGAs der softwaredefinierten Kameras zu integrieren. Eine Analyse der Leistungsfähigkeit der verfügbaren Chipsätze zeigt aber, dass sie nicht an die extrem hohen Datenmengen der in der IBV verwendeten schnellen CMOS-Bildsensoren adaptiert werden können. Die Anforderungen an externen Speicher und der hohe Leistungsverbrauch sind für industrielle Kameraplattformen zu hoch. Erhältliche FPGA-IP-Cores sind nicht auf die Bedürfnisse von Industriekameras ausgerichtet und lassen sich nur bedingt auf die Multitapstrukturen der CMOS-Sensoren skalieren. Daher können die bisherigen Methoden aus der Unterhaltungstechnik allenfalls zur Orientierung bei der eigenen Verfahrensentwicklung und Abbildung in FPGA-Cores genutzt werden.

Basisanforderungen

Was sind die Basisanforderungen an ein Kompressionsverfahren für die IBV? Es sind Verfahren zu untersuchen, die eine Kompression der Bilddaten in Echtzeit mit geringer Latenz und optimaler Balance zwischen Bildqualität und FPGA-Ressourcen ermöglichen. Eine hohe Bildqualität sollte durch eine mathematisch verlustfreie oder visuell verlustfreie Datenkompression erreicht werden. Das Verfahren muss bei gleichem Qualitätsanspruch auf monochrome Bilder und Bayer-Pattern Rohbilder gleichermassen anwendbar sein. Weiterhin sollte es parallelisierbar für Multitap-Datenpfade sein, damit eine Nutzung von schnellen Multitap-CMOS-Bildsensoren sichergestellt ist. Ein schneller Zugriff auf Einzelbilder bei der Auswertung ist nur bei Intraframe-Kompressionen (I-Frames) gegeben. Der Verzicht auf externe Speicher sorgt für geringe Latenzen. Ganz zentral ist die Anforderung, dass die Kompressionsrate unabhängig vom Bildinhalt ist, damit hohe Übertragungsbandbreiten garantiert werden können. Weitere Nebenbedingungen ergeben sich durch die Anforderungen der standardisierten Vision-Übertragungsprotokolle. Für GigE-Implementierungen sollte der GigEVision- und GenICam-Standard ohne Kompromisse eingehalten werden und es sollte die Netzwerktauglichkeit der Lösung für den Aufbau von Mehrkamerasystemen gegeben sein.

DoubleRate-Technologie bei der Fussball-WM 2014

In einer ersten projektbezogenen Implementierung wurde ein JPEG-FPGA-Core genutzt, der Kompressionsraten zwischen 8:1 und 12:1 ermöglichte. Aufgrund der Vorbehalte der Industriepartner gegenüber den Blockartefakten der JPEG-Kompression wurde diese Idee nicht weiterverfolgt. Mathematisch verlustfreie Kompressionsmethoden scheiden aus den Betrachtungen aus, da die erreichbare Kompressionsrate vom Bildinhalt abhängig ist. Auch mit sehr grossen Bildzwischenspeichern kann nicht garantiert werden, dass bei Bildfolgen mit hochfrequentem Bildinhalt die Bandbreitenbegrenzung überschritten wird und damit zwangsläufig Bilder verloren gehen. Einige visuell verlustfreie Datenkompressionsverfahren setzen auf der Differential Pulse Code Modulation (DPCM) auf. Die Grundidee der DPCM ist die Kodierung von Differenzen. Die Motivation für diese Methode basiert auf der Tatsache, dass die meisten Signale eine signifikante Korrelation zwischen nachfolgenden Signalen zeigen und diese Redundanzen beim Kodieren ausgenutzt werden können. DPCM stellt eine prädikative Methode dar, wobei die Kompressionsrate und die Kompressionsqualität sehr stark vom gewählten Prädiktor abhängt. Die Photonfocus DPCM-Implementierung hat eine Kompressionsrate von 1.92:1 (daher DoubleRate Technologie; DR) und kann sowohl monochrome Bilddaten als auch Bayer-Pattern Rohdaten verarbeiten. Das Datenausgangsformat ist fest vorgegeben, was vorteilhaft für die Abbildung auf den GigEVision-Standard und die Abspeicherung der Daten auf Speichermedien im System-PC ist. Der Einfluss von Übertragungsfehlern wird durch die periodische Übertragung von Stützstellen reduziert. Die realisierte Multitap-FPGA-Implementierung hat eine gute Balance zwischen Ressourcenverbrauch und Bildqualität. Die Datendekompression ist wesentlich einfacher als die Kompression, was Implementierungen in Software und Hardware ermöglicht. Eine Dekompression in Echtzeit in der CPU eines PCs wird unterstützt. Viele Integrationen in Applikationen wie z.B. Mehrkamerasysteme zur Bewegungsanalyse (inVision 3/15), kombinierte 2D/3D-Inspektionsverfahren (Implementierung der M3C Industrial, Automation & Vision, Spanien) und in die Torlinientechnologie der WM2014 in Brasilien konnten erfolgreich abgeschlossen werden und haben der Idee, Kompressionsverfahren in der IBV zu verwenden, zum Durchbruch verholfen.

QuadRate-Technologie

Nachfolgend hat sich Photonfocus der Aufgabe gestellt, eine garantierte Kompressionsrate von 4:1 für Hochgeschwindigkeitsanwendungen zur Verfügung zu stellen. Die Firma nutzt dazu einen in Patentierung befindlichen Wavelet-basierten Transformationscodec mit strikter Kompressionsratenkontrolle. Die FPGA-Implementierung kommt ohne externen Speicher aus und ermöglicht eine mathematisch verlustfreie Kompression bei Bildern mit niederfrequentem Bildinhalt und eine visuell verlustfreie Kompression von monochromen Bildern und Bayer-Filter Rohdaten bei hochfrequentem Bildinhalt. Eine Dekompression der Daten in Echtzeit mithilfe einer CPU ist derzeit nicht möglich und Gegenstand weiterer Entwicklungen. Eine Dekompression mithilfe eines FPGA-IP-Cores ist möglich. Die GigE-CMOS-Kameraserie QR1-D2048x1088 unterstützt bei HD-Auflösung eine Bildrate von 169fps und bei 1.024×1.024Pixeln 358fps. Im Bild sind die Bandbreiten verschiedener Schnittstellenimplementierungen dargestellt. Mit der DR- und QR-Technologie kann der Anwendungsbereich der GigE-Schnittstelle über die Bandbreite von USB3.0 hinaus erweitert werden.