Embedded Systeme sind bis auf Bauteilebene optimal auf ihre jeweiligen Anwendungen zugeschnitten. Sie sind so klein wie möglich und können flexibel in stationäre wie mobile Geräte und Komplettsysteme integriert werden. Zudem zeichnen sie sich durch perfekt angepasste Leistung und durch Kostenoptimierung für den Serieneinsatz aus. Um das zu erreichen, sollten verfügbare Funktionalitäten optimal ausgenutzt werden. Ein Beispiel dafür sind die beiden integrierten ISPs der i.MX 8M Plus Prozessoren von NXP.
Mehr Effizienz mit internen ISPs
Die ISPs sind perfekt auf das Zusammenspiel mit den weiteren Rechenkernen und Schnittstellen des Prozessors abgestimmt und machen das Embedded-Vision-Flaggschiff von NXP zur optimalen Wahl für rechenintensive Bildverarbeitungen. Werden die ISPs für die Aufbereitung und Korrektur der Sensordaten verwendet, können kompaktere, kostengünstigere Kameramodule ohne eigene Chips für die Bildaufbereitung eingesetzt werden. Gleichzeitig werden keine Ressourcen auf dem Anwendungsprozessor benötigt, um dort per Software Bildvorverarbeitungen durchzuführen – auch das ist eine gängige Alternative. Bei Nutzung der ISPs steht die Rechenleistung also vollumfänglich für die jeweilige Endapplikation des Embedded-Vision-Systems zur Verfügung. Funktionalitäten und Performance des Prozessors werden so effizient ausgenutzt, bei geringeren Kosten gegenüber einem separaten ISP.
Rohdaten passend aufbereiten
Wie eingangs beschrieben sind Embedded-Vision-Systeme perfekt auf eine spezielle Anwendung zugeschnitten. Das umfasst insbesondere auch die Aufbereitung der Kameradaten: ein Standard ist dabei das Demosaicing (Bayer-Konvertierung), bei dem aus den Daten eines Einchip-Farbsensors mit Bayer-Farbfiltermatrix vollständige Farbinformationen für jeden Pixel im RGB-Format errechnet werden (Bild 2). Daneben gibt es weitere Vorverarbeitungen, die allesamt im Funktionsumfang der ISPs des i.MX 8M Plus enthalten sind: Von der Black-Level-Kalibrierung über Rauschreduzierung und die Korrektur defekter Sensorpixel bis zu Belichtungssteuerung, Weißabgleich und Farbkalibrierung. Außerdem können die speziell für die Bildvorverarbeitung ausgelegten Prozessorkerne optische Abbildungsfehler wie Linsenverzerrungen und Randabschattungen korrigieren.
Kontrollierte Vorverarbeitung
Je nach Anwendung sind manche Vorverarbeitungsschritte gewünscht – oder auch nicht. Das Identifizieren von Personen, Gegenständen oder Codes im Bild, Messanwendungen und Bewegungsanalysen erfordern unterschiedliche Bildvorverarbeitungen, die sich fundamental von der Aufbereitung für eine natürliche Darstellung unterscheiden. Ein automatischer Weißabgleich etwa erzeugt eine natürliche Farbwiedergabe. Für korrekte Farbmessungen und die Identifikation von Abweichungen in einem optischen Inspektionssystem ist diese Art der Aufbereitung jedoch ungeeignet. Eine Korrektur der Linsenverzerrung fügt räumliche Ungenauigkeiten hinzu, die beim exakten Vermessen von Gegenständen problematisch sind. Deshalb ist wichtig, dass Entwickler die Kontrolle über die Vorverarbeitung behalten und ggf. Einfluss auf die angewendeten Algorithmen nehmen können.
ISPs des i.MX 8M Plus nutzbar
Das erfordert einen Zugang zu den ISPs des Prozessorboards – und entsprechendes Knowhow für die Einrichtung. Phytec kommt seinen Kunden entgegen, indem das Unternehmen seine Prozessorboards und System on Modules mit einem angepassten Linux-Betriebssystem ausliefert. Darin ist die Bildaufnahmeeinheit aus ISP und passender Board-Level-Kamera bereits vorkonfiguriert und gekapselt und per Video-for-Linux-Interface (V4L2) für Entwickler zugänglich. Sie müssen sich also nicht um das Zusammenspiel von Sensor und ISP kümmern und erhalten dennoch volle Kontrolle über die Bildaufbereitung.
ISP-Kalibrierung erfordert Tools und Knowhow
Eine Herausforderung bei der Entwicklung ist die Kalibrierung der ISP-Vorverarbeitung auf das konkrete optische System, bestehend aus Kamera, Objektiv und weiteren optischen Parametern der Anwendung. Sie ist für zahlreiche Funktionen notwendig, etwa für die Korrektur von Linsenverzerrungen (Dewarping / Lens Distortion Correction, s. Bild 2) und Randabschattungen (Lens Shade Correction), Rauschreduzierung (Denoise / Bad Pixel Correction) oder Farbkalibrierung bzw. Weißabgleich. Als NXP Gold Partner hat Phytec Zugang zu den dazu erforderlichen Tools und verfügt auch über das notwendige Know-how, Kalibrierungen für die ISPs des i.MX 8M Plus durchzuführen. Eine Basiskalibrierung für ausgewählte phyCam-Kameramodule wie VM-016 (1MP Global Shutter) und VM-017 (5MP Rolling Shutter) sowie die neuen Kameramodule VM-116 und VM-117 – die kleinsten Board-Level-Kameras für S-Mount-Objektive – ist bereits im Board-Support-Package der phyCore-Prozessormodule enthalten. Entwickler können damit grundlegende ISP-Funktionen direkt nutzen, darunter z.B. Demosaic- und Denoise-Filter, automatische Belichtungsregelung und automatischer Weißabgleich sowie WDR3 (Wide Dynamic Range) zur Hervorhebung von Bilddetails bei schwierigen Lichtverhältnissen.
Individuelle ISPKalibrierung zum Paketpreis
Eine individuelle Kalibrierung der ISP-Funktionalitäten für die kundenspezifische Endanwendung war bisher extrem aufwendig und entsprechend teuer – und damit für Projekte mit hohen Stückzahlen und entsprechendem Budget für die Entwicklung vorbehalten. Der Zugang zu den entsprechenden NXP-Tools, ein eigenes Labor für optische Messungen und die Erfahrung aus zahlreichen erfolgreichen Projekten ermöglichen Phytec, diesen Service für Projekte mit i.MX 8M Plus Prozessorboards als Kalibrierpaket zum Festpreis anzubieten. Für 1.350 Euro umfasst es die Basiskalibrierung individueller Kamera-Objektiv-Kombinationen aus dem Sortiment des Unternehmens. Die Korrektur von Linsenverzerrungen ist ebenso enthalten wie Lens Shade Correction und ein optionales Festwert-Tuning von Helligkeit, Kontrast, Sättigung und HUE. Projektspezifische Parameter können ebenfalls berücksichtigt werden. In der Summe ermöglicht das Kunden die perfekte Anpassung der ISPs auf das Gesamtsystem – und damit eine optimale Ausnutzung der Systeme. Der Service für Projektkunden wird künftig auch für weitere Prozessoren mit integrierten ISPs angeboten.
Entwicklungskit für i.MX 8M Plus
Entwickler profitieren von einer kurzen Entwicklungszeit und zahlreichen Vorleistungen für ihre Embedded-Vision-Anwendungen, wenn sie bereits in der frühen Projektphase entsprechende Entwicklungskits einsetzen. Für den NXP Prozessor i.MX 8M Plus bietet Phytec dafür zum Beispiel das phyBoard-Pollux Imaging Kit, das alle Komponenten für einen direkten Start in die Entwicklung enthält. Das Prozessorboard mit System on Module gehört ebenso dazu wie eine HD-Farbkamera und das vorinstallierte Linux-Image – inklusive ISP-Kalibrierung für die gelieferte Kamera und das Objektiv. Auch die weiteren Features des Prozessors, allen voran die NPU-Einheit für die Verarbeitung von KI-Algorithmen und neuronalen Netzen, können über das Board-Support-Package genutzt werden. Phytec bietet auch Kits zu den weiteren Varianten der i.MX 8 Prozessorfamilie sowie für zahlreiche weitere Prozessoren führender Hersteller.
