Neue Aufgaben
Multimodal/nicht-linear: Mögliche Erweiterungen des EMVA1288
Wie könnte der EMVA1288 Standard auf neue Modalitäten erweitert werden, z.B. multimodale Bildsensoren oder Bildsensoren nicht-linearer Kennlinie?
Bild 1 | Logarithmisches Histogramm der Polarisationswinkel der vier verschiedenen linearen Polarisationsfilter auf einem Sony IMX250MZR Sensor (Vorserie).(Bild: HCI Heidelberg Collaboratory for Image Processing)
Bisher umfasst der EMVA1288 Standard nur monochrome und Farbkameras mit einer linearen Kennlinie. Inzwischen kommen aber immer mehr multimodale Bildsensoren auf den Markt, wie z.B. Laufzeitkameras oder andere 3D-Kamerasysteme, multispektrale Bildsensoren mit mehr als drei Farbkanälen, Polarisationsbildsensoren und Kombinationen der genannten Modalitäten. Die Anwendungen von Kameras für Fahrerassistenzsysteme und autonome Fahrzeuge treiben die Entwicklung von Kameras mit einem erweiterten Signalumfang voran, die dann oft eine nicht-lineare Kennlinie aufweisen.
Nicht-lineare Kameras
Eine lineare Kennlinie führt zu einem Kameramodell, das zu einer einfachen Beschreibung der Beziehung zwischen dem Eingangssignal (während der Belichtungszeit auf ein Pixel auftreffende mittlere Anzahl von Photonen) und dem Ausgangssignal (Mittelwert und Varianz des digitalen Kamerassignals) führt. Es werden nur die drei Parameter Varianz des Dunkelrauschens d2, Quantenausbeute und Systemverstärkung K benötigt, um die mittleren Eigenschaften eines Pixels für eine vorgegebene Kameraverstärkung zu beschreiben. Daraus kann die Signalqualität und das Signal/Rausch-Verhältnis (SNR) bestimmt werden. Bei einer Kamera mit einer nicht-linearen Kennlinie ist die Modellbildung schwierig, da man je nach Art der Nicht-Linearität nicht nur ein Modell, sondern viele mögliche Modelle berücksichtigen muss. Daher stellt sich die Frage: Geht es nicht auch ohne Vorgabe eines Modells? Der grundlegende systemtheoretische Ansatz des EMVA1288 mit einer Relation zwischen Eingangs- und Ausgangssignal erlaubt dies. Wie bei einer linearen Kamera werden Mittelwert und Varianz des Ausgangssignals als Funktion der Bestrahlungsstärke vom Dunkelwert bis zur Sättigung gemessen. Mit dieser Messung ohne ein Modell können natürlich Modellparameter der Kamera, insbesondere die Quantenausbeute, nicht bestimmt werden. Aber die Ermittlung der praktisch relevanten Größen ist möglich. Die Empfindlichkeitskurve kann dargestellt werden, die SNR des Ausgangssignals lässt sich bestimmen ebenso wie wichtige abgeleiteten Größen in der Einheit Photonen/Pixel, z.B. die absolute Empfindlichkeitsschwelle, die Sättigungsschwelle und auch der Eingangs-Signalumfang (input dynamic range). Etwas aufwändiger ist allerdings die Behandlung der Inhomogenitäten, d.h. der Variationen von Pixel zu Pixel. Die dark signal nonuniformity (DSNU) kann ähnlich wie bei einer linearen Kamera bestimmt werden. Dagegen ist die Angabe einer photoresponse nonuniformity (PRNU) wie bei einer linearen Kamera aus nur einer Messung bei einer Sättigung von 50% nicht mehr ausreichend. Hier ist eine weitergehende Analyse notwendig.
Bild 2 | Das lineare Kameramodell des EMVA1288 Standards (Bild: HCI Heidelberg Collaboratory for Image Processing)
Multimodale Kameras
Bei jeder Art von multimodalen Systemen ist es möglich, die Kanäle einzeln zu vermessen in Verallgemeinerung des Ansatzes für Farbbildsensoren mit drei Farbkanälen. Bei Polarisationsbildsensoren und Laufzeitkameras können alle Kanäle mit der gleichen Wellenlänge beleuchtet werden. Bei multispektralen und hyperspektralen Kameras muss für jeden Kanal eine passende Wellenlänge zur Beleuchtung gewählt werden. Bei multimodalen Bildsensoren interessieren oft nicht die einzelnen Kanäle, sondern die daraus berechneten abgeleiteten Größen. Bei einer Laufzeitkamera wäre dies eine Tiefenkarte, bei einer Polarisationkamera Größen wie der Polarisationsgrad oder die Richtung des polarisierten Lichtes. Durch Fehlerfortpflanzungsrechnung lassen sich aus dem zeitlichen Rauschen der einzelnen Kanäle auch das zeitliche Rauschen der abgeleiteten Größen berechnen und damit auch das SNR dieser Größen. Zur Analyse der Inhomogenitäten der abgeleiteten Größen können die gleichen Tools benutzt werden, die im Rahmen des EMVA1288 Standards für die DSNU und PRNU entwickelt wurden. Bild 1 zeigt ein logarithmisches Histogramm der Winkelausrichtung der vier verschiedenen linearen Polarisationsfilter auf einem Sony IMX250MZR Sensor.
Bild 3 | Eine Kamera als ‘schwarzer Kasten’ ohne eine Modellbeschreibung (Bild: HCI Heidelberg Collaboratory for Image Processing)
Fazit
Auch wenn zur Zeit die Vermessung nicht-linearer und multimodaler Kameras noch nicht nach EMVA1288 standardisiert ist: Der allgemeingültige systemtheoretische Ansatz der 1288-Messungen erlaubt es, auch diese Systeme zu vermessen. Die umfangreichen Analysemethoden erlauben eine detallierte Analyse der Inhomogenitäten aller Arten abgeleiteter Größen. An der Standardisierung der Vermessung multimodaler und nicht-linearer Kameras wird zur Zeit gearbeitet, für hyperspektrale Sensoren in enger Zusammenarbeit mit der P4001 Standardisierungsgruppe der IEEE und für nicht-lineare Sensoren in Kooperation mit der P2020 Standardisierungsgruppe.
