Raw – Medium – Well Done?

Warum ‚Rohdaten‘ fast immer vorverarbeitet sind

Vor allem bei CMOS-Bildsensoren erkaufen sich die Hersteller die hohen Bildraten mit Abweichungen zwischen den Spalten sowohl beim Dunkelwert als auch in ihrer Reaktion auf Licht. Bei Farbbildern ist zudem die Farbqualität der Pixel sehr unterschiedlich, was je nach spektraler Empfindlichkeit des Bildsensors und je nach Filter eine andere Antwort ergibt. Die Bilder, die aus den Rohdaten dieser Sensoren entstehen, sind weder schön noch für Messaufgaben geeignet. Was der Anwender erhält, sind deshalb trotz des irreführenden Begriffs ´Rohdaten´ in der Regel vorverarbeitete Daten.
Heutzutage werden bei anspruchsvolleren Anwendungen wie Messaufgaben oder hochwertigen Photographien gerne Rohbilddaten eingesetzt, damit die Wiedergabe in der 8-Bit-Welt der Bildschirme und Fernseher hochwertige Resultate liefert oder damit bei Qualitätsmessungen entsprechend präzise Aussagen gemacht werden können. Allerdings ist den wenigsten bekannt, dass diese sogenannten Rohdaten bereits aufwändig vorverarbeitet werden, bevor das Rohbilddatenmaterial sinnvoll verwendet werden kann. Dies trifft auf beiden Typen von Bildsensoren, nämlich CCD- und CMOS-Bildsensoren zu, allerdings mit unterschiedlicher Gewichtung bei der Art von Bildsensoren. Generell gilt es, unerwünschte Eigenschaften der Bildsensoren zu beheben bzw. zu korrigieren. An dieser Stelle werden bestimmt einige Anwender, die gerne präzise messen wollen, die Nase rümpfen und an Verfälschung der reinen Messwerte denken, aber so verwerflich ist diese Art der Vorverarbeitung nicht. Wenn sie gut gemacht ist, ist sie vielmehr eher ein Zeichen für die Qualität des Kamerasystems und kann jederzeit durch Qualitätsstandards wie EMVA 1288 überprüft werden. Welche unerwünschten Eigenschaften bei Bildsensoren werden aber korrigiert?

Pixelfehler

Nun, das sind Pixelfehler, sei es einzeln oder in Gruppen. Dies können sogenannte ‚Hot Pixel‘ sein, die nicht auf Licht reagieren und immer einen maximalen oder auch einen Null-Signalwert liefern, welche also einfach kaputt sind. Auch bei renommierten Herstellern von CCD-Bildsensoren kann man im Datenblatt nachlesen, dass mindestens ein solcher Pixel erlaubt ist. Man kann bei Bildsensoren mit hohen Auflösungen sogar sagen, dass mit der Gesamtanzahl der Bildpunkte auch die Zahl der Bildpunktfehler, die man korrigieren muss, zunimmt. Je nach Sensortyp und Einsatzbereich können es durchaus mehrere sein. Hinzu kommen die sogenannten ‚warmen Pixel‘, welche ein signifikant höheres Signal als alle anderen Pixel aufweisen, aber noch ein wenig auf Licht reagieren. Zudem kann es Beschädigungen mechanischer Art der Mikrolinsen auf den Bildpunkten geben, die dazu führen, dass an den jeweiligen Stellen nur noch 30% des Signals gemessen werden. Das Ergebnis sind in jedem dieser Fälle Pixelbereiche, die anders funktionieren als ihre Umgebung und deren Wert für ein gutes Bild deshalb ersetzt werden muss. Wenn die Bereiche defekter Pixel nicht zu groß werden, das heißt wenn ausreichend ´gute´ Nachbarpixel vorhanden sind, lassen sich die jeweiligen Signalwerte durch gewichtete Mittelwerte der guten Nachbarpixel ersetzen. Eine Ausnahme stellen defekte Spalten oder Zeilen dar: Jede Kante, die diagonal zu einer defekten Spalte oder Zeile verläuft, erhält im Bild eine sichtbare Delle, selbst wenn ausreichend gute Nachbarpixel vorhanden sind.

Blinkende Pixelfehler

Bei emCCD-Bildsensoren und vor allem bei CMOS-Bildsensoren gibt es Pixel, die manchmal deutlich heller sind als es dem normalen Wert entspricht. Bei den auf dem Bildsensor verstärkenden emCCD-Bildsensoren handelt sich um nicht lichtinduzierte Ladungsträger und bei den CMOS-Bildsensoren um Störstellen auf dem Halbleiter, welche nicht kontinuierliche, zusätzliche Störsignale liefern. Bei emCCD-Bildsensoren sind die Ereignisse nicht ortsfest, was sie bei CMOS-Bildsensoren aber sind. Man nennt sie im CMOS-Bereich Blinker. Bei längeren Belichtungszeiten treten die Blinker häufiger auf und können z.B. bei Nachtaufnahmen störend wirken. Allerdings gibt es auch hier Filteralgorithmen, die solche singuläre Ereignisse erkennen und durch die geeignete Vorverarbeitung entfernen (Bild 1, rechts).

Im Dunklen (DSNU)

Betrachtet man die Bilder, die Bildsensoren erzeugen, wenn kein Licht auf sie fällt, erhält man einen Eindruck vom sogenannten Dunkelrauschen. Erwarten würde man ein gleichmäßig dunkles irgendwie verrauschtes Bild. Was man häufig an Rohbilddaten von CMOS-Bildsensoren erhält, ist in Bild 2 links zu sehen, nämlich ein munteres Streifenmuster (hier ist die Darstellung allerdings so skaliert, dass die Unterschiede größer wirken als sie zahlenmäßig verglichen zur Vollaussteuerung sind). Da jede der einzelnen Spalten eigene Verstärker und Analog-Digital-Wandler hat, um aus den in den Bildpunkten (Pixeln) gesammelten Ladungen zuerst Spannungen und dann Zahlenwerte zu machen, verhalten sich die Spalten und auch einzelne Pixel jeweils leicht verschieden. Die Folge sind Unterschiede im Offset, die zu dem Spaltenmuster führen. Technisch gesehen wird dies durch die sogenannte Dark Signal Non-Uniformity (DSNU) beschrieben, die eine der Kenngrößen in der Qualitätsmessung von Bildsensoren und Kameras nach dem EMVA 1288 Standard ist. Da es sich um sehr kleine Unterschiede handelt, könnte man sagen: das stört ja nicht. Aber solche Muster in den Schattenpartien eines Urlaubsbildes würden schon als sehr störend empfunden und nicht hingenommen werden, und dies ebenso wenig bei Messtechnik-Anwendungen. Im Falle von temperaturgeregelten Kameras kann man allerdings diese Offset-Unterschiede in den Spalten und Pixeln messen und korrigieren. Dort wird häufig ein gemitteltes Dunkelbild subtrahiert und ein minimaler Offset addiert, damit das komplette Dunkelrauschen in der Messung berücksichtigt werden kann. Dadurch wird das Streifenmuster deutlich reduziert, wie in Bild 2 rechts zu erkennen ist. Zudem gibt es auch aufwendigere Verfahren, welche u.U. noch Informationen von zusätzlichen abgedunkelten Referenz-Pixeln verwenden. Sollte bei einem Kamerasystem das Dunkelbild komplett schwarz sein, kann man davon ausgehen, dass der Hersteller den Offset-Wert unterdrückt. Auf den ersten Blick mag das schick aussehen, denn die Erwartung ´kein Licht´ ergibt nun einmal ein perfekt schwarzes Bild, für messtechnische Anwendungen ist es aber eher kritisch: Drift-Phänomene aufgrund von Temperaturänderungen nimmt man so nicht wahr und kann sie bei der Auswertung folglich nicht berücksichtigen, denn man erhält keine Information über das untere Ende des Signalbereichs. Somit wirkt sich eine Korrektur respektive Vorverarbeitung des Dunkelbildes positiv auf das Ergebnisbild aus. Dennoch kann das verarbeitete Dunkelbild immer noch als Rohdatenbild angesehen werden, da alle Informationen zu Verfügung stehen.

Im Hellen (PRNU)

In Bild 3 Links ist das Roh-Bild eines CMOS-Bildsensors bei 50% Aussteuerung zu sehen. Auch hier wirkt sich die Verschiedenheit der Verstärker in den Bildspalten und der Transistoren in den Pixeln, die das Ladungsträgersignal in ein Spannungssignal umwandeln, in der bereits beschriebenen Weise aus. Wiederum ergibt sich im sogenannten Hellbild ein Spaltenmuster, welches technisch gesehen durch die Photo Response Non-Uniformity (PRNU) beschrieben wird und wiederum eine der Kenngrößen in der Qualitätsmessung von Bildsensoren und Kameras nach dem EMVA 1288 Standard ist. Hier ist die Störwirkung noch offensichtlicher, denn solche Streifen würden in einem Hellbild kaum toleriert. Häufig wird pro Spalte die Linearität gemessen und bei Abweichung entsprechend korrigiert. Bei größeren Unterschieden einzelner Bildpunkte kann dies auch pixelweise durchgeführt werden, was aber mehr Speicher und Rechenaufwand in der Kamera bedeutet. Bild 3 rechts zeigt dasselbe pixelweise korrigierte Bild, welches gemäß der homogenen Ausleuchtung der Kamera ein ebenso homogenes Bild ergibt. Warum ist die Linearität wichtig? Einfach gesagt, wenn man doppelt so viel Helligkeit erzeugt, z.B. mit zwei Scheinwerfern anstelle von einem die Szene beleuchtet, erwartet man auch ein doppelt so helles Bild. Da dies nur bei wenigen Bildsensoren so ist, benötigt man insbesondere bei CMOS-Bildsensoren eine Linearitäts-Korrektur. Auch hier liegen die Vorteile der Vorverarbeitung auf der Hand. Die bisherigen Betrachtungen gelten gleichermaßen für monochrome wie für Farbbildsensoren.

Bitte schön bunt

Bei den Farbbildsensoren, die z.B. ein Bayer-Filtermuster verwenden, kommen die Eigenschaften der Farbfilter hinzu, welche auf den einzelnen Pixeln sitzen. Das Bild einer Farbtestkarte (Gretag Macbeth Color Checker) in Bild 4 verdeutlicht das. Das linke Bild zeigt das Ergebnisfarbbild ohne Kalibrierung. Für sich betrachtet mag das schon ganz gut aussehen, aber im Vergleich zum rechten Bild wird der Unterschied nach der Bestimmung einer Farbkorrekturmatrix (CCM, Color Correction Matrix) doch deutlich: Die Farben im rechten Bild 5 sind viel kräftiger und deutlicher und entsprechen viel mehr dem visuellen Eindruck der Testkarte. Auch hier verbessert eine zusätzliche Vorverarbeitung das Rohdatenbild erheblich und dadurch auch das Ergebnisbild.

Wie roh darf es sein?

Im Allgemeinen sind die Folgen der Vorverarbeitung der Rohdatenbilder als durchaus positiv anzusehen. Die Linearität, ja die gesamte Bildqualität werden entscheiden verbessert, sodass viele Anwendungen von Kameras ohne eine solche Vorverarbeitung, die nicht auffällt, gar nicht denkbar wären. Niemand würde den Nachrichtenmoderator mit Streifen im Gesicht sehen wollen. Nur bei pixelgenauen Auswertungen sollten die Anwender sich der Möglichkeit bewusst sein, dass es möglicherweise eine solche Vorverarbeitung gegeben hat, denn sie kann einen Einfluss auf die jeweilige Art der Auswertung haben. Ansonsten kann man die meisten sogenannten Rohdaten in der Analogie zum Steak als eher medium betrachten, denn roh sind sie nicht wirklich.