Für das menschliche Auge optimiert

Neuer Algorithmus zur In-Kamera-Bildoptimierung

Damit eine digitale Kamera sehr gute Bildqualität liefert, müssen ihre verschiedenen Komponenten und Features optimal aufeinander abgestimmt sein. Ein ganzes Bündel an bildverbessernden Funktionen bietet die neue In-Kamera-Bildoptimierung PGI.
PGI ist eine abgestimmte Kombination aus 5×5-Debayering, Farb-Anti-Aliasing, Bildschärfe-Optimierung und Rauschunterdrückung. Sie sorgt für verbesserte Brillanz, Detailtreue und Schärfe des Bildes, während gleichzeitig das Rauschen sinkt. Durch die kompakte Integration in das Kamera-FPGA arbeitet PGI voll echtzeitfähig, nahezu latenzfrei und ohne zusätzliche Prozessorlast.

Debayering

Farbkameras werden in der Bildverarbeitung immer beliebter. Ihre Farbbilder liefern deutlich mehr Informationen als Monochrombilder. In einem Farbbild besteht jeder Pixel aus mehreren Farbwerten, z.B. aus den Werten für die Farben Rot (R), Grün (G) und Blau (B). Dieses Bild nennt man RGB-Farbbild. Eine gute und günstige Alternative zu den aufwändigen und sehr teuren Farbkameras mit echten Dreifarben-Bildsensoren bilden Farbkameras mit Bildsensoren mit der sogenannten Bayer-Matrix. Bei einem Bayer-Sensor sieht jeder Pixel nur eine Farbe anstelle der für ein korrektes RGB-Farbbild notwendigen drei Farben pro Pixel. Die fehlenden Farben werden durch Interpolation eingefügt. Diesen Prozess bezeichnet man als Debayering, Demosaicing oder auch als Color-Filter-Array Interpolation. Sind z.B. nur 25% der Pixel rot, muss für 75% der Pixel ein Rotwert interpoliert werden. Dazu muss ein Debayering-Algorithmus Pixel aus seiner Umgebung einbeziehen, weil nur dort Farbwerte für die fehlenden Farben zu finden sind. Je nachdem, wie groß der dabei zur Verfügung stehende Bildausschnitt rund um den zu bearbeitenden Pixel ist, spricht man von einer 2×2-, 3×3-, 4×4-, 5×5- usw. Umgebung. PGI-Debayering arbeitet mit einer Umgebung von 5×5 Pixeln. Ziel des PGI-Algorithmus ist es, die Bildqualität eines Farbbildes für den menschlichen Betrachter deutlich zu verbessern. Dafür sind neben dem Debayering noch weitere Rechenschritte nötig, nämlich das Beseitigen von Fehlfarben (Farb-Anti-Aliasing), Bildschärfeoptimierung und Rauschunterdrückung.

Farb-Anti-Aliasing

Verwendet man weniger gute Debayering-Algorithmen, kommt es besonders an scharfen Kanten leicht zu Fehlfarben. PGI analysiert den auftretenden Farbfehler und korrigiert ihn für alle möglichen Frequenzen unterhalb des theoretischen Limits, der sogenannten Nyquistfrequenz. Das Ergebnisbild mit PGI zeigt, dass die Fehlfarben bis zur Nyquistfrequenz für die Grünpixel beseitigt werden. Die Nyquistfrequenz für die Grünpixel verläuft diagonal von oben rechts nach unten links und ist im Bild klar als Grenze der Fehlfarben zu erkennen. Der Effekt ist auch in realen Bildern gut zu erkennen.

Bildschärfeoptimierung

Im Gegensatz zu konventionellem Debayering verfügt PGI über eine qualitativ hervorragende Wiedergabe schwarzweißer Strukturen, indem es den linearen Interpolationsalgorithmus an die Bildstruktur anpasst und dadurch eine verbesserte Bildschärfe erzielt, die an die von Monochromkameras heranreicht. Für besonders anspruchsvolle Aufgabenstellungen lässt sich mithilfe eines zusätzlich einstellbaren Schärfefaktors das Bild noch nachschärfen, was z.B. die Auswirkung einer suboptimalen Optik etwas kompensieren könnte. Dabei ist die Bildschärfung auf die Wahrnehmung des menschlichen Auges abgestimmt.

Mehr Bildschärfe ohne mehr Rauschen

Bildschärfe ist eng mit dem Rauschen verbunden und lineares Nachschärfen führt grundsätzlich zu einer Erhöhung des Rauschens. Das menschliche Auge empfindet Graurauschen deutlich weniger störend als Buntrauschen. PGI setzt das Nachschärfen so um, dass sich lediglich das Graurauschen moderat erhöht, nicht jedoch das Buntrauschen. Gute Bildschärfe ist besonders dann wichtig, wenn Farbkameras Ziffern oder Buchstaben korrekt erkennen müssen, etwa bei der Nummernschildererkennung in der Verkehrsüberwachung oder im Einzelhandel beim Scannen von farbig verpackter Ware und Barcodes. Gute Lesbarkeit erleichtert sowohl die Auswertung durch das menschliche Auge, als auch die maschinelle Analyse. Ein gestochen scharfes Bild kann auch dazu beitragen, eine Bildverarbeitungsaufgabe möglicherweise mit einer geringeren Auflösung, also mit weniger Pixeln lösen zu können. Dadurch ergeben sich von der Beleuchtung über die Kamera bis hin zur Rechenleistung preisliche Vorteile oder höhere Taktraten, da die Kamera in der gleichen Zeit mehr Bilder aufnehmen kann.

Rauschunterdrückung

Rauschen ist grundsätzlich unvermeidbar. Zwischen Rohbild und fertigem Farbbild liegen meist viele aufeinanderfolgende Rechenschritte, die das Rauschen zinseszinsartig vermehren. Um genau diese Verstärkung zu vermeiden, führt PGI die erforderlichen Operationen nicht hintereinander, sondern parallel durch und liefert so im Ergebnis ein angenehm rauscharmes Bild. Zusätzlich lässt sich eine aktive Rauschfilterung zuschalten, die über einen Parameter gesteuert werden kann. Dieser Rauschfilter interpretiert kleine Abweichungen der Helligkeitswerte untereinander als Rauschen und größere Abweichungen als einen Bildinhalt. Der Parameter für den Rauschfilter steuert den Schwellwert für diese Unterscheidung. Ein hoch eingestellter Schwellwert beseitigt jedoch nicht nur das Rauschen gut, sondern filtert möglicherweise auch feine Strukturen im Bild heraus, die knapp davor sind, im Rauschen unterzugehen. Daher ist beim Einstellen dieses Schwellwerts Fingerspitzengefühl gefragt, um die für die Bildanalyse wichtigen Texturen zu erhalten.

Rechenleistung

Bei der Entwicklung von PGI wurde viel Wert auf eine schlanke und ressourcenschonende Implementation gelegt. Alle Rechenoperationen werden parallel auf einer 5×5-Umgebung ausgeführt, sind unter Beachtung der Umsetzung für ein FPGA optimal aufeinander abgestimmt und kommen daher mit besonders wenig FPGA-internem Speicher und besonders wenigen Rechenoperationen aus. Nur dadurch ist es möglich, diese komplexe Berechnung innerhalb der Kamera durchzuführen, ohne kostensteigernde Maßnahmen wie z.B. einen größeren FPGA oder andere Recheneinheiten. Hier ist PGI voll echtzeitfähig, sitzt an der richtigen Stelle der Bildverarbeitungskette und arbeitet mit dieser reibungslos zusammen. Die Latenzzeiten werden massiv verkürzt, der angeschlossene PC ist vollständig für die Bildverarbeitungsanwendung nutzbar.

Fazit

PGI ist für den menschlichen Betrachter optimiert, liefert ein außergewöhnlich gutes Debayering mit stark reduzierten Fehlfarben, exzellenter Bildschärfe und geringem Rauschen. Zusätzlich kann man bei Bedarf nachschärfen und eine Rauschfilterung zuschalten. All diese Eigenschaften verbessern die Bildqualität deutlich – bereits direkt in der Kamera.