1:1 Ersatz

Neue Interpolation ermöglicht EMVA1288-konformen CCD-Ersatz

Sony hat seine CCD-Sensoren abgekündigt. Das stellt Anwender vor die Frage, wie sie CCD-Kameras ersetzen, denn die neuen Sony CMOS-Sensoren haben eine andere Pixelgröße.

Bild 1 | Beim Ersatz eines CCDs-Sensors durch einen CMOS kommt es meist aufgrund der unterschiedlichen Pixelgrößen zu Problemen. Daher wird eine neue Technologie benötigt, die abgekündigte Bildsensoren zukünftig auf Kameras mit anderen Bildsensoren emulieren kann. (Bild: Basler AG)

Was zunächst wie ein nebensächliches technisches Detail klingt, kann in der Praxis für den Anwender technisch aufwendig und kostspielig werden, denn häufig sind Optik, Software und manchmal sogar das gesamte Systemdesign auf die Pixelgröße abgestimmt. Ändert sich diese, dann betrifft das auch die Auflösung der Kamera. Außerdem ändern sich damit auch die Bilddiagonale oder Pixelzahl. Dann kann es nötig werden, im System Optik oder Software auf die neue Auflösung bzw. Bilddiagonale anzupassen. Schlimmstenfalls brauchen mehr kleinere Pixel sogar eine höhere Datenrate, die eine andere Schnittstelle oder eine leistungsfähigere Bildverarbeitung erfordern. Daher wünscht sich der Anwender für abgekündigte CCDs eine 1:1 Ersatzkamera mit gleicher Pixelgröße. Leider fallen Bildsensoren dafür nicht gerade vom Himmel. Also wird eine Technologie benötigt, die abgekündigte Bildsensoren zukünftig auf Kameras mit anderen Bildsensoren emulieren kann.

Problemanalyse

Nehmen wir an, wir wollen einen ICX618 CCD-Bildsensor mit 5,6µm Pixeln emulieren. Diese sind in Bild 1a orange. Dafür steht ein neuer CMOS-Bildsensor mit kleineren 3,6µm Pixeln in Blau zur Verfügung. Die Punkte markieren die Pixelmitten in der jeweiligen Farbe. Man kann klar erkennen, dass die Pixelraster definitiv nicht aufeinander passen, das heißt wir brauchen etwas weniger Auflösung oder größere Pixel. Bisher nimmt man dafür entweder Subsampling oder Binning. Beide Methoden funktionieren leider nur mit ganzzahligen Faktoren 2, 3, 4, usw. Hier benötigen wir aber ein krummes Auflösungsverhältnis von ~1.56. Dafür findet sich im ‚methodischen Giftschrank‘ bisher nur die Interpolation. Die häufigsten Spielarten sind dort die (bi-)lineare und (bi-)kubische Interpolation. Beide werden von Bildverarbeitern oft mit einer gewissen Skepsis betrachtet. Für Basler war es daher wichtig, zunächst einmal die Ursache dieser Skepsis zu verstehen. Die Antwort lieferte ein einfaches Experiment. Ein EMVA1288 Bildstapel aus einer acA640-120gm Kamera mit einem ICX618 wurde für verschiedene Auflösungen interpoliert und anschließend gemäß EMVA1288 ausgewertet. Die Ergebnisse waren überraschend bis schockierend. So liegt die ursprüngliche Quanteneffizienz (QE) beim IXC618 und grünem Licht bei knapp über 50%. Man sollte erwarten, dass Interpolation daran nichts ändert. Das stimmt aber leider nur für ganzzahlige relative Pixelgrößen. Für krumme Auflösungsverhältnisse bewegt sich der QE-Messwert z.B. bei bikubischer Interpolation etwas oberhalb von 80%. Solche hohen Werte sind absolut unplausibel und ein klares Anzeichen, dass bei der Interpolation etwas schiefgelaufen ist. Um den Effekt besser zu verstehen, schauen wir uns in Bild 1b ein einfaches Beispiel an. Dafür wird die Pixelgröße um den Faktor 3/2 geändert. In diesem besonders regelmäßigen Fall liegt die interpolierte Pixelmitte sowohl horizontal als auch vertikal immer abwechselnd auf einem Originalpixel oder genau in der Mitte dazwischen. In Bild 1c liegt der interpolierte Pixel c horizontal zwischen zwei Originalpixeln a und b. Wir interpolieren linear. Dann ergibt sich der Wert c als Mittelwert c = 1/2 (a+b). Aus der Formel lässt sich unmittelbar ablesen, was physikalisch passiert. Es wird ein Superpixel d gebildet mit der Fläche a+b. Dessen Wert wird mit einem Gainfaktor 1/2 multipliziert. Der interpolierte Pixel hat also eine doppelte Fläche und einen halben Gain. Die verschiedenen Superpixel aus dem Beispiel sind in Bild 1d rot eingezeichnet. Sie haben Gainfaktoren von 1, 1/2 oder 1/4. Auch die Größe variiert entsprechend. Nun gehen jedoch Anwender und EMVA1288 zurecht davon aus, dass alle Pixel jeweils die gleiche Größe und den gleichen Gain besitzen. Offensichtlich verletzt die Interpolation diese Annahme. Deshalb geht auch die EMVA1288 Auswertung schief und ergibt falsche Werte. Es entstehen sichtbare Artefakte und hochfrequente Bildinformation wird durch größere Superpixel zerstört. Daraus ergibt sich die zweite Frage: Kann man so interpolieren, dass danach alle Pixel genau die gewünschte Größe haben?

Bild 2 | Das Bild der ICX618-Ersatzkamera (a) ist kaum von dem der mit dem echten ICX618 (b) zu unterscheiden, während sich das Bild des IMX287 (c) einen deutlich abweichenden Bildausschnitt zeigt. Auch das Bilddetail der ICX618-Ersatzkamera (d) zeigt keine erkennbaren Unterschiede zum ICX618 (e), während das IMX287 Bilddetail (f) sich deutlich abhebt. (Bild: Basler AG)

Pixel Beyond Interpolation

Basler hat das Problem mathematisch formuliert. Dabei entsteht ein anspruchsvolles, nichtlineares Funktionalgleichungssystem. Dieses enthält die Anforderungen, dass alle interpolierten Pixel jeweils die korrekte Größe, Gain, Helligkeit und Position besitzen sollen. Außerdem werden wichtige Nebenbedingungen berücksichtigt, z.B. Symmetrie und Stetigkeit. Diese sind wichtig für eine ansprechende Bildqualität. Nach intensiver Arbeit ist es gelungen, dafür eine schlanke und effiziente Lösung zu finden, die als Pixel Beyond-Interpolation bezeichnet wird. Sie läuft in der Kamera, ist echtzeitfähig und liefert ein Bild, das in jeder Hinsicht dem Bild des emulierten Bildsensors entspricht. Das oben genannte Experiment wurde mit der Pixel Beyond-Interpolation wiederholt. Die resultierenden QE-Werte sind jetzt konstant und entsprechen korrekt dem QE-Wert des ICX618. Auch alle anderen EMVA1288 Ergebnisse sind plausibel und erfüllen die theoretischen Erwartungen. So konnte gezeigt werden, dass es hiermit das erste Mal möglich ist, eine Interpolation physikalisch korrekt im Sinne von EMVA1288 durchzuführen. Die Machbarkeit wurde nachgewiesen mit dem Prototyp einer acA640-121gm Kamera, die einen ICX618 in einer aktuellen CMOS-Kamera emuliert. Der Prototyp funktioniert zuverlässig und erfüllt alle Erwartungen, auch im EMVA1288 Test. Der direkte Vergleich mit dem echten ICX618 in einer acA640-120gm und mit dem von Sony empfohlenen Nachfolger IMX287 in einer acA720-290gm ist in Bild 2 dargestellt. Es zeigt Laborbilder der drei Kameras, die unter identischen Bedingungen aufgenommen wurden. Für einen fairen Vergleich wurden alle Bilder auf 640×480 Pixel zugeschnitten. Das Bild der ICX618-Ersatzkamera in Bild 2a ist kaum von dem der mit dem echten ICX618 in Bild 2b zu unterscheiden, während sich das Bild des IMX287 in Bild 2c einen deutlich abweichenden Bildausschnitt zeigt. Auch das Bilddetail der ICX618-Ersatzkamera in Bild 2d zeigt keine erkennbaren Unterschiede zum ICX618 in Bild 2e, während das IMX287 Bilddetail in Bild 2f sich deutlich abhebt.

Fazit

Mit der Pixel Beyond-Interpolation ist es technisch möglich, eine EMVA1288-konforme 1:1 Ersatzkamera für einen abgekündigten Bildsensor zur Verfügung zu stellen. Als erstes Modell ist die acA640-121gm erhältlich. In Zukunft sind weitere 1:1 Ersatzkameramodelle geplant. Für den Anwender ist der Ersatz denkbar einfach: Es sind keine Anpassungen der Optik bzw. Mechanik zu erwarten und auch die Softwareanpassungen sollten sehr gering ausfallen.