CMOS-Markttrends

CMOS-Markttrends

High-End Industrial Vision mit CMOS-Sensoren

CMOS-Bildsensoren haben neben der guten Bildqualität den Vorteil, dass sie sich genau auf das jeweilige spezifische Einsatzgebiet abstimmen lassen. Zudem kann man die Bilderfassung mit analytischen Hilfsfunktionen direkt auf dem Chip integrieren. Dies gilt insbesondere für die On-Chip-Bildverarbeitung mit hohem Dynamikbereich, korrelierter doppelter Abtastung zur besseren Rauschunterdrückung, Windowing für interessierende Bildbereiche und gezieltem Subsampling, schneller A/D-Wandlung und LVDS-Schnittstelle.
Die Durchsatzraten industrieller Bildverarbeitungssysteme haben sich in den letzten Jahren merklich erhöht: Von früher 30 oder 60fps auf derzeit 120 bis 240fps. Sensoren und Kameras müssen daher in der Lage sein, die höheren Bildraten zu liefern. Im Hinblick darauf übertreffen CMOS-Kameras inzwischen die Leistung traditioneller CCD-Bildsensoren. So bietet z.B. der digitale Bildsensor CMV12000 mit 12MP-Auflösung eine Bildrate von 300fps bei voller Auflösung (10Bit/Pixel). Noch höhere Bildraten sind in den Windowing- oder Subsampling-Betriebsarten möglich. Der Fortschritt zeigt sich aber auch in der Pixelzahl, also Auflösung. Diese hat sich von 0,3MP (VGA) auf 2, 4, 8, 12 und 20MP erhöht. Die hohe Auflösung ermöglicht es, dass eine Kamera ein großes Gesamtbild mit zahlreichen Details einfangen kann, die sich anschließend individuell analysieren lassen (Bild 1). Dies ist z.B. wichtig für Traffic-Applikationen, in denen eine einzige hoch auflösende Kamera vier Fahrspuren gleichzeitig erfasst. Für Verkehrs- und Video-Applikationen gilt heute eine Auflösung von 3,5 oder 4K (4.096×3.072 Pixel) als Standard. In industriellen High-End-Applikationen, wie z.B. der Fertigung von Flachbildschirmen oder in der Luftraumüberwachung, kann die Auflösung mehr als 20MP erreichen. Der generelle Trend von CMOS-Sensoren weist also in die Richtung höherer Kameraauflösungen, vor allem von solchen mit Global-Shutter-Prinzip. Es dürfte kaum mehr als ein Jahr dauern, bis die ersten Global-Shutter-Kameras mit einer Auflösung von 40 bis 50MP auf dem Markt verfügbar sind. Bei extrem hoher Auflösung verteidigen die klassischen Bildsensoren mit Rolling Shutter aber immer noch erfolgreich ihr Territorium, denn sie bieten Pixelzahlen bis zu 70MP. Allerdings mit dem Nachteil, dass es bei schnellen Bewegungen des Objekts zu optischen Verformungen kommt.

Global Shutter für CMOS-Sensoren

Kleine Pixeldimensionen in Verbindung mit einem Verschluss im Global-Shutter-Prinzip sind in den letzten Jahren ein wesentlicher Fortschritt bei CMOS-Sensoren. Die klassischen CCD-Sensoren mit Zwischenzeilenabtastung konnten bedingt durch ihre Bauweise mit Global Shutter aufwarten. CMOS-Sensoren, die mit den traditionellen Sensoren konkurrieren, müssen also in der Lage sein, einen Global Shutter anzubieten. Das Prinzip des Global Shutter ermöglicht die Belichtung aller Pixel eines Sensors zum gleichen Zeitpunkt und über dieselbe Dauer. Für CMOS-Sensoren war und ist dies ein recht komplexes und anfangs auch kostspieligeres Konzept. Denn es erfordert ein lokales Speicherelement. Üblicherweise ist dies ein in jeden Pixel eingebetteter Kondensator. Hinzu kommt eine geeignete Steuerschaltung, um den Beginn und das Ende der Belichtung zu bestimmen. Alle diese Einrichtungen und Funktionen vergrößern die Abmessungen des Pixels. Doch die CMOS-Technologie ist inzwischen soweit evolviert, dass die Speicherknoten innerhalb des Pixels auf eine tragbare Größe getrimmt werden konnten. Das Ergebnis: Kapazitive Speicherelemente halten die Signalpegel der Pixel solange aufrecht, bis sie sequentiell (Pixel für Pixel) nach dem Ende der Belichtung ausgelesen worden sind. Im Gegensatz zu dem Global-Shutter-Prinzip mit simultaner Belichtung aller Pixel eines Bildes belichtet ein Rolling Shutter das aufzunehmende Bild sequenziell (Zeile für Zeile) – also zu unterschiedlichen Zeitpunkten. Dies verursacht die typischen Artefakte, das heißt, bewegte Objekte erscheinen mit seitlich verschobenen Konturen, da die sequenzielle Belichtung die horizontalen oder vertikalen Positionen nacheinander in ihrem Zeitverlauf erfasst und sie mit entsprechender Verzerrung über die Bildfläche abbildet. Ein weiteres Rolling-Shutter-Artefakt entsteht, wenn man die aufzunehmende Szene per Blitzlicht als Folge von Einzelblitzen mit kurzzeitiger hoher Intensität ausleuchtet. Dabei werden nur wenige Zeilen oder Bildpartien vom Blitz erfasst, während andere im Dunkeln bleiben. Die Lösung: durchgehendes Reset der Signale der Pixel in allen Zeilen (global reset). Dann erfolgt die Blitzbelichtung mit anschließendem zeilenweisem Auslesen. Dabei sind alle Pixel immer noch lichtempfindlich. Es können weitere Artefakte entstehen, wenn die Szene mit einem gewissen Restlicht beleuchtet ist. Um das zu verhindern, muss eine Rolling-Shutter-Kamera mit einem zusätzlichen mechanischen Verschluss ausgestattet werden. Für elektronische Bildsensoren ist der Rolling Shutter das historisch ältere Prinzip, da sich ihre Pixelarchitekturen auf der Basis einer zeilenweisen Belichtung einfacher realisieren lassen. Deshalb waren und sind CMOS-Sensoren mit Vier-Transistor-Pixeln üblicherweise mit Rolling Shutter ausgestattet. Will man einen CMOS-Sensor mit Global Shutter ausrüsten, besteht die Schwierigkeit darin, dass dies die Einbettung einer Speichervorrichtung, also eines Kondensators, in die Pixelfläche erfordert. Das kostet Platz und führt zu größeren Pixel-Layouts, was wiederum kostspieliger ist. Doch die Global-Shutter-Konfiguration hat sich so weit entwickelt, dass kleinere Speicherknoten auch für kleine Pixelformate und zu geringeren Kosten machbar sind. Fortschrittliche CMOS-Designs mit Global Shutter bieten bereits Pixelformate runter bis 5,5×5,5µm. Das nächste Ziel ist die Auslegung von CMOS-Kameras mit Global Shutter, die Pixel von 3,5µm Größe aufweisen. Mehr und mehr Kameras mit diesen kleinen Pixeln werden innerhalb der nächsten ein bis zwei Jahre verfügbar sein. Die Produktion der stark skalierten CMOS-Layouts erfordert natürlich Fabs oder Foundries, die über geeignete Fertigungsprozesse verfügen, um die winzigen Pixeldimensionen zu verarbeiten. Das setzt auch das nötige Know-how im Design passender Pixelarchitekturen und -technologien voraus. Eine dabei auftretende Komplikation ist, dass die aktive Fläche eines Global-Shutter-Pixels etwas kleiner ist als die eines entsprechenden Rolling-Shutter-Pixels. Eine Mikrolinse oder rückseitige Belichtung kompensieren hier den Verlust an Lichteinfall.

8T-Pixel-Architektur

Was den Einsatz des Global-Shutter-Prinzips in CMOS-Bildsensoren ermöglicht, ist eine modifizierte, spezifisch ausgelegte Pixelarchitektur. Der Differentiator der von CMOSIS patentierten Global-Shutter-Architektur ist der 8-Transistor Global Shutter im Unterschied zum traditionellen 4T-Rolling-Shutter oder der 5T-Global-Shutter-Konfiguration. Der entscheidende Erfolgsfaktor ist, dass die 8T-Architektur zwei Speicherelemente innerhalb des Pixels vorsieht. Dagegen verfügt die 5T-Struktur nur über einen Speicher. Beide Speicherelemente der 8T-Pixelstruktur speichern unabhängig voneinander zwei Bilder: Eines von ihnen wird zu Beginn der Belichtung aufgenommen, das zweite am Ende. Unter Nutzung eines Algorithmus werden beide Bilder während des Auslesevorgangs voneinander subtrahiert. Dies reduziert den Rauschpegel und erhöht die Effizienz des Verschlusses. Somit lassen sich Rauschpegel unterhalb von zehn Elektronenladungen erzielen. Eine Shutter-Effizienz von 99,999% konnte bereits demonstriert werden. Diese Technik wird als korrelierte Doppelabtastung (correlated double sampling, CDS) bezeichnet, ermöglicht ein extrem niedriges Fixed-Pattern-Rauschen und die geringste Fremdlichtempfindlichkeit im Vergleich zu anderen Designs.

Zeitverzögerte Integration (TDI)

Bilderfassung mit zeitverzögerter Integration (time delayed integration, TDI) ist eine weitere Methode zur schärferen Erfassung bewegter Objekte. Durch die Synchronisation der Belichtung der einzelnen Pixel mit der Bewegung der Kamera oder des Objekts, lässt sich die Effizienz der Belichtung erhöhen. Die TDI-Implementierung in CMOS-Sensoren gestaltete sich bisher allerdings schwierig, und zwar wegen des Fehlens einer geeigneten Schaltung zum Aufaddieren der Ladungen. Dies erfordert die Kombination des Global Shutter mit einer rauscharmen Auslesemethode.

Großer Dynamikbereich

Eine weitere Möglichkeit, um die Arbeitsweise von CMOS-Sensoren mit Global Shutter zu verbessern, ist der Einsatz von HDR (high dynamic range). Diese spreizt den Kontrast zwischen den darzustellenden hellen und dunklen Bildpartien, um sie in einem zufriedenstellenden Verhältnis zu zeigen. Das ist notwendig, wenn z.B. der Himmel oder sehr helle Lichtquellen Teil des Bildes sind oder wenn sehr dunkle Bildbereiche darzustellen sind. Beide Bildpartien (helle und dunkle) müssen aneinander angeglichen werden, um die gewünschte Balance über die gesamte Bildfläche hinweg zu erzielen. Der Grund für die ursprünglich unbalancierte Behandlung der hellen und dunklen Bereiche liegt in der strikt linearen Wandlerkennlinie der Bildsensoren (im Unterschied zum exponentiellen, logarithmischen Ansprechverhalten des menschlichen Auges). HDR ist im Verkehrsbereich sehr hilfreich, um starke Überstrahlungen oder Reflexionen zu unterdrücken, die bei der Erkennung von Autokennzeichen stören, oder um die Blendung durch starke Frontscheinwerfer auszuschalten. Der gewünschte logarithmische Kennlinienverlauf lässt sich auf mehreren Wegen erreichen, z.B. die sequenzielle Erfassung einer Szene durch mehrere Belichtungen mit weit variierenden Belichtungszeiten und getrennter Aufzeichnung der hellen und dunklen Bildbereiche, mit deren anschließender Überlagerung. Eine zweite Methode ist die Ausstattung der geraden und ungeraden Zeilen des Sensors mit unterschiedlicher Empfindlichkeit für hell und dunkel. Daraus kann man einen Mittelwert für alle Bereiche eines Bildes berechnen und interpolieren (Bild 2). Eine dritte Methode besteht in einer logarithmischen Formung der Wandlerkurve des Sensors. Dies geschieht durch die abschnittweise Linearisierung (piece-wise linear response, PLR) mit unterschiedlichem Gradienten.

Erweiterung ins NIR

Die Erweiterung des Spektralbereichs eines CMOS-Sensors in das nahe Infrarot (NIR) wird vom Markt als immer wichtiger erachtet (Bild 3). Dies gilt sowohl für Verkehrsanwendungen als auch für die industrielle Bildverarbeitung, denn dies erlaubt die Beleuchtung der zu erfassenden Szene oder Vorgänge mit einem IR-Blitz oder -Licht, das dem menschlichen Auge unsichtbar erscheint.

– Hohe Empfindlichkeit: Dies gilt in Verbindung mit einem niedrigem Rauschpegel als die wichtigste Forderung industrieller Anwender. Hohe Empfindlichkeit liefert genügend Bilddaten bei kurzer Belichtungszeit. Niedrige Rauschwerte und hohe Empfindlichkeit erlauben den Betrieb bei schwachem Umgebungslicht, und zwar durch den Einsatz höherer Verstärkung. Hohe Empfindlichkeit im visuellen Spektrum sollte überdies auch mit höherer Empfindlichkeit im nahen Infrarot (NIR) gepaart sein.

– Niedrige Kosten: Minimale Systemkosten lassen sich am besten durch Produktion in hohen Stückzahlen erreichen.

– Hohe Bildrate: Höhere Frame-Raten ermöglichen die Belichtung mehrerer Aufnahmen desselben Objekts in schneller Sequenz, um dessen Bewegungen zu verfolgen und zu dokumentieren. Dies wird unterstützt durch eine spezielle Belichtungs- und Verarbeitungstechnik: Während der Belichtung eines Einzelbildes wird das vorher aufgenommene Bild bereits ausgelesen.

– Einfacher Einsatz: Implementierung aller erforderlichen Verarbeitungsfunktionen unmittelbar auf dem Sensorchip sowie die extern mögliche Programmierung der geeigneten Belichtungs- und Auslesemodi über ein serielles peripheres Interface (SPI).

– Keine Bildkorrektur: Dies erübrigt kostspieliges Post-Processing der aufgenommenen Bilder. Auslesen der Bilddaten im RAW-Format liefert Bilder, die sehr rauscharm sind.

– Hohe Auflösung: Erreichbar durch ein großes Bildfeld mit Aufzeichnung vieler Details.

CMOSIS bvba
www.chromasens.de

Das könnte Sie auch Interessieren

Anzeige

Digital Vehicle Passport

Digital Vehicle Passport

DeGoulds range of automated vehicle inspection systems assess the exterior condition of a vehicle. The complete vehicle inspections identify any damage and provide specification checks for OEMs and partners in the finished vehicle logistics chain.

Anzeige

Anzeige

Anzeige

Anzeige

Anzeige

Anzeige