Expertenrunde zum Kamerastandard EMVA 1288

Zu komplex für den Anwender?

Mit dem weltweiten Kamerastandard EMVA 1288 wurde eine Möglichkeit für die neutrale Bewertung von Image-Sensoren geschaffen. Ziel ist es, dem Anwender einen objektiven Vergleich unterschiedlicher Kameras von verschiedenen Herstellern aufgrund standardisierter Messungen zu ermöglichen. Allerdings ist dieser Vergleich nicht einfach und der Standard entsprechend komplex. Zu komplex für die Anwender? Um dieser Frage nachzugehen, traf sich inVISION mit Prof. Dr. Bernd Jähne (HCI, Universität Heidelberg) sowie Experten der beiden Kamerahersteller Allied Vision (Henning Haider) und Matrix Vision (Horst A. Mattfeldt).

Ist der EMVA 1288 für Anwender oder Kamerahersteller?

Prof. Dr. Bernd Jähne: Von der Intention her war er als Anwenderstandard gedacht – um die Frage zu beantworten, was die beste Kamera für meine Applikation ist. Es hat sich aber herausgestellt, dass der Standard auch ein enorm nützliches Instrument bei der Entwicklung von Kameras ist. Wenn man begleitend zur Kameraentwicklung die EMVA 1288-Messungen durchführt, werden die ´Kinderkrankheiten´ einer Kamera bereits frühzeitig erkannt und tauchen nicht erst beim Kunden auf. Allerdings ist der Standard derzeit noch bei den Kameraherstellern verbreiteter als beim Anwender, da frei verfügbare Datenblätter nach wie vor noch nicht in der Breite zu bekommen sind.

Henning Haider: Das Messen nach dem EMVA-Standard hat in der Industrie zu einer Verbesserung der Kameraqualität geführt. Jeder Kamerahersteller misst und schaut, dass die nächste Kamera mit dem gleichen Sensor besser ist als als das vorherige Modell.

Horst A. Mattfeldt: Auch wir benutzen die Ergebnisse, stellen sie momentan aber noch nicht auf die Webseite. Allerdings kann man die Werte bei uns anfordern. Auf verschiedenen Veranstaltungen, die wir zu dem Thema gehalten haben, ist deutlich geworden, dass der Standard für den Anwender erklärungsbedürftig ist, auch weil er letztendlich nicht alles abdeckt, um die Frage zu beantworten: ‚Habe ich die optimale Kamera für meine Anwendung‘. Der EMVA 1288 deckt die Qualitätsparameter ab, aber es fehlen noch gewisse Werte. Der Anwender weiß z.B. gar nicht: ‚Reicht die Auflösung für meine Anwendung aus?‘ Das wird derzeit noch nicht beschrieben. Die Leute fragen sehr viel, bis sie sicher sind, dass sie die richtige Kamera haben. Bei der Eignung für den Anwender habe ich daher noch meine Zweifel.

Ist der Standard zu komplex für den ’normalen‘ Anwender?

Jähne: Nein. Das Hauptproblem bei der bisherigen Entwicklung des Standards war, dass wir kein einheitliches Datenblatt hatten. Also ein Datenblatt mit einer klaren Vorgabe, wie die Parameter angeordnet werden müssen. Das ist kurz vor der Fertigstellung. Erste Datenblätter stehen bereits zur Verfügung (http://www.zenodo.org/collection/user-emva1288). Die Komplexität hängt aber an der Vielfalt der Bildsensoren – nicht am Standard. Dem versucht der Standard zu begegnen, indem alle wesentlichen Parameter zukünftig am Anfang des Datenblatts standardisiert auf einer Seite zusammengefasst werden. Natürlich braucht man Grundkenntnisse über Bildsensoren, um den Standard zu verstehen. Daher ist es wichtig, den Anwender weiterzubilden. Dann kann er selbst die für ihn richtige Kamera finden.

Wie sind die Erfahrungen Ihrer Kunden mit dem EMVA 1288?

Haider: Zum einen gibt es Kunden, die selber Kameras entwickeln und den Standard kennen und auch die Theorie dahinter beherrschen. Diese Anwender fordern meistens sogar noch mehr Daten von uns, als auf dem EMVA-Datenblatt stehen. Dann gibt es Kunden, die haben davon noch nie etwas gehört. Das Problem ist, dass der Kunde letztendlich nicht eine Kamera beherrschen muss, sondern ein System. Es ist nicht der Standard, der zu komplex ist, sondern das Thema. Wenn Kunden die Datenblätter anfordern, stellen wir sie ihnen zur Verfügung – gekoppelt mit einem Anruf von unserem technischen Support, der nach der jeweiligen Anwendung fragt. Es werden bei dem Standard z.B. erreichbare Maximalwerte gemessen, die in den meisten Anwendungen aber nicht erreichbar sind, da man z.B. nur limitierte Belichtungszeiten hat. Der Anwender muss dann auf ganz andere Daten schauen, und dabei helfen wir.

Mattfeldt: Ohne weitere Erklärungen verstehen die meisten Kunden nur die Hauptschlagworte, wie Dynamik, SNR, Dunkelstrom, usw. Wir haben aber gute Erfahrungen damit gemacht, wenn wir unsere Kameras sortiert nach Sensoren, Familien, Szenarien (Maximaldynamik, Maximal SNR) vorstellen und dem Anwender erklären. Der Standard hat der Branche geholfen und den meisten Kunden hilft er auch, aber vielen muss man es halt noch erklären.

Was können Sie heute Dank des Standards, was Sie vorher nicht konnten?

Jähne: Vorher war es schwierig, Kameras miteinander zu vergleichen. Es fehlten Tools für einen quantitativen Vergleich. Der EMVA 1288 hat diese Möglichkeit geschaffen. Jetzt kann man Kameras objektiv vergleichen und mit dem entsprechenden Wissen für seine Applikation die beste Kamera heraussuchen.

Haider: Wir haben bereits vor dem Standard Fototransfer-Messungen durchgeführt. Jetzt machen wir sie gemäß Standard und haben dadurch auch die Vergleichbarkeit mit dem Wettbewerb. Zusätzlich vergleicht man eigene Entwicklungen immer wieder mit den schon bestehenden Kameras aus dem eigenen Portfolio, und erreicht so eine kontinuierliche Produktverbesserung. Allerdings ist die Vergleichbarkeit bei einigen Parametern schwierig, z.B. der Quanteneffizienz. Dort haben wir extreme Streuungen bei gleichen Sensoren der verschiedenen Kamerahersteller. Zwar sind es keine dynamischen Abweichungen, da man weiß, Kamerahersteller X misst grundsätzlich so, dass der Wert einige Prozentpunkte über oder unter dem eigenen Wert liegt. Das bringt einen in Erklärungsnot, weil man dem Kunden sagen muss, ‚Das ist, was ich gemessen habe, aber die anderen Kameras oder Sensoren sind nicht besser, es ist nur anders gemessen worden‘.

Jähne: Für die Messung der Quantenausbeute brauchen Sie eine absolute Kalibrierung. Dies hat eine Unsicherheit von typischen 3%. Wenn Sie mit verschiedenen Geräten gemessene Bildsensoren vergleichen, dann müssen Sie mit einer Ungenauigkeit bei der Messung der Quantenausbeute in dieser Größenordnung rechnen. Das gehört mit zur Ausbildung über den Standard, wie unsicher die verschiedenen Parameter sind. Zudem haben Vergleichsmessungen mit verschiedenen Kameras an derselben Maschine gezeigt, dass die effektive Quantenausbeute des Sensors auch davon abhängt, was an Filtern vor dem Bildsensor sitzt. Also wie gut z.B. das Glas entspiegelt ist. Bei einer Farbkamera kann das IR/UV-Sperrfilter unterschiedliche Durchlässigkeit haben. An einer unentspiegelten Glasfläche werden 5% reflektiert, an einer Scheibe mit zwei Flächen also insgesamt 10 Prozent.

Mattfeldt: Wir haben dank EMVA 1288 die Erfahrungen gemacht, dass man plötzlich wusste, wo man etwas tun muss. Es wäre gelogen, wenn man behaupten würde, dass vorher alles in Ordnung war.

Jähne: Der Standard basiert auf einem linearen Modell, sprich die Photonen werden auf jedem Pixel des Bildsensors dort in Ladungsträger umgewandelt und linear verstärkt, ohne untereinander verrechnet zu werden. Wenn die Kamerakennlinie nicht linear ist, werden bestimmte Parameter falsch berechnet. Bei inhärent nichtlinearen Bildsensoren, z.B. bei logarithmischen Bildsensoren von NIT, IMS oder Photonfocus, muss ein anderes Model zu Grunde gelegt werden. Diese Sensoren können sie nach EMVA 1288 messen, aber nicht auswerten. Was uns in Zukunft immer mehr beschäftigen wird, ist Vorverarbeitung in der Kamera. Also das, was im kommerziellen Sektor in jedem Handy oder digitalen Spiegelreflexkameras geschieht, um die Bilder zu verbessern. Sobald z.B. Rauschen unterdrückt wird, beeinflusst es die Photonentransferkurve und es werden zu hohe Quantenausbeuten gemessen.

Für welche Geräte ist der EMVA 1288 geeignet?

Jähne: Der Standard ist für alle linearen Kameras geeignet und bewusst auf den Machine-Vision-Markt ausgerichtet, wo jeder Anwender seine Komponenten zusammenstellt. Die ISO-Standards charakterisieren dagegen ein System. Dort spielen dann Themen wie Auflösung eine Rolle, da dort Optik plus Kamera charakterisiert wird. Das fehlt im Augenblick noch beim EMVA 1288, aber wir fangen an, darüber nachzudenken: ‚Kann man basierend auf dem, was wir bisher gemacht haben, die Optik noch hinzunehmen?‘ Für die Optik selbst gibt es bereits Standards. Was beim EMVA 1288 Standard noch fehlt sind Parameter, die für die Kopplung der Optik zum Bildsensor wichtig sind. In welchem Maße reduziert der Bildsensor selbst die Auflösung (Messung der MTF des Bildsensors)? Und wie hängt die Empfindlichkeit des Bildsensors vom Winkel des einfallenden Lichts ab?

Haider: Wir messen sogar unsere InGaAs-Kameras nach EMVA 1288, weil letztendlich Photonen aufakkumuliert werden. Wir haben aber trotz Messungen gerade bei den hoch integrierten Sensoren häufiger das Problem, dass wir Bildartefakte sehen, die man subjektiv gut beurteilen kann, die der Standard aber nicht raus misst. Das Bild sieht schlecht aus, aber die Messwerte sind gut. Dort haben wir Schwierigkeiten zu definieren, wie wir diesen subjektiv schlechten Bildeindruck in Formeln fassen.

Jähne: Die Fehler tauchen natürlich in der Photonentransferkurve auf und addieren sich dort. Die ISO-Standards sind für den Konsumer gemacht, d.h. für das Auge. Also wann sieht ein Bild gut für das Auge aus, d.h. aber nicht, dass es gut für Machine Vision ist. Der EMVA-1288-Standard ist gezielt auf Messtechnik und gute Bilder im Sinn einer weiteren Bildverarbeitung geeignet und daher auch für manches, was das Auge als nicht störend empfindet, aber die Algorithmen stört.

Was ist nötig, damit die Ergebnisse aussagekräftiger sind?

Haider: Für den Kunden sind Parameter wichtig, die konkret seine Anwendung betreffen. Wenn ich an Sensoren denke, die einen ´black sun effect´ haben – also Artefakte, die bei CMOS-Sensoren auftreten und die dazu führen, dass man diese Sensoren in Outdoor-Anwendungen bei hoher Dynamik nicht so gut benutzen kann – wird das durch den EMVA 1288 nicht abgedeckt. Das war auch schon beim CCD-Smearing ein Thema, was für viele Kunden ein Ausschlusskriterium für bestimmte Sensoren war. Es ist schwierig, weil die Einsatzbereiche der Kunden extrem breitbandig geworden sind. Wir reden zwar von Industriekameras, aber ich schätze, dass bei mindestens einem zweistelligen Prozentsatz Menschen auf die von den Kameras gemachten Bilder schauen – z.B. im Medizinumfeld oder Mikroskopieanwendungen.

Mattfeldt: Der Begriff Farbtreue spielt auch eine Rolle. Um genau diese zu optimieren, messen wir die Farbröhren, holen uns also die Colour Correction Matrix Parameter selber, damit das Bild nachher auf dem Monitor so aussieht, als wenn ein Mensch direkt auf die Anwendung schaut. Das könnte man vielleicht mit dem Standard auch machen.

Inwieweit kann diese Wunschliste zukünftig erfüllt werden?

Jähne: All die angesprochen Punkte sind im Standard-Komitee schon diskutiert worden. Angefangen hat es, als CMOS praktisch noch keine Rolle gespielt hat und Themen wie Shutter-Effizienz kein Thema waren. Da wir alle das aber nebenbei auf freiwilliger Basis machen, kommen wir manchmal nicht so schnell voran, wie wir uns das wünschen. Wir haben versucht uns auf das Wesentliche zu konzentrieren und werden Schritt für Schritt weitere Themen aufgreifen. Was die Farbtreue betrifft, haben wir bewusst darauf verzichtet, weil es dafür einen eigenen ISO-Standard gibt. Die nächsten Schritte sind, dass der Aufbau des Datenblatts endgültig verabschiedet wird. Es ist wichtig, dass mehr Datenblätter produziert werden und die Daten, die schon gemessen wurden, in einer vernünftigen Form dargestellt werden. Um z.B. Kameras mit unterschiedlichen Pixelgrößen direkt vergleichen zu können, stehen bei den Sensitivitäts- und Sättigungsschwellen auch die Werte in Photonen und Elektronen pro Quadratmikrometer. Eine Optik mit einer bestimmten Blendenöffnung liefert eine bestimmte Bestrahlungsstärke auf dem Sensor. Mit den flächenbezogenen Werten kann man auch bei Bildsensoren mit unterschiedlicher Pixelgröße sagen, welcher empfindlicher ist.

Wie schafft man es, dass mehr Anwender den Standard nutzen?

Mattfeldt: Dazu müssten wir uns trauen zu publizieren. Wissend, dass wir u.U. bei manchen besser sind, bei anderen vielleicht schlechter.

Jähne: Mir erscheint es am wichtigsten, die Marketingabteilungen zu überzeugen, dass die Publikation von objektiv gemessenen technischen Daten nach dem EMVA 1288 nützlich ist und die technischen Daten nicht versteckt werden müssen. Dies zeigt nämlich, dass die Entwicklungsabteilung des Herstellers gute Arbeit gemacht hat. Wenn dann das Argument kommt, dann sehen unsere Kameras ja nicht besser aus als die unseres Konkurrenten, dann kann ich dazu nur sagen, dann sollten die Anstrengungen der Hersteller dahin gehen, Treiber, Dokumentation, Service, Zusatzfeatures und was sonst der Kunde wünschen mag besser zu machen als die Konkurrenz.

Haider: Jeder Image-Sensor hat irgendein Spezialartefakt, egal welchen CMOS-Hersteller man nimmt. Ein Unterschied bei den Kameraherstellern ist, wie sie dieses Artefakt kompensieren. Doch diese Kompensation muss abgeschaltet werden, wenn man messen will. Insofern taucht dieser Messwert nicht direkt in dem Standard auf, ist aber ein Unterscheidungskriterium.

Jähne: Sie können aber jederzeit noch unter anderen Randbedingungen zusätzliche Messungen anführen, und das als zusätzliche Messbedingung in die Standarddokumente mit einfügen. Das was wir tun müssen, ist die Ausbildung ernster nehmen – gerade in einer Querschnittstechnologie wie der Bildverarbeitung. Sie werden keinen Anwender finden, der den kompletten Überblick über Beleuchtung, Optik, Elektronik, Halbleiterphysik usw. hat. Deswegen ist es wichtig zumindest eine Ahnung davon zu bekommen. (peb)