Die Perciva 5D arbeitet autark und berechnet die 3D-Tiefendaten mit Hilfe einer Kombination aus CPU-, GPU- und NPU-Ressourcen in Echtzeit direkt in der Kamera. Die 2D-Bilder und 3D-Tiefendaten werden vollständig synchronisiert über GigE ausgegeben und entsprechen dem GigE Vision-Standard. Für die parallele Übertragung von 2D- und 3D-Daten nutzt die Kamera das GenDC-Container-Prinzip, wodurch sie mit GigE Vision-Software-Lösungen auf externen Host-Systemen kompatibel ist. Darüber hinaus ist sie GenICam-konform, sodass Kamerafunktionen über eine XML-Datei beschrieben und Firmware-Updates unkompliziert vom Host-System aus durchgeführt werden können.
Ein weiterer Vorteil ist, dass die Kamera bereits werkseitig kalibriert geliefert wird. Die Kalibrierungsdatei ist direkt in der Kamera gespeichert, bei Bedarf können anwendungsspezifische Kalibrierungsdateien hochgeladen werden. Nach der Installation von Spinnaker 4 von Teledyne (oder einer anderen Software) auf dem Host-System ist die Kamera in der Regel innerhalb von weniger als fünf Minuten betriebsbereit. Die mechanische Montage erfolgt mit M3- oder M4-Schrauben. Das robuste Aluminiumgehäuse verfügt über einen integrierten Kühlkörper auf der Rückseite und erfüllt die Schutzklasse IP65. Eine Status-LED informiert über den aktuellen Betriebszustand. Außerdem unterstützt die Kamera den Trigger-Betrieb. Für eine einfache Installation und Inbetriebnahme werden mehrere Stromversorgungsoptionen unterstützt: Power-over-Ethernet (PoE) über einen M12-Buchsenstecker mit acht Pins, eine externe Stromversorgung über einen separaten M12-Stecker oder die Versorgung über ein USB3-Kabel mit USB-C-Anschluss.
2D und 3D mit nur einem Sensor
Die Besonderheit der 5D-Technologie liegt darin, dass sie nur einen einzigen CMOS-Bildsensor verwendet, um Rohdaten aufzunehmen, aus denen anschließend perfekt synchronisierte 2D-Bilder und separate 3D-Tiefendaten berechnet werden. Da nur ein Sensor erforderlich ist, treten keine Okklusionen im Nahbereich auf, wie sie bei stereoskopischen Kamerasystemen unvermeidlich sind. Sie entstehen durch den Abstand zwischen den beiden Bildsensoren, der einen Blindbereich verursacht. Objekte in sehr kurzer Distanz können deshalb nicht zuverlässig erfasst werden. Dank des Single-Sensor-Designs der 5D-Technologie lassen sich hingegen präzise Bilder bereits ab einem Abstand von etwa 1cm zum Objekt aufnehmen. Da die 2D-Bilder und 3D-Tiefendaten zeitlich exakt synchronisiert sind, entfällt die aufwendige Nachsynchronisation über Zeitstempel. Die Zuordnung von Bildpixeln zu Tiefeninformationen erfolgt praktisch durch das direkte Überlagern beider Datensätze. Dadurch können bestehende Vision-Algorithmen oder KI- bzw. Deep-Learning-Modelle auf den 2D-Bildern eingesetzt und durch die zusätzlichen 3D-Informationen erweitert werden.
Die 5D-Technologie erkennt sämtliche Kontraste innerhalb einer Szene. Eine spezielle Beleuchtung ist jedoch nicht notwendig, solange das 2D-Bild korrekt belichtet ist. Die Kamera eignet sich somit sowohl für Innen- als auch Außenanwendungen. In bestimmten Fällen können zusätzliche Lichtmuster (z.B. ein Schachbrettmuster) eingesetzt werden, um den Kontrast und damit die Qualität der Tiefenmessung weiter zu verbessern. Ein weiterer Vorteil besteht darin, dass die Kamera durch transparente Glasschichten hindurch messen oder über Spiegel einen veränderten Blickwinkel nutzen kann. Solche Anwendungen sind mit ToF-Kameras (dToF/iToF) nicht möglich. Auch Unterwasseraufnahmen sind realisierbar, sofern der Brechungsindex der Flüssigkeit entsprechend berücksichtigt wird. Zusätzlich verfügt sie über eine integrierte Inertial Measurement Unit (IMU), die bei Bedarf aktiviert werden kann, um Beschleunigungen und Bewegungen der Kamera bzw. des Gesamtsystems zu erfassen.
Wie funktioniert die 5D-Technik?
Herzstück der Kamera ist der CMOS-Bildsensor Topaz5D von Teledyne, der mit der Angular Sensitive Pixel-Technologie ausgestattet ist. Zusammen mit dem werkseitig kalibrierten Optimom 5D-CMOS-Bildmodul bildet er die Grundlage der 5D-Technologie. Topaz5D ist ein monochromer Full-HD-Global-Shutter-Sensor mit einer Auflösung von 1.920×1.080 Pixeln. Er ist der erste industriell gefertigte Bildsensor, der die sogenannten Angular Sensitive Pixel integriert. Diese ermöglichen eine echte 3D-Wahrnehmung mit nur einem einzigen Standard-Bildsensor. Möglich wird dies durch eine patentierte Transmissive Diffraction Mask (TDM), die von einem Entwicklungspartner konzipiert und direkt über der Pixelmatrix und den Mikrolinsen integriert wurde. Die TDM-Schicht kodiert die Winkelinformationen des einfallenden Lichts optisch in das Bild. Eine spezielles SDK analysiert die kodierten Signale und erzeugt daraus präzise Tiefenkarten bzw. Punktwolken. Da das Ein-Sensor-Verfahren vollständig passiv arbeitet und ausschließlich das vorhandene Umgebungslicht nutzt, entfallen zusätzliche Kameras, aktive Musterprojektoren, Vecsel-Lichtquellen oder bewegliche Komponenten. Das Ergebnis ist eine Echtzeit-3D-Lösung, deren Tiefendaten vollständig synchron und pixelgenau mit den 2D-Bildern übereinstimmen.
Die 5D-Technologie kann Tiefeninformationen nur dort berechnen, wo im Bild ausreichend Kontrast vorhanden ist. Vollständig homogene Flächen liefern keine ausreichenden Kontrastunterschiede, sodass dort keine fundierten Tiefendaten erzeugt werden können. Anwendungen, die auf gleichmäßigen Oberflächen eine höhere Dichte an 3D-Daten benötigen, sollten daher zusätzliche Kontraststrukturen durch geeignete Beleuchtung erzeugen. Grundsätzlich eignet sich jedes sichtbare Beleuchtungssystem, das den Bildkontrast erhöht. Die typische Messgenauigkeit beträgt unter Laborbedingungen bei Verwendung eines Kalibrierungsobjekts 3 Prozent über den gesamten Kalibrierbereich, der derzeit von 30 bis 140cm spezifiziert ist. Die Kamera kann jedoch auch außerhalb dieses Bereichs eingesetzt werden und arbeitet in Entfernungen von 15 bis maximal etwa 200cm. Die Perciva-5D-Kamera hat bereits in vielen Branchen und Anwendungsbereichen Fuß gefasst, z.B. in der Logistik, im Einzelhandel (Selbstbedienungskassen), der Sport-Analyse, der intelligenten Landwirtschaft oder für 3D-Gesichtserkennung und Anti-Spoofing-Anwendungen.
Nächste Entwicklungsschritte
Die erste Version der Perciva 5D konzentriert sich auf eine s/w-Variante, die auf dem Topaz5D-Sensor basiert und in ein maßgeschneidertes Bildgebungsmodul (Optimom 5D) integriert ist. Eine Farbversion des Topaz5D-Sensors ist bereits erhältlich; die ersten Muster eines Farbkameramodells der 5D-Kamera werden für Ende 2026 erwartet. Die derzeitige Kamera-Architektur lässt gewisse Anpassungen der optischen Baugruppe im Inneren zu, wodurch weitere Produktvarianten durch maßgeschneiderte Kalibrierungen und optische Optionen möglich sind. Insbesondere die Anpassung des horizontalen Sichtfelds, der Arbeitsabstände und des Fokuspunkts könnte sich für bestimmte Anwendungen als notwendig erweisen, vor allem um kürzere Abstände zu erreichen oder die höchstmögliche Genauigkeit zu erzielen. Teledyne e2v kann spezifische Kundenanforderungen verwirklichen und Angebote für größere Stückzahlen maßgeschneiderter Kameraoptiken und Kalibrierungen unterbreiten.
