Ideen einfach umsetzen

Highspeed-3D-Vision-Sensor mit LabView-Anbindung

3D-Vision-Sensoren auf der Basis von Laufzeitmessung bieten neue Möglichkeiten und Lösungswege bei komplexen, räumlichen Messaufgaben. Auch unter Time-of-Flight (ToF) bekannt, enthält bei diesem optischen Messprinzip jeder einzelne Pixel neben dem Graustufenwert zusätzlich eine Tiefeninformation und damit den exakten Abstand zum Objekt. Eine neue Klasse kleinster 3D-Hochgeschwindigkeitssensoren lässt sich jetzt nahtlos in die grafische Entwicklungsumgebung LabView einbinden.
Dort nutzt der Anwendungsentwickler mächtige Mathematik- und Analysefunktionen sowie 2D/3D-Bildverarbeitungsbibliotheken fürs Rapid Prototyping und die anschließende Produktentwicklung. Das Ergebnis sind vernetzbare, smarte 3D-Visionmessgeräte zum Überwachen, Detektieren, Zählen, Messen, Steuern – realisiert im Bruchteil der heute üblichen Entwicklungszeit.

Messung unabhängig vom Umgebungslicht

Bei herkömmlichen Verfahren wie Stereoaufnahmen oder Lasertriangulation muss die Distanz zum Objekt mit komplexen, zeitaufwendigen Algorithmen berechnet werden. Im ToF-Verfahren wird sie Pixel für Pixel auf Hardware-Level gemessen. Das geschieht in Echtzeit und simultan bis zu 160Hz für die gesamte Bildauflösung von 120×160 Pixeln. Daraus resultiert eine dynamische 3D-Punktwolke mit exakten X/Y/Z-Koordinaten für jeden einzelnen Datenpunkt. Typische Sichtfelder sind 90° bei einem Messbereich zwischen 0,5…5m und einer Auflösung im mm-Bereich. Neben der Distanzinformation steht zeitgleich ein Graustufen-Amplitudenbild zur Verfügung. Das Messprinzip gleicht dem Radar. Nur wird anstelle des Schalls moduliertes Licht in einem Frequenzbereich zwischen 5 und 30MHz in die Umgebung gesendet, dort von Objekten reflektiert und im Sensor wieder erfasst. Aus der Phasenverschiebung zwischen gesendetem und empfangenem Licht, zusammen mit bekannter Modulationsfrequenz und der Lichtgeschwindigkeit lässt sich die exakte Distanz zwischen Sensor und Objekt berechnen. Die Wellenlänge der IR-Beleuchtung liegt bei 850nm. Die Messung ist also unabhängig vom Umgebungslicht und funktioniert damit auch in völliger Dunkelheit.

Rapid Prototyping von 3D-Vision

Die generierte Punktwolke einer Umgebung steht nun in der LabView-Umgebung als mathematische Matrix zur Verfügung. Der nächste Schritt besteht darin, 3D-Vision-Ideen in einen funktionierenden Prototypen umzusetzen. Die LabView ‚Komfortzone‘ soll dabei bewusst den Spieltrieb des Entwicklers wecken und ihm so den Blick über den Tellerrand ermöglichen. Dazu stehen Werkzeuge in Form von 2D- und 3D-Bildverarbeitungsfunktionen zur Verfügung. Typische Funktionen sind Filtern, Suchen nach Primitiven und deren räumliches Vermessen, 3D-Matching mit CAD-Schablonen, 3D-Transformationen oder das Kombinieren mehrerer Punktwolken zu einem Gesamtbild. Darüber hinaus lassen sich dank LabViews C/C++ Schnittstelle freie 3D-Vision-Bibliotheken, z.B. PCL (Point-of-Cloud Library) oder OpenCV (Open Source Computer Vision) nutzen. Sogar als M-Scripts geschriebene Bildverarbeitungsalgorithmen finden ihren Weg per Copy&Paste ins LabView-Blockschaltbild.

Smarte, vernetzbare Serienprodukte

Zur Entwicklung von 3D-Vision-Serienprodukten bietet Bluetechnix kommerzielle 3D-Sensormodule in einer kompakten Baugröße (50x55x36mm) an. Die Hardware ist für einen Temperaturbereich zwischen -40 bis +85°C ausgelegt und robust gegen elektromagnetische Störungen. Das Herzstück ist ein Multicore-DSP mit reserviertem ersten Core zur Abstraktion der ToF-Messtechnik. Der Zweite steht dem Entwickler für seine individuelle Standalone-Embedded-Applikation zur Verfügung. Diese programmiert er in der LabView-Entwicklungsumgebung. Das ZBrain-SDK – ein Toolkit für ‚LabView auf Mikroprozessoren‘ – generiert daraus mittels ANSI-C-Code-Generator und schlankem Realtime-Kernel eine EXE, die aus dem Flash direkt in die Applikation bootet. Der 3D-Sensor lässt sich mittels Ethernet oder RS485 in bestehende Infrastrukturen einbinden und verfügt neben einer RS232-Schnittstelle über einen Trigger und Digital-E/As.

Einsatzgebiete

Dank der ToF-Technologie kann zuverlässig zwischen realen Objekten und Spiegelungen oder Schatten unterschieden werden. Daher eignet sie sich speziell für Anwendungen in der Sicherheit und Überwachung. Detektieren von Hindernissen oder Prüfen des Sicherheitsabstands bei Roboterarmen sind typische Anwendungsfälle aus der Robotik. Beim präzisen Vermessen bewegter Objekte kommt eine Kombination der 3D- und 2D-Bildverarbeitung zum Einsatz. Beispiel Nummernschilderkennung: Die Aufgabe des 3D-Algorithmus ist es, die exakte Position (ROI) des Schildes innerhalb der ‚Fahrzeug-Punktwolke‘ zu finden. Anschließend wird über das Graustufenbild mittels OCR die Autonummer gewonnen. Die Robustheit der 3D-Sensordaten ist speziell beim Zählen von Personenströmen von Vorteil. Hier besteht der Clou im Detektieren einzelner 3D-Kopfgeometrien über das Tiefenbild. Ein massiv robusteres Verfahren gegenüber 2D, vor allem bei ineinanderverschlungenen Paaren oder Gedränge in der Rushhour. Das Tracken und Zählen geschieht schließlich auf der Basis einer Matrix, die über die Zeit mehrere Aufnahmen speichert. Der Sensor sendet dann per Ethernet nur noch das Ergebnis an den Leitrechner: die gezählten Personen pro Richtung.

Vom Fingerschnippen bis zum Augenzwinkern

Das Erkennen menschlicher Gesten gehört zweifellos zu den anspruchsvollen Anwendungen. Hier findet ein unmittelbares Rendezvous zwischen der realen und der virtuellen Welt statt, mit der eMotion des Menschen im Mittelpunkt! Dies ermöglicht eine komplett neue Qualität und Erfahrung von Benutzerinteraktion, ähnlich wie das Smartphone unser Kommunikationsverhalten verändert hat. Beim Beispiel im Bild 1 liefert der 3D-Sensor das Tiefen- und Graustufenbild des Anwenders. In LabView wird aus der Punktwolke die Position und Lage der Hände berechnet, der digitale ‚Handschuh‘ sowie das entsprechende Hand-Koordinatensystem gerendert und mit dem Graustufenbild überlagert. Das Ergebnis sind die Hände des Anwenders, visualisiert in Echtzeit im ‚Cyberspace‘. Ob mit diesen Informationen eine neue GUI-Schnittstelle oder die Steuerung eines Roboterarms realisiert wird, ist der Kreativität des Entwicklers überlassen. Von der Körperhaltung und Gebärdensprache und Hand- sowie Fingergestik über Kopf- und Lippenbewegung bis zum Augenzwinkern entgehen dem 3D-Sensor und der LabViewAnwendung nichts.