Lokalisierung biegeschlaffer Bauteile durch 3D-Stereovision

Die autonome Handhabung biegeschlaffer Bauteile mit Robotern erfordert sowohl die genaue Lokalisierung als auch die Berücksichtigung von Verformungen. Das ISW forscht an einem Ansatz der 3D-Stereovision mit einem Simulationsmodell kombiniert, um eine Lokalisierung auch bei starken Verformungen und Konfigurationsänderungen des Bauteils zu ermöglichen.

Konzept zur Lokalisierung von biegeschlaffen Bauteilen durch 3D Stereovision. Originale Szene (l.), erfasste Punktewolke durch das Kamerasystem (r.o.), Darstellung des Objekts als Mehrkörpersystem in der Simulationsumgebung mit überlagerten Punktewolkedaten (r.u.) (Bild: Universität Stuttgart, ISW)

Biegeschlaffe Bauteile weisen einen geringen Widerstand gegen Formänderungen auf. Sie verformen sich bereits infolge kleinster Belastungen, z.B. ihrem Eigengewicht, sehr stark. Diese Formänderungen sind ein häufiges K.O.-Kriterium für die Automatisierung von Handhabungs- oder Montageprozessen. Für starre Bauteile kann der Zustand durch sechs Zahlenwerte ausgedrückt werden. Bezogen auf ein Referenzkoordinatensystem wird die Position des Bauteils durch drei Translationen und die Orientierung durch drei Rotationswinkel festgelegt. Auf dieser Grundlage lassen sich Referenzkoordinaten für die Roboterbewegung definieren. Für biegeschlaffe Bauteile lässt sich hingegen die Position und Orientierung im Raum nicht in gleicher Weise durch sechs Zahlenwerte beschreiben, da sich deren Form, aufgrund von während der Manipulation wirkender Kräfte, beständig verändert. Das Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW) entwickelt daher einen Ansatz, wie die Konfiguration biegeschlaffer Bauteile mit Hilfe von 3D-Stereovision erkannt und in eine für die Robotersteuerung interpretierbare Darstellung überführt werden kann.

Simulation der Deformation

Das Konzept fokussiert sich auf Linear-Deformierbare Objekte (LDO), also biegeschlaffe Objekte mit länglicher 1D-Geometrie, z.B. Kabel, Leitungen und Schläuchen. Die Idee ist, das Deformationsverhalten in einer numerischen Simulation abzubilden und das Simulationsmodell mit verfügbaren Sensordaten einer Stereokamera zu synchronisieren, sodass die Robotersteuerung während des Handhabungsprozesses auf die, durch die Simulation angenäherten, Positionsdaten des LDO zurückgreifen kann. Die Simulation dient dazu die jeweils zuletzt mit den Sensordaten abgeglichene Konfiguration zu speichern und die Verformung, für den Zeitraum in der die Verarbeitung der Sensordaten erfolgt, vorherzusagen. Zu Beginn der Anwendung wird das biegeschlaffe Objekt als finite Segmente Objekt in einer Mehrkörpersimulation initialisiert. Dabei wird das Objekt zuerst durch zwei Graustufen Kameras erfasst, welche in einem FPGA rektifiziert und mithilfe eines Stereomatching-Algorithmus in eine Punktwolke überführt werden. Anschließend wird die Punktwolke mithilfe der entwickelten Methodik verarbeitet und in eine Liste von Gelenkwinkeln überführt. Das Modell der Mehrkörpersimulation wird dann mit den ermittelten Gelenkwinkeln, die zwischen den Segmenten des Modells auftreten, aktualisiert. Die Simulation bildet somit den Zustand des Objekts zum Aufnahmezeitpunkt als eine diskrete Menge von Positionswerten der einzelnen Segmente ab, die von der Robotersteuerung zur Laufzeit eines Roboterprogramms abgefragt werden können. Die am ISW verwendete Stereokamera ist eine SceneScan Pro von Nerian, die bei einer maximalen Auflösung von 1.856×1.856 Pixel und 256 Tiefenstufen bis zu 100fps erreicht.

Darstellung eines linear-deformierbaren Objekts als Punktwolke mit Repräsentation als Skelettlinie (Bild: Universität Stuttgart, ISW)

Repräsentation als Mehrkörpermodell (Bild: Universität Stuttgart)

Lokalisierung der Konfiguration

Aufgrund der stetigen Veränderung der makroskopischen Form biegeschlaffer Objekte während der Manipulation, können herkömmliche Ansätze der Bildverarbeitung, wie klassisches Template-Matching, nicht für die Lokalisierung von LDO genutzt werden. Der vom ISW verfolgte Ansatz arbeitet daher mit einer statischen Hand-Auge-Kalibrierung in Kombination mit einem neuen Algorithmus zur Bestimmung der Konfiguration des LDOs. Die Hand-Auge-Kalibrierung ermittelt die geometrische Beziehung zwischen Roboter- und Kamerasystem. Nach der Transformation der Punktwolke ins Roboterkoordinatensystem, ermittelt der Algorithmus die aktuelle Konfiguration des Objekts. Für die Bestimmung der Konfiguration wird der kontinuierliche 3D-Körper des LDO vereinfacht über seine Mittellinie durch den Querschnitt, als Raumkurve (Skelettlinie), angenähert. Messtechnisch lässt sich jedoch nur die für die Kamera sichtbare Oberfläche des Objekts erfassen und als Punktwolke darstellen. Daher werden zunächst die Oberflächennormalen der Punktewolke berechnet und zur Kamera hin orientiert. Idealerweise schneiden sich diese Normalen der halbrunden Oberfläche in der Skelettlinie des zu erkennenden LDOs. Eine Verschiebung um den Radius entlang der negativen Oberflächennormalen projiziert damit die Punkte von der Oberfläche auf die gesuchte Skelettlinie. Über eine numerische Optimierung lässt sich dann eine Funktion finden, welche die Skelettlinie aus den projizierten Punktwolkedaten bestmöglich approximiert. Um die so berechnete Skelettlinie in der Simulation verwenden zu können, muss diese in eine diskrete Form überführt werden. Der Diskretisierungsschritt erfolgt indem die berechnete Skelettlinie in gleich lange Segmente unterteilt wird. Die Diskretisierung ist allerdings lediglich eine Vereinfachung der tatsächlichen gekrümmten Form des Objektes, die zwangsläufig zu einem geometrischen Fehler zwischen der realen, kontinuierlichen Konfiguration und der digitalen Darstellung in der Simulation führt. Bei ausreichend vielen Segmenten mit hinreichend geringer Segmentlänge kann dieser Fehler reduziert werden. Allerdings steigt hierdurch aber der Bedarf an Rechenleistung für das Simulationsmodell. Bei dem vom ISW entwickelten Algorithmus lässt sich über eine definierte Fehlergrenze ein maximal erlaubter geometrischer Fehler einstellen, sodass die resultierende Segmentanzahl ein ausgewogenes Verhältnis zwischen Rechenzeit und Genauigkeit erzielt.