Bild: Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM
Wir sind von virtuellen Welten mit unterschiedlichem Realitätsgrad umgeben, z.B. Computergenerierte Bilder (CGI) in Filmen mit atemberaubende Szenen, die von dem, was wir für real halten, kaum zu unterscheiden sind. Augmented Reality (AR)-Lösungen, die ein virtuelles Objekt in eine reale Umgebung so einblenden, dass es natürlich erscheint. Softwarelösungen für technisches Design, die sich in der Regel auf geometrische Korrektheit und Präzision konzentrieren, während das grafische Erscheinungsbild für den Benutzer nur ästhetische Beigabe, aber kein entscheidendes Merkmal ist.
Die Welt der automatisierten visuellen Inspektionssysteme dagegen ist stark auf Realismus ausgerichtet. Die Entwicklung eines robusten, auf die jeweilige Anwendung zugeschnittenen Systems beruht auf der Erfahrung von Experten und auf viel Laborarbeit. Als solche sind die Lösungen hochspezialisiert, schwer an neue Aufgaben anpassbar und bieten keine Möglichkeit, Prüfspezifikationen auf standardisierte Weise in einen digitalen Zwilling zu integrieren, der die Rückverfolgbarkeit von Prüfverfahren ermöglicht. Können diese beiden Welten miteinander verbunden werden und voneinander profitieren, und wenn ja – wie?
Bevor wir diese Frage beantworten, sollten wir zunächst einmal feststellen, dass es für jede Art von Produkt auf dem Markt unterschiedliche Definitionen von Qualitätsschwellenwerten und wichtigen Prüfmerkmalen gibt. Unabhängig davon, welche Art von Qualität gefordert wird, kann man die Ergebnisse der visuellen Inspektion grob unterteilen in: Vorhandensein unerwünschter Merkmale bzw. Fehlen erwünschter Merkmale, sowie Abweichung vorhandener Merkmale vom Sollzustand. So ausgedrückt, klingt es einfach. Die große Frage ist jedoch, wie das Produkt so erfasst werden kann, dass alle erforderlichen Merkmale deutlich genug hervortreten, um von den Prüfalgorithmen zuverlässig erkannt zu werden, so dass die Qualitätsprüfung konsistent für das gesamte Produkt möglich ist. Dies hängt stark von der Größe der zu erkennenden Merkmale, dem Material des zu prüfenden Objekts, seiner Geometrie und der Wahl der für die Prüfung verwendeten Hardware ab und erfordert selbst bei großer Fachkompetenz meist mehrere Verbesserungsschritte, was zu hohem Zeit- und Geldaufwand führt. Daher ist dies genau der Punkt, an dem virtuelle Welten die Entwicklung von Inspektionssystemen maßgeblich beeinflussen können.
Vorab virtuell Prüfeinrichtungen planen
Mit Hilfe computergrafischer Methoden zur Ermittlung der optimalen Parameter der Erfassungshardware (Kamera- und Beleuchtungsposition, Kameraauflösung, Sichtfeld, Schärfentiefe,Beleuchtungsart, -intensität und -verteilung…) ist es möglich, vorab die Prüfeinrichtung zu planen, bevor eine reale Investition getätigt wird. Die Parameter werden so gewählt, dass die Abdeckung des Inspektionssystems maximiert wird, so dass der Benutzer weiß, welche Bereiche mit welcher Unsicherheit abgedeckt werden. Die optimalen Inspektionsaufbauten werden entweder durch manuelle Auswahl der Hardwareparameter und ihrer Platzierung (basierend auf der Erfahrung des Anwenders) oder durch den Einsatz verschiedener Optimierungsalgorithmen erstellt. Sobald der Inspektionsplan in Form einer Liste von Erfassungshardware mit Parametern, Platzierungskoordinaten und Abhängigkeiten (z.B. welches Licht mit welchem Sensor) definiert ist, kann er als Blaupause behandelt werden. Diese kann in den digitalen Zwilling des Produkts integriert werden, um zu dokumentieren, wie das Produkt geprüft wurde bzw. werden soll. Außerdem kann er später für eine Neubewertung der Systemwirksamkeit bei Produktänderungen verwendet werden, was zu einer einfacheren Anpassung des Systems bei geringeren Kosten führt.
Bild: Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
Daten als Engpass und Kontrollpunkt
Wir erleben derzeit den Aufstieg von Lösungen für das maschinelle Lernen, die alle den gleichen Engpass haben – Daten. In der Industrie und insbesondere bei der Inspektion wird dieser Engpass kritisch aufgrund der Variabilität der zu erkennenden Merkmale, der mangelnden Kapazität zur Erstellung eines ausgewogenen Datensatzes, der alle möglichen Fehlerklassen und Situationen (einschließlich der Grenzfälle) zu gleichen Anteilen repräsentiert, und schließlich der Menge an Arbeitskräften, die zur angemessenen Kommentierung der Daten erforderlich wären. Eine fotorealistische Inspektionssimulation, die auf dem parametrisierten Entwurf des Inspektionssystems basiert, ermöglicht eine realistische Vorhersage des Erscheinungsbildes des Objekts während der Inspektion. Das gleiche Verfahren wird zur kontrollierten Generierung synthetischer Datensätze angewandt, wobei physikalisch basierte Parameter für die Oberflächenstruktur und das Erscheinungsbild von Defekten verwendet werden und automatische und objektive pixelgenaue Annotationen bereitgestellt werden. Das bedeutet, dass alle oben genannten Herausforderungen durch die Erzeugung beliebiger Mengen synthetischer Daten bewältigt werden können, auch für hochkomplexe Oberflächen wie Guss- oder gefräste Metalloberflächen. Von besonderer Bedeutung ist die Fähigkeit, robuste KI-Lösungen zu entwickeln, die auf ausgewogenen Datensätzen basieren, über deren Inhalt wir vollständige Kontrolle und Kenntnis haben.
Bild: Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
Virtual Inspection Planning Initiative
Als Machine-Vision-Spezialist wissen Sie, wie komplex ein solches System ist. Genau aus diesem Grund haben die Fraunhofer Institute ITWM, IFF, IOSB und IGD die ‚Virtual Inspection Planning Initiative‘ ins Leben gerufen, in der Experten aus verschiedenen Bereichen der Bildverarbeitung und optischen Fertigungsmesstechnik zusammenkommen. Die Initiative zielt darauf ab, eine einzigartige Zusammenarbeit zwischen den Instituten und den Industriepartnern aufzubauen, welche die nötige Multidisziplinarität garantiert, um die entscheidenden Lösungen zu liefern. Daher laden wir die Industriepartner aktiv dazu ein, die Herausforderungen, mit denen sie konfrontiert sind, beizusteuern und die Gelegenheit zu nutzen, die angewandte Forschung in die Richtung zu lenken, die sie für entscheidend halten, um wettbewerbsfähige Fortschritte auf dem Markt zu gewährleisten.
www.itwm.fraunhofer.de
