Objekterkennung mit samplebasierter Identifikation

Samplebasierte Identifikation für neuartige Objekterkennung

Zur optischen Identifikation von Objekten jeglicher Art werden Barcodes oder Datacodes eingesetzt. Für viele Anwendungen wäre es allerdings wünschenswert, Objekte ohne solche speziellen Aufdrucke zu identifizieren. Denn entweder verfügen bestimmte Objekte gar nicht über solche Aufdrucke, oder man kann sie nur unter schwierigen Bedingungen bzw. gar nicht anbringen wie z.B. bei Obst, Gemüse oder Eisenwaren.
Manchmal gibt es auch Probleme, weil nicht garantiert werden kann, dass solche Aufdrucke sichtbar angebracht sind, z.B. bei Objekten, die auf einem Fließband liegen und bei denen sich der Aufdruck im Augenblick der Identifizierung auf der Unterseite befindet. Seit langem herrscht daher der Wunsch, Objekte nur über ihr Aussehen, also nur durch das Betrachten, identifizieren zu können. Halcon 11 stellt dazu jetzt mit SBI (Samplebasierte Identifikation) ein neues Tool zur Verfügung. Damit können vortrainierte Objekte allein anhand ihrer Merkmale wie Textur oder Farbe durch Vorzeigen und Lernen erkannt werden. Dies geschieht mit einer hoher Trefferquote und großer Sicherheit. Auch aus unterschiedlichen Blickwinkeln erfolgt eine sichere Identifikation.

Wie arbeitet SBI?

Es gibt eine Offline- und eine Online-Phase. Der Benutzer benötigt in der Regel nur ein Beispielbild von jedem Objekt, das identifiziert werden soll. Das ist für manche Applikation von großer Bedeutung, wenn man annimmt, dass zum Trainieren nur ein Examplar pro Objekt vorhanden ist. Aus der Beispiel-Applikation in Bild 2 wird kalr: Von allem Plakaten gibt es nur ein Foto. In diesem Fall ist die Farbinformation sehr hilfreich, um die Robustheit nochmals zu erhöhen und dadurch die gezeigten Plakate eindeutig voneinander unterscheiden zu können. Es reicht dann bereits ein Bildausschnitt, um eine eindeutige Zuweisung vornehmen zu können. Der User muss also nur entscheiden, ob nur Texturmerkmale anhand von Grauwerten oder zusätzlich auch Farbinformation für die Identifizierung hinzugezogen werden sollen. Auf der Grundlage der Einzelbilder wird dann ein so genannter ´Sample Identifier´ vorbereitet und trainiert. SBI extrahiert dazu automatisch aus jedem Bild vorgegebene Merkmale. Dadurch kann die Textur eines Objekts beschrieben werden. Ähnliches gilt für Farbmerkmale, wenn diese verwendet werden sollen. Ein Sample Identifier kann als virtuelles Warenlager gesehen werden. Zwar können der Speicherbedarf und die Laufzeit der Vorbereitungsphase hoch sein, aber für eine typische Applikation muss diese Vorbereitung nur einmal erfolgen. Danach wird der vorbereitete Sample Identifier mit den Objekten nur einmal trainiert, das virtuelle Warenlager also aufgefüllt. Dieses Training erfolgt für jedes Objekt in Millisekunden.

Interessant für zeitkritische Applikationen

In der Online-Phase wird das Bild eines Objekts mit den trainierten Bildern im virtuellen Warenlager verglichen. Aus dem ähnlichsten Bild kann dann auf das erkannte Produkt geschlossen werden, was letztendlich als Ergebnis zurückgegeben wird. Auch bei tausenden vorgehaltenen Objekten erhöht sich die Laufzeit nur marginal. Die Laufzeit eines SBI-Vergleichs beträgt stabil – je nach Objekt – zwischen einigen hundertstel bis einigen zehntel Sekunden. Aufgrund der Tatsache, dass Halcon über die automatische Parallelisierung verfügt, kann die Leistungsfähigkeit von Multicore-Prozessoren genutzt werden. Das macht SBI für zeitkritische Applikationen interessant. Auch unter widrigen Bedingungen läuft das System robust. Werden Objekte in der Betriebsphase z.B. aus einem leicht unterschiedlichen Winkel, bei anderen Lichtverhältnissen, teilweise verdeckt, in unterschiedlicher Orientierung, in einer anderen Größe oder mit verdeckenden anderen Objekten aufgenommen, so findet es das Vergleichsobjekt im virtuellen Warenlager trotzdem zuverlässig.

Erkennen von 3D-Objekten

Viele Objekte präsentieren je nach Blickrichtung eine andere Ansicht. Es sind also typische 3D-Objekte, von denen mehrere Trainingsbilder gemacht werden müssen, um die Trefferquote der Identifikation zu erhöhen. Es genügt in der Regel, Bilder mit 45° Unterschied in der Blickrichtung aufzunehmen. Dadurch kann man mit nur wenigen zusätzlichen Aufnahmen die Robustheit der Applikation steigern. Andere Objekte wie Tüten, Säcke, Zeitungen, Gemüse oder Salat können deformiert oder geknittert sein. Auch in einem solchen Fall reichen in der Regel wenige Trainingsbilder aus, um die notwendige Robustheit zu erreichen. SBI ist in der Lage, flexibel und effizient auf Änderungen in der Produktpalette zu reagieren. Ein Bild eines neuen Produktes zu trainieren kostet nur Millisekunden, ein Produkt aus dem Sortiment zu entfernen ebenfalls.