KI kombiniert Vision-Daten
Die FoodPhone-Applikation nutzt multispektrale und 3D-Bildverarbeitung, um die Nährstoffe sowie das Volumen und die Portion präzise zu identifizieren. Das Team um Mutti entwickelte die notwendige Software ohne einen Marker als Referenz im Sichtfeld des Visionsystems. Die Ingenieure entschieden sich für die Intel D435 RealSense Tiefenkamera, da es sich um eine USB-Kamera handelt, die aus einem Stereo-Paar, einer RGB-Kamera und einem IR-Projektor besteht. Mutti hält für die Erzeugung hyperspektraler Bilder durch die Zusammenführung des Outputs mehrerer Kameras und verschiedenartiger Visiondaten mehrere Patente. Das Bildverarbeitungssystem geht auf dieselbe Art vor, wie auch ein Mensch sein Essen betrachtet: Farbe ist das erste Element, welches ihm auffällt. FoodPhone verwendet zunächst die RGB-Kamera, um die Farben auf dem Teller zu identifizieren. Dann erzeugt die Stereo-Kamera die 3D-Daten, um Form, Umriss und Textur der einzelnen Lebensmittel zu identifizieren. Die 3D-Rohdaten geben Maße und Gesamtvolumen oder die Portionsgröße des Essens an. Mit NIR-Daten, die von mehreren Kameras und Sensoren aufgenommen wurden, sind die FoodPhone-eigenen Algorithmen in der Lage, die chemische Zusammensetzung eines Lebensmittels auszuwerten. Dazu wird ein Overlay von mehr als zehn Bildern und ihrer Rohdaten in sichtbares Licht, Farbe, Spektraldaten und 3D-Informationen unterteilt. Aus den optischen, spektralen und physikalischen Informationen werden dann die spezifischen und individuellen Eigenschaften eines jeden Lebensmittels identifiziert. Anhand dieser Spektralprofile wird jedes Essen eindeutig bestimmt, da es einen einzigartigen spektralen Fingerabdruck besitzt. „Wir haben mehrere Millionen Bilder verwendet, um unsere KI-Algorithmen zu trainieren“, so Mutti. Um die Nährwerttabellen und das Gewicht richtig berechnen zu können, müssen Farbe, Textur, spektrale Signatur und Volumen eines Lebensmittels übereinstimmen. Die Rohbilddaten werden zunächst von einem Intel Edison, einem kleinen SoC, verarbeitet, um Kohlenhydrate, Proteine, Fette und Wassergehalt zu identifizieren. Von dort aus werden alle gesammelten Informationen in die Cloud übertragen und laufen durch die KI-basierte FoodPhone-Datenbank. Das Smartphone empfängt die Ergebnisse und zeigt sie als Nährwerttabelle auf dem Handy-Display an.
Die Technologie kann noch mehr
Die FoodPhone-Technologie hilft Menschen, Lebensmittel im Alltag zu analysieren – nicht nur bei einer Diät. Beim Einkaufen im Supermarkt zeigt einem die App die frischesten und gesündesten Produkte im Regal. In Echtzeit bekommen die Verbraucher alle Informationen zu Inhaltsstoffen, Qualität und Frische auf ihrem Smartphone angezeigt. Menschen mit Lebensmittelallergien können die angegebenen Inhaltsstoffe ihrer Lebensmittel überprüfen und müssen keine kryptische Zutatenlisten entschlüsseln. Ein einfacher Handy-Shot der Lebensmittel liefert eine detaillierte Liste der Zutaten und eine genaue Haltbarkeit. Die NIR-Daten helfen unabhängig vom Mindesthaltbarkeitsdatum des Produkts, seine Reife, kleine Fehler und eventuelle Bakterien zu erkennen. In zukunftsweisenden Smart-Home-Szenarien kann die Technologie von FoodPhone in jede Haushaltküche eingebaut sein. Montiert über der Arbeitsplatte könnte eine kleine Kamera jedes Lebensmittel oder die einzelnen Zutaten einer Mahlzeit scannen. Der Benutzer erhält direkt während der Zubereitung eine wissenschaftliche Analyse seiner Zutaten und die zusammengefasste Nährwerttabelle. Darüber hinaus kann die Software automatisch die wöchentliche Einkaufsliste des Benutzers oder dessen Lieferdienst-Bestellung aktualisieren. Ein intelligenter IoT-Kühlschrank könnte mit der neuen Technologie die verbrauchten Lebensmittel und ihre Haltbarkeit verfolgen, sowie ebenfalls direkt mit den Einkaufs- und Lieferlisten abgleichen. Des weiteren kann die bildverarbeitungs- und KI-basierte Überprüfung von Lebensmitteln Lebensmittelbetrug bekämpfen und die wahren Inhaltsstoffe aufzeigen.
