FoodPhone

Vision-Technologien und KI verwandeln Handys in ein Food-Analysegerät

Das amerikanische Startup FoodPhone hat eine Handyhülle und App entwickelt, die über ein einfaches Bild mit dem Smartphone den Nährstoffgehalt einer Mahlzeit sofort und wissenschaftlich exakt erkennt.

Bild 1 | Durch die Aufnahme mit einer speziellen Handyhülle bekommt der Anwender durch die FoodPhone-App sofort eine wissenschaftliche Analyse seiner Mahlzeit sowie eine Nährwerttabelle. (Bild: Foodphone)

Die FoodPhone-Applikation basiert auf der Intel-RealSense-3D-Technologie und bestimmt das Volumen, die Textur und die Form aller Arten von Lebensmitteln mit nur einem einzigen Bild. Neben dem Zählen von Kohlenhydraten und Kalorien erkennt das Embedded Vision-Case die Inhaltsstoffe von Lebensmitteln anhand ihrer chemischen Zusammensetzung und zeigt diese dem Anwender sofort als vertraute Nährwerttabelle an. Die Qualität, die Frische und der Reifegrad von Lebensmitteln können so mit einem Blick direkt im Geschäft überprüft werden, da NIR-Funktionen sowohl sichtbare als auch unsichtbare kleine Fehler bzw. Druckstellen erkennen.

Smartphone erstellt Nährwerttabelle

Heutige Smartphones haben eine gute Kamera, einen Internet-Zugang und verfügen über leistungsstarke Prozessoren, die Algorithmen der künstlichen Intelligenz (KI) verarbeiten können. Die Idee von FoodPhone ist es, Smartphones in Diät-Helfer zu verwandeln, welche Lebensmittel direkt auf dem Teller analysieren. Die FoodPhone-App mit ihrer patentierten SpectraPixel-Technologie nimmt dazu ein Bild auf, verbindet sich mit der firmeneigenen cloudbasierten KI und erkennt den Inhalt der Mahlzeit – insbesondere die chemische Zusammensetzung, die Portionsgröße in Gramm sowie die Qualität und Haltbarkeit. Die App kann mehrere Sorten Essen auf dem Teller unterscheiden und auch zubereitete Speisen wie etwa Kartoffelbrei erkennen. Dies leisten mehrere multispektrale Kameras und NIR-Sensoren, welche in einer handelsüblichen Handyhülle integriert sind. Der Nutzer erhält sofort eine wissenschaftliche Analyse seiner Mahlzeiten. Die Analyse liefert Details über die Kohlenhydrate, Fette, Proteine und andere Nährstoffe sowie die exakte Portionsgröße von Mahlzeiten. Durch die Kombination verschiedener Bildverarbeitungstechnologien und KI identifiziert das FoodPhone die präzise Menge und Zusammensetzung von Lebensmitteln. Die Nutzer müssen dazu weder Daten eingeben, noch ihr Essen berühren oder die Menge abschätzen. Und sie bekommen das Ergebnis sofort. Die App liefert Nährwertangaben mit einer Genauigkeit von über 90 Prozent.

Bild 2 | Das über der Arbeitsplatte montierte FoodPhone-Gerät scannt fertig zubereitete Speisen. (Bild: FoodPhone)

Intel RealSense Kamera als Basis

„Ursprünglich habe ich nur einen einfachen Weg gesucht, Kalorien zu zählen“, erzählt Christopher Mutti, Gründer und CEO von FoodPhone. Als leidenschaftlicher Hockeyspieler war er gezwungen, auf seine Ernährung zu achten, sein Gewicht und die Kalorien unter Kontrolle zu halten. In analogen Zeiten oder später mit Hilfe von Computer und Internet war das Kalorienzählen für ihn nicht nur ungenau, sondern auch äußerst kompliziert und dauerte (zu) lang. Der gelernte Maschinenbauingenieur wollte auf einfache Weise sehen, was und wie viel er isst. Die Idee, eine Mahlzeit mit einem einzigen Bild von einer Kamera oder einem Handy zu analysieren, hatte er schon um die Jahrtausendwende, doch die Technik war damals noch nicht soweit. 2013 hatte sich aber die Rechenleistung von Smartphones bereits so weit entwickelt, dass sie komplexe Algorithmen verarbeiten konnte, und durch Projekte wie ImageNet der Stanford University, war auch eine Vision-basierte KI-Technologie verfügbar. Zusammen mit einem Team von erfahrenen Wissenschaftlern aus den Bereichen Neuronale Netzwerke & KI, 3D- sowie Hyperspectral-Bildverarbeitung sowie erfahrenen Ingenieuren im Bereich Kamera- und Objektivdesign beschloss Mutti, Patente zu entwickeln, um seine Idee in die Tat umzusetzen. Der erste Prototyp, liebevoll als Million Dollar Blue Box bezeichnet, wurde aus off-the-shelf Komponenten gebaut und maß noch 8x7x3 Zoll. Die Box war die kleinste damals machbare Kombination von 3D, RGB und NIR, die reinen Materialkosten lagen aber bei ca 3.000USD. Es dauerte noch mehr als fünf Jahre, bis der technologische Fortschritt die Leistung, Größe und auch Erschwinglichkeit brachte, um FoodPhone zu einer praktikablen Lösung für das tägliche Leben zu machen. Mutti und sein Team haben mit der Intel RealSense Kamera das perfekte Produkt in Größe und Preis gefunden, um die notwendigen Daten für die Erkennung und Analyse der Lebensmittel zu liefern. Die Kameras werden dazu in eine Handyhülle eingebettet, die Größe und das Aussehen des Cases bleibt dabei fast unverändert. So kann die FoodPhone-Handyhülle heute bereits zu einem Einzelhandelspreis von wenigen hundert Dollar angeboten werden. Nach dem Kauf wechseln die Nutzer einfach ihre Handyhülle, laden die App herunter und können sofort beginnen, Fotos ihrer Mahlzeiten zu machen. Das Handy zeigt innerhalb von Sekunden die genauen Nährwerte an.

Bild 3 | Die mit dem FoodPhone aufgenommenen Spektralprofile erlauben einen einzigartigen Fingerabdruck und ermöglichen so die Erkennung von Gemüse oder Fleisch. (Bild: FoodPhone)

KI kombiniert Vision-Daten

Die FoodPhone-Applikation nutzt multispektrale und 3D-Bildverarbeitung, um die Nährstoffe sowie das Volumen und die Portion präzise zu identifizieren. Das Team um Mutti entwickelte die notwendige Software ohne einen Marker als Referenz im Sichtfeld des Visionsystems. Die Ingenieure entschieden sich für die Intel D435 RealSense Tiefenkamera, da es sich um eine USB-Kamera handelt, die aus einem Stereo-Paar, einer RGB-Kamera und einem IR-Projektor besteht. Mutti hält für die Erzeugung hyperspektraler Bilder durch die Zusammenführung des Outputs mehrerer Kameras und verschiedenartiger Visiondaten mehrere Patente. Das Bildverarbeitungssystem geht auf dieselbe Art vor, wie auch ein Mensch sein Essen betrachtet: Farbe ist das erste Element, welches ihm auffällt. FoodPhone verwendet zunächst die RGB-Kamera, um die Farben auf dem Teller zu identifizieren. Dann erzeugt die Stereo-Kamera die 3D-Daten, um Form, Umriss und Textur der einzelnen Lebensmittel zu identifizieren. Die 3D-Rohdaten geben Maße und Gesamtvolumen oder die Portionsgröße des Essens an. Mit NIR-Daten, die von mehreren Kameras und Sensoren aufgenommen wurden, sind die FoodPhone-eigenen Algorithmen in der Lage, die chemische Zusammensetzung eines Lebensmittels auszuwerten. Dazu wird ein Overlay von mehr als zehn Bildern und ihrer Rohdaten in sichtbares Licht, Farbe, Spektraldaten und 3D-Informationen unterteilt. Aus den optischen, spektralen und physikalischen Informationen werden dann die spezifischen und individuellen Eigenschaften eines jeden Lebensmittels identifiziert. Anhand dieser Spektralprofile wird jedes Essen eindeutig bestimmt, da es einen einzigartigen spektralen Fingerabdruck besitzt. „Wir haben mehrere Millionen Bilder verwendet, um unsere KI-Algorithmen zu trainieren“, so Mutti. Um die Nährwerttabellen und das Gewicht richtig berechnen zu können, müssen Farbe, Textur, spektrale Signatur und Volumen eines Lebensmittels übereinstimmen. Die Rohbilddaten werden zunächst von einem Intel Edison, einem kleinen SoC, verarbeitet, um Kohlenhydrate, Proteine, Fette und Wassergehalt zu identifizieren. Von dort aus werden alle gesammelten Informationen in die Cloud übertragen und laufen durch die KI-basierte FoodPhone-Datenbank. Das Smartphone empfängt die Ergebnisse und zeigt sie als Nährwerttabelle auf dem Handy-Display an.

Die Technologie kann noch mehr

Die FoodPhone-Technologie hilft Menschen, Lebensmittel im Alltag zu analysieren – nicht nur bei einer Diät. Beim Einkaufen im Supermarkt zeigt einem die App die frischesten und gesündesten Produkte im Regal. In Echtzeit bekommen die Verbraucher alle Informationen zu Inhaltsstoffen, Qualität und Frische auf ihrem Smartphone angezeigt. Menschen mit Lebensmittelallergien können die angegebenen Inhaltsstoffe ihrer Lebensmittel überprüfen und müssen keine kryptische Zutatenlisten entschlüsseln. Ein einfacher Handy-Shot der Lebensmittel liefert eine detaillierte Liste der Zutaten und eine genaue Haltbarkeit. Die NIR-Daten helfen unabhängig vom Mindesthaltbarkeitsdatum des Produkts, seine Reife, kleine Fehler und eventuelle Bakterien zu erkennen. In zukunftsweisenden Smart-Home-Szenarien kann die Technologie von FoodPhone in jede Haushaltküche eingebaut sein. Montiert über der Arbeitsplatte könnte eine kleine Kamera jedes Lebensmittel oder die einzelnen Zutaten einer Mahlzeit scannen. Der Benutzer erhält direkt während der Zubereitung eine wissenschaftliche Analyse seiner Zutaten und die zusammengefasste Nährwerttabelle. Darüber hinaus kann die Software automatisch die wöchentliche Einkaufsliste des Benutzers oder dessen Lieferdienst-Bestellung aktualisieren. Ein intelligenter IoT-Kühlschrank könnte mit der neuen Technologie die verbrauchten Lebensmittel und ihre Haltbarkeit verfolgen, sowie ebenfalls direkt mit den Einkaufs- und Lieferlisten abgleichen. Des weiteren kann die bildverarbeitungs- und KI-basierte Überprüfung von Lebensmitteln Lebensmittelbetrug bekämpfen und die wahren Inhaltsstoffe aufzeigen.