Multisignal-Verarbeitung bei Embedded Vision Systemen

Die Anforderungen für mobile oder kompakte Elektroniken zur Multisignalverarbeitung in Embedded Systemen sind komplex. Hema Electronic hat daher eine Embedded Vision Design-Plattform entwickelt. Kunden wählen ihre benötigten Schnittstellen und Funktionalitäten aus und konfigurieren ihre individuelle Elektronik, die dann innerhalb von sechs Wochen produziert wird.

(Bild: hema electronic GmbH)

Rundumsichtlösungen an Spezialfahrzeugen, Smart Agriculture Anwendungen und Drohnen für Überwachungs- und Analyseaufgaben setzen heute auf eine Vielzahl an Signaldaten. Neben Bilddaten in verschiedenen Spektralbereichen bis hin zu UV- und Hyperspektraldaten kommen weitere Sensoren wie Radar, Lidar und Time-of-Flight zum Einsatz. Die Herausforderung in der Entwicklung solcher Lösungen besteht in der schnellen und effizienten Aufbereitung und Auswertung dieser vielfältigen Daten. Dabei stehen Entwicklern unterschiedliche Konzepte zur Auswahl: Intelligente Sensoren sind in der Regel einfach zu integrieren und direkt einsetzbar. Embedded Systeme mit ARM-Mikroprozessoren können auch Rohdaten von Sensoren verarbeiten und sind dank Linux als verbreitetem Betriebssystem einfach zu programmieren. PC-basierte Systeme verfügen dagegen meist über die höchste Rechenleistung. Für viele Anwendungen gibt es mehrere geeignete Umsetzungsmöglichkeiten und Entscheider wählen den für sie optimalen Kompromiss aus Entwicklungs- und Serienkosten, gewünschter Funktionalität und Bauform.

Zahlreiche Schnittstellen, ARM-Prozessoren, FPGAs: modulare Elektronik für das Verarbeiten multipler Datensignale (Bild: hema electronic GmbH)

Herausforderung Sensorfusion

Allerdings stellen die eingangs genannten Lösungen besondere Anforderungen an die Elektroniken: So kommen oftmals eine deutlich höhere Anzahl an Sensoren zum Einsatz, als standardmäßig von Embedded Prozessoren unterstützt werden. Diese werden für dedizierte Anwendungen entwickelt und verfügen über eine Reihe darauf angepasster Interfaces. Ihr Vorteil sind eine kompakte Baugröße und ein geringer Preis. Beim Einsatz vieler Sensoren müssen aber weitere Schnittstellen um den Mikrocontroller herum zur Verfügung gestellt werden, die jedoch nicht (oder nur über Umwege wie Signalkonverter) parallel genutzt werden können.

Dabei hilft auch die Verwendung intelligenter Sensoren nicht weiter, die ja ebenfalls eine eigene Schnittstelle an der Elektronik benötigen. Ihr Vorteil liegt in der Vorverarbeitung der Daten. Je nach Sensor werden somit bereits aufgearbeitete Daten geliefert. Im Falle einer Kamera als Sensor können das zum Beispiel Bilder mit erfolgter Grauwertkorrektur und Rauschunterdrückung sein. Noch weiter gehen Sensoren für bestimmte Applikationen wie das Identifizieren von Personen oder Merkmalen, die dann nur noch das Ergebnis der Bildanalyse weitergeben. Hinzu kommt, dass für viele Anwendungen die Fusion verschiedener Sensordaten notwendig ist, etwa wenn Bilder mehrerer Kameras zusammengefügt oder die Position und Größe mittels Radar identifizierter Gegenstände auf einem Kamerabild visualisiert werden sollen. Dafür müssen der entsprechenden Applikation meist jedoch auch die Rohdaten der Sensoren zur Verfügung stehen.

Königsweg Embedded + FPGA

X86-basierte Industrie-PCs sind mit vielen unterschiedlichen Schnittstellen konfigurierbar und stellen eine hohe Rechenleistung zur Verfügung. Das ermöglicht umfassende Prozesse, bei denen die Signaldaten zusammengefasst, interpretiert und komplexe Ergebnisse ausgegeben werden. Für stationäre Überwachungs- und Kontrollaufgaben sind sie oftmals ein vernünftiger Kompromiss aus Entwicklungsaufwand, Preis und Leistungsfähigkeit. Gleichzeitig eignen sie sich durch ihre Baugröße und den oftmals hohen Stromverbrauch nur eingeschränkt für mobile oder dezentrale Anwendungen und die Integration in vorgegebene Gehäuse oder enge Einbausituationen. Die Anforderungen für mobile oder kompakte Elektroniken zur Multisignalverarbeitung lassen sich dabei wie folgt zusammenfassen:

• • Benötigt wird ein System, das möglichst viele Schnittstellen für unterschiedliche Sensoren bietet.
• • Es muss über ausreichend Rechenleistung verfügen, um Signaldaten zusammenfassen und gemeinsam auswerten zu können.
• • Für den mobilen Einsatz und die einfache Integration muss die Bauform kompakt und flexibel sein.
• •  Nur tatsächlich benötigte Komponenten sollten auf der Elektronik bestückt sein, um Größe, Stromverbrauch und Serienkosten zu optimieren.
• • Ein Linux-Betriebssystem ermöglicht das unkomplizierte und freie Programmieren der Endanwendung.

Problem Interface-Integration

In der Praxis erfüllt diese Anforderungen ein Embedded System mit ARM-Mikroprozessor am besten. Die größte Herausforderung ist dabei die Integration der zahlreichen Schnittstellen. Um die zu ermöglichen, setzt hema electronic auf die Kombination von FPGA-Technologie und ARM-Prozessoren, zum Beispiel mit Xilinx Zynq Ultrascale+ Bausteinen. Sie enthalten bis zu sechs ARM-Prozessoren und eine große FPGA-Logik. Dabei sind bis zu 800 I/O-Pins vorhanden. Die FPGA-Logik übernimmt dann die Vorverarbeitung der Sensordaten, die als Rohdaten oder minimal aufgearbeitet von den Sensoren zur Verfügung gestellt werden. In der Regel sind entsprechende IP-Cores verfügbar, mit denen sehr vielseitige Schnittstellen realisierbar und Sensoren direkt angeschlossen und konfiguriert werden können. Die FPGA-Logik führt das Einlesen der Datenströme und hauptsächlich die Vorverarbeitung aus, während die ARM-Prozessoren die Einzelergebnisse zu einem Gesamtbild oder Gesamtergebnis zusammenfassen und über die Standardschnittstellen (z.B. Ethernet, USB) an ein übergeordnetes System weitergeben.

Während die FPGA-Logik den Einsatz günstigerer Sensoren ohne integrierte Intelligenz ermöglicht und für eine schnelle Auswertung großer Datenströme sorgen, stehen der ARM-Prozessor – oder je nach Anwendung auch mehrere Prozessoren – für die Analyse der kombinierten Daten zur Verfügung. In der Regel gehen durch die Vorverarbeitung keine Informationen verloren und der Prozessor erhält Zugang zu allen erfassten Daten. So können die Daten eines Kamerasensors für mehrere Anwendungen verwendet werden, zum Beispiel sowohl zum Zählen von Personen als auch zum Übertragen eines kompletten Bildes der Situation. Die Datentiefe von Kamerasensoren wird so optimal genutzt. Ein Vorteil der Architektur ist auch, dass die Rechenleistung der Prozessoren für die eigentliche Applikation verfügbar bleibt und keine Ressourcen durch die Datenaufbereitung im Prozessor verloren gehen. Zudem erlaubt Linux als Betriebssystem die unkomplizierte Anwendungsentwicklung und den Einsatz von Standardschnittstellen wie Ethernet, USB etc.

Einfache Konfiguration mit modularer Plattform

Sind die gewünschten Sensoren festgelegt, kann die Elektronik definiert werden. hema hat dafür die Embedded Vision Design-Plattform entwickelt. Das modulare Konzept umfasst die Hardware ebenso wie Middleware und ein umfassendes Softwaregerüst. Kunden wählen ihre benötigten Schnittstellen und Funktionalitäten aus und konfigurieren so ihre individuelle Elektronik, die dann innerhalb von nur sechs Wochen produziert wird. Derzeit stehen bereits über 45 Building Blocks in der Hardware-Bibliothek zur Auswahl, die Interfaces wie USB, CAN, Ethernet und Wifi/Bluetooth ebenso umfasst wie zahlreiche spezielle Video- und Sensorschnittstellen. Rechenleistung und Speicher stellen System-on-Modules (SoM) zur Verfügung, die entsprechend der Kundenspezifikationen mit FPGA-Logiken und bis zu sechs ARM-Prozessoren sowie Speicher als DDR oder Flash ausgestattet sind. Die EMV-kritischen Komponenten rund um die Prozessoren sind bereits getestet und vielfach erprobt integriert. Der modulare Aufbau reduziert Designrisiken ebenso wie Aufwand und Kosten in der Entwicklung. Dank eines standardisierten Steckverbinders können auch unterschiedliche SoMs mit derselben Hauptplatine zum Einsatz kommen. Das erleichtert Upgrades und ermöglicht unterschiedliche Produktvarianten, ohne dass die zentrale Elektronik komplett neu entwickelt werden muss. Werden SoMs oder ihre Bauteile abgekündigt, ermöglicht das Design außerdem ein einfaches Ersetzen durch funktionsgleiche neue Module. So wird die Lebensdauer der Hauptelektronik verlängert. Die Serienqualifizierung der Elektronik kann dann auf Basis des Prototyps in kürzester Zeit erfolgen.