3D statt Petrischale

Bild 1 | Bilder, die mit der 4D-Lichtfeldtechnologie von Raytrix aufgenommen wurden, können auch nach der Aufnahme noch neu fokussiert werden und erlauben dadurch eine optimierte Untersuchung von Tumorzellen vor und nach einer Behandlung.
Bild 1 | Bilder, die mit der 4D-Lichtfeldtechnologie von Raytrix aufgenommen wurden, können auch nach der Aufnahme noch neu fokussiert werden und erlauben dadurch eine optimierte Untersuchung von Tumorzellen vor und nach einer Behandlung.Bild: Raytrix

Die personalisierte Krebsmedizin stellt hohe Anforderungen an Diagnostik und Medikamentenentwicklung. Klassische präklinische Testmethoden mit 2D-Zellkulturen liefern jedoch häufig keine verlässlichen Aussagen über die Wirksamkeit neuer Arzneimittel. Neuartige Ansätze mit 3D-Mini-Organen, sogenannten Organoiden, bilden die Struktur und Funktion menschlicher Tumore deutlich realitätsnäher ab und ermöglichen dadurch bessere Vorhersagen bei der Entwicklung neuer Medikamente. Doch 3D-Strukturen verlangen nach 3D-Analyse. Klassische Verfahren wie Konfokalmikroskopie oder Laserlichtschnitt sind allerdings für die personalisierte Medizin zu langsam, zu aufwendig und nicht auf hohen Probendurchsatz ausgelegt. Organoide sind laut Dr. Lennart Wietzke, Geschäftsführer Raytrix, ein vielversprechender Weg in der personalisierten Medizin, doch die bestehende 3D-Mikroskopie ist dafür schlicht nicht geeignet. „Unsere 4D-Lichtfeldkameras ermöglichen die volumetrische Erfassung von Organoiden in Echtzeit, mit hohem Durchsatz und bis zu 36-facher Schärfentiefe, ohne bewegliche Teile.“

Bild 3 | Durch das Raytrix-Mikrolinsenarray auf dem Bildsensor entstehen viele tausend kleine Teilbilder mit leicht versetzten Blickwinkeln.
Bild 3 | Durch das Raytrix-Mikrolinsenarray auf dem Bildsensor entstehen viele tausend kleine Teilbilder mit leicht versetzten Blickwinkeln.Bild: Raytrix/Teledyne

One-Shot 4D-Bildaufnahme

Den Anstoß für die Entwicklung der 4D-Lichtfeldkameras gab das Institut für Bioprozess- und Analysenmesstechnik (iba) in Heilbad Heiligenstadt. Die Forschenden dort suchten eine neue Methode, um lebende 3D-Zellkulturen dreidimensional und schnell analysieren zu können. Dabei stießen sie auf Raytrix. Wietzke erinnert sich: „4D-Lichtfeldkameras, eine innovative Form von 3D-Kameras, erfassen ein Standardbild zusammen mit der Tiefeninformation einer Szene. Metrische 3D-Informationen lassen sich dabei mit einer einzigen Lichtfeldkamera durch ein einziges Objektiv in nur einer Aufnahme gewinnen, ohne dass strukturierte Beleuchtungssysteme erforderlich sind.“

Bild 2 | Die 4D-Lichtfeldkameras basieren auf Industriekameras von Teledyne, die je nach Anwendung mit dem patentierten Multi-Fokus-Mikrolinsen-Array ausgestattet werden.
Bild 2 | Die 4D-Lichtfeldkameras basieren auf Industriekameras von Teledyne, die je nach Anwendung mit dem patentierten Multi-Fokus-Mikrolinsen-Array ausgestattet werden.Bild: Raytrix

Lichtfeld-Tomographie

Die Grundlagen von Lichtfeldern, auf denen die Raytrix-Technologie basiert, erklärt Wietzke so: „Lichtfelder beschreiben physikalisch vollständig alle Lichtstrahlen, die durch eine Szene verlaufen. Diese werden durch vier Parameter charakterisiert: Zwei definieren die Position eines Lichtstrahls auf der Sensorebene, zwei weitere seine Richtung im Raum. Diese 4D-Informationen lassen sich mit einer einzigen Aufnahme erfassen. Aus diesem Grund spricht man von einem 4D-Lichtfeld.“ Möglich wird dies durch ein speziell entwickeltes Mikrolinsenarray, das direkt auf dem Bildsensor angebracht ist. Es teilt das einfallende Licht in viele tausend kleine Teilbilder auf, die jeweils einen leicht versetzten Blickwinkel auf die Szene liefern. Aus diesen Daten kann die Software sowohl 2D-Bilder mit variabler Fokusebene als auch vollständige metrische 3D-Informationen rekonstruieren.

Das Besondere an der Lichtfeldtechnologie von Raytrix zeigt sich erst bei der Auswertung: Aus einem aufgezeichneten 4D-Lichtfeld lassen sich nicht nur klassische 2D-Bilder mit variabler Fokusebene erzeugen, sondern auch vollständige 3D-Datensätze, unabhängig davon, wo sich das Objekt im Raum befindet. Tumorzellen können dadurch nach der Aufnahme exakt vermessen und analysiert werden, selbst wenn sie außerhalb der klassischen Schärfeebene liegen. Dies macht die Methode besonders geeignet für lebende Zellkulturen mit komplexer 3D-Struktur. Die spezielle, patentierte Mikrolinsenanordnung auf dem Bildsensor ermöglicht zudem eine bis zu 36-fach erhöhte Schärfentiefe im Vergleich zur konventionellen Mikroskopie. Die gesamte Information wird in einer einzigen Aufnahme erfasst, ohne mechanisches Nachfokussieren. Der Raytrix-Bildsensor misst die Richtung eines jeden Strahls in der Einheit MegaRay.

Für die Verarbeitung verwendet Raytrix die inzwischen durch den KI-Hype bekannte Cuda-Plattform von Nvidia, so Wietzke: „Die gesamte Verarbeitung erfolgt auf einem Grafikprozessor. In dieser Anwendung verarbeiten wir 150 Rohbilder mit jeweils 26 MegaRay Auflösung/sec und erzielen damit 150 vollständige 2D- und 3D-Bilder mit je 6MP/s. Für die Lichtfeldrekonstruktion nutzen wir ausschließlich Fließkommaoperationen auf den allgemeinen Recheneinheiten der GPU. Spezialisierte Recheneinheiten, wie sie häufig für KI verwendet werden, bleiben dabei vollständig verfügbar.“ Auf diese Weise lassen sich Bildverarbeitung und KI-Algorithmen bei Bedarf gleichzeitig nutzen, ohne dass sie sich gegenseitig verlangsamen.

Teledyne als Technologiepartner

Bei Bilderfassungssystemen wie 4D-Lichtfeldkameras spielen die eingesetzten Kameras eine entscheidende Rolle. Raytrix vertraut deshalb schon lange auf Bildverarbeitung von Teledyne: „Wir haben bereits vor 15 Jahren unsere erste 4D-Lichtfeld-Zeilenkamera mit drei Zeilen für die schnelle 3D-Inline-Inspektion von speziellen Display Glass Panels auf Basis einer Teledyne-Zeilenkamera entwickelt und auf den Markt gebracht“, erinnert sich Wietzke. Als wesentliches Argument für Teledyne spricht laut Wietzke dabei die Tatsache, dass das Unternehmen als einziger Hersteller am Markt sämtliche aktuellen Kameratechnologien im Portfolio hat. „Ganz gleich, ob wir Flächen- oder Zeilenkameras für unsere Systeme benötigen, ob wir im UV-, im sichtbaren VIS-, im SWIR- oder sogar allgemein im multispektralen Bereich unterwegs sind, welche Geschwindigkeitsanforderungen die jeweilige Anwendung mit sich bringt oder ob wir Kameras mit großen oder kleinen Sensorformaten einsetzen wollen: Teledyne deckt alle Anforderungen ab.“ Dieses breite Angebot zahlt sich besonders dann aus, wenn man 3D-Systeme realisieren möchte, unterstreicht der Raytrix-Geschäftsführer: „3D-Lösungen sind niemals out-of-the-box Standardlösungen und erfordern immer eine breite Auswahl an verschiedenen Sensoren und Interfaces. Auch hier hat Teledyne ein absolutes Alleinstellungsmerkmal: Kein anderer Kamera-Hersteller produziert seine eigenen Bildsensoren selbst. Dadurch kann Teledyne so flexibel auf Kundenwünsche reagieren.“

Seiten: 1 2