Um die Möglichkeiten der Lichtfeld technik von HD Vision und rabbitAI zu demonstrieren, wurden für die Aufnahmen optisch schwierige Objekte mit stark reflektierenden Materialien verwendet.
HD Vision Systems und rabbitAI sind beide Spezialisten für die Verarbeitung von Lichtfeldbildern. Beide Firmen haben anhand eines Test untersucht, wo die Vorteile ihrer Systeme liegen.
In den letzten Jahren hat die Lichtfeldtechnologie als Bildaufnahmeverfahren an Popularität gewonnen. Ihr Hauptvorteil besteht darin, dass sie neben der Lichtintensität auch die Richtung der Lichtstrahlen messen kann, die auf den Sensor treffen. Dies ermöglicht eine wesentlich detailliertere Erfassung der Szene als die herkömmliche 2D-Bildgebung und eröffnet neue Möglichkeiten für die Robotik oder autonomes Fahren. Es gibt zahlreiche Techniken zur Erfassung von Lichtfeldern, z. B. eine einzelne Kamera, die eine Szene aus mehreren Winkeln, oder mehrere Kameras, die Bilder aus verschiedenen Winkeln aufnehmen, oder eine Reihe von Mikrolinsen, die vor einem digitalen Kamerasensor angebracht sind, um Lichtfeldinformationen zu erfassen. Unter Fachleuten gibt es immer noch Diskussionen darüber, welche Technik für die Erfassung von Lichtfeldern am besten geeignet ist, aber es besteht kein Zweifel daran, dass Kamera-Arrays zu den Favoriten gehören.
Testvergleich zur Verarbeitung von Punktwolken
Die Lösung von HD Vision erzeugt 3D-Punkte eher an Objektmerkmalen wie Kanten, also dort, wo es für die 3D-Erkennung wichtig ist.
Die Rekonstruktion von rabbitAI erreicht eine hohe Oberflächengüte und eine sehr dichte Rekonstruktion der Szenen bei höherem Rechenaufwand
Die beiden Heidelberger Unternehmen HD Vision Systems und RabbitAI, die Spezialisten für die Verarbeitung von Lichtfeldbildern sind, haben die Möglichkeiten untersucht, 3D-Information aus Kamera-Arrays zu verwenden. HD VisionSystems verfolgte einen traditionellen, physikalisch basierten Ansatz der maschinellen Bildverarbeitung, während rabbitAI einen Ansatz des maschinellen Lernens verwendete. „Unser Startup kommt, wie HD Vision Systems auch, aus der selben Forschungseinrichtung“, erklärt Karsten Krispin, CEO von RabbitAI: „Dort haben wir die bestmöglichen Szenen-Rekonstruktionen entwickelt und analysiert. Das ermöglicht eine sehr flexible Umsetzung, die präzise Messaussagen und Fehlerabschätzungen zugleich erlaubt.“
Beide Unternehmen arbeiteten mit denselben Daten (2D-Bilder), die vom selben Sensor stammten. Die Bilder wurden mit dem Lichtfeldkamera-Array LumiScanX aufgenommen, das aus dreizehn x-förmig angeordneten Kameras besteht, die eine Bildszene aus leicht unterschiedlichen Positionen aufnehmen. Um die Möglichkeiten der Ansätze von HD Vision und rabbit AI bestmöglich zu demonstrieren, wurden für die Aufnahmen optisch schwierige Objekte mit stark reflektierenden Materialien verwendet. Bei HD Vision Systems wurden LumiScanX kalibriert und die wichtigen Systemparameter ermittelt. Anschließend wurden die Bilder aufgenommen und zur Erstellung der 3D-Information verwendet. Diese 3D-Informationen wurden zusätzlich mit dem KIAnsatz von rabbitAI bestimmt. Die entstandenen 3D Informationen wurden auf Fehlerabweichung, Coverage und Qualitativer Eindruck verglichen.
Es wurde erwartet, dass die Rekonstruktionsmethode von HD Vision Systems, die in Echtzeit abläuft, andere Eigenschaften aufweist, gegenüber dem Ansatz von rabbitAI, der insgesamt einen deutlich höheren Rechenaufwand zur Auswertung des probabilistischen Modells erfordert. In der anschließenden Auswertung konnten die eingängigen Hypothesen bestätigt werden. Die Rekonstruktion von rabbitAI erreicht eine hohe Oberflächengüte und eine sehr dichte Rekonstruktion der Szenen bei höherem Rechenaufwand. Die Lösung von HD Vision liefert in texturierten Bereichen eine 3D-Rekonstruktion. So erzeugt sie 3D-Punkte eher an Objektmerkmalen wie Kanten, also dort, wo es für die 3D-Erkennung wichtig ist. Somit erlaubt sie eine Echtzeitanwendung, z.B. in der Steuerung von Robotikanwendungen mit hoher Genauigkeit.
Anwendungen beider Verfahren
Der Ansatz von HD Vision Systems ist ideal für Situationen, wie z.B. in einer Produktionslinie, wo Zeit ein entscheidender Faktor ist und eine dünne 3D Punktwolke ausreichend ist, um dem Roboter zu ermöglichen, ein Objekt schnell und in Echtzeit sehr genau zu erkennen, zu greifen und an den gewünschten Ort zu bewegen. Auf der anderen Seite können die dichteren, aber entsprechend zeitaufwendigeren Referenzdaten von rabbitAI ideal als Trainingsdaten für die Optimierung von maschinellem Lernen verwendet werden. Insbesondere in Anwendungen, die stark PC-fixiert sind und mit preiswerter Hardware auskommen müssen (Edge Devices), z.B. bei AR/VR-Headsets, AD/ADAS (Advanced Driver Assistance Systems) und Incabin-Sensing-Lösungen, zeigt sich die Stärke der rabbit AI Lösung.
Über rabitAI
Founded at the dawn of 2020 rabbitAI emerged with a mission to address a fundamental challenge in the machine learning journey: the lack of data.
Today, their daily business is capturing scenes using proprietary light field setup, from which they create ultra-realistic 3D models. These models, combined with knowledge of lighting and shadow, allow them to produce training data that mimics real-world scenarios.