+49 6221 672 19-00 info@hdvisionsystems.com

Lichtfeld im Test: Lichtfeldtechnologie und KI in der Messtechnik

Um die Möglichkeiten der Lichtfeld technik von HD Vision und rabbitAI zu demonstrieren, wurden für die Aufnahmen optisch schwierige Objekte mit stark reflektierenden Materialien verwendet.

HD Vision Systems und rabbitAI sind beide Spezialisten für die Verarbeitung von Lichtfeldbildern. Beide Firmen haben anhand eines Test untersucht, wo die Vorteile ihrer Systeme liegen.

In den letzten Jahren hat die Lichtfeldtechnologie als Bildaufnahmeverfahren an Popularität gewonnen. Ihr Hauptvorteil besteht darin, dass sie neben der Lichtintensität auch die Richtung der Lichtstrahlen messen kann, die auf den Sensor treffen. Dies ermöglicht eine wesentlich detailliertere Erfassung der Szene als die herkömmliche 2D-Bildgebung und eröffnet neue Möglichkeiten für die Robotik oder autonomes Fahren. Es gibt zahlreiche Techniken zur Erfassung von Lichtfeldern, z. B. eine einzelne Kamera, die eine Szene aus mehreren Winkeln, oder mehrere Kameras, die Bilder aus verschiedenen Winkeln aufnehmen, oder eine Reihe von Mikrolinsen, die vor einem digitalen Kamerasensor angebracht sind, um Lichtfeldinformationen zu erfassen. Unter Fachleuten gibt es immer noch Diskussionen darüber, welche Technik für die Erfassung von Lichtfeldern am besten geeignet ist, aber es besteht kein Zweifel daran, dass Kamera-Arrays zu den Favoriten gehören.

Testvergleich zur Verarbeitung von Punktwolken

Die Lösung von HD Vision erzeugt 3D-Punkte eher an Objektmerkmalen wie Kanten, also dort, wo es für die 3D-Erkennung wichtig ist.

Die Rekonstruktion von rabbitAI erreicht eine hohe Oberflächengüte und eine sehr dichte Rekonstruktion der Szenen bei höherem Rechenaufwand

Die beiden Heidelberger Unternehmen HD Vision Systems und RabbitAI, die Spezialisten für die Verarbeitung von Lichtfeldbildern sind, haben die Möglichkeiten untersucht, 3D-Information aus Kamera-Arrays zu verwenden. HD VisionSystems verfolgte einen traditionellen, physikalisch basierten Ansatz der maschinellen Bildverarbeitung, während rabbitAI einen Ansatz des maschinellen Lernens verwendete. „Unser Startup kommt, wie HD Vision Systems auch, aus der selben Forschungseinrichtung“, erklärt Karsten Krispin, CEO von RabbitAI: „Dort haben wir die bestmöglichen Szenen-Rekonstruktionen entwickelt und analysiert. Das ermöglicht eine sehr flexible Umsetzung, die präzise Messaussagen und Fehlerabschätzungen zugleich erlaubt.“

Beide Unternehmen arbeiteten mit denselben Daten (2D-Bilder), die vom selben Sensor stammten. Die Bilder wurden mit dem Lichtfeldkamera-Array LumiScanX aufgenommen, das aus dreizehn x-förmig angeordneten Kameras besteht, die eine Bildszene aus leicht unterschiedlichen Positionen aufnehmen. Um die Möglichkeiten der Ansätze von HD Vision und rabbit AI bestmöglich zu demonstrieren, wurden für die Aufnahmen optisch schwierige Objekte mit stark reflektierenden Materialien verwendet. Bei HD Vision Systems wurden LumiScanX kalibriert und die wichtigen Systemparameter ermittelt. Anschließend wurden die Bilder aufgenommen und zur Erstellung der 3D-Information verwendet. Diese 3D-Informationen wurden zusätzlich mit dem KIAnsatz von rabbitAI bestimmt. Die entstandenen 3D Informationen wurden auf Fehlerabweichung, Coverage und Qualitativer Eindruck verglichen.

Es wurde erwartet, dass die Rekonstruktionsmethode von HD Vision Systems, die in Echtzeit abläuft, andere Eigenschaften aufweist, gegenüber dem Ansatz von rabbitAI, der insgesamt einen deutlich höheren Rechenaufwand zur Auswertung des probabilistischen Modells erfordert. In der anschließenden Auswertung konnten die eingängigen Hypothesen bestätigt werden. Die Rekonstruktion von rabbitAI erreicht eine hohe Oberflächengüte und eine sehr dichte Rekonstruktion der Szenen bei höherem Rechenaufwand. Die Lösung von HD Vision liefert in texturierten Bereichen eine 3D-Rekonstruktion. So erzeugt sie 3D-Punkte eher an Objektmerkmalen wie Kanten, also dort, wo es für die 3D-Erkennung wichtig ist. Somit erlaubt sie eine Echtzeitanwendung, z.B. in der Steuerung von Robotikanwendungen mit hoher Genauigkeit.

Anwendungen beider Verfahren

Der Ansatz von HD Vision Systems ist ideal für Situationen, wie z.B. in einer Produktionslinie, wo Zeit ein entscheidender Faktor ist und eine dünne 3D Punktwolke ausreichend ist, um dem Roboter zu ermöglichen, ein Objekt schnell und in Echtzeit sehr genau zu erkennen, zu greifen und an den gewünschten Ort zu bewegen. Auf der anderen Seite können die dichteren, aber entsprechend zeitaufwendigeren Referenzdaten von rabbitAI ideal als Trainingsdaten für die Optimierung von maschinellem Lernen verwendet werden. Insbesondere in Anwendungen, die stark PC-fixiert sind und mit preiswerter Hardware auskommen müssen (Edge Devices), z.B. bei AR/VR-Headsets, AD/ADAS (Advanced Driver Assistance Systems) und Incabin-Sensing-Lösungen, zeigt sich die Stärke der rabbit AI Lösung.

Über rabitAI

Founded at the dawn of 2020 rabbitAI emerged with a mission to address a fundamental challenge in the machine learning journey: the lack of data.

Today, their daily business is capturing scenes using proprietary light field setup, from which they create ultra-realistic 3D models. These models, combined with knowledge of lighting and shadow, allow them to produce training data that mimics real-world scenarios.

In der sich rasant entwickelnden Welt der industriellen Automatisierung ist eine zuverlässige und flexible Objekterkennung ein Grundpfeiler für Vision-Guided Robotics (VGR) und Qualitätssicherung. Bei HD Vision Systems ist es unsere Mission, die Grenzen des Möglichen in der Automatisierung neu zu definieren. Als Vision-Partner auf der Bosch Rexroth CtrlX-Plattform bringen wir modernste Bildverarbeitungstechnologie durch leistungsstarke Apps auf den Fabrikboden, die Konnektivität vereinfachen und die Leistung verbessern.

Pattern Matching: Ein traditioneller Ansatz

Eine der häufigsten Fragen beim Entwurf von Automatisierungslösungen ist, ob traditionelle Pattern-Matching-Techniken oder moderne KI-basierte Objekterkennung verwendet werden sollen. Pattern Matching ist regelbasiert und nutzt manuell definierte Vorlagen oder geometrische Formen zur Objekterkennung. Obwohl es lange ein fester Bestandteil klassischer Bildverarbeitung war, stößt es unter realen Bedingungen oft an seine Grenzen. Änderungen in Beleuchtung, Ausrichtung, Maßstab oder selbst kleine Verdeckungen können zu Erkennungsfehlern führen. Zudem ist die Einrichtung aufwändig, erfordert Expertenwissen und lässt sich nur schwer an Veränderungen in der Produktionslinie anpassen.

Deep Learning: Intelligent und anpassungsfähig

Im Gegensatz dazu nutzt die KI-basierte Objekterkennung datengetriebene Modelle, die auf großen und vielfältigen Datensätzen trainiert wurden. Diese Modelle erkennen Objekte anhand abstrakter Muster und sind dadurch wesentlich robuster und flexibler. Sie kommen mit unterschiedlichsten Abweichungen und Unregelmäßigkeiten in industriellen Umgebungen zurecht. Mithilfe von Transfer Learning und Datenaugmentation lassen sich Modelle zudem schnell auf neue Objekte oder Bedingungen anpassen – ganz ohne komplexes Regelwerk.

Integrierte KI auf CtrlX

Wir bei HD Vision Systems setzen konsequent auf diesen modernen Ansatz und haben ihn direkt in die Bosch Rexroth CtrlX-Plattform integriert. Unsere Apps ermöglichen den Anschluss von Standard-Industriekameras gemäß dem GenICam-Standard via Ethernet. Die aufgenommenen Bilder werden von KI-Modellen direkt im CtrlX-Ökosystem verarbeitet. Die Ergebnisse sind nicht nur präzise, sondern werden auch automatisch aus 2D-Bildkoordinaten in 3D-Weltkoordinaten überführt – entscheidend für präzise Roboterführung und Qualitätssicherung.

Vor-Ort-Training und Individualisierung

Neben vortrainierten Modellen bieten wir Frameworks an, mit denen Nutzer eigene Bilddaten annotieren und individuelle Objekterkennungsnetzwerke trainieren können – komplett vor Ort, ohne Daten in die Cloud zu senden. So behalten Sie die volle Kontrolle über Datenschutz und Datensicherheit. Integratoren und Endanwender können so hochspezialisierte Erkennungslösungen entwickeln – exakt zugeschnitten auf ihre Anwendung.

Zukunftsausblick: KI für moderne Fertigung

Pattern Matching hatte seine Zeit, aber die zunehmende Komplexität moderner Fertigungsprozesse verlangt intelligentere, flexiblere Systeme. Deep Learning liefert genau das. Mit den fortschrittlichen Vision-Tools von HD Vision Systems und der Modularität der Bosch Rexroth CtrlX-Plattform stehen Herstellern leistungsstarke Objekterkennungslösungen zur Verfügung, die mit ihren Anforderungen wachsen.

Egal ob Nachrüstung bestehender Anlagen oder Neuplanung – jetzt ist der richtige Zeitpunkt, die Kraft KI-gesteuerter Bildverarbeitung zu nutzen. Wir freuen uns, Sie dabei zu begleiten.

31. Oktober 2024

Continue reading:

Share This