Das System

AutoCrane nutzt sowohl visuelle Daten als auch LiDAR-Daten. Die eingehenden visuellen Sensordaten werden mittels einer hochgradig verteilten Systemarchitektur parallel (vor-)verarbeitet. Für jeden bildgebenden Sensor (aktuell Kamera und 3D-LiDAR) ist ein eigener Prozess – ein sogenannter „Sensor Node“ – vorgesehen.

Ein Sensor Node verarbeitet die eingehenden Daten mit hoher Bandbreite und überträgt anschließend nur die relevanten Verarbeitungsergebnisse mit deutlich geringerer Bandbreite in den synchronen Regelkreis des Kernsystems. Die Sensorverarbeitung ist so konzipiert, dass sie vollständig innerhalb eines einzigen Regelungszyklus erfolgt.

Die Kamerabilder werden mit einer Frequenz von 20 Hz durch eine mehrschichtige Bildverarbeitungskette analysiert. Diese Kette ist speziell auf die jeweilige Perspektive und Aufgabe angepasst, um die erforderlichen Informationen präzise zu extrahieren. Während in den späteren Schritten dieser Kette auch klassische Machine-Vision-Algorithmen zum Einsatz kommen, bildet ein neuronales Netz stets den ersten Schritt. Auf diese Weise erreichen wir eine Präzision und Robustheit gegenüber Lichtverhältnissen, Wettereinflüssen und anderen Umweltveränderungen, die mit klassischen Methoden allein in der Praxis nicht realisierbar wäre.

Die von uns verwendeten proprietären neuronalen Netze basieren auf den in Freiburg (Deutschland) entwickelten Architekturen „All-Convolutional-Net“ und „U-Net“, die sich weltweit in vielfältigen Anwendungen bewährt haben. Der Einsatz von tortrainierten Standardnetzen („off-the-shelf“) schied aufgrund des speziellen Anwendungsbereichs und der hochspezifischen Anforderungen aus.

Neben der Bewältigung der ungewöhnlichen Perspektiven und rotierender Objekte legen wir besonderes Augenmerk auf extrem niedrige Inferenzzeiten (typischerweise maximal 5–15 ms) und eine bemerkenswerte Dateneffizienz. Unsere Netze und Trainingsalgorithmen benötigen typischerweise nur etwa 20.000 Bilder, um volle Leistungsfähigkeit zu erreichen – im Vergleich zu den 14 Millionen Bildern des ImageNet-Datensatzes.

LIDAR-Daten werden zur Erstellung von Höhenkarten sowie zur präzisen Bestimmung von Position und Form von Objekten eingesetzt – insbesondere dann, wenn visuelle Informationen (z. B. durch Kameras) nicht ausreichen. Die Höhenkarten werden automatisch aus den eingehenden Messwerten (der 3D-Punktwolke einer Einzelmessung) generiert und kontinuierlich aktualisiert.

Als integraler Bestandteil des Weltmodells dienen diese Daten der Kollisionsvermeidung, der Pfadplanung sowie der exakten Bestimmung von Absetz- und Aufnahmepunkten auf dem Lagerplatz. Bekannte Objekte werden in den Punktwolken zuverlässig wiedererkannt, sodass ihre 6D-Pose (die exakte Position im Raum sowie die Orientierung entlang aller drei Raumachsen) bestimmt werden kann.

Durch diese Form der Registrierung ist eine hochpräzise Lokalisierung und die Bestimmung relativer Abstände zwischen mehreren Objekten möglich – beispielsweise zwischen dem Greifer und der Last. AutoCraneI nutzt diese Daten als unabhängige, sekundäre Messinstanz bei der Lkw-Entladung und als primäre Informationsquelle bei der Zugentladung.



Hierbei werden der Greifer des Krans und der Zug selbst mithilfe einer Variante des „Iterative Closest Point“-Algorithmus (ICP) in der Punktwolke registriert. Die dafür erforderlichen 3D-Modelle können entweder durch vorherige Scans der Objekte mit LIDAR-Sensoren erstellt oder vollautomatisch aus vorhandenen CAD-Modellen extrahiert werden.