Eine Publikation der Swissprofessionalmedia AG
PDF download
Formula Student:: Ausgabe 09/2020, 12.06.2020

Autonomes Fahren mit 3D-Bildverarbeitung

Hochschulen aus aller Welt liefern sich in der Formula Student Driverless spannende Wettbewerbe beim Bau des besten fahrerlosen Rennwagens. Das Team municHMotorsport setzt für die Erkennung und Auswertung der Streckenmarkierungen auf Bildverarbeitung von Stemmer Imaging.

Autor: Peter Stiefenhöfer für Stemmer Imaging

Bilder: municHMotorsport

Ein Hauch von Formel 1 liegt in der Luft, wenn die Mitglieder des Formula Student Racing Teams der Hochschule München mit Feuereifer daran arbeiten, ihren fahrerlosen Rennwagen weiterzuentwickeln und zu optimieren. Schon seit 2005 bereiten sich Studierende aus Studiengängen wie Fahrzeugtechnik, Maschinenbau, Wirtschaftsingenieurwesen, Informatik, Design, BWL und vielen weiteren anhand einer spielerischen Aufgabenstellung auf die künftige fachübergreifende Berufsrealität vor.
«Derzeit sind wir insgesamt rund 120 Studierende, die zum Teil sehr viel Zeit in dieses Projekt stecken», erläutert Timo Socher. Der Informatik-Student ist bereits seit drei Jahren mit grosser Begeisterung dabei und trägt für die aktuelle Saison als CTO Driverless die Verantwortung für alle technischen Aspekte des fahrerlosen Rennwagens, den municHMotorsport 2020 ins Rennen schickt. Am Ende des komplett selbstständig organisierten Projekts werden Aufwendungen im sechsstelligen Bereich indiesesRennfahrzeuggeflossensein,das autonom auf einer Rennstrecke mit Geschwindigkeiten bis 65 km/h navigiert.

Unbekannter Parcours
Rundenzeiten und Top-Speed sind nicht die alleinigen Kriterien für die Bewertung der Fahrzeuge beim Kampf um das Siegerpodest, doch in drei dynamischen Disziplinen müssen die Entwicklungen auch auf der Rennstrecke zeigen, was sie können.Zum einen wird die Beschleunigung auf einerg eraden, 75 Meter langen Strecke aus dem Stillstand bis zum vollständigen Abbremsen bewertet. Beim so genannten Skid-Pad als zweiter Aufgabenstellung durchfahren die Autos einen bekannten Parcours in Form einer liegenden Acht. Die Königsdisziplin stellt der Track Drive dar: Hier müssen die Fahrzeuge zehn Runden aufeinemzuvorunbekanntenParcoursvonbis zu 500 Metern Länge absolvieren.
Die Streckenführung aller drei Disziplinen erfolgt über definierte blaue und gelbe Hütchen, die in Abständen von maximal fünf Metern links und rechts entlang der Begrenzungslinien aufgestellt werden. «An diesen Merkmalen orientieren sich die autonomen Fahrzeuge und nutzen dafür neueste Technologien in Hard- und Software, um Beschleunigungen, Abbremsen und die Lenkbewegungen der Rennwagen zu steuern und das gesamte System so zu optimieren, dass möglichst gute Fahrleistungen erzielt werden»,erklärt Socher. «Die Bildverarbeitung ist in unserem System eine der wichtigsten Komponenten und spielt bei der Erkennung der Hütchen die entscheidende Rolle, denn als Sensorik stellt sie den nachfolgenden Auswertesystemen die Basisdaten für die Reaktionen des Fahrzeugs zur Verfügung. Die Qualität der Umfeld- und Hütchenerkennung legt deshalb den Grundstein für alle weiteren Module unseres Fahrzeugs und ist somit extrem wichtig für die Stabilität undLeistung des gesamten Systems.»

Anspruchsvolle Objekterkennung
In ihrem aktuellen Fahrzeug haben die Münchner Studenten zwei Bildverarbeitungssysteme integriert, die mit ihren Aufnahmen die Basis für die Streckenerkennung schaffen. Eines dieser beiden Systeme ist am Überrollbügel angebracht und erfasst die Hütchen auf grössere Entfernungen im Bereich von fünf bis 20 Metern. Für die kommende Saison soll dieser Bereich auf bis zu 30 Meter erweitert werden, um mehr Zeit für die nötigen Berechnungen zur Verfügung zu haben und noch vorausschauender reagieren zu können. Als zweites System sind zwei Intel RealSense-Kameras unterhalb der Nase des Rennwagens befestigt, die mit überlappenden Öffnungswinkeln von jeweils 80 Grad angeordnet sind. Sie sorgen für die Aufnahme von Bildern, aus denen die Begrenzungsmerkmale auf nahe Distanzen zwischen 1,5 und 8 Metern ausgewertet werden.
Die auf diese Weise gewonnenen Bilddaten werden zur zentralen Rechnereinheit im Heck des Rennwagens übermittelt, wo sie ein Jetson Xavier Embedded-Rechner in Verbindung mit weiteren Sensordaten des Systems auswertet. Zum Einsatz kommen dabei Technologien wie die Fusionierung sämtlicher Sensordaten sowie eine visuelle Odometrie, mit der die Berechnung von Position und Ausrichtung des Rennwagens durch die Analyse der aufgenommenen Kamerabilder erfolgt. Diese Technologie wird in der Industrie häufig eingesetzt, um Bilddaten als Grundlage für die Positionierung von Robotern zu nutzen – ein weiterer Beleg dafür, wie nahe die Aufgabenstellung bei municHMotorsport an realen Anwendungen in der Industrie ist.

Renntaugliche Datenverarbeitung
Ein Rennwagen soll natürlich möglichst schnell sein. Aus diesem Grund gilt es, die Bilder aus den Kamerasystemen schnell und effizient in der Recheneinheit zu verarbeiten. Ziel der Bildverarbeitung ist es, die farbigen Pylonen auf den Farbbildern zu lokalisieren, zu klassifizieren und anschliessend ihre Position bezüglich der Kamera zu schätzen. Erschwert wird diese Objekterkennung durch einige nicht vorhersagbare Einflussgrössen wie zum Beispiel Wetter-und Lichtbedingungen, oder den Zustand der jeweiligen Rennstrecke, der aufgrund von Schlaglöchern, Unebenheiten oder dem Höhenprofil vom idealen Normzustand abweichen kann. Auch der jeweilige Hintergrund kann durch Zuschauertribünen und andereObjekte von Rennen zu Rennen unterschiedlich sein.

Beste Ergebnisse mit Deep Learning
Um in Bezug auf die Objekterkennung möglichst gut auf alle Eventualitäten vorbereitet zu sein, setzt das Team aktuellste Techniken ein, erläutert Socher: «Für die Erkennung und Klassifizierung von Objekten auf Farbbildern existiert eine Vielzahl an Algorithmen und neuronalen Netzen. Zudem gibt es natürlich noch herkömmliche Methoden der Bildverarbeitung wie beispielsweise die Kantenerkennung in speziellen Farbfiltern, die man zu diesem Zweck nutzen könnte. Wir haben uns jedoch für einen Deep Learning-Ansatz entschieden, der sich als besonders robust gegenüber unterschiedlichen Wetter- und Witterungsbedingungen erwiesen hat und somit für unsere Zwecke die besten Ergebnisse versprach.»

Unterstützungv on Bildverarbeitungsspezialisten
Für viele Mitglieder des Formula Student RacingTeamsd er Hochschule München war das Thema Bildverarbeitung zunächst Neuland. «Um das zu ändern, haben einige von uns an Schulungen bei der renommierten Stemmer Imaging European Imaging Academy (EIA) teilgenommen. Diese waren vor allem für neue Projektmitarbeiter sehr hilfreich, um dieZusammenhängebesser zu verstehenund sich schnell in die erforderlichen Grundlagen der Bildverarbeitung einzuarbeiten», erläutert Socher. Die European Imaging Academy bietet eine breite Palette an praktischen Schulungen, Videos und Veranstaltungen zum Thema industrielle Bildverarbeitung an. Anfänger werden in die Grundlagen eingeführt, während Fachleute einen tieferen Einblick erhalten und nützliche Tipps und Tricks zur Verbesserungder Effizienz ihrer Lösung erhalten. Die Schulungen werden von erfahrenen Experten in den Kundenzentren von Stemmer Imaging in ganz Europa durchgeführt. Stemmer Imaging CTO Martin Kersting: «Bei der Formula Student wird die erworbene Theorie mit praktischer Erfahrungv erbunden. Der Erwerbvon Fähigkeiten und Schlüsselkompetenzen wie interdisziplinäres Denken, Problemlösen und betriebswirtschaftliches Wissen wird hiervorbildlich umgesetzt.»
«Bei der Entwicklung der Vision-Systeme in unseren Rennwagen konnten wir auf diese Weise von langjährigen Erfahrungen aus der Industrie profitieren und bekamen zudem leistungsfähige Bildverarbeitungskomponenten wie 3D-Stereoskopie-Kameras gestellt.» Solche Highspeed-Kameras eignen sich aufgrund ihrer kompakten, robusten Bauweise und der grossen Schärfentiefe perfekt für den Einsatz als Augen der autonomen Rennwagen.
Die Praxisnähe der Vision-Experten zahlte sich ausserdem bei der Datenübertragung der aufgenommenen Bilddaten aus beiden Kamerasystemen an die zentrale Rechnereinheit des Rennwagens aus: Die dafür nötigen Kabel mussten besondere Anforderungen erfüllen, da sie durch das komplette Fahrzeug und teilweise an der Leistungselektronik vorbei verlegt wurden.»
«Stemmer Imaging hat deshalb spezielle EMV-geschirmte Kabel für unsereRennwagen angefertigt und uns auch dadurch sehr geholfen», streicht Timo Socher heraus.

Infoservice
Stemmer Imaging AG
Eichenstrasse 2, 8808 Pfäffikon SZ
Tel. 055 415 90 90, Fax 055 415 90 91
info@stemmer-imaging.ch www.stemmer-imaging.ch

 

 



In der Königsdisziplin Track Drive müssen die autonomen Fahrzeuge zehn Runden auf einem zuvor unbekannten Parcours von bis zu 500 Metern Länge absolvieren.


Mit einem Trainingsdatensatz von mehreren Tausend Bildern simulieren die Studenten verschiedene Rennsituationen und optimieren so die Performance des autonomen Rennwagens.