Autonomous Challenge at CES
Ansprechpartner: info.ftm(at)ed.tum.de
Die Idee
Die Autonomous Challenge im Rahmen der CES 2022 (AC@CES) ist die nächste große Herausfoderung im autonomen Rennsport nach der Indy Autonomous Challenge (IAC) . Ziel ist es im kompetitiven Umfeld den aktuellen Stand der Forschung im autonomen Fahren auf der Rennstrecke zu demonstrieren. Die CES als eine der größten Messen der globalen Tech-Industry bietet die passende Bühne für ein solches Rennen. Der Finalwettbewerb wird am 07. Januar 2022 auf dem Las Vegas Motor Speedway stattfinden - das Rennen kann unter www.indyautonomouschallenge.com im Livestream verfolgt werden. Das Format wird eine High-Speed Passing Competition sein, wofür sämtliche Teilbereiche der AV-Software von Perception über Prediction und Planning bis hin zu Control entwickelt werden müssen.
Das Ziel
Unser Team, TUM Autonomous Motorsport, geht als Titelverteidiger ins Rennen und möchte erneut um den Titel kämpfen. Das große Ziel ist es letztendlich jedoch unsere existierende Software am fahrdyanmischen Grenzbereich im Wettkampf gegen andere Objekte weiter zu verbessern und auf der Rennstrecke das Potential der Software zu demonstrieren. Um dieses Ziel zu erreichen, werden durch die einzelnen Teammitglieder Teilprojekte bearbeitet, die jeweils einen Beitrag zur gesamten Softwarearchitektur des Fahrzeugs liefern. Der Fokus liegt zum einem auf der interaktiven Trajektorienplanung mit mehreren Fahrzeugen im fahrdynamischen Grenzbereich, zum anderen auf der Umfeldwahrnehmung und Lokalization bei hohen Geschwindigkeiten. Um diese Ziele zu erreichen muss einerseits das Verhalten der gegnerischen Rennfahrzeug schnell und sicher prädiziert werden, andererseits muss das fahrdynamische Limit für die Regelung des Fahrzeugs ermittelt werden. Die Testfahrten mit dem Rennfahrzeug, einem Dallara IL-15, dienen dann zur Evaluierung der Echtzeitfähigkeit, Performance und Ausfallsicherheit der neu entwickelten Algorithmen.
Das Team
Die Technische Universität München (TUM) hat sich entschieden, an der AC@IAC mit einem eigenen Team teilzunehmen, das auf dem Wissen mehrerer Institute basiert. Das Team will verschiedene Funktionen für den Betrieb des autonomen Rennautos entwickeln und diese anschließend evaluieren. Die Mitglieder des Teams sind:
| Phillip Karle Teammanager | Projekt: Bewegungsprädiktion für Autonomes Fahren Prädiktion Umfeldwahrnehmung |
| Regelung | Projekt: Lernende Regelung für autonome Fahrzeuge Regelung Fahrzeugperformance |
| Lokalisation | Mapping Lokalisation |
| Umfeldwahrnehmung | Objektdetektion Objekttracking |
| Umfeldwahrnehmung | Projekt: Sensordatenfusion zur Umfeldwahrnehmung Objektdetektion Mapping |
| Prädiktion | Projekt: Ethik in autonomen Fahrfunktionen Prädiktion Verhaltensplanung |
| Pfadplanung | Projekt: Trajektorienplanung mit Spieltheorie Pfadplanung Verhaltensplanung |
| Tim Stahl Sicherheit | Projekt: Sicherheitsberwertung autonome Fahrzeuge Pfadplanung Absicherung |
| Pfadplanung | Projekt: Trajektorienplanung für autonome Fahrzeuge Trajektorienplanung Regelung |
| Regelung | Projekt: Energiemanagement für Rennfahrzeuge Regelung Fahrzeugperformance: Energiemanagement |
| Fahrzeugperformance | Simulation Fahrzeugperformance: Reibwert |
| Fahrzeugperformance | End-to-End Software Engineering Strategie Fahrzeugperformance |
| Fahrzeugperformance | Explainable AI Simulation Fahrzeugperformance |
| Umfeldwahrnehmung | Multimodale Umfeldwahrnehmung Umfeldwahrnehmung Sensor Kalibrierung |
| Trajektorienregelung | Global Rennlinienoptimierung Bewegungsregelung Reibwertschätzung |
| Beratung | Fahrdynamik Pfad-und Verhaltensplanung Fahrzeugperformance |
Förderer
Das TUM Autonomous Motorsport Team wird in diesem Forschungsvorhaben von zahlreichen Unternehmen sowie Fördergebern unterstützt, welche im nachfolgenden aufgelistet werden:
Die Software
Im Rahmen der einzelnen Forschungsarbeiten ist zahlreiche Software entstanden, die wir Open Source über das TUM Github Repository zur Verfügung stellen:
- Graph-basierter lokaler Trajektorienplaner für Rennfahrzeuge in dynamischen Umgebungen
- Scenario Architekt zum Erzeugen von spezifischen Fahrszenarien für autonome Fahrzeuge
- Optimierungsalgorithms zur Erstellung einer globalen, optimalen Rennlinie
- Software für die Pfad-und Geschwindigkeitsregelung eines autonomen Fahrzeugs
- Neuronale Netz zur Objektdetektion aus Kamera- und Radardaten
- Fahrdynamiksimulation für autonome Fahrzeuge
- Bibliothek mit Funktionen zur Trajektorienplanung
- Datenbank mit Karten von internationalen Rennstrecken
- Quasi-statische Rundenzeitsimulation
- Rekursiver Algorithmus zur Identifikation eines Unsicherheitsmodells
- ORB-SLAM2 Map Saving Erweiterung
Wissenschaftliche Veröffentlichungen
Betz, J.; Wischnewski, A.; Heilmeier, A.; Nobis, F.; Stahl, T.; Hermansdorfer, L.; Lohmann, B.; Lienkamp, M.; „What can we learn form autonomous level 5 Motorsport?“ at the 10th international Chassis Symposium “Chassis.Tech Plus 2019”, Munich, Juni 2018, doi: 10.1007/978-3-658-22050-1_12
Heilmeier, A.; Graf, M.; Lienkamp, M.;"A Race Simulation for Strategy Decisions in Circuit Motorsports" at the 21th International Conference on Intelligent Transportation Systems (ITSC) 2018, Hawaii, October 2018,doi: 10.1109/ITSC.2018.8570012
Heilmeier, A.; Wischnewski, A.; Hermansdorfer, L.; Betz, J.; Lienkamp, M.; Lohmann, B.:"Minimum curvature trajectory planning and control for an autonomous race car" in Vehicle System Dynamics - International Journal of Vehicle Mechanics and Mobility, pp. 1–31, June 2019, doi: 10.1080/00423114.2019.1631455
Stahl, T.; Wischnewski, A.; Betz, J.; Lienkamp, M: “ROS-based localization of a race vehicle at high-speed using LIDAR“ in E3S Web of Conferences, vol. 95, p. 4002, 2019, doi: 10.1051/e3sconf/20199504002
Betz, J.; Wischnewski, A.; Heilmeier, A.; Nobis, F.; Stahl, T.; Hermansdorfer, L.; Lienkamp, M.; „A Software Architecture for an Autonomous Racecar“ at the 89th Vehicular Technology Conference (VTC2019-Spring), Kuala Lumpur, 2019, doi: 10.1109/VTCSpring.2019.8746367
Nobis, F.; Betz, J. ; Hermansdorfer, L.; Lienkamp, M.: “Autonomous Racing: A Comparison of SLAM Algorithms for Large Scale Outdoor Environments“ in Proceedings of the 2019 3rd International Conference on Virtual and Augmented Reality Simulations - ICVARS ’19, 2019, doi: 10.1145/3332305.3332319
Palafox, P.; Betz, J.; Nobis, F.; Riedl, K.; Lienkamp, M.: "Fusing Semantic Segmentation and Monocular Depth Estimation for Enabling Autonomous Driving in Roads Without Lane Lines" in Sensors, vol. 19, no. 14, p. 3224, Jul. 2019, doi: 10.3390/s19143224
Heilmeier, A.; Geisslinger, M.; Betz, J.;"A Quasi-Steady-State Lap Time Simulation for Electrified Race Cars" at the 14th International Conference on Ecological Vehicles and Renewable Energies (EVER2019), Monaco, 2019, doi: 10.1109/EVER.2019.8813646
Wischnewski, A.; Stahl, T.; Betz, J.; Lohmann, B.; „Vehicle Dynamics State Estimation and Localization for High Performance Race Cars “ IFAC-PapersOnLine, vol. 52, no. 8, pp. 154–161, 2019, doi: 10.1016/j.ifacol.2019.08.064
Stahl, T.; Wischnewski, A.; Betz, J.; Lienkamp, M: “Multilayer Graph-Based Trajectory Planning for Race Vehicles in Dynamic Scenarios“ in 2019 IEEE Intelligent Transportation Systems Conference (ITSC), 2019, doi: 10.1109/ITSC.2019.8917032
Hermansdorfer, L.; Betz, J.; Lienkamp, M: “ A Concept for Estimation and Prediction of the Tire-Road Friction Potential for an Autonomous Racecar“ in 2019 IEEE Intelligent Transportation Systems Conference (ITSC), 2019, doi: 10.1109/ITSC.2019.8917024
Herrmann, T.; Christ, F.; Betz, J.; Lienkamp, M: “Energy Management Strategy for an Autonomous Electric Racecar using Optimal Control “ in 2019 IEEE Intelligent Transportation Systems Conference (ITSC), 2019, doi: 10.1109/ITSC.2019.8917154
Wischnewski, A.; Betz, J.; Lohmann, B.: “A Model-Free Algorithm to Safely Approach the Handling Limit of an Autonomous Racecar“ in 2019 IEEE International Conference on Connected Vehicles and Expo (ICCVE 2019), Graz, Austria , 2019, doi: 10.1109/ICCVE45908.2019.8965218
Betz, J.; Wischnewski, A.; Heilmeier, A., Nobis, F.; Stahl, T.; Hermansdorfer, L.; Herrmann, T.; Lienkamp, M.;: “A Software Architecture for the Dynamic Path Planning of an Autonomous Racecar at the Limits of Handling“ in 2019 IEEE International Conference on Connected Vehicles and Expo (ICCVE 2019), doi: 10.1109/ICCVE45908.2019.8965238
Nobis, F.; Geisslinger, M.; Weber, M.; Betz, J.; Lienkamp, M.: "Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection," in 2019 Sensor Data Fusion: Trends, Solutions, Applications (SDF), doi: 10.1109/SDF.2019.8916629
Christ, F.; Wischnewski, A.; Heilmeier, A.; Lohmann, B.: "Time-Optimal Trajectory Planning for a Race Car Considering Variable Tire-Road Friction Coefficients" in Vehicle System Dynamics - International Journal of Vehicle Mechanics and Mobility, doi: 10.1080/00423114.2019.1704804
Betz, J.; Heilmeier, A.; Wischnewski, A.; Stahl, T.; Lienkamp, M.;: “Autonomous Driving - A Crash Explained in Detail“ in Applied Sciences, vol. 9, no. 23, p. 5126, Nov. 2019, https://doi.org/10.3390/app9235126
Stahl, T.; Betz. J; Diermeyer, F. : “Runtime Verification Concept for Autonomous Vehicles – Exemplary Study for the Planning Module of an Autonomous Race Vehicle“ in 23rd IEEE International Conference on Intelligent Transportation Systems (ITSC), September 2020, Rhodes, Greece, accepted, Fulltext (Preprint)
Nobis, F.; Betz. J; Lienkamp, M.: “Exploring the Capabilities and Limits of 3D Monocular Object Detection - A Study on Simulation and Real World Data“ in 23rd IEEE International Conference on Intelligent Transportation Systems (ITSC), September 2020, Rhodes, Greece, accepted, Fulltext (Preprint)
Herrmann, T.; Passigato, F.; Betz. J; Lienkamp, M.: “Minimum Race-Time Control-Strategy for an Autonomous Electric Racecar“ in 23rd IEEE International Conference on Intelligent Transportation Systems (ITSC), September 2020, Rhodes, Greece, accepted, Fulltext (Preprint)
Stahl, T.; Betz. J: “A Scenario Generator for Evaluating Path Planning Algorithms for Autonomous Driving” in 15th International Conference on Ecological Vehicles and Renewable Energies (EVER2020), May 2020, Monaco, France, accepted, Fulltext (Preprint)
Nobis, F.; Papanikolaoi, O.; Betz, J.; Lienkamp, M: “Persistent Map Saving for Visual Localization for Autonomous Vehicles: An ORB-SLAM Extension” in 15th International Conference on Ecological Vehicles and Renewable Energies (EVER2020), May 2020, Monaco, France, accepted, Fulltext(Preprint)
Hermansdorfer, L.; Betz, J.; Lienkamp, M: “Benchmarking of a software stack for autonomous racing against a professional human race driver” in 15th International Conference on Ecological Vehicles and Renewable Energies (EVER2020), May 2020, Monaco, France, accepted, Fulltext(Preprint)
Heilmeier, A.; Graf, M.; Betz, J.; Lienkamp, M.: ““Application of Monte Carlo Methods to Consider Probabilistic Effects in a Race Simulation for Circuit Motorsport,” Applied Sciences, vol. 10, no. 12, p. 4229, Jun. 2020, doi: https://doi.org/10.3390/app10124229
Heilmeier, A.; Thomaser, A.; Graf, M.; Betz, J.: “Virtual Strategy Engineer: Using Artificial Neural Networks for Making Race Strategy Decisions in Circuit Motorsport,” Applied Sciences, vol. 10, no. 21, p. 7805, Nov. 2020, doi: https://doi.org/10.3390/app10217805
Wischnewski, A.; Betz, J.; Lohmann, B.: „Real-Time Learning of Non-Gaussian Uncertainty Models for Autonomous Racing“ in 59th IEEE Conference on Decision and Control (CDC), Jeju Island, Republic of Korea, December 2020, accepted
Herrmann, T.; Wischnewski, A.; Hermansdorfer, L.; Betz, J.; Lienkamp, M.: „Real-Time Adaptive Velocity Optimization for Autonomous Electric Race Cars“ in IEEE Transactions on Intelligent Vehicles, under Review
Hermandorfer, L.; Trauth, R.; Betz, J.; Lienkamp, M.: „End-to-End Neural Network vor Vehicle Dynamics Modeling“ in 3rd IEEE Conference on Optimization and Modeling of Complex Systems, Agadir, Morocco, December 2020, under review