Teleoperiertes Fahren
Ansprechpartner: Florian Pfab, M.Sc.
Die umfassende Einführung autonomer Fahrzeuge bleibt nach wie vor eine Vision. Insbesondere komplexe Situationen wie das Fahren in der Innenstadt stellen bei der Entwicklung der Systeme eine große Herausforderung dar, die noch nicht abschließend gelöst ist. Um die Einführung automatisierter Fahrzeuge zu beschleunigen, forscht der Lehrstuhl für Fahrzeugtechnik im Bereich des Teleoperierten Fahrens. Die Grundidee besteht darin, das automatisierte Fahrzeug durch einen menschlichen Operator zu unterstützen, wenn dieses seine Funktionsgrenzen erreicht. Durch die Unterstützung des Operators wird das Fahrzeug schließlich zur Fortführung der automatisierten Fahrt befähigt.
Teleoperiertes Versuchsfahrzeug mit Sensorik
Operator-Arbeitsplatz
Teleoperiertes Versuchsfahrzeug mit Lenkrad zur Überwachung durch einen Sicherheitsfahrer
Versuchsfahrzeug mit Sensor-Setup
RC-Fahrzeuge als Teleoperierter Versuchsträger
Slide 1 von 5
Funktionsweise
Bei der Teleoperation werden von Sensoren erfasste Umfelddaten per Mobilfunknetz an einen Remote-Operator übertragen. Der Operator sichtet die empfangenen Daten wie Videos, LiDAR-Punktwolken oder Objektlisten und findet einen Lösungsvorschlag, der zurück an das Fahrzeug übermittelt wird. Das Fahrzeug nutzt diesen Vorschlag, um das Szenario zu lösen und kann somit in den automatisierten Fahrmodus zurückkehren.
Die Möglichkeiten zur Interaktion des Operators mit dem automatisierten Fahrzeug gehen weit über die direkte Steuerung mittels Lenkrad und Pedalen hinaus. Um die Automation zu unterstützen, werden am Lehrstuhl für Fahrzeugtechnik unter anderem die Vorgabe von zu befahrenden Trajektorien oder die Modifikation der Perzeption automatisierter Fahrzeuge erforscht. Dabei steht die Interaktion mit der automatisierten Fahrfunktionen im Zentrum der Forschungsarbeit.
Forschungsgebiete
Das Team Teleoperiertes Fahren erforscht unter anderem die Konzeptionierung und Umsetzung unterschiedlicher Steuerungs- und Interaktionskonzepte. Weitere Themenbereiche sind die Mensch-Maschine-Interaktion, die Visualisierung der Fahrzeugdaten, die störungsfreie Datenübertragung und die Absicherung der Fahrfunktion. Ein weiteres Forschungsthema ist die Verteilung der Intelligenz zwischen dem automatisierten Fahrzeug und dem Operator.
Das übergeordnete Ziel ist es, die autonome Mobilität voranzutreiben und Verkehrsszenarien jeglicher Komplexität beherrschbar zu machen. Dazu hat das Team verschiedene Versuchsträger aufgebaut, unter anderem ein Teleoperiertes Realfahrzeug, ein Testfahrzeug im Maßstab 1:10 und mehrere Operator-Arbeitsplätze.
Die im Rahmen von zahlreichen Forschungsarbeiten entstandenen Ergebnisse werden auf zahlreichen Konferenzen und in Journals publiziert. Am Lehrstuhl für Fahrzeugtechnik wird ein kompletter Software-Stack für das teleoperierte Fahren entwickelt, der Open Source über das TUM Github Repository zur Verfügung gestellt wird. Damit wird der Stand der Wissenschaft stetig erweitert.
Die Übertragbarkeit der Forschungsergebnisse auf die Industrie spielt eine zentrale Rolle im Team Teleoperiertes Fahren. Mit der Gründung des Startups Fernride, welches seine Wurzeln im Team hat, wird dieser Praxisbezug gelebt.
Das Team
| Frank Diermeyer | Teamleiter |
| Nils Gehrke | Projekt: ConnRAD |
| Tobias Kerbl | Projekt: ATLAS-L4 |
| Florian Pfab | Projekt: MCube - Wies'n Shuttle |
| Maria Wolf | Projekt: SafeStream |
| David Brecht | Projekt: AUTOtech.agil |
| Richard Taupitz | Projekt: Honda |
| Ines Trautmannsheimer | Projekt: ATLAS-L4 |
| Niklas Krauß | Projekt: SafeStream |
| Nijinshan Karunainayagam | Projekt: ConnRAD |
Studienarbeiten
Du hast Lust mitzumachen und Teil des Teams zu werden? Dann bewirb Dich auf unsere Studienarbeiten.
Nicht das richtige dabei gewesen? Dann melde Dich gerne auch initiativ bei uns.
Abgeschlossene Projekte
Veröffentlichungen
- Majstorovic, Domagoj; Hoffmann, Simon; Pfab, Florian; Schimpe, Andreas; Wolf, Maria-Magdalena; Diermeyer, Frank: Survey on Teleoperation Concepts for Automated Vehicles. 2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC), IEEE, 2022 mehr…
- Schimpe, Andreas; Majstorovic, Domagoj; Diermeyer, Frank: Steering Action-aware Adaptive Cruise Control for Teleoperated Driving. 2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC), IEEE, 2022 mehr…
- Majstorovic, Domagoj; Diermeyer, Frank: Driverless road-marking Machines: Ma(r)king the Way towards the Future of Mobility. 2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC), IEEE, 2022 mehr…
- Hoffmann, Simon; Willert, Felix; Hofbauer, Markus; Schimpe, Andreas; Diermeyer, Frank: Quantifying the Influence of Image Quality on Operator Reaction Times for Teleoperated Road Vehicles. 13th International Conference on Applied Human Factors and Ergonomics (AHFE 2022), 2022 mehr…
- Schimpe, Andreas; Feiler, Johannes; Hoffmann, Simon; Majstorovic, Domagoj; Diermeyer, Frank: Presentation on Open Source Software for Teleoperated Driving. 10. Tagung Automatisiertes Fahren, 2022 mehr…
- Schimpe, Andreas; Feiler, Johannes; Hoffmann, Simon; Majstorovic, Domagoj; Diermeyer, Frank: Open Source Software for Teleoperated Driving. 2022 International Conference on Connected Vehicle and Expo (ICCVE), IEEE, 2022 mehr…
- Hoffmann, Simon; Majstorovic, Domagoj; Diermeyer, Frank: Safe Corridor: A Trajectory-Based Safety Concept for Teleoperated Road Vehicles. 2022 International Conference on Connected Vehicle and Expo (ICCVE), IEEE, 2022 mehr…
- Feiler, Johannes; Diermeyer, Frank: The Perception Modification Concept to Free the Path of An Automated Vehicle Remotely. Proceedings of the 7th International Conference on Vehicle Technology and Intelligent Transport Systems, SCITEPRESS - Science and Technology Publications, 2021 mehr…
- Hoffmann, Simon; Diermeyer, Frank: Systems-theoretic Safety Assessment of Teleoperated Road Vehicles. Proceedings of the 7th International Conference on Vehicle Technology and Intelligent Transport Systems, SCITEPRESS - Science and Technology Publications, 2021 mehr…
- Schimpe, Andreas; Hoffmann, Simon; Diermeyer, Frank: Adaptive Video Configuration and Bitrate Allocation for Teleoperated Vehicles. 2021 IEEE Intelligent Vehicles Symposium Workshops (IV Workshops), IEEE, 2021 mehr…
- Feiler, Johannes; Hoffmann, Simon; Diermeyer, Dr. Frank: Concept of a Control Center for an Automated Vehicle Fleet. 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), IEEE, 2020 mehr…
- Georg, Jean-Michael; Feiler, Johannes; Hoffmann, Simon; Diermeyer, Frank: Sensor and Actuator Latency during Teleoperation of Automated Vehicles. 2020 IEEE Intelligent Vehicles Symposium (IV), IEEE, 2020 mehr…
- Georg, Jean-Michael; Putz, Elena; Diermeyer, Frank: Longtime Effects of Videoquality, Videocanvases and Displays on Situation Awareness during Teleoperation of Automated Vehicles*. 2020 IEEE International Conference on Systems, Man, and Cybernetics (SMC), IEEE, 2020 mehr…
- Schimpe, Andreas; Diermeyer, Frank: Steer with Me: A Predictive, Potential Field-Based Control Approach for Semi-Autonomous, Teleoperated Road Vehicles. 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), IEEE, 2020 mehr…
- Georg, Jean-Michael; Diermeyer, Frank: An Adaptable and Immersive Real Time Interface for Resolving System Limitations of Automated Vehicles with Teleoperation. 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC), IEEE, 2019 mehr…
- Georg, Jean-Michael; Feiler, Johannes; Diermeyer, Frank; Lienkamp, Markus: Teleoperated Driving, a Key Technology for Automated Driving? Comparison of Actual Test Drives with a Head Mounted Display and Conventional Monitors*. 2018 21st International Conference on Intelligent Transportation Systems (ITSC), IEEE, 2018 mehr…
- Hosseini, A., Richthammer, F., Lienkamp, M.: Predictive haptic feedback for safe lateral control of teleoperated road vehicles in Urban Areas. IEEE Vehicular Technology Conference, 2016 mehr…
- Hosseini, Amin; Lienkamp Markus: Predictive safety based on track-before-detect for teleoperated driving through communication time delay. Intelligent Vehicles Symposium (IV), 2016, 165-172 mehr…
- Hosseini, Amin; Lienkamp Markus: Enhancing telepresence during the teleoperation of road vehicles using HMD-based mixed reality. Intelligent Vehicles Symposium (IV), 2016, 1366-1373 mehr…
- Hosseini, Amin; Markus Lienkamp: Predictive Safety Based on Track-Before-Detect for Teleoperated Driving Through Communication Time Delay. 83rd IEEE Vehicular Technology Conference, 2016 mehr…
- Pedro M. d’Orey, Amin Hosseini, Jos´e Azevedo, Frank Diermeyer, Michel Ferreira and Markus Lienkamp: Hail-a-Drone: Enabling teleoperated taxi fleets. Intelligent Vehicles Symposium (IV), 2016, 774-781 mehr…
- Chucholowski, Frederic: Eine vorausschauende Anzeige zur Teleoperation von Straßenfahrzeugen – Beseitigung von Zeitverzögerungseffekten im Fahrer-Fahrzeug-Regelkreis. Dr. Hut, 2015 mehr…
- Gnatzig, Sebastian: Trajektorienbasierte Teleoperation von Straßenfahrzeugen auf Basis eines Shared-Control-Ansatzes. Universitätsbibliothek der TU München , 2015 mehr…
- Hosseini, A., Lienkamp, M.: Fahrerassistenzsysteme zur präzisen und sicheren Steuerung von teleoperierten Straßenfahrzeugen. 7. Tagung Fahrerassistenz, 2015 mehr…
- Lutz, Lennart S.; Frank Diermeyer, Markus Lienkamp: Rechtliche Aspekte beim automatisierten und teleoperierten Fahren. ATZextra (7), 2015, 38-41 mehr…
- Tang Chen, Tito Lu: Methoden zur Verbesserung der Steuerung von Teleoperierten Fahrzeugen. Universitätsbibliothek der TU München , 2015 mehr…
- Chucholowski, Frederic; Tito Tang, Markus Lienkamp: Teleoperated Driving. Robust and Secure Data Connections. ATZ elektronik worldwide (1), 2014, 42-45 mehr…
- Chucholowski, Frederic; Tito Tang, Markus Lienkamp: Teleoperiertes Fahren – Sichere und robuste Datenverbindungen. ATZ elektronik 9 (1), 2014, 60-63 mehr…
- Hosseini, Amin; Bacara, Daniel; Lienkamp, Markus: A system design for automotive augmented reality using stereo night vision. Intelligent Vehicles Symposium Proceedings, 2014 IEEE, 2014, 127 - 133 mehr…
- Hosseini, Amin; Thomas Wiedemann, Markus Lienkamp: Interactive Path Planning for Teleoperated Road Vehicles in Urban Environments. 17th International Conference on Intelligent Transportation Systems (ITSC), 2014, 400-405 mehr…
- Tang, T., Vetter, P., Finkl, S., Figel, K., Lienkamp, M.: Teleoperated road vehicles - The "Free Corridor" as a safety strategy approach. 2nd International Conference on Mechanical Design and Power Engineering, ICMDPE 2013, 2014 Applied Mechanics and Materials Volume 490-491, 1399-1409 mehr…
- Tang, Tito; Frederic Chucholowski, Markus Lienkamp: Teleoperated driving, basics and system design. ATZworldwide (2), 2014, 16-19 mehr…
- Tang, Tito; Frederic Chucholowski, Markus Lienkamp: Teleoperiertes Fahren. Grundlagen und Systementwurf. ATZ 116 (2), 2014, 30-33 mehr…
- Wallner, Johannes; Tito Tang, Markus Lienkamp: Development of an Emergency Braking System for Teleoperated Vehicles Based on Lidar Sensor Data. 11th International Conference on Informatics in Control, Automation and Robotics (ICINCO 2014), 2014, 569-576 mehr…
- Chucholowski, F., Gnatzig, G., Tang, T., Hosseini, A., Lienkamp, M.: Teleoperiertes Fahren - Aktuelle Entwicklungen. 6. Tagung Fahrerassistenz, 2013 mehr…
- Chucholowski, F., Sauer, M., Lienkamp, M.: Evaluation of Display Methods for Teleoperation of Road Vehicles. ICIUS 2013, 9th International Conference on Intelligent Unmanned Systems, 2013 mehr…
- Chucholowski, F.; Büchner, S.; Reicheneder, J.; Lienkamp, M.: Prediction Methods for Teleoperated Road Vehicles. CoFAT, 2013 mehr…
- Gnatzig, Sebastian; Frederic Chucholowski, Tito Tang, Markus Lienkamp: A System Design for Teleoperated Road Vehicles. Proceedings of the 10th International Conference on Informatics in Control, Automation and Robotics, 2013, 231-238 mehr…
- Lutz, Lennart S.; Tito Tang, Markus Lienkamp: Die rechtliche Situation von teleoperierten und autonomen Fahrzeugen. Neue Zeitschrift für Verkehrsrecht NZV 26 (2), 2013, 57-63 mehr…
- Tang, Tito; Frederic Chucholowski, Min Yan and Prof. Dr. Markus Lienkamp: A Novel Study on Data Rate by the Video Transmission for Teleoperated Road Vehicles. ICIUS 2013, 9th International Conference on Intelligent Unmanned Systems, 2013 mehr…
- Tang, Tito; Jan Kurkowski and Markus Lienkamp: Teleoperated Road Vehicles: A Novel Study on the Effect of Blur on Speed Perception. International Journal of Advanced Robotic Systems (10), 2013 mehr…
- Gnatzig, S.; Haas, E.; Lienkamp, M.: Die Teleoperation als Ansatz zur fahrerlosen Fahrzeugführung. 5. Tagung Fahrerassistenz, 2012 mehr…
- Gnatzig, S.; Schuller, F.; Lienkamp, M.: Human-machine interaction as key technology for driverless driving - A trajectory-based shared autonomy control approach. 2012 IEEE RO-MAN, 2012 The 21st IEEE International Symposium on Robot and Human Interactive Communication, 913-918 mehr…
- Lutz, L.; Tang, T.; Lienkamp, M.: Analyse der rechtlichen Situation von teleoperierten und autonomen Fahrzeugen. 5. Tagung Fahrerassistenz, 2012 mehr…
- S. Gnatzig, F. Schuller, M. Lienkamp: Human-Machine Interaction as Key Technology for Driverless Driving - A Trajectory-Based Shared Autonomy Control Approach. 21st IEEE International Symposium on Robot and Human Interactive Communication, 2012 IEEE RO-MAN, 913-918 mehr…
- Diermeyer, F.; Gnatzig, S.; Chucholowski, F.; Tang, T.; Lienkamp, M.: Der Mensch als Sensor - Der Weg zum teleoperierten Fahren. AAET – Automatisierungssysteme, Assistenzsysteme und eingebettete Systeme für Transportmittel 2011 , 2011, 119-135 mehr…