Fahrerintentionserkennung für Fahrerassistenzsysteme

Fahrerintentionserkennung für Fahrerassistenzsysteme Driver Intent Recognition for Advanced Driver Assistance Systems Dipl.-Ing. F. Schroven, Dr.-Ing. T. Giebel, Volkswagen AG, Wolfsburg Kurzfassung Automatisch fahrenden Fahrzeugen ist der zukünftige Fahrweg stets bekannt, da das Fahrzeug ihn selbst gewählt hat. Fahrerassistenzsystemen fehlt dieses Wissen weitgehend, da die Trajektorie vom Fahrer geplant wird. Für die Leistungsfähigkeit und damit Akzeptanz von Fahrerassistenzsystemen ist der zukünftige Fahrweg jedoch oft von fundamentaler Bedeutung. Rückschlüsse darauf sind durch direkte Fahrerbeobachtungen (z.B. mittels Videokamera) oder Beobachtungen von Fahrzeuggrößen sowie Daten aus dem Fahrzeugumfeld möglich. Für die Kombination verschiedener Informationen steht eine Reihe von Ansätzen zur Verfügung. In diesem Beitrag wird ein probabilistisches Verfahren angewendet, um Situationsmerkmale systematisch auszuwerten und damit auf zukünftige Fahrerhandlungen zu schließen. Abstract Autonomous driving vehicles are always conscious of the car’s future path because the vehicle itself chose it. Advanced driver assistance systems lack this knowledge to a large extent, because the trajectory is planned by the driver. For the performance and therefore acceptance of driver assistance systems the car’s future path is often of fundamental importance. Conclusions can be drawn from direct driver monitoring (e.g. using a camera system) or from observing both vehicle and surrounding object data. There are several approaches for the combination of different information. In this article a probabilistic method is used that allows the systematical evaluation of the situation’s characteristics and estimate the driver’s future actions. 1. Einleitung Fahrerassistenzsysteme erfreuen sich steigender Beliebtheit, die sich in wachsender Nützlichkeit aus Kundensicht und zunehmender Kaufbereitschaft äußert [3]. Die automatische Distanzregelung ACC (Adaptive Cruise Control) und PreCrash-Systeme werden dabei über[SGVW08] F. Schroven, T. Giebel Fahrerintentionserkennung für Fahrerassistenzsysteme In: VDI-Berichte, Band 2048: Proceedings der 24. VDI/VW-Gemeinschaftstagung - Integrierte Sicherheit und Fahrerassistenzsysteme. 29.-30. Oktober 2008, Wolfsburg. VDI Verlag, Düsseldorf www.se-rwth.de/publications/ durchschnittlich positiv bewertet. Eine Ursache ist, dass Fahrerassistenzsysteme mit Umfeldwahrnehmung1 zunehmend Unfallvermeidungspotential aufweisen [2]. Im Bereich der Bahnführung haben die automatische Distanzregelung, Spurverlassenswarnsysteme und Spurhalteassistenten bereits Einzug in Serienfahrzeuge gefunden. Diese Systeme sind in erster Linie für Autobahnen und gut strukturierte Landstraßen konzipiert und legen starke Annahmen über den vom Fahrer geplanten Weg zugrunde: sie vermuten die Fahrt innerhalb eines Fahrstreifens. Möchte der Fahrer von dieser Annahme abweichen (z.B. Fahrstreifenwechsel), muss er dies in besonderer Weise anzeigen – üblicherweise muss er den entsprechenden Blinker betätigen. Im Falle eines Querführungssystems hat dies zur Folge, dass die aktive Blinkrichtung bei der Fahrzeugquerregelung unberücksichtigt bleibt und der Fahrer somit keine Warnung bzw. Eingriff erfährt. Bei der automatischen Distanzregelung kann ein aktivierter linker Blinker zu einer Dynamikverstellung des Reglers führen [8]. Bei versehentlich aktiviertem Blinker sind diese Reaktionen unangemessen und könnten in vielen Fällen durch eine weitergehende Analyse der Situation vermieden werden (im Fall von ACC z.B. bei Fahrt auf dem linken Fahrstreifen einer Autobahn). Die Einzelsysteme haben jedoch meist nur Zugriff auf wenige Fahrzeugdaten, die über einen CAN-Bus (Controller Area Network) geteilt werden. Ursächlich dafür ist die modulare Entwicklung von Fahrzeugkomponenten. Die zunehmende Vernetzung von Fahrerassistenzsystemen wird jedoch dazu führen, dass den Systemen zusätzliche Informationen zur Verfügung stehen. Dies hat folgende Konsequenzen: ƒ Größen, die Einzelsystemen bisher unbekannt waren bzw. geschätzt werden mussten, sind direkt messbar. So wird die Zielauswahl der automatischen Distanzregelung stark von einer mittels Kamera erkannten Fahrspurkrümmung vor dem Fahrzeug profitieren, da eine prädiktive Bestimmung mittels objektgebender Sensorik nur einge- ƒ schränkt möglich ist. Die Kombination von Informationen ermöglicht eine Analyse der Fahrsituation und damit eine Anpassung von Fahrerassistenzsystemen. 2. Methoden zum Schließen unter Unsicherheit Es existieren verschiedene Ansätze zur Kombination heterogener Informationen, von denen einige im Folgenden erwähnt werden sollen. Wie das Beispiel des versehentlich aktivierten Blinkers zeigt, ist es in vielen Fällen nicht möglich, Fahrsituationen oder die Fahrerintention 1 Hiervon abzugrenzen sind Systeme, die sich allein auf fahrzeuginterne Daten stützen, z.B. das elek- tronische Stabilitätsprogramm (ESP). mit Mitteln der booleschen Logik zu erfassen. Grund dafür ist, dass ein Großteil der Parameter einer Fahrsituation nicht unmittelbar messbar (beobachtbar) ist, dies gilt auch für die Fahrerabsicht. Außerdem ist es in der realen Welt nicht möglich, alle Vorbedingungen aufzulisten, die erforderlich sind, damit eine oder mehrere Aktionen den gewünschten Effekt bzw. Konsequenz haben (Qualifikationsproblem) [7]. Es handelt sich also grundsätzlich um Schlüsse, die unter Unsicherheit getroffen werden. Künstliche Neuronale Netze (KNN) sind ein Mittel für solche Schlussfolgerungen. Sie sind immer dann von Vorteil, wenn bezüglich der interessierenden Fragestellung kein mathematisches Modell oder anderes explizites Wissen vorliegt. Auf der anderen Seite ist es nicht möglich, a-priori-Wissen in das Modell einfließen zu lassen. Nach dem Training mit Referenzdaten ergibt sich ein Modell, dessen Verhalten nicht transparent ist und Erweiterungen erschwert [6]. Künstliche Neuronale Netze werden z.B. bei der Schrifterkennung als Klassifikator eingesetzt [5]. Aufgrund der Schwierigkeit explizites Wissen in das Modell einzubringen werden KNN hier nicht weiter betrachtet. Die Fuzzy-Mengen-Theorie beschreibt, in welchem Maß ein Objekt eine vage Beschreibung erfüllt. Hat ein europäischer Mann beispielsweise eine Körpergröße von 1,75 m, zögern viele bei der Einordnung in die Kategorien „klein“ und „groß“. Dies liegt jedoch nicht an der Unsicherheit über die Welt, denn das Auftreten der Größe ist nicht unsicher, sondern lediglich die Zugehörigkeit zu einer Gruppe. Statt einer binären Zuordnung kommen graduelle Zugehörigkeiten zur Anwendung. Für die Zuordnung können verschiedene Funktionen (z.B. Dreiecksoder Trapezfunktionen) verwendet werden. Zur Verknüpfung (Inferenz) der Informationen (Zugehörigkeiten) werden Mittel der klassischen Mengenlehre verwendet. Die Fuzzy-Logik ist damit ein wahrheitsfunktionales System, das für unsicheres Schließen wenig geeignet ist [7]. 3. Situationsanalyse mittels probabilistischer Netze Bayes’sche Netze sind azyklische Graphen, die aus Knoten (Zufallsvariablen) und gerichteten Kanten bestehen. Jeder Knoten hat eine bedingte Wahrscheinlichkeitsverteilung, die den Effekt quantifiziert, den die Elternknoten bezüglich des Knotens verursachen. Knoten, die keine Eltern besitzen, erfordern die Angabe von a-priori-Wahrscheinlichkeiten der Zufallsvariablen. Die Knoten können dabei diskrete Zustände haben oder kontinuierlich sein. Ein solches Netz ist immer dann eine korrekte Repräsentation einer Domäne, wenn jeder Knoten bei bekannten Eltern bedingt unabhängig von seinen Vorgängern ist. Die Zusicherung der Unabhängigkeit basiert üblicherweise auf Wissen aus der Anwendungsdomäne. Die Netze sollten dabei in der Form Ursache → Wirkung aufgebaut werden. Dies führt zu weniger Ver- knüpfungen zwischen den Knoten und erfordert kausales Wissen, das im Gegensatz zu diagnostischem Wissen weniger subtil und besser quantifizierbar ist. Bayes’sche Netze haben den großen Vorteil, dass explizites Wissen auf verschiedenen Wegen eingebracht werden kann. Diese sind: ƒ Struktur: Die Struktur des Netzes hat qualitativen Einfluss auf die Auswertung. Sie beinhaltet Informationen darüber, welche Knoten vorhanden sind und wie diese un- ƒ tereinander verbunden sind. Übergangswahrscheinlichkeiten: Die bedingten Wahrscheinlichkeiten geben den quantitativen Einfluss wider, den ein Knoten auf seinen Kindknoten hat. Grundsätzlich sind Bayes’sche Netze lernfähig: Es lassen sich sowohl Strukturen als auch Übergangswahrscheinlichkeiten mit Trainingsdaten anlernen. Das Lernen von Strukturen führt jedoch selten zu kausalen Netzen. Dies macht eine Weiterentwicklung und Veränderung von Parametern schwierig. Fremdfahrzeuge Umwelt Ego-Fahrer Regelobjekt Fremdfahrzeuge + Fremdfahrer Regelobjekt Ego-Fahrzeug + Ego-Fahrer Ego-Fahrzeug mit FAS Umwelt Allgemeine Fahrsituation Fahrsituation für nach vorne orientierte Fahrerassistenzsysteme Bild 1: Unterschiedliche Komponenten einer Fahrsituation: allgemeine Sicht (links), Sicht eines nach vorne orientierten Fahrerassistenzsystems (rechts) Eine Fahrsituation entsteht im Allgemeinen aus dem wechselseitigen Wirken der Fremdfahrzeuge und ihrer Fahrer sowie dem eigenen Fahrzeug (Ego-Fahrzeug) und dessen Fahrer in Kombination mit Einflüssen aus der Umwelt. Viele Fahrerassistenzsysteme sind in erster Linie nach vorne orientiert, d.h. sie werden durch Objekte oder andere Merkmale vor dem Fahrzeug beeinflusst. Die Rückwirkung des Ego-Fahrzeugs auf solche Objekte ist zu ver- nachlässigen. Dadurch vereinfacht sich der Kreislauf einer Fahrsituation zu der in Bild 1 rechts dargestellten Form: Fremdfahrzeuge und die Umwelt beeinflussen den Fahrer und liefern gleichzeitig Regelobjekte für Fahrerassistenzsysteme des Ego-Fahrzeugs (z.B. Fahrspurmarkierung für Spurhalteassistenten oder Führungsfahrzeug für automatische Distanzregelung). Der Fahrer steuert das Fahrzeug und entscheidet sich aufgrund von Umwelt und Fremdfahrzeugen für Manöver und dadurch entstehende Fahrsituationen. Als Struktur zur Fahrerintentionserkennung wird in Anlehnung an [4] ein 3-Ebenen-Modell vorgeschlagen (siehe Bild 2). Dieses kausale Modell ist die Grundlage für alle zu erkennenden Fahrmanöver und lässt sich aus der Struktur in Bild 1 (rechts) ableiten. Die Übergangswahrscheinlichkeiten für die Ebene der Fahrmanöver und der Indikatoren impliziert ein gewisses Fahrerverhalten. Dies verdeutlicht, dass die Modelle nicht ohne weiteres für beliebige Anwendungen herangezogen werden können. Eine durchgezogene linke Fahrstreifenmarkierung wird einen Fahrer in einer normalen Verkehrssituation meist davon abhalten, einen Fahrstreifenwechsel durchzuführen. Befindet sich derselbe Fahrer jedoch in einer Gefahrensituation und kann eine Kollision mit einem anderen Verlehrsteilnehmer durch einen Fahrstreifenwechsel verhindern, so verliert die Markierung stark an Einfluss. Bei Modellen zur Fahrerintentionserkennung muss daher z.B. zwischen Systemen für Normalfahrten und dem Fahrer bewussten Gefahrensituationen unterschieden werden bzw. sie müssen Teil der Modellierung sein. Motivatoren Inhibitoren Fahrmanöver Fahrmanöver Indikatoren Bild 2: 3-Ebenen-Modell zur Fahrerintentionserkennung Darüber hinaus muss bereits bei der Gestaltung der Modelle die Applikation berücksichtigt werden. Möchte man mit einer Situationsanalyse beispielsweise Fahrstreifenwechsel des eigenen Fahrzeugs prädizieren, um die Zielauswahl einer automatischen Distanzregelung zu manipulieren, so liefert der Fahrpedalwert im Normalfall keine Informationen, da der Fahrer das Gaspedal während der geregelten Fahrt nicht bedient. Deshalb lassen sich Forschungsergebnisse wie z.B. bei [1], die noch keine konkrete Applikation im Fokus haben, nicht übertragen. Motivatoren und Inhibitoren Es gibt eine Reihe externer positiver Motivatoren sowie negativer (Inhibitoren), die den Fahrer zu einem Fahrmanöver verleiten, es ermöglichen oder auf der anderen Seite verbieten oder gar verhindern. Die Knoten dieser Kategorie werden observiert. Dadurch ergibt sich, dass die a-priori-Wahrscheinlichkeiten einzelner Manöver, die recht schwierig zu ermitteln sind, nur formal vorliegen müssen. Fahrmanöver Diese sollen anhand der Beobachtungen der anderen Ebenen detektiert werden. Manöver, die sich gegenseitig ausschließen sollten in einem Knoten vereint werden. Indikatoren Die Indikatoren sind logische Folgen des Manövers. Sie werden ebenso wie die Motivatoren bzw. Inhibitoren beobachtet. Es handelt sich im Wesentlichen um Fahrereingaben und Fahrzeuggrößen. Als Informationsquellen für eine Fahrerintentionserkennung stehen das Umfeld, das Fahrzeug sowie der Fahrer zur Verfügung. Aus dem Umfeld lassen sich mittels geeigneter Sensoren Daten über andere Verkehrsteilnehmer, die Infrastruktur (z.B. Fahrstreifenmarkierungen oder Entfernung zur nächsten Kreuzung) oder die Wetterverhältnisse (z.B. Regen) gewinnen. Für Beobachtungen des eigenen Fahrzeugs haben Serienfahrzeuge meist eine Reihe von Sensoren, deren Signale von einem CAN-Bus gelesen werden können. Dazu zählen die Fahrgeschwindigkeit oder der aktuelle Gang. Eine Beobachtung des Fahrers ist meist nur mittelbar durch seine Eingaben z.B. am Lenkrad oder der Pedalen möglich. Die direkte Fahrerbeobachtung, d.h. Ermittlung der Position von Kopf und Extremitäten oder der Blickrichtung, ist meist aufwändig und bedarf besonderer Zusatzausrüstung. Daher werden solche Konzepte im Folgenden nicht weiter betrachtet. 4. Realisierung in einem Fahrzeug Für das Erzeugen von neuen Fahrzeugfunktionen hat sich in der Automobilindustrie die modellbasierte Softwareentwicklung bewährt. Sie kennt als zentrales Artefakt ein Modell, von dem Code für Steuergeräte oder Rapidprototyping-Plattformen generiert werden kann. Ein Standardwerkzeug dafür ist Matlab/ Simulink in Kombination mit dSpace Hardware. Diese wurde auch für die hier beschriebenen Arbeiten eingesetzt. Um einen großen Vorteil der Bayes’schen Netze, ihre Erweiterbarkeit, nutzen zu können, wurde eine Toolbox erzeugt, die es ermöglicht, Netze intuitiv aufzubauen und zu parametrieren. Die erzeugten Module sind ohne Einschränkung kompatibel zum verwendeten Codegenerator, sodass der Einsatz zusätzlicher Software, die üblicherweise für PC-Plattformen existiert, und der dann notwendigen Kommunikation zwischen PC und Echtzeithardware vermieden werden konnte. Motivatoren / Inhibitoren Indikatoren Bild 3: Aufbau eines Bayes’schen Netz mit Simulink Der Aufbau eines zweistufigen Netzes, das aus einem Knoten mit drei Kindknoten besteht, wird in Bild 3 gezeigt. Die Signalflussrichtung entspricht dabei nicht der Kantenrichtung aus Bild 2. Grund dafür ist, dass die Wahrscheinlichkeitsberechnung der einzelnen Situationen im Manöver-Knoten durchgeführt wird. Die Struktur des Netzes wird explizit durch die Eingänge des Manöverknotens vorgegeben. 5. Ergebnisse Im Rahmen dieser Forschungsarbeiten wurde beispielhaft ein Netz aufgebaut, das Abbiegemanöver und Überholmanöver unterscheiden kann. Die Struktur des Netzes wurde durch Wissen über die Domäne und die verfügbaren Sensorinformationen aufgebaut. Das Modell entspricht dabei der oben genannten 3-Ebenen-Struktur. Zur Ermittlung der Übergangswahrscheinlichkeiten wurden Fahrversuche mit Probanden unternommen. Diese enthielten sowohl Abbiegemanöver als auch bezüglich der Indikatoren dazu ähnliche Fahrstreifenwechsel. Aus den aufgezeichneten Daten, in denen die Abbiegemanöver vom Versuchsleiter während der Fahrt codiert wurden, konnten die Übergangswahrscheinlichkeiten gelernt werden. Neben Daten aus dem Fahrzeugumfeld sind einige der wesentlichen Indikatoren: ƒ ƒ ƒ ƒ Fahrgeschwindigkeit Lenkradwinkel Lenkradwinkelgeschwindigkeit Blinkerbetätigung Die gewonnenen Ergebnisse können für verschiedene Fahrerassistenzsysteme verwendet werden. Die Zielauswahl einer automatischen Distanzregelung kann im Stadtbereich von bevorstehenden Abbiegemanövern profitieren und so ein Objekt, das den Bereich vor dem Fahrzeug verlassen hat, länger als relevantes Ziel führen. 6. Ausblick Nachdem erste Versuche mit dem trainierten Netz gute Ergebnisse gezeigt haben, wird das System um weitere Situationen ergänzt. Außerdem wird in einem nächsten Schritt der Regler einer automatischen Distanzregelung anhand der ermittelten Fahrerintention manipuliert werden. Grundsätzlich ist der Erweiterung des hier vorgestellten Modells um die Dimension Zeit sinnvoll (dynamische Bayes’sche Netze). Dadurch können Manöverfolgen berücksichtigt und die Zuverlässigkeit der Vorhersage erhöht werden. Bei einer Autobahnfahrt steigt beispielsweise nach einem Fahrstreifenwechsel nach links und Passieren eines Fahrzeugs auf der rechten Seite die Wahrscheinlichkeit eines Spurwechsels nach rechts. Analog zur hier vorgestellten Intentionserkennung für den Fahrer des eigenen Fahrzeugs ist eine Untersuchung der Fremdfahrzeuge möglich. Dadurch ließen sich Modelle für das Objekttracking der Umfelderfassung manipulieren. Literaturverzeichnis [1] Blaschke, C.; Schmitt, J.; Färber, B.: Fahrmanöver-Prädiktion über CAN-Bus Daten. In: VDI-Berichte, 2015, S. 165-177, 2007 [2] Gwehenberger, Johann and Daschner, Dieter and Kubitzki, Jörg: Chancen und Risiken mit Fahrerassistenzsystemen – Aktuelle Erkenntnisse der AZT Unfallforschung. In: Tagungsband zur 3. Tagung Aktive Sicherheit durch Fahrerassistenz, Garching, 2008 [3] Happe, J.; Lütz, M.: Fahrerassistenz: Trends in der Fahrerakzeptanz – Kundennutzen, Bekanntheitsgrad und Kaufbereitschaft. In: Tagungsband zur 3. Tagung Aktive Sicherheit durch Fahrerassistenz, Garching, 2008 [4] Gerdes, A.; Driving Manoeuvre Recognition. In: Tagungsband zum ITS 2006: 13th World Congress and Exhibition on Intelligent Transport Systems and Services, London: Ertico; ITS Europe, 2006 [5] Luger, G. F: Artificial Intelligence. Structures and Strategies for complex problem solving; 5. Auflage, Boston: Addison-Wesley, 2005 [6] Nauck, Detlef; Klawonn, Frank; Kruse, Rudolf: Neuronale Netze und Fuzzy-Systeme. Grundlagen des Konnektionismus, Neuronaler Fuzzy-Systeme und der Kopplung mit wissensbasierten Methoden; Wiesbaden: Vieweg Verlag, 1994 [7] Russel, S.; Norvig, P.: Künstliche Intelligenz – Ein moderner Ansatz; 2. Auflage, München: Pearson Education Verlag, 2004 [8] Steinle, Joachim and Hohmann, Sören and Kopf, Matthias and Brandstäter, Martin and Pfeiffer, Andreas and Farid, Nima: Keeping the focus on the driver: the BMW approach to driver assistance and active safety systems that interact with vehicle dynamics, FISITA World Automotive Congress, 2006