Die Erkennung bevorstehender Fahrstreifenwechsel mittels der Fusion und Klassifikation von Merkmalsgrößen des Fahrzeugumfelds, Fahrerverhaltens und Fahrzeugstatus
| Autor: | Leonhardt, Veit |
|---|---|
| Jazyk: | němčina |
| Rok vydání: | 2024 |
| Předmět: |
Fahrstreifenwechsel
Fahrspurwechsel Fahrstreifenwechselsituation Vorhersage Erkennungssystem Klassifikator Urbaner Verkehr Fahrzeugumfeld Blickverhalten Fahrer Fahrzeugstatus Merkmalsgrößen Multisensoriell Datenfusion Künstliche neuronale Netze Statistische Analyse Zonenbasierte Repräsentation des Fahrzeugumfelds Radarbasiert Kamerabasiert Realfahrtstudie Reale Messdaten Natürliches Fahrverhalten lane change manoeuvre prediction driver intention situation assessment urban traffic classification driving situation vehicle environment gaze behaviour driver vehicle status features feature evaluation statistical analysis multisensory data fusion artificial neural network machine learning zone-based representation of the vehicle environment radar-based camera-based naturalistic driving study real measurement data natural driving behaviour info:eu-repo/classification/ddc/629.276 ddc:629.276 info:eu-repo/classification/ddc/629.283 ddc:629.283 info:eu-repo/classification/ddc/363.125 ddc:363.125 Fahrstreifenwechsel Stadtverkehr Intention Erkennung Fahrerassistenzsystem Fahrerverhalten Klassifikator Blickverhalten Umfelderfassung Fahrer Datenfusion Statistische Analyse Merkmalsextraktion Neuronales Netz Implementierung Evaluation Automatische Klassifikation |
| Druh dokumentu: | Text<br />Doctoral Thesis |
| Popis: | Damit Fahrerassistenzsysteme das noch immer unfallträchtige Manöver des Fahrstreifenwechsels wirksam gegen Unfälle absichern können, benötigen sie zuverlässig wie frühzeitig Kenntnis der Situationen, denen ein solches folgen wird. Nur so sind sie in der Lage, ihre Unterstützung in wirklich allen Situationen zu leisten, in denen diese von Nutzen ist, ohne dafür unpassende Warnungen oder Eingriffe in die Fahrzeugführung in Kauf nehmen zu müssen und an Akzeptanz einzubüßen oder gar selbst zum Sicherheitsrisiko zu werden. Die größte Herausforderung stellt dabei die Komplexität und Vielfalt der im städtischen Verkehr vorkommenden Situationen dar. Bisherige Assistenzsysteme stützen sich zur Aktivierung ihrer Funktion entweder auf den Status des Fahrtrichtungsanzeigers oder werten das Überfahren einer Fahrstreifenbegrenzung als dann allerdings bereits laufenden Fahrstreifenwechsel. Das eine erfolgt nachweislich äußert unzuverlässig, mit dem anderen bleibt kaum mehr Zeit für eine frühzeitige, auf Situation und Fahrer abgestimmte Assistenz. Mit der vorliegenden Arbeit wird ein funktionierender Ansatz zur automatisierten Erkennung bevorstehender Fahrstreifenwechsel vorgestellt, als im Fahrzeug lauffähiges System implementiert und seine Funktion anhand realer Fahrdaten unter Beweis gestellt. Im Zentrum des Erkennungsansatzes stehen aus dem Fahrzeug heraus erfassbare Merkmalsgrößen des Fahrzeugumfelds, Fahrerverhaltens und Fahrzeugstatus, die mit Hilfe künstlicher neuronaler Netze fusioniert und klassifiziert werden. Die Entwicklung der Algorithmen sowie sämtliche Untersuchungen zu ihrer Leistungsfähigkeit beruhen auf Messdaten natürlichen Fahrverhaltens im Verkehr einer Großstadt, die in einer umfangreichen Realfahrtstudie mit einem mit Radar- und Kamerasensorik ausgestatteten Versuchsfahrzeug erhoben wurden. Basierend auf diesen Daten werden zunächst Parameter einer zonenbasierten Repräsentation des Fahrzeugumfelds, der Blickrichtung des Fahrers sowie Zustandsgrößen des Fahrzeugs auf ihre Eignung als Merkmalsgröße untersucht. Es wird gezeigt, inwieweit für verschiedene Arten von Fahrstreifenwechseln und in unterschiedlichem zeitlichen Abstand auf das Manöver bereits zwischen dem Wert einer Merkmalsgröße und dem Bevorstehen eines Fahrstreifenwechsels ein Zusammenhang besteht. Mit einer Auswahl geeigneter Merkmalsgrößen wird die Erkennung schließlich in verschiedenen Ausprägungen implementiert, mittels maschinellen Lernens parametrisiert und über alle Arten in den Daten vorkommender Fahrstreifenwechselsituationen evaluiert. Untersucht wird dabei nicht nur die Erkennungsleistung des Gesamtsystems für verschiedene Vorhersagehorizonte, sondern ebenso die einer Erkennung mit den Merkmalsgrößen nur jeweils eines der Aspekte Fahrzeugumfeld, Fahrerverhalten und Fahrzeugstatus sowie der Effekt des Einbeziehens auch der Merkmalswerthistorie.:Inhaltsverzeichnis Bibliographische Beschreibung i Inhaltsverzeichnis v Abkürzungs- und Symbolverzeichnis xi Abkürzungen xi Symbole xi Vorwort xiii 1 Einleitung 1 1.1 Motivation 1 1.2 Aktueller Stand der Forschung 4 1.3 Forschungslücken 11 1.4 Zielsetzung der Arbeit 12 1.5 Inhalt und Gliederung der Arbeit 14 1.6 Formelzeichen und Zahlenwerte 15 2 Die Fahrstreifenwechselsituation und der algorithmische Ansatz ihrer Erkennung 17 2.1 Grundlegende Begriffe 17 2.2 Modelle zur Beschreibung des Fahrstreifenwechsels 18 2.2.1 Das 3-Ebenen-Modell der kognitiven Prozesse zur Fahrzeugführung 18 2.2.2 Messbarkeit kognitiver Prozesse und der Fahrerintention 21 2.2.3 Das System Fahrer-Fahrzeug-Umwelt 23 2.2.4 Das Phasenmodell des Ablaufs eines Fahrstreifenwechsels 25 2.2.5 Das Modell der Fahrstreifenwechselsituation 26 2.3 Der prinzipielle Ansatz zur Erkennung von Fahrstreifenwechseln 30 2.4 Ein aspektübergreifender Erkennungsansatz im System Fahrer-Fahrzeug-Umwelt 31 3 Merkmalsgrößen zur Erkennung bevorstehender Fahrstreifenwechsel 35 3.1 Kriterien der Wahl der Merkmalsgrößen 35 3.2 Das Versuchsfahrzeug 36 3.2.1 Umfeldsensorik 37 3.2.2 Fahrersensorik 40 3.2.3 Rechentechnik 42 3.3 Definition und Berechnung der Merkmalsgrößen 42 3.3.1 Merkmalsgrößen des Fahrzeugumfelds 43 3.3.1.1 Existenz, Zugänglichkeit und Abstand benachbarter Fahrstreifen 43 3.3.1.2 Sensorübergreifendes Tracking umgebender Objekte als Grundlage 44 3.3.1.3 Einteilung des Fahrzeugumfelds in Zonen 45 3.3.1.4 Beschreibung der Belegung umgebender Zonen durch Objektparameter 49 3.3.1.5 Kurzreferenz zu den Merkmalsgrößen des Fahrzeugumfelds 57 3.3.2 Merkmalsgrößen des Fahrerverhaltens 58 3.3.2.1 Kopfposition und Kopflage 59 3.3.2.2 Blickbereiche 60 3.3.2.3 Kurzreferenz zu den Merkmalsgrößen des Fahrerverhaltens 63 3.3.3 Merkmalsgrößen des Fahrzeugstatus 64 3.3.3.1 Kurzreferenz zu den Merkmalsgrößen des Fahrzeugstatus 66 3.4 Synchrone Berechnung und Auswertung der Merkmalswerte 67 4 Realfahrtstudie zur Messdatenakquise 69 4.1 Studienteilnehmer 69 4.2 Studiendesign und Ablauf 70 4.3 Streckenverlauf 72 4.4 Erhobene Datensätze und Arten vorkommender Fahrstreifenwechselsituationen 73 5 Statistische Analyse und Einzelbewertung der Merkmalsgrößen 77 5.1 Metriken zur statistischen Bewertung der Merkmalsgrößen 77 5.1.1 Der t-Test 78 5.1.2 Die Effektstärke Cohen’s d 81 5.1.3 Die Effektstärke Hedges‘ g 82 5.1.4 Einordnung der Effektstärke 83 5.1.5 Auffassung der Messdaten und Durchführung der Evaluation 83 5.2 Bewertung aus Sicht des einzelnen Messdatums 85 5.2.1 Wahl und Berechnung der Metriken zur Bewertung aus Messdatensicht 85 5.2.2 Ergebnisse zur Signifikanz und Effektstärke aus Messdatensicht 87 5.3 Bewertung aus Sicht des einzelnen Manövers 97 5.3.1 Wahl und Berechnung der Metriken zur Bewertung aus Manöversicht 98 5.3.2 Ergebnisse zur Signifikanz und Effektstärke aus Manöversicht 100 5.4 Fazit der Evaluation und ausgewählter Satz von Merkmalsgrößen 108 6 Wissensbasiert modellierte Klassifikation mittels eines Bayes’schen Netzes 113 6.1 Verfahren zur wissensbasiert modellierten Klassifikation 113 6.1.1 Fuzzy-Logik 114 6.1.2 Support-Vector-Machines und Relevance-Vector-Machines 117 6.1.3 Bayes‘sche Netze 120 6.1.4 Hidden-Markov-Models 125 6.1.5 Die Wahl eines Bayes’schen Netzes zur wissensbasierten Modellierung 129 6.2 Umsetzung einer Erkennung auf Basis eines Bayes‘schen Netzes 130 6.2.1 Aufbau des modellierten Bayes’schen Netzes 131 6.3 Übergang zu einer auf maschinellem Lernen beruhenden Klassifikation 133 7 Künstliche neuronale Netze als Verfahren zur maschinell optimierten Klassifikation 135 7.1 Biologisches Vorbild und Entstehungsgeschichte 135 7.2 Aufbau und Funktionsweise künstlicher neuronaler Netze 137 7.3 Netzschichten und Netztopologie 141 7.4 Parametrisierung 143 7.4.1 Maschinelles Lernen und Optimierung durch Fehlerminimierung 144 7.4.2 Das Gradientenverfahren 146 7.4.3 Gütefunktion und Delta-Lernregel 149 7.4.4 Backpropagation 151 7.4.5 Inkrementelles und stapelweises Training 153 7.5 Abbildung zeitlicher Zusammenhänge 154 7.5.1 Zeitverzögerte neuronale Netze 154 7.5.2 Rekurrente neuronale Netze 156 7.5.3 Das Problem der verschwindenden und explodierenden Gradienten 158 7.5.4 Long-Short-Term-Memory 158 8 Neuronales Netz zur Erkennung jedes Bevorstehens eines Fahrstreifenwechsels 161 8.1 Anforderungen an die Erkennung und ihre Umsetzung 161 8.1.1 Forderung von Effektivität 161 8.1.2 Forderung von Echtzeitfähigkeit 162 8.1.3 Forderung von Realitätsnähe 162 8.1.4 Forderung einer geringen Modellkomplexität 162 8.1.5 Forderung einer gruppenweisen Verarbeitung der Merkmalsgrößen 163 8.2 Aufbau und Funktionsweise des Netzes 164 8.3 Modellierung der Merkmalswerthistorie 166 9 Maschinelle Parametrisierung des neuronalen Netzes 171 9.1 Assistenzbedingte Anforderungen an das Verhalten des Erkennungssystems 171 9.2 Vorbetrachtungen zur Gesamtfehlerdefinition 172 9.2.1 Detektionswert und Detektionsfehler als binäre Größen 173 9.2.2 Bewertung der Güte eines binären Klassifikators 174 9.2.3 Gewichtung der Fehlerklassen in der Gesamtfehlerfunktion 175 9.3 Gesamtfehlerfunktion 177 9.4 Optimierungsverfahren 180 9.5 Aufteilung und Filterung der Messdaten 181 9.6 Technische Umsetzung und Durchführung der Parametrisierung 183 10 Realisiertes Gesamtsystem zur Erkennung bevorstehender Fahrstreifenwechsel 185 10.1 Aufbau und Implementierung des Erkennungssystems 185 11 Empirische Evaluation der realisierten Erkennungsleistung 191 11.1 Evaluationsmethode 191 11.2 Erkennungsleistung des Gesamtsystems 193 11.3 Erkennungsleistung der Merkmalsgruppen in Abhängigkeit des Zeithorizonts 195 11.4 Beitrag der Modellierung der Merkmalswerthistorie 199 11.5 Beitrag der gruppenübergreifenden Fusion von Merkmalsgrößen 202 11.6 Abhängigkeiten der Ergebnisse und sie beeinflussende Faktoren 204 12 Zusammenfassung und Ausblick 207 A Anhang 219 A.1 Tracking der Objekte im Fahrzeugumfeld 219 A.1.1 Prinzip des Unscented-Kalman-Filters und CTRV Bewegungsmodells 219 A.1.2 Probabilistische Multi-Sensor-Multi-Objekt-Messdatenzuordnung 222 A.1.3 Initialisierung, Nutzung und Auflösung von Objektschätzungen 228 A.2 Tabellen zur Signifikanz und Stärke des Effekts einzelner Merkmalsgrößen 229 Literaturverzeichnis 233 Abbildungsverzeichnis 251 Tabellenverzeichnis 253 In order to enable driver assistance systems to effectively safeguard the still accident-prone manoeuvre of changing lanes against accidents, they need reliable and early knowledge of any situation that will be followed by such a manoeuvre. Only then they will be able to provide assistance in all the situations in which it is useful without having to accept inappropriate warnings or interventions in vehicle control and so losing acceptance or even becoming a safety risk themselves. The biggest challenge here is the complexity and variety of situations occurring in urban traffic. Current assistance systems either rely on the status of the direction indicator to activate their function or interpret the crossing of a lane boundary as a lane change that is already in progress. The former has been proven to be very unreliable, while the latter leaves hardly any time for early assistance tailored to the situation and driver. This work presents a functional approach to the automated detection of impending lane changes, implements it as an in-vehicle system and demonstrates its functionality by using real driving data. The detection approach centres on feature variables of the driving situation, driver behaviour and vehicle status that can be recorded from a vehicle and which are fused and classified with the help of artificial neural networks. The development of the algorithms and all investigations into their performance are based on measurement data of natural driving behaviour in traffic in a bigger city that were collected in an extensive naturalistic driving study with a test vehicle equipped with radar and camera sensors. Based on these data, parameters from a zone-based representation of the surroundings of the vehicle, the direction of the driver’s glances and vehicle state variables are first analysed for their suitability as feature variables. For different types of lane changes and at different time intervals to the manoeuvre it is shown to what extent there already is a correlation between the value of a variable and the imminence of a lane change. Using a selection of suitable feature variables the automated detection is finally implemented in various versions, parameterised by means of machine learning and evaluated across all types of lane change situations occurring in the data. Not only the detection performance of the overall system for different prediction horizons is investigated but also the detection with the feature variables of only one of the aspects driving situation, driver behaviour and vehicle status as well as the effect of including the feature value history.:Inhaltsverzeichnis Bibliographische Beschreibung i Inhaltsverzeichnis v Abkürzungs- und Symbolverzeichnis xi Abkürzungen xi Symbole xi Vorwort xiii 1 Einleitung 1 1.1 Motivation 1 1.2 Aktueller Stand der Forschung 4 1.3 Forschungslücken 11 1.4 Zielsetzung der Arbeit 12 1.5 Inhalt und Gliederung der Arbeit 14 1.6 Formelzeichen und Zahlenwerte 15 2 Die Fahrstreifenwechselsituation und der algorithmische Ansatz ihrer Erkennung 17 2.1 Grundlegende Begriffe 17 2.2 Modelle zur Beschreibung des Fahrstreifenwechsels 18 2.2.1 Das 3-Ebenen-Modell der kognitiven Prozesse zur Fahrzeugführung 18 2.2.2 Messbarkeit kognitiver Prozesse und der Fahrerintention 21 2.2.3 Das System Fahrer-Fahrzeug-Umwelt 23 2.2.4 Das Phasenmodell des Ablaufs eines Fahrstreifenwechsels 25 2.2.5 Das Modell der Fahrstreifenwechselsituation 26 2.3 Der prinzipielle Ansatz zur Erkennung von Fahrstreifenwechseln 30 2.4 Ein aspektübergreifender Erkennungsansatz im System Fahrer-Fahrzeug-Umwelt 31 3 Merkmalsgrößen zur Erkennung bevorstehender Fahrstreifenwechsel 35 3.1 Kriterien der Wahl der Merkmalsgrößen 35 3.2 Das Versuchsfahrzeug 36 3.2.1 Umfeldsensorik 37 3.2.2 Fahrersensorik 40 3.2.3 Rechentechnik 42 3.3 Definition und Berechnung der Merkmalsgrößen 42 3.3.1 Merkmalsgrößen des Fahrzeugumfelds 43 3.3.1.1 Existenz, Zugänglichkeit und Abstand benachbarter Fahrstreifen 43 3.3.1.2 Sensorübergreifendes Tracking umgebender Objekte als Grundlage 44 3.3.1.3 Einteilung des Fahrzeugumfelds in Zonen 45 3.3.1.4 Beschreibung der Belegung umgebender Zonen durch Objektparameter 49 3.3.1.5 Kurzreferenz zu den Merkmalsgrößen des Fahrzeugumfelds 57 3.3.2 Merkmalsgrößen des Fahrerverhaltens 58 3.3.2.1 Kopfposition und Kopflage 59 3.3.2.2 Blickbereiche 60 3.3.2.3 Kurzreferenz zu den Merkmalsgrößen des Fahrerverhaltens 63 3.3.3 Merkmalsgrößen des Fahrzeugstatus 64 3.3.3.1 Kurzreferenz zu den Merkmalsgrößen des Fahrzeugstatus 66 3.4 Synchrone Berechnung und Auswertung der Merkmalswerte 67 4 Realfahrtstudie zur Messdatenakquise 69 4.1 Studienteilnehmer 69 4.2 Studiendesign und Ablauf 70 4.3 Streckenverlauf 72 4.4 Erhobene Datensätze und Arten vorkommender Fahrstreifenwechselsituationen 73 5 Statistische Analyse und Einzelbewertung der Merkmalsgrößen 77 5.1 Metriken zur statistischen Bewertung der Merkmalsgrößen 77 5.1.1 Der t-Test 78 5.1.2 Die Effektstärke Cohen’s d 81 5.1.3 Die Effektstärke Hedges‘ g 82 5.1.4 Einordnung der Effektstärke 83 5.1.5 Auffassung der Messdaten und Durchführung der Evaluation 83 5.2 Bewertung aus Sicht des einzelnen Messdatums 85 5.2.1 Wahl und Berechnung der Metriken zur Bewertung aus Messdatensicht 85 5.2.2 Ergebnisse zur Signifikanz und Effektstärke aus Messdatensicht 87 5.3 Bewertung aus Sicht des einzelnen Manövers 97 5.3.1 Wahl und Berechnung der Metriken zur Bewertung aus Manöversicht 98 5.3.2 Ergebnisse zur Signifikanz und Effektstärke aus Manöversicht 100 5.4 Fazit der Evaluation und ausgewählter Satz von Merkmalsgrößen 108 6 Wissensbasiert modellierte Klassifikation mittels eines Bayes’schen Netzes 113 6.1 Verfahren zur wissensbasiert modellierten Klassifikation 113 6.1.1 Fuzzy-Logik 114 6.1.2 Support-Vector-Machines und Relevance-Vector-Machines 117 6.1.3 Bayes‘sche Netze 120 6.1.4 Hidden-Markov-Models 125 6.1.5 Die Wahl eines Bayes’schen Netzes zur wissensbasierten Modellierung 129 6.2 Umsetzung einer Erkennung auf Basis eines Bayes‘schen Netzes 130 6.2.1 Aufbau des modellierten Bayes’schen Netzes 131 6.3 Übergang zu einer auf maschinellem Lernen beruhenden Klassifikation 133 7 Künstliche neuronale Netze als Verfahren zur maschinell optimierten Klassifikation 135 7.1 Biologisches Vorbild und Entstehungsgeschichte 135 7.2 Aufbau und Funktionsweise künstlicher neuronaler Netze 137 7.3 Netzschichten und Netztopologie 141 7.4 Parametrisierung 143 7.4.1 Maschinelles Lernen und Optimierung durch Fehlerminimierung 144 7.4.2 Das Gradientenverfahren 146 7.4.3 Gütefunktion und Delta-Lernregel 149 7.4.4 Backpropagation 151 7.4.5 Inkrementelles und stapelweises Training 153 7.5 Abbildung zeitlicher Zusammenhänge 154 7.5.1 Zeitverzögerte neuronale Netze 154 7.5.2 Rekurrente neuronale Netze 156 7.5.3 Das Problem der verschwindenden und explodierenden Gradienten 158 7.5.4 Long-Short-Term-Memory 158 8 Neuronales Netz zur Erkennung jedes Bevorstehens eines Fahrstreifenwechsels 161 8.1 Anforderungen an die Erkennung und ihre Umsetzung 161 8.1.1 Forderung von Effektivität 161 8.1.2 Forderung von Echtzeitfähigkeit 162 8.1.3 Forderung von Realitätsnähe 162 8.1.4 Forderung einer geringen Modellkomplexität 162 8.1.5 Forderung einer gruppenweisen Verarbeitung der Merkmalsgrößen 163 8.2 Aufbau und Funktionsweise des Netzes 164 8.3 Modellierung der Merkmalswerthistorie 166 9 Maschinelle Parametrisierung des neuronalen Netzes 171 9.1 Assistenzbedingte Anforderungen an das Verhalten des Erkennungssystems 171 9.2 Vorbetrachtungen zur Gesamtfehlerdefinition 172 9.2.1 Detektionswert und Detektionsfehler als binäre Größen 173 9.2.2 Bewertung der Güte eines binären Klassifikators 174 9.2.3 Gewichtung der Fehlerklassen in der Gesamtfehlerfunktion 175 9.3 Gesamtfehlerfunktion 177 9.4 Optimierungsverfahren 180 9.5 Aufteilung und Filterung der Messdaten 181 9.6 Technische Umsetzung und Durchführung der Parametrisierung 183 10 Realisiertes Gesamtsystem zur Erkennung bevorstehender Fahrstreifenwechsel 185 10.1 Aufbau und Implementierung des Erkennungssystems 185 11 Empirische Evaluation der realisierten Erkennungsleistung 191 11.1 Evaluationsmethode 191 11.2 Erkennungsleistung des Gesamtsystems 193 11.3 Erkennungsleistung der Merkmalsgruppen in Abhängigkeit des Zeithorizonts 195 11.4 Beitrag der Modellierung der Merkmalswerthistorie 199 11.5 Beitrag der gruppenübergreifenden Fusion von Merkmalsgrößen 202 11.6 Abhängigkeiten der Ergebnisse und sie beeinflussende Faktoren 204 12 Zusammenfassung und Ausblick 207 A Anhang 219 A.1 Tracking der Objekte im Fahrzeugumfeld 219 A.1.1 Prinzip des Unscented-Kalman-Filters und CTRV Bewegungsmodells 219 A.1.2 Probabilistische Multi-Sensor-Multi-Objekt-Messdatenzuordnung 222 A.1.3 Initialisierung, Nutzung und Auflösung von Objektschätzungen 228 A.2 Tabellen zur Signifikanz und Stärke des Effekts einzelner Merkmalsgrößen 229 Literaturverzeichnis 233 Abbildungsverzeichnis 251 Tabellenverzeichnis 253 |
| Databáze: | Networked Digital Library of Theses & Dissertations |
| Externí odkaz: |
|