| Popis: |
Die vorliegende Arbeit demonstriert am praktischen Beispiel, wie die für das autonome Fahren sicherheitskritische Objekterkennung (insbesondere Personen) mittels Künstlichen Neuronalen Netzwerken einer Sicherheitsbewertung durch Robustheitstests unterzogen werden kann. Dazu wurde eine Mutation der Bilder mittels verschiedener Verfahren vorgenommen und die Wahrnehmungsmöglichkeit der Objekte aus den verzerrten Bildern durch das Künstliche Neuronale Netzwerk mit einer trainierten ausreichenden Objekt-Erkennung verglichen. Aus den Resultaten der unterschiedlichen Bildverzerrungs-methoden wurde ein Robustheits-Index (RI) gebildet. Als praktische Anwendung wurde eine Testumgebung mit 3 sicherheitskritischen Szenarien gewählt, in denen sich ein People Mover (PM) einem simulierten Bahnübergang nähert, auf den sich ein Fahrzeug, ein Kind, oder beides zubewegen. Es wurden die Bilddaten der Frontkamera des People Movers als Input für den Echtzeit-Objektdetektor „YOLOv4“ benutzt. RI ergibt für die 3 kritischen Testszenarien und der Verzerrung der Bilddaten mittels der 6 Mutatoren „Rotation“, „Graubild“, „Helligkeitsveränderung“, „ Gauß’sche Unschärfe“ „Bild-rauschen“ und „ multifaktorielle Mutation“ einen Wert von 0,834013, d. h., es werden noch ca. 83,40 % des ursprünglichen mean-average-Precision-Wertes (mAP) nach Anwendung der Störungen erreicht. Der RI zeigt insbesondere die Mutatoren auf, die am dringendsten nachtrainiert werden müssen: „Bildrauschen“ mit mAP = 74,62 % sowie der „multifaktorielle Mutator“ mit mAP = 72,27 %. Anschließend wurde untersucht, ob mit zusätzlichen Verfahren die bestehende Robustheit der Objekterkennung durch das Künstliche Neuronale Netzwerk erhöht werden kann. Dazu wurde eine „Data Augmentation“ vorgenommen, indem die Störungsmuster der Mutatoren für den Objektdetektor mittrainiert werden. Durch Messung des RI wurde dadurch eine Verbesserung der Robustheit auf 98,60 % des ursprünglichen mean-Average-Precision-Wertes erreicht. Anschließend wurde diskutiert, wie der RI durch zusätzliche Mutatoren skaliert und auch für „Long-Tail“-Ereignisse und „Adversarial Attacks“ eingesetzt werden kann. Ein Vergleich mit vorhandenen Robustheits-Benchmarks wurde vorgenommen und deren Vor- und Nachteile werden diskutiert. Als Abschluss werden Vorschläge gegeben, wie dieser Robustheits-Index verallgemeinert und zur zukünftigen Verbesserung der Safety von Objektdetektoren beitragen kann und wo insbesondere die Einsatzgrenzen liegen. This master thesis demonstrates on a practical example how object recognition (especially people), which is critical for safety in autonomous driving, can be subjected to a safety evaluation by robustness tests using Artificial Neural Networks. For this purpose, a mutation of the images is performed using different methods and the perception possibility of the objects from the distorted images by the Artificial Neural Network is compared with a trained sufficient object recognition. A robustness index (RI) is formed from the results of the different image distortion methods. As a practical application, a test environment with 3 critical scenarios was chosen in which a people mover (PM) approaches a simulated level crossing approached by a vehicle, a child, or both. Image data from the people mover's front camera was used as input to the real-time object detector "YOLOv4". RI gives a value of 0.834013 for the 3 critical test scenarios and the distortion of the image data by means of the 6 mutators "rotation", "gray image", "brightness change", " Gaussian blur" "image noise" and " multifactorial mutation", i.e., about 83.40% of the original mean-average precision (mAP) value is still achieved after applying the perturbations. In particular, the RI highlights the mutators that most urgently require retraining: 'image noise' with mAP = 74.62% and the 'multifactorial mutator' with mAP = 72.27%. Subsequently, it was investigated whether additional methods can be used to increase the existing robustness of object recognition by the artificial neural network. For this purpose, a "data augmentation" was performed by co-training the interference patterns of the mutators for the object detector. By measuring the RI, this improved the robustness to 98.60% of the original mean-average precision value. Subsequently, we discuss how the RI can be scaled by additional mutators and also be used for "long-tail" events and "adversarial attacks". A comparison with existing robustness benchmarks is made and their advantages and disadvantages are discussed. As a conclusion, suggestions are given on how this robustness index can be generalized and contribute to the future improvement of the safety of object detectors and, in particular, where the application limits lie. Abweichender Titel laut Übersetzung der Verfasserin/des Verfassers Masterarbeit Wien, FH Campus Wien 2022 |
