Boosting the Generalizability and Fairness of Presentation Attack Detection

Autor: Fang, Meiling
Jazyk: angličtina
Rok vydání: 2023
Předmět:
Popis: The vulnerability of biometric recognition to presentation attacks (PAs) has been widely recognized and has attracted increasing attention as it enables attackers to impersonate authentic users. Presentation attack detection (PAD), aiming at automatically catching PAs, is an essential technology to secure biometric systems from PAs such as printed photos and replayed videos. Despite the considerable exploration and remarkable progress in PAD performance, two major issues still constitute a gap in technology. The first is the lack of proper understanding of the fairness of such algorithms over human-related attributes, and the second is the low performance generalizability over variabilities such as unknown attack types and capture environments. These challenges drive the main contributions of this thesis towards analyzing and boosting the fairness and generalizability of PAD. PAD fairness over different human attributes is extremely understudied. Such underexploration is mainly due to the lack of suitable data. Towards enabling the fairness assessment and enhancement in face PAD, this thesis first introduces a combined attribute annotated PAD dataset, including both demographic and non-demographic attribute labels. Meanwhile, this thesis presents a new metric, accuracy balanced fairness, to simultaneously represent both the PAD fairness and the absolute PAD performance. Then, a comprehensive analysis of fairness in face PAD is conducted to study its relation to the nature of training data and the methodology of decision threshold selection. Guided by the outcomes of these analyses, a data augmentation method, namely FairSWAP, is successfully proposed to enhance the fairness of face PAD. In addition to the PAD generalizability over human-related attributes, seen as fairness, another emerging challenge that encountered face PAD during the COVID-19 pandemic is the PAD generalizability to subjects wearing facial masks. To address this issue, this thesis first provides a collaborative real mask attack dataset involving the conventional unmasked bona fide and attacks, masked bona fide sample, novel attacks with faces wearing masks, and attacks with real masks placed on spoof faces. This thesis performs a set of extensive experiments to investigate the impact of masked faces on recognition vulnerability and PAD behaviour. Observing the degradation of PAD performance caused by the facial masks, this thesis presents a solution to target this issue by refining the partial attack supervision and the regional weighted inference. The third part of this thesis targets the more conventional PAD generalizability issues, such as variabilities in attack creation and capture scenarios. Aiming to boost the generalizability of face PAD, this thesis proposes to leverage the information from the frequency domain in an optimized manner, assisting the information in the spatial domain to learn a more generalized representation under intra-dataset and cross-dataset settings. With a focus on enhancing the generalizability of iris PAD, this thesis proposes a micro-stripe analyses solution that leverages the benefit of the spatially aware processing of well-defined regions in the iris and its border with the sclera. This thesis further introduces a novel attention-based deep pixel-wise binary supervision method, A-PBS, for iris PAD. This solution aims to capture the fine-grained pixel/patch-level attack clues and automatically locate regions that contribute the most to an accurate PAD decision. The generalizability of the proposed iris PAD solutions is demonstrated under real-world cross-testing cases, including cross-attack, cross-dataset, and cross-spectrum settings. To summarize, this thesis first provides a much-needed comprehensive analysis of fairness in PAD, leading to a well-founded and integrable fairness enhancement solution. Then, it presents detailed investigations of the masked face PAD challenge along with a technical solution towards improving the masked face PAD performance. The thesis then presents a set of novel contributions to boost the generalizability of face and iris PAD techniques. This thesis thus yields practically-aware advancements in understanding and mitigating vulnerabilities of biometric systems and lays the groundwork for future research into developing and deploying generalized PAD systems.
Die Anfälligkeit von biometrischer Erkennung für Presentation Attacks (PAs) ist weithin bekannt und hat zunehmend Aufmerksamkeit erregt, da sie Angreifern ermöglicht, sich als authentische Benutzer auszugeben. Die automatisierte Erkennung von Presentation Attacks (Presentation Attack Detection (PAD)) ist eine wesentliche Technologie um biometrische Systeme vor solchen Angriffen, etwa mit gedruckten Fotos oder abgespielten Videos, zu schützen. Trotz des beachtlichen und bemerkenswerten Fortschritts bezüglich der Erkennungsraten im Bereich PAD zeigen sich noch zwei Hauptprobleme. Das erste Problem ist die mangelnde Kenntnis bezüglich der Fairness der Algorithmen in Bezug auf menschenbezogene Attribute und das zweite Problem ist die geringe Generalisierbarkeit der Algorithmen in Bezug auf Veränderungen wie etwa unbekannte Angriffstypen und unbekannte Aufnahmeumgebungen. Die Herausforderungen, die sowohl aus der Analyse, der Steigerung der Fairness sowie der Generalisierbarkeit von PAD-Algorithmen bestehen, motivieren den Kern dieser Dissertation. Die Fairness von PAD-Algorithmen bezüglich verschiedener personenbezogener Attribute ist noch sehr wenig erforscht, was vor allem auf den Mangel an geeigneten Daten zurückzuführen ist. Um die Fairness von PAD-Algorithmen für Gesichtserkennungssysteme zu bewerten und diese auch zu erhöhen, wird in dieser Thesis zuerst ein kombinierter PAD-Datensatz eingeführt, welcher mit demografischen sowie nicht-demografischen Attributen annotiert ist. Des Weiteren stellt diese Arbeit eine neue Metrik, acurracy balanced fairness, vor, um gleichzeitig die Fairness und die Erkennungsgenauigkeit von PAD-Algorithmen zu messen. Anschließend wird eine umfassende Analyse der Fairness dieser Algorithmen für Gesichter durchgeführt. Dabei werden die Zusammenhänge zwischen Fairness und der Art der Trainingsdaten sowie zwischen Fairness und der Auswahlmethodik der Entscheidungsgrenzen untersucht. Angeleitet von den Ergebnissen dieser Analysen wird eine neue Datenaugmentierungsmethode, FairSWAP, vorgeschlagen, um die Fairness von PAD-Algorithmen für Gesichter zu verbessern. Neben der Generalisierbarkeit von PAD-Algorithmen bezüglich personenbezogenen Attributen, die als Fairness angesehen werden kann, ist die Generalisierbarkeit von PAD-Algorithmen auf Personen, die Masken tragen, eine Herausforderung, welche durch die COVID-19 Pandemie aufgekommen ist. Um dieses Problem anzugehen wird in dieser Arbeit zuerst ein Datensatz vorgestellt, welcher authentische maskierte und unmaskierte Gesichter, sowie Angriffe mit Gesichtern, die Masken tragen und Angriffe mit echten Masken auf nicht authentischen Gesichtern, enthält. In dieser Thesis werden umfangreiche Experimente durchgeführt, um die Auswirkungen von maskierten Gesichtern auf die Erkennungsanfälligkeit und die Genauigkeit der PAD-Algorithmen zu untersuchen. Angesichts der Verschlechterung der PAD-Algorithmen bezüglich ihrer Genauigkeit verursacht durch die Masken, wird in dieser Arbeit eine Lösung vorgestellt, die auf der Verfeinerung der partial attack supervision und der regional weighted inference basiert. Der dritte Teil dieser Arbeit befasst sich mit den eher konventionellen PAD-Generalisierungsproblemen, wie z.B. Unterschiede bei der Erstellung von Angriffen und unterschiedliche biometrische Aufnahmeszenarien. Mit dem Ziel, die Generalisierung von PAD-Algorithmen für Gesichter zu verbessern, schlägt diese Arbeit vor, zusätzlich zum räumlichen Bereich, Informationen aus dem Frequenzbereich in einer optimierten Form zu nutzen, um eine generalisierte Repräsentation zu lernen, sowohl für einzelne Datenbanken, als auch datenbankübergreifend. Um die Generalisierbarkeit von PAD-Algorithmen für Iriserkennung zu verbessern wird in dieser Arbeit eine Lösung vorgeschlagen, die auf der Analyse von micro-stripes basiert und den Vorteil der spatialen Verarbeitung von klar definierten Regionen der Iris und ihrer Abgrenzung mit der Sklera nutzt. Diese Dissertation führt zusätzlich eine neue Methodik ein, A-PBS, welche eine attention-based deep pixel-wise binary supervision Methode für Iris-PAD ist. Diese Methode zielt darauf ab, subtile Angriffshinweise auf Pixel- bzw. Patch-Ebene zu erfassen und automatisch die Regionen zu finden, welche am meisten zu einer richtigen PAD-Entscheidung beitragen. Die Generalisierbarkeit der vorgeschlagenen Iris-PAD-Lösungen wird unter realen Cross-Testing-Fällen demonstriert, einschließlich angriffsübergreifender, datensatzübergreifender und spektrenübergreifender Einstellungen. Zusammenfassend bietet diese Arbeit zunächst eine notwendige, umfassende Analyse der Fairness von PAD-Algorithmen, die eine integrierbare Lösung zur Verbesserung der Fairness motiviert. Anschließend werden detaillierte Untersuchungen zur Herausforderung von Gesichtern, welche Masken tragen für PAD-Algorithmen präsentiert und zusammen mit einer technischen Lösung zur Verbesserung der PAD-Erkennungsraten von maskierten Gesichtern vorgestellt. Dann wird eine Reihe von neuartigen Lösungen präsentiert, welche die Generalisierbarkeit von PAD-Algorithmen für Gesicht- und Iriserkennung verbessert. Diese Arbeit liefert somit praxisnahe Fortschritte bei der Reduzierung und dem Verständnis von Schwachstellen von biometrischen Systemen und legt den Grundstein für die zukünftige Forschung zur Entwicklung und zum Einsatz generalisierter PAD-Erkennungssysteme.
Databáze: OpenAIRE
Externí odkaz: