Mitigating bias in facial analysis systems by incorporating label diversity

Autor: Reis, Camila Kolling dos
Přispěvatelé: Musse, Soraia Raupp, Veloso, Adriano Alonso
Jazyk: angličtina
Rok vydání: 2022
Předmět:
Zdroj: Biblioteca Digital de Teses e Dissertações da PUC_RS
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron:PUC_RS
Popis: Facial analysis models are increasingly applied in real-world applications that have significant impact on peoples? lives. However, as previously shown, models that automatically classify facial attributes might exhibit algorithmic discrimination behavior with respect to protected groups, potentially posing negative impacts on individuals and society. It is therefore critical to develop techniques that can mitigate unintended biases in facial classifiers. Hence, in this work, we introduce a novel learning method that combines both subjective human-based labels and objective annotations based on mathematical definitions of facial traits. Specifically, our proposed method first generates new objective annotations, each capturing a different mathematical perspective of the analyzed facial traits. We then use an ensemble learning method, which combines individual models trained on different types of annotations. We provide an in-depth analysis of the annotation procedure as well as the datasets distribution. Moreover, we empirically demonstrate that, by incorporating label diversity to the decision-making process, our method successfully mitigates unintended biases, while maintaining significant accuracy on the downstream tasks. Modelos de an?lise facial s?o cada vez mais utilizados em aplica??es do mundo real que t?m impacto significativo na vida das pessoas. No entanto, como demonstrado pela literatura, os modelos que classificam automaticamente os atributos faciais podem apresentar comportamento de discrimina??o em rela??o a grupos protegidos, potencialmente causando impactos negativos nos indiv?duos e na sociedade. Portanto, ? fundamental desenvolver t?cnicas que possam mitigar vieses n?o intencionais em classificadores faciais. Assim, neste trabalho, apresentamos um novo m?todo de aprendizado de m?quina que combina r?tulos subjetivos, baseados em humanos, e anota??es objetivas, baseadas em defini??es matem?ticas, de tra?os faciais. Especificamente, geramos novas anota??es objetivas a partir de dois conjuntos de dados anotados por humanos em grande escala, cada um capturando uma perspectiva diferente do tra?o facial analisado. Em seguida, propomos um m?todo de aprendizado em conjunto, que combina modelos individuais treinados em diferentes tipos de anota??es. Fornecemos uma an?lise aprofundada do procedimento de anota??o, bem como a distribui??o dos conjuntos de dados. Al?m disso, demonstramos empiricamente que, ao incorporar a diversidade de r?tulos, nosso m?todo mitiga com sucesso vieses n?o intencionais, mantendo uma precis?o significativa nas tarefas. Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior - CAPES
Databáze: OpenAIRE
Externí odkaz: