Synthèse personnalisée de l'expression de joie à l'aide d'une méthode hybride géométrique-apprentissage automatique et analyse de représentations mentales de la joie

Autor: Zaied, Sarra
Přispěvatelé: Institut d'Électronique et des Technologies du numéRique (IETR), Université de Nantes (UN)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS), CentraleSupélec, Pierre-Yves Richard, Catherine Soladié
Jazyk: angličtina
Rok vydání: 2020
Předmět:
Zdroj: Signal and Image processing. CentraleSupélec, 2020. English. ⟨NNT : 2020CSUP0008⟩
Popis: Actually, various Geometric and Machine Learning methods are employed to synthesize expressions. The geometric techniques offer high-performance shape deformation but lead to images which are lacking in texture details such as wrinkles and teeth. On the other hand, the machine learning methods (GAN) generate photo-realistic expressions and add texture details to the images but the synthesized expressions are not those of the person. we propose in this thesis a hybrid geometric-machine learning approach to synthesize photo-realistic and personalized joy expressions while keeping the identity of the emotion. Our approach combines a geometric technique based on 2D warping method and a generative adversarial network. It aims at benefiting from the advantages of both paradigms and overcoming their own limitations. Moreover, by adding a previous knowledge of the way of smiling of the subject, we personalize the synthesized expressions. Our smile synthesis system is also used in a collaboration work in neuroscience. We propose a new system which aims at determining the mental representation of the subject on a given face. This system allows us to study how each person perceives the expression of joy on their face and on the faces of others. Our results show that the way we perceive is not related to the way we actually produce our own expressions. We also note that there is a variability of mental representations between individuals, which is independent of the actor but is linked to psychiatric traits of the subject.; De nombreuses méthodes géométriques ou d’apprentissage machine ont vu le jour récemment pour synthétiser des expressions faciales. Les techniques géométriques sont très efficaces pour modifier la forme du visage, mais ont du mal à générer des détails de texture. D’un autre côté, les méthodes d’apprentissage machine génèrent des expressions photo réalistes incluant les détails de texture ; mais ces méthodes ne permettent pas de générer des expressions conforme à la façon précise qu’a le sujet d’exprimer son émotion. Dans cette thèse, nous proposons une méthode hybride, alliant les avantages des deux techniques pour synthétiser des expressions photo réalistes de joie personnalisées. Plus précisément, notre approche combine une méthode de warping 2D et un réseau adversarial génératif (GAN), pour générer à la fois une forme et une texture d’expression faciale pertinentes. Afin de conserver la façon d’exprimer l’émotion propre au sujet, nous apprenons préalablement cette information et créons un modèle paramétrique pour chaque sujet. Cet outil de synthèse de sourire est aussi utilisé dans le cadre d'une collaboration en neurosciences. Nous proposons un nouveau système qui vise à déterminer la représentation mentale du sujet sur un visage donné. Ce système nous permet d'étudier la manière dont chaque personne perçoit l'expression de joie sur son propre visage et sur les visages des autres. Nos résultats montrent que la manière de percevoir n'est pas liée à la façon dont nous produisons réellement nos propres expressions. Nous constatons aussi qu'il existe une variabilité des représentations mentales entres les individus, qui est indépendante de l'acteur et qui est liée à certain traits psychiatrique du sujet.
Databáze: OpenAIRE
Externí odkaz: