3D Human Shape and Pose from a Single Depth Image with Deep Dense Correspondence Enabled Model Fitting

+Motion+capture%22&type=SU">CCS Concepts: Computing methodologies --> Motion capture, Motion capture, [INFO.INFO-GR]Computer Science [cs]/Graphics [cs.GR], Computing methodologies, ComputingMethodologies_COMPUTERGRAPHICS -->
Popis: We propose a two-stage hybrid method, with no initialization, for 3D human shape and pose estimation from a single depth image, combining the benefits of deep learning and optimization. First, a convolutional neural network predicts pixel-wise dense semantic correspondences to a template geometry, in the form of body part segmentation labels and normalized canonical geometry vertex coordinates. Using these two outputs, pixel-to-vertex correspondences are computed in a six-dimensional embedding of the template geometry through nearest neighbor. Second, a parametric shape model (SMPL) is fitted to the depth data by minimizing vertex distances to the input. Extensive evaluation on both real and synthetic human shape in motion datasets shows that our method yields quantitatively and qualitatively satisfactory results and state-of-the-art reconstruction errors.
Posters
Xiaofang Wang, Adnane Boukhayma, Stéphanie Prévost, Eric Desjardin, Celine Loscos, and Franck Multon
Jazyk: English
Přístupová URL adresa: https://explore.openaire.eu/search/publication?articleId=doi_dedup___::37ddd8c6f4aa2e6153f284371ebe5083
https://hal.archives-ouvertes.fr/hal-03777581
Přírůstkové číslo: edsair.doi.dedup.....37ddd8c6f4aa2e6153f284371ebe5083
Autor: Wang, X, Boukhayma, Adnane, Prevost, Stéphanie, Desjardin, Eric, Loscos, C, Multon, Franck
Přispěvatelé: Analysis-Synthesis Approach for Virtual Human Simulation (MIMETIC), Université de Rennes 2 (UR2), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-RÉALITÉ VIRTUELLE, HUMAINS VIRTUELS, INTERACTIONS ET ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Centre de Recherche en Sciences et Technologies de l'Information et de la Communication - EA 3804 (CRESTIC), Université de Reims Champagne-Ardenne (URCA), Laboratoire Mouvement Sport Santé (M2S), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Université de Brest (UBO)-Université de Rennes 2 (UR2), Université de Rennes (UNIV-RENNES)-Structure Fédérative de Recherche en Biologie et Santé de Rennes ( Biosit : Biologie - Santé - Innovation Technologique ), Université de Rennes 2 (UR2)-Inria Rennes – Bretagne Atlantique, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Laboratoire d'Informatique en Calcul Intensif et Image pour la Simulation (LICIIS), Université de Rennes (UR)-École normale supérieure - Rennes (ENS Rennes)-Université de Brest (UBO)-Université de Rennes 2 (UR2)-Structure Fédérative de Recherche en Biologie et Santé de Rennes ( Biosit : Biologie - Santé - Innovation Technologique ), ANR-17-JPCH-0004,SCHEDAR,Safeguarding the Cultural HEritage of Dance through Augmented Reality(2017)
Jazyk: angličtina
Rok vydání: 2022
Předmět:
Zdroj: Annual Conference of the European Association for Computer Graphics (Eurographics)
Annual Conference of the European Association for Computer Graphics (Eurographics), 2022, Reims, France. pp.1-3
Eurographics 2022-43nd Annual Conference of the European Association for Computer Graphics
Eurographics 2022-43nd Annual Conference of the European Association for Computer Graphics, Apr 2022, Reims, France. pp.1-2, ⟨10.2312/egp.20221008⟩
Popis: We propose a two-stage hybrid method, with no initialization, for 3D human shape and pose estimation from a single depth image, combining the benefits of deep learning and optimization. First, a convolutional neural network predicts pixel-wise dense semantic correspondences to a template geometry, in the form of body part segmentation labels and normalized canonical geometry vertex coordinates. Using these two outputs, pixel-to-vertex correspondences are computed in a six-dimensional embedding of the template geometry through nearest neighbor. Second, a parametric shape model (SMPL) is fitted to the depth data by minimizing vertex distances to the input. Extensive evaluation on both real and synthetic human shape in motion datasets shows that our method yields quantitatively and qualitatively satisfactory results and state-of-the-art reconstruction errors.
Posters
Xiaofang Wang, Adnane Boukhayma, Stéphanie Prévost, Eric Desjardin, Celine Loscos, and Franck Multon
Databáze: OpenAIRE
Externí odkaz: