Markerless Tracking of Modular and Articulated Physical Models : Towards a Tangible Interface to Manipulate Molecular Simulations in a Mixed Reality Context

Autor: Martinez, Xavier
Přispěvatelé: Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur (LIMSI), Université Paris Saclay (COmUE)-Centre National de la Recherche Scientifique (CNRS)-Sorbonne Université - UFR d'Ingénierie (UFR 919), Sorbonne Université (SU)-Sorbonne Université (SU)-Université Paris-Saclay-Université Paris-Sud - Paris 11 (UP11), Université Paris Saclay (COmUE), Patrick Bourdot, STAR, ABES, Université Paris-Sud - Paris 11 (UP11)-Sorbonne Université - UFR d'Ingénierie (UFR 919), Sorbonne Université (SU)-Sorbonne Université (SU)-Université Paris-Saclay-Centre National de la Recherche Scientifique (CNRS)-Université Paris Saclay (COmUE)
Jazyk: francouzština
Rok vydání: 2017
Předmět:
Zdroj: Bio-informatique [q-bio.QM]. Université Paris Saclay (COmUE), 2017. Français. ⟨NNT : 2017SACLS231⟩
Popis: Physical molecular models have long been used in the structural biology and chemistry fields. Despite the emergence of numerical representations offering various and dynamic molecular visualizations to analyze the simulation results, molecular physical models are still being used. Direct manipulation and assembly of physical models ease to create and memorize a mental representation of 3D molecular structures. Interaction techniques to manipulate virtual 3D objects are not reaching the fineness and the benefits of the perceptual cues and manipulation skills of physical models. Moreover, interacting with virtual molecular representations remains a hard task because of the complexity of molecular structures, their size, their flexibility and the various data that define them. In this thesis, we address this issue by designing a molecular tangible interface combining the perks of physical and virtual representations. To match the flexibility and modularity of biomolecules to manipulate, this work met challenges in different scientific fields with the constraint to not use a tracker based system. The first step was to choose, conceive and build a physical model to handle the manifold degrees of freedom of molecules. The second step consisted in creating a numerical representation of mechanical properties of the physical model. Lastly, we needed to develop tracking methods using real-time image processing algorithms in order to control the virtual representation by coupling it to the physical one. New image processing methods have been implemented and evaluated to identify and track atoms in the image space. A Structure from Motion method was designed and adapted to reconstruct in 3D the atom positions by using a small amount of points and by including biochemical knowledge to guide the reconstruction. At last, we address the visualization of physical and dynamic virtual representations, sometimes co-localized in an Augmented Reality context. High performance visualization methods adapted to this context have been developed to enhance shape and cavity perception, two major specifics of biological molecules. For instance, ambient occlusion or sphere raycasting with dynamic shadows can augment a physical object taking the real illumination of the scene for a better insertion in an Augmented Reality context. The impact of this work targets both the education in molecular biology and the research field: the rational drug design field could benefit from the expertise of the user to optimize the design of drugs by manipulating biomolecule's numerous degrees of freedom using a tangible interface. Just like Fold'It is contributing to solve the folding problem, a similar approach could be used to solve the molecular docking problem using advanced manipulation interfaces.
Les modèles physiques moléculaires sont depuis longtemps utilisés dans le domaine de la biologie structurale et de la chimie. Malgré l’apparition de représentations numériques qui offrent une grande variété de visualisations moléculaires dynamiques et permettent notamment d’analyser visuellement les résultats de simulations, les modèles physiques moléculaires sont encore fréquemment utilisés. En effet, la manipulation directe et la construction manuelle de modèles physiques moléculaires facilitent l’élaboration et la mémorisation d’une représentation mentale des structures moléculaires 3D. Les techniques d’interaction avec des objets 3D n’atteignent pas encore la finesse et la richesse de perception et de manipulation des modèles physiques. Par ailleurs, l’interaction avec des représentations moléculaires virtuelles est rendue particulièrement difficile car les structures moléculaires sont très complexes du fait de leur taille, de leur caractère tridimensionnel et de leur flexibilité, auquel s'ajoutent la quantité et la variété des informations qui les caractérisent. Pour aborder la problématique de l'interaction avec ces structures moléculaires, nous proposons dans cette thèse de concevoir une interface tangible moléculaire combinant les avantages des représentations physiques et virtuelles. Pour réaliser une interface tangible flexible et modulaire, à l’image des biomolécules à manipuler, ce travail de thèse a dû relever plusieurs défis scientifiques avec pour contrainte majeure le fait de proposer une approche se passant de marqueurs et dispositif de capture 3D complexe. La première étape fut de choisir, concevoir et fabriquer un modèle physique permettant la manipulation de molécules avec de nombreux degrés de libertés. La seconde étape consistait à créer un modèle numérique permettant de reproduire le comportement mécanique du modèle physique. Enfin, il a fallu concevoir des méthodes de recalage utilisant des techniques de traitement d'image en temps réel pour que le modèle physique puisse contrôler, par couplage, son avatar virtuel. En terme de traitement d’image, de nouvelles méthodes ont été conçues implémentées et évaluées afin d'une part, d’identifier et de suivre les atomes dans l’espace image et d'autre part, d'alimenter la méthode de reconstruction 3D avec un faible nombre de points. L'une de nos contributions a été d'adapter la méthode de Structure from Motion en incluant des connaissances biochimiques pour guider la reconstruction. Par ailleurs, la visualisation conjointe de modèles physiques de molécules et de leur avatar virtuel dynamique, parfois co-localisé dans un contexte de réalité augmentée, a été abordée. Pour cela, des méthodes de visualisation haute performance adaptées à ce contexte ont été conçues afin d’améliorer la perception des formes et cavités, caractéristiques importantes des molécules biologiques. Par exemple, l’occultation ambiante ou le raycasting de sphères avec des ombres portées dynamiques permettent d’augmenter un modèle physique en tenant compte de l’illumination réelle pour une meilleure intégration en réalité augmentée. Les retombées de ce travail en terme d’usage sont nombreuses dans le domaine de la recherche et de la pédagogie en biologie moléculaire, comme dans le domaine de la conception de médicaments et plus particulièrement du Rational Drug Design. L'expert doit être au centre de la tâche de conception de médicament pour la rendre plus efficace et rationnelle, à l’image du succès du jeu sérieux Fold’It, auquel s’ajoute le bénéfice de l’utilisation d’interface tangible capable de manipuler les nombreux degrés de liberté intrinsèques des biomolécules.
Databáze: OpenAIRE
Externí odkaz: