Multimodal Neurofeedback based on EEG/fMRI Imaging Techniques and Visuo-Haptic Feedback for Stroke Rehabilitation

Autor: Fleury, Mathis
Přispěvatelé: Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES), Empenn, Institut National de la Santé et de la Recherche Médicale (INSERM)-Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Université de Rennes (UNIV-RENNES)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UNIV-RENNES)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-École normale supérieure - Rennes (ENS Rennes)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), Anatole Lécuyer, Christian Barillot, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Neuroimagerie: méthodes et applications (Empenn), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Université Rennes 1, Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique)
Jazyk: angličtina
Rok vydání: 2021
Předmět:
Zdroj: Computer Vision and Pattern Recognition [cs.CV]. Université de Rennes 1 (UR1), 2021. English
Computer Vision and Pattern Recognition [cs.CV]. Université Rennes 1, 2021. English. ⟨NNT : 2021REN1S005⟩
Popis: Neurofeedback (NF) is a technique that consists of sending back to an individual information on his brain activity, thus allowing him to modulate it. NF has thus been studied as a tool for brain rehabilitation in a large number of neurological and psychiatric disorders, and in particular for post-stroke rehabilitation. In this thesis, we have proposed and studied new multimodal NF systems, both at the input level, by combining multiple neuroimaging modalities - in particular Electroencephalography (EEG) and Functional Imaging Magnetic Resonance (fMRI), and at the output level, by proposing multimodal feedback combining visual and haptic feedback. In the first part of this thesis, we studied the possibility of combining visual and haptic feedback for a NF task. In a first step, we showed that the combination of visual feedback (3D moving hand), with the association of vibrations on the wrists, produced illusions of movement more intense than the use of a static hand or without feedback. In a second step, we showed that the use of visual-haptic (VH) feedback combined with a motor imaging (MI) task produced higher activations than with the MI task alone. Finally, we studied and implemented this VH feedback in the context of an MI-NF-IRMf study, where this feedback was confronted with the same feedback but visual alone (V) and haptic alone (H). Analysis of the NF scores and fMRI-fMRI activations suggests that this VH feedback led to more intense activations in the motor cortex than the H and V feedback alone and therefore may be potentially promising for stroke rehabilitation based on fMRI-NF. In the second part of this thesis, we have implemented an algorithm to locate the position of the EEG electrodes within EEG-fMRI experiments, which may prove useful in future EEG-fMRI-NF experiments. Finally, we present a multimodal, multi-session, EEG-fMRI-NF study with four stroke patients. Results suggest that two out of four patients benefited from NF training and reported significant functional gain, even though they were in the chronic phase of stroke.; Le Neurofeedback (NF) est une technique consistant à renvoyer à un individu des informations sur son activité cérébrale, lui permettant ainsi de la moduler. Le NF a ainsi été étudié comme outil de rééducation cérébrale dans un grand nombre de troubles neurologique et psychiatrique, notamment pour de la rééducation post-Accident Vasculaire Cérébrale (AVC). Dans cette thèse, nous avons proposé et étudié de nouveaux systèmes de NF multimodaux, tant au niveau de l'entrée, en combinant plusieurs modalités de neuroimageries - en particulier l'ElectroEncephaloGraphie (EEG) et l'Imagerie par Résonance Magnétique fonctionnelle (IRMf), qu'au niveau de la sortie, en proposant des feedbacks multimodaux combinant feedback visuel et haptique. Dans la première partie de cette thèse, nous avons étudié la possibilité de combiné feedback visuel et feedback haptique pour une tâche de NF. Dans un premier temps, nous avons ainsi montré que la combinaison d'un feedback visuel (main en 3D en mouvement), avec l'association de vibrations sur les poignets, produisaient des illusions de mouvement plus intense que l'utilisation d'une main statique ou sans feedback. Dans un second temps, nous avons montré que l'utilisation d'un feedback visuo-haptique (VH) associé à une tâche d'imagerie motrice (IM) produisait des activations plus importantes que lors de tâche d'IM seule. Enfin, nous avons étudié et implémenté ce feedback VH dans le contexte d'une étude MI-NF-IRMf, où ce feedback était confronté au même feedback mais visuel seul (V) et haptique seule (H). L'analyse des scores NF et des activations IRMf suggère que ce feedback VH a conduit à des activations dans le cortex motor plus intense que les feedback H et V seules et pourrait donc être potentiellement prometteur pour la rééducation post-AVC basée sur le fMRI-NF. Dans la sconde partie de cette thèse, nous avons implémenté un algorithme permettant de localiser la position des électrodes EEG lors d'expérience EEG-IRMf, cette information pourrait s'avérer utile à l'avenir pour des expériences EEG-fMRI-NF. Enfin, nous présentons une étude EEG-fMRI-NF multimodale, sur plusieurs séances, avec quatre patients victimes d'un AVC. Les résultats suggèrent que deux patients sur quatre ont bénéficié de l'entrainement NF et ont fait état d'un gain fonctionnel important, même s'ils étaient en phase chronique de l'AVC.
Databáze: OpenAIRE
Externí odkaz: