Learning 2-in-1: Towards Integrated EEG-fMRI-Neurofeedback

Autor: Mathis Fleury, Marsel Mano, Lorraine Perronnet, Christian Barillot, Claire Cury, Anatole Lécuyer, Fabien Lotte, Maureen Clerc, Giulia Lioi
Přispěvatelé: Empenn, Institut National de la Santé et de la Recherche Médicale (INSERM)-Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), 3D interaction with virtual environments using body and mind (Hybrid), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-MEDIA ET INTERACTIONS (IRISA-D6), COMUE Université Côte d'Azur (2015-2019) (COMUE UCA), Inria Sophia Antipolis - Méditerranée (CRISAM), Institut National de Recherche en Informatique et en Automatique (Inria), Popular interaction with 3d content (Potioc), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Université de Bordeaux (UB)-Centre National de la Recherche Scientifique (CNRS)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), This work has received a French government support granted to the CominLabs excellence laboratory and managed by the National Research Agency in the 'Investing for the Future' program underreference ANR-10-LABX-07-01. It was also financed by Brittany region under HEMISFER project,and the National Research Agency with the REBEL project and grant ANR-15-CE23-0013-01. MRI data acquisition was supported by the Neurinfo MRI research facility from the University of Rennes I. Neurinfo is granted by the European Union (FEDER), the French State, the Brittany Council,Rennes. Fabien Lotte was supported by the European Research Council with project BrainConquest (grantERC-2016-STG-714567)., Neuroimagerie: méthodes et applications (Empenn), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Inria Bordeaux - Sud-Ouest, ANR-15-CE23-0013,REBEL,Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle(2015), Cury, Claire, Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance - Redéfinir les Interfaces Cerveau-Ordinateur pour permettre à leurs utilisateurs d'en maitriser le contrôle - - REBEL2015 - ANR-15-CE23-0013 - AAPG2015 - VALID
Jazyk: angličtina
Rok vydání: 2020
Předmět:
Zdroj: HAL
CIÊNCIAVITAE
Popis: Neurofeedback (NF) allows to exert self-regulation over specific aspects of ones own brain function by returning information extracted in real-time from brain activity measures. These measures are usually acquired from a single modality, most commonly EEG or fMRI. EEG-fMRI-neurofeedback (EEG-fMRI-NF) is a new NF approach that consists of providing a NF based simultaneously on EEG and fMRI. By exploiting the complementarity of these two modalities, EEG-fMRI-NF opens a spectrum of possibilities for defining bimodal NF targets that could be more robust, flexible and effective than unimodal ones. However, facing a greater amount of information, the question arises of how to represent the EEG and fMRI features simultaneously in order to allow the subject to achieve better self-regulation. In this work, we propose that the EEG and fMRI features should be represented in a single bimodal feedback, which we refer to as integrated feedback. We then introduce two integrated feedback strategies for EEG-fMRI-NF and compare their early effects on a motor imagery task with a between-group design. The first group (BI DIM, n=10) was shown a two-dimensional (2D) feedback in which each dimension depicted the information from one modality. The second group (UNI DIM, n=10) was shown a one-dimensional (1D) feedback that integrated both types of information even further by merging them into one. Online fMRI activations were significantly higher in the UNI DIM group than in the BI DIM group, which suggests that the 1D feedback is easier to control than the 2D feedback. However, when looking at posthoc activation levels, the difference of fMRI activation levels between the NF runs and the preliminary motor imagery run without NF was more significant in the 2D group. Moreover, subjects from the BI DIM group produced more specific BOLD activations with a notably stronger activation in the right superior parietal lobule (BI DIM > UNI DIM, p < 0.001, uncorrected). These results suggest that the 2D feedback encourages subjects to explore their strategies to recruit more specific brain patterns. To summarize, our study shows that 1D and 2D integrated feedbacks are effective but also appear to be complementary and could therefore be used in combination in a bimodal NF training program. Altogether, our study paves the way to novel integrated feedback strategies for the development of flexible and effective bimodal NF paradigms making the most of the bimodal information and better suited to clinical applications.
Databáze: OpenAIRE
Externí odkaz: