Detection, recuperation and cross-subject classification of mental fatigue

Autor: Hajj Assaf, Alyssa
Jazyk: angličtina
Rok vydání: 2023
Předmět:
Druh dokumentu: Diplomová práce
Popis: La fatigue mentale est un état complexe qui résulte d'une activité cognitive prolongée. Les symptômes de la fatigue mentale inclus des changements d'humeur, de motivation et une détérioration temporaire de diverses fonctions cognitives. Plusieurs recherches approfondies ont été menées pour développer des méthodes de reconnaissance des signes physiologiques et psychophysiologiques de la fatigue mentale. Les signes psychophysiologiques concernent principalement signaux d'activité cérébrale et leur relation avec la psychologie et la cognition. Celles-ci ont permise le développement de nombreux modèles basés sur l'IA pour classer différents niveaux de fatigue, en utilisant des données extraites d'un appareil eye-tracking, d'un électroencéphalogramme (EEG) pour mesurer l’activité cérébrale ou d'un électrocardiogramme (ECG) pour mesurer l’activité cérébrale. Dans cette mémoire, nous présentons le protocole expérimental et développé par mes directeurs de recherche et moi-même, qui vise à la fois à générer et mesurer la fatigue mentale, et à proposer des stratégies efficaces de récupération via des séances de réalité virtuelle couplées à des dispositifs EEG et eye tracking. Réussir à générer de la fatigue mentale est nécessaire pour générer un ensemble de données suivant l’évolution de la fatigue et de la récupération au cours de l’expérience, et sera également utilisé pour classer différents niveaux de fatigue à l’aide de l’apprentissage automatique. Cette mémoire fournit d'abord un état de l'art complet des facteurs prédictifs de la fatigue mentale, des méthodes de mesure et des stratégies de récupération. Ensuite, l'article présente un protocole expérimental résultant de l'état de l'art pour (1) générer et mesurer la fatigue mentale et (2) évaluer l'efficacité de la thérapie virtuelle pour la récupération de la fatigue, (3) entrainer un algorithme d'apprentissage automatique sur les données EEG pour classer 3 niveaux de fatigue différents en utilisant un environnement simulé de réalité virtuelle (VR). La thérapie virtuelle est une technique favorisant la relaxation dans un environnement simulé virtuel et interactif qui vise à réduire le stress. Dans notre travail, nous avons réussi à générer de la fatigue mentale en accomplissant des tâches cognitives dans un environnement virtuel. Les participants ont montré une diminution significative du diamètre de la pupille et du score thêta/alpha au cours des différentes tâches cognitives. Le score alpha/thêta est un indice EEG qui suit les fluctuations de la charge cognitiveet de la fatigue mentale. Divers algorithmes d'apprentissage automatique ont été formés et testés sur des segments de données EEG afin de sélectionner le modèle qui s'ajuste le mieux à ces données en ce qui concerne la métrique d'évaluation "précision équilibrée" et "f1". Parmi les 8 différents classificateurs, le SVM RBF a montré les meilleures performances avec une précision équilibrée de 95 % et une valeur de mesure f de 0,82. La précision équilibrée fournit une mesure précise de la performance dans le cas de jeu de données déséquilibrées, en tenant compte de la sensibilité et de la spécificité, et le f-score est une mesure d'évaluation qui combine les scores de précision et de rappel. Finalement, nos résultats montrent que le temps alloué à la thérapie virtuelle n'a pas amélioré le diamètre pupillaire en période post-relaxation. D'autres recherches sur l'impact de la thérapie devraient consacrer un temps plus proche du temps de récupération standard de 60 min.
Mental fatigue is a complex state that results from prolonged cognitive activity. Symptoms of mental fatigue can include change in mood, motivation, and temporary deterioration of various cognitive functions involved in goal-directed behavior. Extensive research has been done to develop methods for recognizing physiological and psychophysiological signs of mental fatigue. Psychophysiological signs are mostly concern with patterns of brain activity and their relation to psychology and cognition. This has allowed the development of many AI-based models to classify different levels of fatigue, using data extracted from eye-tracking devices, electroencephalogram (EEG) measuring brain activity, or electrocardiogram (ECG) measuring cardiac activity. In this thesis, we present the experimental protocol developed by my research directors and I, which aims to both generate/measure mental fatigue and provide effective strategies for recuperation via VR sessions paired with EEG and eye-tracking devices. Successfully generating mental fatigue is crucial to generate a time-series dataset tracking the evolution of fatigue and recuperation during the experiment and will also be used to classify different levels of fatigue using machine learning. This thesis first provides a state-of-the-art of mental fatigue predictive factors, measurement methods, and recuperation strategies. The goal of this protocol is to (1) generate and measure mental fatigue, (2) evaluate the effectiveness of virtual therapy for fatigue recuperation, using a virtual reality (VR) simulated environment and (3) train a machine learning algorithm on EEG data to classify 3 different levels of fatigue. Virtual therapy is relaxation promoting technique in a virtual and interactive simulated environment which aims to reduce stress. In our work, we successfully generated mental fatigue through completion of cognitive tasks in a virtual simulated environment. Participants showed significant decline in pupil diameter and theta/alpha score during the various cognitive tasks. The alpha/theta score is an EEG index tracking fluctuations in cognitive load and mental fatigue. Various machine learning algorithm candidates were trained and tested on EEG data segments in order to select the classifier that best fits EEG data with respect to evaluation metric ‘balanced accuracy’ and 'f1-measures'. Among the 8 different classifier candidates, RBF SVM showed the best performance with 95% balanced accuracy 0.82 f-score value and on the validation set, and 92% accuracy and 0.90 f-score on test set. Balanced accuracy provides an accurate measure of performance in the case of imbalanced data, considering sensitivity and specificity and f-score is an evaluation metric which combines precision and recall scores. Finally, our results show that the time allocated for virtual therapy did not improve pupil diameter in the post-relaxation period. Further research on the impact of relaxation therapy should allocate time closer to the standard recovery time of 60 min.
Databáze: Networked Digital Library of Theses & Dissertations
Externí odkaz: