GERBIL Gesture Recognition using a Brain Lightweight Headset Joël Dumoulin DÉFENSE DE THÈSE – MARS 2011 ResponsablesElena Mugellini Omar Abou Khaled Francesco Carrino Experts Ricardo Chavarriaga Jacques Bapst Mots clésBrain Computer Interface, Capteurs, Interaction/Interface Homme Machine

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Sommaire Introduction Etat de l'art Analyse Conception Implémentation Conclusion 2

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Introduction GERBIL – GE sture R ecognition using a B ra I n L ightweight Headset Reconnaissance de gestes en utilisant un dispositif neuronal léger Domaine du BCI Reconnaissance de gestes Capteurs physiologiques Chaise roulante électrique Contrôle : interface neuronale 3 Introduction Etat de l'art ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Contexte MAGI [1] Thèse de doctorat de Francesco Carrino Intégration de capteurs physiologiques Système de reconnaissance de gestes  Enrichir la capacité à contrôler les objets de tous les jours Casque Emotiv EPOC [2] Projets internes récents Traitement peu fiable  Traitement des signaux bruts SmartWheelchair 4 Introduction Etat de l'art ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Objectifs Etat de l'art BCI Gesture Recognition BCI & Gesture Recognition Analyse technologique Casque EPOC Framework OpenVibe SmartWheelchair Développement Système BCI Démonstrateur Piloter la SmartWheelchair 5 Introduction Etat de l'art ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Etat de l'art Qu'est-ce qu'un système BCI? Que signifient les termes EEG, ECoG, ERD, ERS? Quelles sont les possibilités et techniques?  Objectif : parcourir la littérature scientifique  Répondre à ces questions  Acquérir les connaissances nécessaires à la mise en place d'un système BCI 6 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse BCI B rain C omputer I nterface ( I nterfaces N euronales D irectes) Interface de communication directe Cerveau  dispositif électronique Assister, améliorer, réparer des fonctions humaines de cognition ou d'action défaillantes Champs d'applications variés Assistance aux personnes handicapées Jeux vidéo … 7 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse BCI 8 Introduction Etat de l'art Analyse ⌃ [3]

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse BCI 9 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Dispositifs d'enregistrements Enregistrement de l'activité électrique Dispositifs invasifs Dispositifs partiellement invasifs Dispositifs non invasifs 10 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse EEG +Technologie non invasive la plus utilisée +Facile à mettre en place +Economique +Bonne résolution temporelle +Pas de risques pour le sujet −Signal bruité −Nécessite un entrainement intensif du patient 11 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Techniques P Introduction Etat de l'art Analyse ⌃ H

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Techniques SSVEP 13 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Imagerie motrice Imagination d'un mouvement Main gauche / main droite / pied ( / langue)  Oscillations particulières des ondes cérébrales : ERD / ERS ERD / ERS – Event Related Desyncronization / Syncronization Diminution / augmentation d'amplitude des rythmes mu/beta Changements occasionnés Imagination ≅ réalisation  "Reconnaissance de gestes" (2-4 gestes maximum) 14 Introduction Etat de l'art Analyse ⌃ [4] Main droite Pieds Main gauche

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Graz [5, 6] Scénario de stimuli, précisant le paradigme de base Le sujet effectue une tâche mentale en réponse à un stimulus donné Acquisition d'échantillons pour la phase d'entrainement Entrainer le classifieur (algorithme de classification) En analysant les caractéristiques des signaux (ERD/ERS), en fonction des stimuli (gauche / droit) 15 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Graz 16 Introduction Etat de l'art Analyse ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Analyse EPOC [2] +Facilité de mise en place et d'utilisation +Prix −Qualité des signaux (bruités) −Placement approximatif du casque (capteurs) −Suite logicielle fermée 17 Etat de l'art Analyse Conception ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse OpenVibe [7] Framework Open Source Base solide + fonctionnalités avancées pour facilement Concevoir … Mettre en place … Connecter à un environnement de réalité virtuelle … … un système BCI Caractéristiques Modularité Différents types d'utilisateurs impliqués Portabilité Connexion avec la réalité virtuelle (VRPN) Driver pour le casque EPOC 18 Etat de l'art Analyse Conception ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse OpenVibe OpenVibe Designer 19 Etat de l'art Analyse Conception ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse OpenVibe Visualisations 20 Etat de l'art Analyse Conception ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse OpenVibe Stimuli visuels 21 Etat de l'art Analyse Conception ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse SmartWheelchair Interfaçage : RS232 Contrôle via Joystick virtuel 22 Etat de l'art Analyse Conception ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Conception Vocabulaire ←Main gauche →Main droite Mouvements "économiques" Architecture 23 Analyse Conception Implémentation ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Scénarios OpenVibe Acquisition 24 Analyse Conception Implémentation ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Scénarios OpenVibe Entrainement du classifier 25 Analyse Conception Implémentation ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Scénarios OpenVibe Online Graz 26 Analyse Conception Implémentation ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Application GERBIL 27 Analyse Conception Implémentation ⌃ ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Implémentation Bonnet d'expérimentation Constance dans le placement des capteurs Localisation des positions C3/C4 28 Conception Implémentation Conclusion ⌃ [8]

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Vidéo 29 Conception Implémentation Conclusion ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Conclusion Problèmes rencontrés Spécialiste BCI OpenVibe Forum Casque EPOC Batterie faible  pertes de connexion Acquisition des données d'entrainement Tâche "pénible" Entrainement : validité temporaire (position du casque) Pas le cobaye adapté! 30 Implémentation Conclusion ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Objectifs atteints Objectifs fixés Etat de l'art base de connaissance complète Analyse technologique Informations sur les éléments logiciels et matériels Système BCI fonctionnel facilitera le travail futur Prototype contrôle de la chaise configuration flexible (mais nécessite clairement une amélioration des taux de classification) 31 Implémentation Conclusion ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Améliorations OpenVibe Formats de fichiers d'enregistrement ERD/ERS Visualisation / quantification Algorithmes de classification > 2 classes Application GERBIL Eléments de configuration (partie VRPN) Eléments statistiques Statistiques Graz Faire évoluer le paradigme pour l'utilisation en-ligne  Fenêtre temporelle 32 Implémentation Conclusion ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Perspectives futures Approfondir les tests Cobayes Améliorer les taux de classification, afin de déterminer si le casque EPOC est réellement utilisable ou non > 75% Développer de nouveaux prototypes Systèmes de navigation virtuelle Google Earth Google Street View Google Art Project … Contrôle de bras robotisés … 33 Implémentation Conclusion ⌃

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Impressions personnelles Projet ludique Cadre motivant "Aide aux personnes handicapées" Objectifs fixés : atteints 34 Implémentation Conclusion ⌃

Merci de votre attention!

Mars 2011Joël Dumoulin – GERBIL – Défense de thèse Références [1] Francesco Carrino. MAGI System – Mind Augmented Gesture Interaction. [2] Emotiv systems. Emotiv – BCI Technology. [3] J.R. Wolpaw, N. Birbaumer, D.J. McFarland, G. Pfurtscheller, and T.M. Vaughan, "Brain- Computer interfaces for communication and control," in Clin Neurophysiol., 2002, vol. 113, pp [4] G. Pfurtscheller and C. Neuper, "Motor imagery activates primary sensorimotor area in humans," in Neurosci. Lett., 1997, vol. 239, pp [5] Laboratory of Brain-Computer Interfaces – Graz. [6] G. Pfurtscheller and C. Neuper, "Motor Imagery and Direct Brain-Computer Communication," in Proceedings of the IEEE., 2001, vol. 89, pp [7] INRIA – Institut national de recherche en informatique et automatique. OpenVibe. [8] Répartition spatiale du système