La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller Margaux Perrin Directeur de thèse : Olivier Bertrand Encadrant.

Présentations similaires


Présentation au sujet: "Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller Margaux Perrin Directeur de thèse : Olivier Bertrand Encadrant."— Transcription de la présentation:

1 Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller Margaux Perrin Directeur de thèse : Olivier Bertrand Encadrant : Jérémie Mattout Proche collaborateur : Emmanuel Maby Laboratoire : Centre de Recherche en Neurosciences de Lyon – Equipe Dycog Financement : ANR Co-Adapt 21 Décembre 2012 Septembre 2009 – Décembre 2012

2 Introduction sur les Interfaces Cerveau-Machine ICM : interface de communication directe entre un cerveau et un dispositif externe ICMAnimalHommeInvasive Non invasive IntroductionExpérience 1Expérience 2Expérience 3Discussion Neurosciences CliniqueIngénierie Sélection de marqueurs Classification ou régression Décision Applications : Monitoring Restauration fonctionnelle Rééducation fonctionnelle Non médicales (jeu vidéo, monitoring…) Acquisition de signal Transformation en commande numérique 2 feedback

3 MN O P QR _ Y Z S T UVW X GHIJKL A B C DEF 2 phases : Phase détalonnage (quelques minutes) Phase de test Exemple dune ICM : le P300-Speller Exemple dune ICM : le P300-Speller Objectif : aide à la communication IntroductionExpérience 1Expérience 2Expérience 3Discussion Feedback … 3 P300 Speller MN O P QR _ Y Z S T UVW X GHIJKL A B C D E F M N O P QR _ Y Z S T UVW X G HIJKL A B C DEF MN O P QR _ YZ S TUVW X G H I J K L A B C DEF M N O P QR _ YZ S T U VW X GH I JKL A B C DEF MN O P QR _ Y Z S T UVW X GHIJKL A B C DEF MN O P QR _ Y Z S T U V W X GHI J KL A B C D EF MN O P Q R _ Y Z S T UVW X GHIJK L A B C DE F MN O P QR _ Y Z S T U V W X GHIJKL A B C DEF M N O P QR _ Y Z S T UVW X G H IJKL A B C DEF MN O P QR _ Y Z S T UVW X GHIJKL A B C DEF MN O P QR _ Y Z S T UVW X GHIJKL A B C DEF MN O P Q R _ Y Z S T UV W X GHIJ K L A B C D E F Répétition 1 = 12 flashs Répétition 3Répétition 2 H MNOPQR 56789_ YZ1234 STUVWX G H I J K L ABCDEF P300 Speller Acquisition & Traitement des signaux Acquisition & Traitement des signaux Cible N1 P300 P8 MNO P QR _ YZ STU V WX GHI J KL ABC D EF P300 Speller Acquisition & Traitement des signaux Acquisition & Traitement des signaux Non cible P8 MN O P QR _ Y Z S T UVW X GHIJKL A B C DEF H H

4 Intérêt de cette application Image du film Le Scaphandre et le papillon tiré du livre de J.D. Bauby atteint du syndrome denfermement Restauration de la communication Population concernée : Syndrome denfermement (Locked-in) Sclérose latérale amyotrophique Syndrome de Guillain-Barré … Évaluation chez une patiente (coll. Jacques Luauté) : Femme de 38 ans victime dun AVC du tronc basilaire en 2009 État Locked-in (sauf mouvement des yeux) Enregistrée à lhôpital Henri Gabrielle entre mars et décembre 2010 Performance maximale : 0,6 lettres correctes par minute 1 Performance maximale chez les sujets sains : 4.8 lettres correctes par minute 2 Nécessité daméliorer le protocole IntroductionExpérience 1Expérience 2Expérience 3Discussion 1 Maby, Perrin et al., 2011, Proceedings of the 5th international BCI conference 2 Maby, Perrin et al, In preparation 4

5 Coadaptation cerveau-machine IntroductionExpérience 1Expérience 2Expérience 3Discussion Action Perception Apprentissage Modulée par : Apprentissage Motivation Vigilance Apprentissage continu des marqueurs (Daucé et al, In prep.) Durée de la phase détalonnage adaptative (Rivet et al, 2011, J. of Physiology)

6 Coadaptation cerveau-machine IntroductionExpérience 1Expérience 2Expérience 3Discussion Action Perception Signal de satisfaction Peut-on améliorer linteraction en exploitant un signal de satisfaction ? Peut-on améliorer linteraction en optimisant le temps de réaction de la machine ? Décision adaptative

7 Méthodes [1] Renard et al, 2010, Presence: Teleoperators and Virtual [2] Aguera et al, 2010,, Comput. Intell. Neurosci. [3] Rivet et al, 2009, IEEE TBME [4] Litvak et al, 2011, Comput. Intell. Neurosci. IntroductionExpérience 1Expérience 2Expérience 3Discussion 7 Cible Non cible

8 Expérience 1 Étude hors ligne des réponses aux feedbacks IntroductionExpérience 1Expérience 2Expérience 3Discussion 8

9 Objectifs Feedback Signal de réponse au feedback ? Modulation par apprentissage ? Modulation par attention ? Détection ? Correction ? Peut-on améliorer linteraction en exploitant un signal de satisfaction ? 9 IntroductionExpérience 1Expérience 2Expérience 3Discussion

10 Temps (ms) Amplitude (µV) Correct Erreur Les signaux de réponse au feedback Signaux modulés par la prédictibilité apprentissage IntroductionExpérience 1Expérience 2Expérience 3Discussion Signaux modulés par la valence du feedback FRN P3 Holroyd et al., 2007, Psychophysiology Attendu (erreur difficile – correct facile) Inattendu ( erreur facile – correct difficile) Temps (ms) Amplitude (µV) FCz Stimulus auditif 1 sec Clic avec une souris Réponse correcte Difficile Erreurs fréquentes attendues Facile Erreurs rares inattendues Différence entre feedbacks négatifs et positifs Cohen and Ranganath, 2007, J. Neuroscience Friston, 2005, Philos Trans R Soc Lond B Biol Sci 10 Réponses au feedback

11 Leur utilisation dans les ICM Spüler et al., 2012, Clinical Neurophysiology Détection de lErrP Appelées ErrP Des études sur le sujet depuis une dizaine dannées Beaucoup détudes hors ligne Avant 2012 : études avec maximum 6 sujets IntroductionExpérience 1Expérience 2Expérience 3Discussion Stratégies de correction (Rousseau, 2012) : Annulation de la commande Remplacement par le second choix du classifieur Itération de la commande 11

12 Protocole expérimental EEG (32 électrodes) 19 sujets sains Paramètres : 3 Répétitions Flashs toutes les 190 ms Étalonnage : 25 lettres 3 sessions de 24 mots de 5 lettres (360 lettres) En moyenne : 80% de lettres correctes attendues Maby, Perrin et al. HBM Conf ; Maby, Perrin et al., in prep. P300 Speller utilisant le logiciel OpenViBE Feedbacks complètement contrôlés : 20% de feedbacks négatifs 80% de feedbacks positifs IntroductionExpérience 1Expérience 2Expérience 3Discussion 12

13 POM F EG P A D EKO B LAMA6I8 En pratique POMME PXMME P O M FE Expérimentateur Vue du sujet Feedbacks envoyés FPB feedback négatif attendu feedback négatif inattendu Enregistrement des réponses « réelles » Une réponse réelle correcte correspond à un niveau attentionnel élevé IntroductionExpérience 1Expérience 2Expérience 3Discussion 13 POMGAEKOLMA6I AA feedback positif attendu feedback positif inattendu

14 Sélection de fenêtres temporelles (SPM) ms FRN ms fenêtre ms pour P3 Analyse de variance sur données essai par essai (R) Les réponses au feedback sont-elles présentes dans le contexte des ICM ? FRN P3 * *** Temps (ms) IntroductionExpérience 1Expérience 2Expérience 3Discussion Feedback négatif Feedback positif Étude électrophysiologique classique Prétraitements Filtrage Hz Correction des artefacts oculaires avec une ICA Rejet manuel dartefacts 14 Temps (ms) Amplitude (µV) Holroyd et al., 2007, Psychophysiology Correct Erreur FRN P3 Condition facile 23% derreurs

15 15 Reflètent-elles lapprentissage ? Réponses plus amples pour les feedbacks inattendus Reflet de lapprentissage des règles dapparition des erreurs FRN réduite pour les erreurs réelles Reflet de lattention Feedbacks envoyés IntroductionExpérience 1Expérience 2Expérience 3Discussion Sont-elles modulées par lattention ? Les réponses au feedback Performances réelles Feedbacks envoyés * ** Temps (ms) * Erreurs réelles Corrects réels Temps (ms) Holroyd et al., 2007 ** Erreurs réelles Corrects réels Feedbacks négatifs – feedbacks positifs Est-ce que la machine était performante ? 8/10 Feedbacks attendus Feedbacks inattendus

16 Nombre de lettres détalonnage Sensibilité Spécificité Peut-on détecter les réponses au feedback ? Fenêtre temporelle : ms Étalonnage : de 25 à 250 lettres Test sur les 110 lettres Données de test 0 Données détalonnage Temps (ms) IntroductionExpérience 1Expérience 2Expérience 3Discussion Sensibilité = Spécificité = Spécificité très élevée Sensibilité augmente avec le nombre de lettres utilisées pour létalonnage FB neg. bien détectés Nombre total de FB neg. FB pos. bien détectés Nombre total de FB pos. 16 FRN P3

17 ABCDEF GHIJKL MNOPQR STUVWX YZ _ Peut-on corriger les erreurs ? SC: Pertinence du second choix (lorsque le 1 èr choix est faux) = 53% Gain théorique lié à la correction : ~3% R = 0,50 P < 0.05 IntroductionExpérience 1Expérience 2Expérience 3Discussion 17

18 Conclusion expérience 1 IntroductionExpérience 1Expérience 2Expérience 3Discussion Perrin et al., 2011, 5th int. BCI conf. Graz Perrin et al., in preparation Réponse au feedback modulée par apprentissage et attention Détection Correction Peut-on améliorer linteraction en exploitant un signal derreur ? 18

19 Expérience 2 Évaluation en temps-réel de la correction automatique IntroductionExpérience 1Expérience 2Expérience 3Discussion 19

20 Objectifs Satisfaction ? Détection ? Correction ? Peut-on améliorer linteraction en exploitant un signal derreur ? 20 IntroductionExpérience 1Expérience 2Expérience 3Discussion Localiser les sources corticales des réponses aux feedbacks Évaluer lefficacité dun nouveau mode de stimulation par groupes pseudo-aléatoires de lettres

21 Protocole expérimental EEG (56 électrodes) /MEG (275 capteurs) 16 sujets sains Feedbacks réels Conditions difficiles pour avoir des erreurs : 2 répétitions par lettre Flashs toutes les 110 ms IntroductionExpérience 1Expérience 2Expérience 3Discussion 21 Test du P300-Speller 340 lettres avec feedback Étalonnage réponse aux cibles 36 lettres sans feedfack Test de la correction 100 lettres Étalonnage réponse aux feedback 240 lettres Questionnaire

22 Détection des réponses aux feedbacks Expérience 1Expérience 2 Sensibilité65%63% Spécificité95%88% Explication : Erreurs moins surprenantes Pertinence du 2 nd choix moins bonne FRN moins ample Rapport signal sur bruit Moins bonne discrimination des signaux Second choix moins pertinent IntroductionExpérience 1Expérience 2Expérience 3Discussion 22 Correction des erreurs Expérience 1Expérience 2 Second Choix53%36% Gain3%0,5% Sur 16 participants : 50% améliorent leur performance (jusquà +12%), et 37.5% la détériorent (jusquà -19%) 44% préfèrent le mode avec correction Expérience 1Expérience 2 Taux derreurs 20%38% Expérience 1Expérience 2 Taux derreurs 20%38% Feedback négatif Réponses réellement incorrectes : 20% Réponses réellement incorrectes : 100% Expérience 1Expérience 2 Taux derreurs 20%38% Feedback négatif Réponses réellement incorrectes : 20% Réponses réellement incorrectes : 100% TraitementsHors ligneEn ligne

23 Résultat inattendu : 2 groupes de participants Différences entre les deux groupes (p<0.05) : Spécificité<75%>85% Performance46%72% Second Choix29%45% Gain-5%+4% Sentiment que la machine est efficace 4,5/106,6/10 Sentiment de contrôle sur la machine 5,2/107,4/10 IntroductionExpérience 1Expérience 2Expérience 3Discussion Gain 0Gain = 0 Préférence : Sans correction Avec correction 23 Spec = 0,95 Spec = 0,68

24 Différences électrophysiologiques Différence flashs cibles – non cibles Différence feedbacks incorrects – corrects Potentiel plus précoce pour le groupe avec spécificité >85% Potentiel plus ample pour le groupe avec spécificité >85% * ** IntroductionExpérience 1Expérience 2Expérience 3Discussion 24 Spec. >85% Spec. <75% N1 importante pour la classification des cibles Différence attentionnelle entre les deux groupes

25 Conclusion expérience 2 IntroductionExpérience 1Expérience 2Expérience 3Discussion Détection ? Correction Peut-on améliorer linteraction en exploitant un signal derreur ? Bit rate meilleur quavec une stratégie de réécriture Perrin et al., 2012 Dal Seno et al, 2010 Spüler et al., 2012 Spécificité88%68%96% Sensibilité63%62%40% Préférence variable Expérience 1Expérience 2 Sensibilité65%63% Spécificité95%88% 25

26 Conclusion expérience 2 Niveau attentionnel / motivationnel Qualité des réponses aux flashs Qualité des réponses aux feedbacks PerformanceSecond choix Qualité de la classification des cibles Qualité de la classification des ErrP Efficacité de la correction Prédictibilité du feedback Perception de lefficacité de la machine Électrophysiologie Classification Mesures objectives Mesures subjectives IntroductionExpérience 1Expérience 2Expérience 3Discussion Préférence 26 Perrin et al., 2012, Advances in human computer interaction

27 Expérience 3 Optimisation du temps de réaction de la machine IntroductionExpérience 1Expérience 2Expérience 3Discussion 27

28 Objectifs Peut-on améliorer linteraction en optimisant le temps de réaction de la machine ? Qualité du signal Temps de réaction optimal Effet sur le sujet ? 28 3 étapes : Modification de la méthode Évaluation de la méthode hors ligne Évaluation de la méthode en ligne et de leffet sur le sujet IntroductionExpérience 1Expérience 2Expérience 3Discussion

29 Feedback Sélection de marqueurs ClassificationDécision A priori : p(x) Mise à jour après chaque nouvelle observation/flash Données: φ p(x| φ ) p(x| φ ) α p( φ |x) Nouveau classifieur IntroductionExpérience 1Expérience 2Expérience 3Discussion NON OUI Suffisamment dinformation ? 29 Moyennage à travers les répétitions. p(x)

30 Calcul de lentropie de Shannon de la distribution de probabilité après chaque nouvelle observation Quand la connaissance augmente, lentropie diminue Lorsque lentropie passe en dessous dun certain seuil, la stimulation sarrête et la décision est prise Critère sur linformation IntroductionExpérience 1Expérience 2Expérience 3Discussion 30 Évaluation hors ligne Comparaisons de 2 approches sur des données réelles dune précédente expérience :

31 Adaptatif Écart-type Fixe Écart-type % lettres correctes Résultats hors ligne Résultat en temps-réel de Lenhardt et al Résultats hors ligne avec nos données (20 sujets x 60 lettres) Mode fixe : 30 bits/minute 9 sujets 9 lettres Mode adaptatif : 50 bits/minute 12 sujets 22 lettres IntroductionExpérience 1Expérience 2Expérience 3Discussion Bit rate maximal équivalent avec mode adaptatif Bit rate en mode fixe meilleur sur nos données Gain inférieur sur nos données (+10 bits/min vs. +20 bits/min) Différence en ligne vs. hors ligne ? Effet de la motivation ? 31 Adaptatif Écart-type Fixe Écart-type

32 Expérience en temps-réel FixeAdaptatif prudentAdaptatif risqué 5 rep15 rep max 5 rep en moyenne (=60 flashs) 15 rep max 2 rep en moyenne (=24 flashs) Comparaisons hors ligne Effet de la motivation Effet de la méthode Comparaison en ligne Effet global IntroductionExpérience 1Expérience 2Expérience 3Discussion 32

33 *** ** Résultats Performance en temps-réelPerformance hors-ligne Données réanalysées avec une décision fixe sur les 2 premières répétitions Lapproche adaptative est plus efficace et augmente la motivation Performances encore meilleures IntroductionExpérience 1Expérience 2Expérience 3Discussion flashs = 5 répétitions Effet global : +10%Effet motivation : +6%Effet méthode : +4% +

34 Préférences des sujets Conclusion Modes adaptatifs plus efficaces que mode fixe Modes adaptatifs plus agréables dutilisation Effet vertueux des modes adaptatifs qui favorisent la motivation et améliorent ainsi les performances Coadaptation cerveau-machine IntroductionExpérience 1Expérience 2Expérience 3Discussion Perrin et al., In preparation 34 Plus motivant Plus stimulant Plus fiable Plus prédictible Plus précis Moins de concentration nécessaire

35 Discussion IntroductionExpérience 1Expérience 2Expérience 3Discussion 35

36 36 Synthèse IntroductionExpérience 1Expérience 2Expérience 3Discussion Action Perception Signaux derreur (exp1) Reflet de lapprentissage (exp1 et 2) Modulation par lattention (exp1 et 2) Correction peu efficace mais très sujet-dépendante (exp1 et 2) Décision adaptative très efficace (exp3) exp1 et 2 Attention Performance Correction Coté cerveau Coté machine Interaction Remarques importantes : Effets observés en temps-réel Effets observés hors ligne Utilisateur adaptatif Préférences différentes dun sujet à lautre Importance dune adaptation individualisée exp3 ICM adaptative Motivation Performance 36

37 Perspectives IntroductionExpérience 1Expérience 2Expérience 3Discussion Action Perception Étude des sources corticales Augmenter connaissance Autres marqueurs (ssvep 1 ) Correction : biais 2, a priori 3, thêta 4 … Machine adaptative : optimisation compromis performance/temps, écriture prédictive Ergonomie : nouveaux casques… Décision adaptative Motivation Correction ? Coté cerveau Coté machine Interaction [1] Edlinger et al, 2011, 6th int Conf on Universal access in human-computer interaction. [2] Spüler et al., 2012, Clinical Neurophysiology [3] Ahi et al, 2011, IEEE Trans Neural Syst Rehabil Eng [4] Rousseau et al., 2012, Thèse 37

38 P300 Speller M N O P Q R _ Y Z 1234 S T UV W X GHIJKL A B CD E F MERCI_A_TOUS

39 39

40 Essai patiente Maby, Perrin et al, 5th International BCI Conference 2011 EtalonnageTestPerfClassification Train01Sess0124,4%53,7% Sess02.01Sess ,6%37,8% Sess03.01Sess ,0%52,5% Sess ,3%48,9% 40 IntroductionExpérience 1Expérience 2Expérience 3Discussion Répartition des erreurs Healthy subjects Poor performer Accuracy : 43.8 % Good performer Accuracy : 99.4 % Patient Accuracy : 22.6 % Cible Non cible Oddball actif

41 Perspective clinique Laureys et al. Lancet Neurol 2004 Intendix (Guger Technologies) Supprimer tout Alarme Copie dans un mail Sauvegarde Espace Sortie vocale Impression Origine de la différence entre sujets sains et locked-in syndrome ? IntroductionExpérience 1Expérience 2Expérience 3Discussion 41

42 Guenther, PLoS ONE 2009 (groupe Kennedy, Atlanta USA) - Patient « Locked-in » - Décodage et synthèse du langage en temps-réel (délai ~50 ms) - Après un court apprentissage, les performances de production de voyelles sont de 70% IntroductionExpérience 1Expérience 2Expérience 3Discussion

43 Temps (ms) Amplitude (µV) Correct Erreur Les signaux de réponses au feedback Réponse motrice pas indispensable Signaux modulés par lerreur de prédiction apprentissage IntroductionExpérience 1Expérience 2Expérience 3Discussion Perte Gain Choix Temps (ms) Cz Perte Gain Pas de réponse Temps (ms) Signaux modulés par la valence du feedback FRN P300 FRN P300 Correct facile Erreur difficile Correct difficile Erreur facile Temps (ms) Holroyd et al., 2007, Psychophysiology Yeung et al., 2005, Cerebral Cortex FCz Attendu (erreur difficile – correct facile) Inattendu ( erreur facile – correct difficile) Temps (ms) Amplitude (µV) FCz 43

44 Réponse au feedback Feedback négatif Feedback positif ms ms0 IntroductionExpérience 1Expérience 2Expérience 3Discussion 44 Effet Perf sur session 3 Erreurs réelles Corrects réels

45 Modulations des réponses au feedback 45 Feedbacks envoyés Temps (ms) Performances réelles Feedbacks envoyés * * ** * IntroductionExpérience 1Expérience 2Expérience 3Discussion Erreurs réelles Corrects réels Feedbacks attendus Feedbacks inattendus

46 Pc = 1-P * Sens. * SC + P * Spec. 46 Nombre de lettres détalonnage Sensibilité Spécificité P Pc Correction IntroductionExpérience 1Expérience 2Expérience 3Discussion

47 Évolution de la classification 47 CorrectsErreurs Au début de la calibrationA la fin de la calibration Nombre de lettres détalonnage Sensibilité Spécificité Au milieu de la calibration CorrectsErreursCorrectsErreurs IntroductionExpérience 1Expérience 2Expérience 3Discussion

48 Choix de la fenêtre temporelChoix du nombre de filtres spatiaux Choix des paramètres de détection des feedbacks négatifs IntroductionExpérience 1Expérience 2Expérience 3Discussion 48

49 Correction automatique erreurscorrects correction23.7%7.6% correction14%54.7% 49 Réponses aux feedbacks Spec. > 85% Spec. < 75% Feedbacks corrects Feedbacks incorrects Feedbacks corrects Feedbacks incorrects IntroductionExpérience 1Expérience 2Expérience 3Discussion

50 IntroductionExpérience 1Expérience 2Expérience 3Discussion Différences inter-individuelles Gain 0Gain = 0 Préférence : Sans correction Avec correction Spec = 0,95 Spec = 0,68 +1% -3% -2% Gain 0Gain = 0

51 51 IntroductionExpérience 1Expérience 2Expérience 3Discussion

52 Effet de la performance sur la correction des erreurs Effet de la performance sur la détection des erreurs IntroductionExpérience 1Expérience 2Expérience 3Discussion 52 détection correction Effet de la performance sur la

53 Détection des erreurs en essai unique 53 1er auteurViscontiDalSenoSpülerSchmidtPerrin Année TâcheP300-Speller P300-Speller indépendant de la direction du regard P300-Speller Nombres de sujets sujets âgés 5 patients1116 ElectrodesFz, Cz, Pz, Oz16 électrodes57 électrodes32 électrodes Epoch[ ] ms[ ] ms[ ] ms[ ] ms Filtrage1-10 Hz0,5-16 Hz?1-20 Hz Classifieur LDA appliqué aux coefficients polynomiaux LDA SVM avec une fonction de base radiale LDA mixture de deux gaussiennes Nombre d'essais pour l'étalonnage 413 en moyenne 258 ou 374 (pour sujet 1 ou sujet 2) 323 en moyenne 274 en moyenne 223 en moyenne 390 en moyenne, dans une tâche différente 300 en moyenne240 % Feedbacks incorrects 17%25 ou 22% ~25% (paramètres adaptés à chaque sujet dans ce but) ~15%~20% 38% paramètres adaptés pour avoir 15% Type de test Validation croisée hors ligne Test en temps-réel Spécificité55 à 91%66 ou 69%96%94%91%94%95%88% Sensibilité46 à 84%58 ou 66%40%51%35%38%66%63% IntroductionExpérience 1Expérience 2Expérience 3Discussion

54 Détection des erreurs en essai unique 1er auteurViscontiDalSenoFerrez (a)FerrezFerrez (b)ChavarriagaIturateLopezKreilingerSpülerSchmidtPerrin Année de publication Tâche P300-Speller Clic vers une cible (simulation d'ICM) Contrôle d'un carré sur un écran par imagerie motrice Observation d'un jeu de Memory Observation d'un robot Estimation de la durée d'une seconde contrôle d'un bras robotisé par imagerie motrice P300-Speller P300-Speller indépendant de la direction du regard P300-Speller Nombres de sujets sujets âgés 5 patients1116 Electrodes utilisées Fz, Cz, Pz, OzFCz et Cz Fz, FC 1, FC 2, FCz, Cz, Cp 1, CP 2, Cpz laplacian autour de Cz 16 électrodes57 électrodes32 électrodes Fenêtre temporelle [ ] ms[ ] ms[ ] ms[ ] ms[ ] ms[ ] ms[ ] ms[ ] ms[ ] ms Filtrage fréquentiel 1-10 Hz Hz0,5-10 Hz0,5-16 Hz?1-20 Hz Classifieur LDA appliqué aux coefficients polynomiaux LDAmixture de deux gaussiennes v-SVM avec une fonction de base radiale LDA SVM avec une fonction de base radiale LDA mixture de deux gaussiennes Nombre d'essais pour l'étalonnage 413 en moyenne 258 ou 374 (pour sujet 1 ou sujet 2) ~1500 sur deux jours (J1 et J2) ~ x6 sujets : données issues de Ferrez et al, 2007 ~900~ ~ en moyenne 274 en moyenne 223 en moyenne 390 en moyenne, dans une tâche différente 300 en moyenne 240 % Feedbacks incorrects 17%25 ou 22%20% (feedback biaisé) ~32%5 à 33%50% 27% ~25% (paramètres adaptés à chaque sujet dans ce but) ~15%~20% 38% paramètres adaptés pour avoir 15% Type de test Validation croisée hors ligne test en temps-réel Validation croisée et test hors ligne (étalonnage sur J1, test sur J2) Validation croisée hors ligne Test en temps- réel Test hors ligne Validation croisée hors ligne Test en temps-réel test en temps- réel Spécificité 55 à 91%66 ou 69% Val-croisée : 83% 82% 88%Chance level82.5% J1 : 74% Détail non précisé, exactitude : 61% 96%94%91%94%95%88% Test sur J2 : 84%J2 : 81% Sensibilité 46 à 84%58 ou 66% Val-croisée : 83% 76%82%75%Chance level79% J1 : 79% 40%51%35%38%66%63% Test sur J2 : 79%J2 : 78% 54 IntroductionExpérience 1Expérience 2Expérience 3Discussion

55 N ms (N170) EEG MEG Aucune différence entre les conditions PO7 MRT35 Bad feedback Good feedback 55 MEG/EEG FWE corr. p<0.05 Aire V1 bilatérale et gyrus fusiforme en accord avec Henson et al, Neuroimage, 2009 IntroductionExpérience 1Expérience 2Expérience 3Discussion

56 FRN/P3 : Résultats de scalp ms (FRN+P300) FCz ms (~P300) MRT ms (~FRN) MLT 14 EEG MEG En MEG, deux fenêtres temporelles émergent. Elles correspondent aux latences de la FRN et de la P300. Différences claires entre les réponses aux feedbacks positifs et négatifs, dominés par les ondes FRN et P300. Feedbacks négatifs Feedbacks positifs 56 IntroductionExpérience 1Expérience 2Expérience 3Discussion

57 Reconstruction de sources FCRP (Feedbacks positifs ms, N=15) EEG MEG Gyrus occipital moyen et inférieur Cortex cingulaire supérieur et médian Gyrus pariétal inférieur Gyrus temporal moyen Uncorr. p<10 -5 FWE corr. p<0.05 z=10 y=-82 y=-15 x=0 z=-1 y=-47 y=-78 x= IntroductionExpérience 1Expérience 2Expérience 3Discussion

58 Reconstruction de sources FCRP (Feedbacks positifs ms, N=15) MEG/EEG Gyrus frontal inférieurGyrus précentralAire motrice supplémentaire Gyrus occipital supérieur Gyrus temporal inférieur Uncorr. p<10 -5 z=28x=24 z=-11 y=-58 z=22 y=14 y=-8 x=17 y=-21 x=38 58 IntroductionExpérience 1Expérience 2Expérience 3Discussion

59 Reconstruction de sources FRN - FCRP (Feedbacks négatifs – feedbacks positifs, ms, N=11 i.e. sujets avec suffisamment dessais « erreurs ») Gyrus frontal inférieur Gyrus temporal inférieur MEG/EEG Uncorr. p<10 -4 z=12 y=14 z=-9 y= IntroductionExpérience 1Expérience 2Expérience 3Discussion

60 Gyrus frontal inférieurGyrus temporal moyenAire motrice supplémentaire Gyrus occipital supérieur Gyrus temporal inférieur Reconstruction de sources FCRP (Feedbacks positifs ms, N=15) MEG Uncorr. p<10 -5 IntroductionExpérience 1Expérience 2Expérience 3Discussion Gyrus occipital moyen

61 Literature review Dorsal PCC Donamayor et al, 2011/2012 Gambling task / Time-reaction task MEG / simultaneous EEG-MEG Reconstruction of the difference between bad and good feedbacks with LORETA ms Bellebaum et al, 2008 strategy task EEG Reconstruction of the difference between bad and good feedbacks with LORETA ms Ferrez et al, 2008 Simulated BCI EEG Reconstruction of the difference between bad and good feedbacks with LORETA Rostral cingulate zone (ACC) et pre-SMA 250 ms 300 ms (unexp. BFB) PCC 320 ms (exp. BFB) Caudal ACC IntroductionExpérience 1Expérience 2Expérience 3Discussion

62 Dilution derreur : nouveau mode de flashage Nrep: 1Nrep: 2 Nrep: 3 Nrep: 1Nrep: 2 Nrep: 3 B 75% des erreurs sont dans le groupe de lettres qui contient la cible IntroductionExpérience 1Expérience 2Expérience 3Discussion 62

63 1st repetition 2 nd repetition3rd repetition4th repetition Exemple simplifié : évolution du signal et des probabilités au cours du temps 5th repetition Différences plus grandes entre signaux cibles et non cibles effet moins dévastateur dune stimulation perturbatrice Devrait permettre daméliorer la classification Lettre cible : M DRSSRS Probabilité dêtre la cible Somme cumulée du signal Simulations simplifiées : signaux aléatoires issus dune moyenne et dune variance choisies de manière arbitraire pour les groupes de lettres cibles et non cibles. IntroductionExpérience 1Expérience 2Expérience 3Discussion

64 Mode de flashage : stimulation dynamique vs. statique Stimulation dynamique (DRS) plus efficace dès 2 répétitions SRS DRS *** ** Nrep x stim: ** IntroductionExpérience 1Expérience 2Expérience 3Discussion 64

65 Analyses hors ligne à 8-9 capteurs 32 chan8 chan9 chan 2 rep68%44%41%40%39%56% 4 rep84%66%63%59%57%76% Objectif : améliorer le confort des participants en réduisant la durée dinstallation utilisation clinique Choix des capteurs adapté de Cecotti et al en réanalysant hors ligne les données de lexpérience 2 IntroductionExpérience 1Expérience 2Expérience 3Discussion 65

66 Pré-tests IntroductionExpérience 1Expérience 2Expérience 3Discussion 66 Adaptatif Fixe Simulations (1000 lettres par point) Données réelles (60 lettres x 20 sujets par point) Évaluation du nouveau classifieur Statique Dynamique Évaluation du mode adaptatif % lettres correctes

67 Évaluations exp3 IntroductionExpérience 1Expérience 2Expérience 3Discussion 67 ** * Risqué Fixe Risqué Fixe Fixe 2rep Prudent Fixe 2rep En ligne : Hors ligne : Effet de la méthode Effet motivationnel En ligne Hors ligne **

68 Expérience comparant le mode standard et le mode optimisé IntroductionExpérience 1Expérience 2Expérience 3Discussion N=12StandardOptimisé Rapide4,6 lettres correctes/minute Perf : 62% 4,5 lettres correctes/minute Perf : 62% Lent3,9 lettres correctes/minute Perf : 78% 4,4 lettres correctes/minute Perf : 91% Préférences : 67% 8% 17% Questionnaire (Dynamique lent vs. Fixe lent) : motivation ; contrôle de la machine

69 Amélioration de la correction grâce aux résultats de lexpérience 3 IntroductionExpérience 1Expérience 2Expérience 3Discussion 69 Décision adaptative augmente la motivation Modulation du seuil pour obtenir une motivation optimale Évaluation dun niveau de confiance Décision Lettre correcte Lettre incorrecte Lettre suivante Correction par 2 nd meilleur choix Classification des réponses au feedback Confiance sur la lettre (entropie) Confiance sur le 2 nd choix (distance de Kullback-Leibler) Flashs supplémentaires bonnemauvaise Qualité des réponses aux flashs Qualité des réponses aux feedbacks

70 Kreilinger et al, 2012 Kreilinger et al, 2012 Error potential detection during continuous movement of an artificial arm controlled b brain-computer interface Tâche : imagerie motrice Traitement des données : – 16 électrodes – Epochs : 200 ms à 400 ms – Filtrage Hz – Classifieur : LDA – 10x10 cross-validation hors ligne Nombre de sujets : 10 (-1) Nombre dessais et résultats : ~160 essais (27% derreurs), Accuracy : 61.4% IntroductionExpérience 1Expérience 2Expérience 3Discussion

71 Iturate et al, 2010 Iturate et al, 2010 Single trial recognition of error-related potentials during observation of robot operation Tâche : Observation des mouvements dun robot jugement qualitatif Traitement des données : – 8 électrodes : Fz, FC1, FC2, FCz, Cz, CP1, CP2 et CPz – Epochs : 200 ms à 800 ms – Filtrage : 0,5-10 Hz – Classifieur : v-SVM with a radial basis function kernel (Ferrez&Millan, 2008) Nombre de sujets : 4 Nombre dessais et résultats : – 100 essais de chaque classe IntroductionExpérience 1Expérience 2Expérience 3Discussion

72 Intérêt de lapprentissage continue 72 IntroductionExpérience 1Expérience 2Expérience 3Discussion

73 73 Données : BCI competition (2 sujets) IntroductionExpérience 1Expérience 2Expérience 3Discussion Effet de la taille de la fenêtre et du classifieur

74 74 Étalonnage : maximisation de Puissance Signal 1 Puissance Signal 1 + Signal 2 + bruit Fonctionnement xDAWN IntroductionExpérience 1Expérience 2Expérience 3Discussion Calcul de plusieurs filtres orthogonaux : choix du nombre de filtres optimal (5 ?) xDAWNclassifieur En temps-réel :

75 xDAWN 75 Exp 0, suj2 Exp 1, suj23 Exp 0, suj1 (MP) Exp 3, suj11 Exp 2, filtre FB, suj10 +12% Exp 2, suj1 IntroductionExpérience 1Expérience 2Expérience 3Discussion

76 Exemple dune ICM : Exemple dune ICM : Objectif : restauration du contrôle moteur IntroductionExpérience 1Expérience 2Expérience 3Discussion Décodage du mouvement Encodage tactile artificiel Contrôle cérébral Contrôle manuel Exploration active ODoherty et al., 2011, Nature Interface cerveau-machine-cerveau Décodage du signal moteur Encodage de la stimulation tactile Stimulation cérébrale du cortex somatosensoriel Feedback 76


Télécharger ppt "Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller Margaux Perrin Directeur de thèse : Olivier Bertrand Encadrant."

Présentations similaires


Annonces Google