Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller Margaux Perrin Directeur de thèse : Olivier Bertrand Encadrant : Jérémie Mattout Proche collaborateur : Emmanuel Maby Septembre 2009 – Décembre 2012 Laboratoire : Centre de Recherche en Neurosciences de Lyon – Equipe Dycog Financement : ANR Co-Adapt 21 Décembre 2012

Introduction sur les Interfaces Cerveau-Machine Expérience 1 Expérience 2 Expérience 3 Discussion Introduction sur les Interfaces Cerveau-Machine ICM : interface de communication directe entre un cerveau et un dispositif externe Neurosciences Clinique Ingénierie Classification ou régression Transformation en commande numérique Décision Sélection de marqueurs Acquisition de signal Machine  cerveau : implants cochléaires : digitalisation du signal, transmission vers l’implant puis stimulation du nerf auditif à l’aide de microélectrodes Boucle ouverte : sans FB Animal : 1ere ICM : En 1969 des singes macaques ont appris à contrôler l’activité de cellules de leur cortex moteur primaire. Les singes pouvaient voir ou entendre l’activité de leurs neurones, et recevait de la nourriture à chaque fois que cette activité dépassait un certain seuil. Après plusieurs sessions d’entraînement, les singes ont réussi à augmenter significativement le taux de décharge de ces neurones, ce qui était une grande première. Invasif : intra-cérébral Intérêt : enregistrements très précis Avec par exemple dans les années 2000 ce patient tétraplégique implantés par 96 microélectrodes dans l’aire de la main du cortex moteur primaire. Après entraînement (9 mois) : capable de contrôler le mouvement d’un curseur sur un écran d’ordinateur, de commander des mouvements simples d’une main artificielle et d’un bras robotisé feedback ICM Animal Homme Invasive Non invasive Applications : Monitoring Restauration fonctionnelle Rééducation fonctionnelle Non médicales (jeu vidéo, monitoring…)

Exemple d’une ICM : le P300-Speller Objectif : aide à la communication Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Exemple d’une ICM : le P300-Speller Objectif : aide à la communication H M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F P300 Speller Acquisition & Traitement des signaux Cible N1 P300 P8 P300 Speller H M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F H M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F P300 Speller Acquisition & Traitement des signaux Non cible P8 Définir Nrep Répétition 1 = 12 flashs Répétition 3 Répétition 2 Feedback … 2 phases : Phase d’étalonnage (quelques minutes) Phase de test

Intérêt de cette application Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Intérêt de cette application Restauration de la communication Population concernée : Syndrome d’enfermement (Locked-in) Sclérose latérale amyotrophique Syndrome de Guillain-Barré … Évaluation chez une patiente (coll. Jacques Luauté) : Femme de 38 ans victime d’un AVC du tronc basilaire en 2009 État Locked-in (sauf mouvement des yeux) Enregistrée à l’hôpital Henri Gabrielle entre mars et décembre 2010 Performance maximale : 0,6 lettres correctes par minute1 Performance maximale chez les sujets sains : 4.8 lettres correctes par minute2  Nécessité d’améliorer le protocole Image du film Le Scaphandre et le papillon tiré du livre de J.D. Bauby atteint du syndrome d’enfermement 1 Maby, Perrin et al., 2011, Proceedings of the 5th international BCI conference 2 Maby, Perrin et al, In preparation

Coadaptation cerveau-machine Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Coadaptation cerveau-machine 010111001 Apprentissage continu des marqueurs (Daucé et al, In prep.) Modulée par : Apprentissage Motivation Vigilance Perception Action Modulation des réponses cérébrales à plusieurs niveaux Nécessité d’adapter la machine Adaptation du comportement de l’utilisateur en retour ? Perception Action Apprentissage Durée de la phase d’étalonnage adaptative (Rivet et al, 2011, J. of Physiology)

Coadaptation cerveau-machine Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Coadaptation cerveau-machine 010111001 Perception Action Peut-on améliorer l’interaction en optimisant le temps de réaction de la machine ? Peut-on améliorer l’interaction en exploitant un signal de satisfaction ? Signal de satisfaction Modulation des réponses cérébrales à plusieurs niveaux Nécessité d’adapter la machine Adaptation du comportement de l’utilisateur en retour ? Perception Action Décision adaptative

Méthodes Tâche : P300-Speller Électrophysiologie : EEG Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Méthodes Tâche : P300-Speller Électrophysiologie : EEG Environnement logiciel : En ligne : Open-ViBE [1] Hors ligne : Matlab, Elan [2] Traitements de données : Sélection de caractéristiques : Filtre temporel, fréquentiel et spatial (xDAWN [3]) Classifieur : mixture de gaussiennes Évaluation : Performance : taux de lettres correctes Bit rate : taux d’information transmise par unité de temps Sensibilité, spécificité : mesures de l’efficacité d’un classifieur Questionnaires Analyses statistiques : R, SPM [4] Non cible Cible [1] Renard et al, 2010, Presence: Teleoperators and Virtual [2] Aguera et al, 2010, , Comput. Intell. Neurosci. [3] Rivet et al, 2009, IEEE TBME [4] Litvak et al, 2011, Comput. Intell. Neurosci.

Étude hors ligne des réponses aux feedbacks Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience 1 Étude hors ligne des réponses aux feedbacks

Objectifs Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Objectifs Signal de réponse au feedback ? Modulation par apprentissage ? Modulation par attention ? Détection ? Peut-on améliorer l’interaction en exploitant un signal de satisfaction ? Modulation des réponses cérébrales à plusieurs niveaux Nécessité d’adapter la machine Adaptation du comportement de l’utilisateur en retour ? Feedback Correction ?

Les signaux de réponse au feedback Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les signaux de réponse au feedback Holroyd et al., 2007, Psychophysiology Difficile Erreurs fréquentes  attendues Réponse correcte Facile Erreurs rares  inattendues Stimulus auditif Différence entre feedbacks négatifs et positifs Attendu (erreur difficile – correct facile) Inattendu ( erreur facile – correct difficile) Temps (ms) Amplitude (µV) FCz 1 sec Quoi Pourquoi les utiliser dans les ICM Clic avec une souris Réponses au feedback Temps (ms) Amplitude (µV) Correct Erreur FRN  Signaux modulés par la prédictibilité  apprentissage P3  Signaux modulés par la valence du feedback Cohen and Ranganath, 2007, J. Neuroscience Friston, 2005, Philos Trans R Soc Lond B Biol Sci

Leur utilisation dans les ICM Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Leur utilisation dans les ICM Appelées ErrP Des études sur le sujet depuis une dizaine d’années Beaucoup d’études hors ligne Avant 2012 : études avec maximum 6 sujets Détection de l’ErrP Spüler et al., 2012, Clinical Neurophysiology Stratégies de correction (Rousseau, 2012) : Annulation de la commande Remplacement par le second choix du classifieur Itération de la commande

Protocole expérimental Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Protocole expérimental EEG (32 électrodes) 19 sujets sains Paramètres : 3 Répétitions Flashs toutes les 190 ms Étalonnage : 25 lettres 3 sessions de 24 mots de 5 lettres (360 lettres) P300 Speller utilisant le logiciel OpenViBE En moyenne : 80% de lettres correctes attendues Feedbacks complètement contrôlés : 20% de feedbacks négatifs 80% de feedbacks positifs Maby, Perrin et al. HBM Conf. 2010 ; Maby, Perrin et al., in prep.

Enregistrement des réponses « réelles » Introduction Expérience 1 Expérience 2 Expérience 3 Discussion En pratique PXMME POMME P O M F E Expérimentateur Enregistrement des réponses « réelles »  Une réponse réelle correcte correspond à un niveau attentionnel élevé Vue du sujet feedback positif attendu feedback positif inattendu feedback négatif attendu feedback négatif inattendu Feedbacks envoyés P O M F E G A D K B L 6 I 8 P O M G A E K L 6 I F P B

Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les réponses au feedback sont-elles présentes dans le contexte des ICM ? Étude électrophysiologique classique Prétraitements Filtrage 0.1-20 Hz Correction des artefacts oculaires avec une ICA Rejet manuel d’artefacts Temps (ms) Amplitude (µV) Holroyd et al., 2007, Psychophysiology Correct Erreur FRN P3 Condition facile 23% d’erreurs FRN * *** Sélection de fenêtres temporelles (SPM) 250-310 ms  FRN 380-750 ms  fenêtre 380-460 ms pour P3 Analyse de variance sur données essai par essai (R) P3 Feedback négatif Feedback positif Temps (ms)

Les réponses au feedback Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les réponses au feedback Reflètent-elles l’apprentissage ? Sont-elles modulées par l’attention ? Feedbacks envoyés Performances réelles Feedbacks envoyés Feedbacks négatifs – feedbacks positifs * ** Holroyd et al., 2007 ** * Erreurs réelles Corrects réels ** Feedbacks attendus Feedbacks inattendus Erreurs réelles Corrects réels Temps (ms) Est-ce que la machine était performante ? 8/10 Temps (ms) Réponses plus amples pour les feedbacks inattendus  Reflet de l’apprentissage des règles d’apparition des erreurs  FRN réduite pour les erreurs réelles  Reflet de l’attention

Peut-on détecter les réponses au feedback ? Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Peut-on détecter les réponses au feedback ? Temps (ms) Fenêtre temporelle : 200-600 ms Étalonnage : de 25 à 250 lettres Test sur les 110 lettres FRN P3 100 200 250 360 150 50 Données de test Données d’étalonnage Nombre de lettres d’étalonnage Sensibilité Spécificité Revoir l’accolade pour le « Training set » (cohérence avec les flèches) FB neg. bien détectés Sensibilité = Spécificité = Nombre total de FB neg. FB pos. bien détectés Nombre total de FB pos. Spécificité très élevée Sensibilité augmente avec le nombre de lettres utilisées pour l’étalonnage

Peut-on corriger les erreurs ? Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Peut-on corriger les erreurs ? SC: Pertinence du second choix (lorsque le 1èr choix est faux) = 53% A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 1 2 3 4 5 6 7 8 9 _ R = 0,50 P < 0.05 Gain théorique lié à la correction : ~3%

Réponse au feedback modulée par apprentissage et attention Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Conclusion expérience 1 Perrin et al., 2011, 5th int. BCI conf. Graz Perrin et al., in preparation Réponse au feedback modulée par apprentissage et attention Détection Peut-on améliorer l’interaction en exploitant un signal d’erreur ? Correction

Évaluation en temps-réel de la correction automatique Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience 2 Évaluation en temps-réel de la correction automatique

Peut-on améliorer l’interaction en exploitant un signal d’erreur ? Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Objectifs Détection ? Peut-on améliorer l’interaction en exploitant un signal d’erreur ? Modulation des réponses cérébrales à plusieurs niveaux Nécessité d’adapter la machine Adaptation du comportement de l’utilisateur en retour ? Satisfaction ? Correction ? Localiser les sources corticales des réponses aux feedbacks Évaluer l’efficacité d’un nouveau mode de stimulation par groupes pseudo-aléatoires de lettres

Protocole expérimental Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Protocole expérimental EEG (56 électrodes) /MEG (275 capteurs) 16 sujets sains Feedbacks réels Conditions difficiles pour avoir des erreurs : 2 répétitions par lettre Flashs toutes les 110 ms Questionnaire Étalonnage réponse aux cibles 36 lettres sans feedfack Test du P300-Speller 340 lettres avec feedback Étalonnage réponse aux feedback 240 lettres Test de la correction 100 lettres

Détection des réponses aux feedbacks Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Détection des réponses aux feedbacks Correction des erreurs Expérience 1 Expérience 2 Sensibilité 65% 63% Spécificité 95% 88% Expérience 1 Expérience 2 Second Choix 53% 36% Gain 3% 0,5% Explication : Expérience 1 Expérience 2 Taux d’erreurs 20% 38% Feedback négatif Réponses réellement incorrectes : 20% Réponses réellement incorrectes : 100% Traitements Hors ligne En ligne Expérience 1 Expérience 2 Taux d’erreurs 20% 38% Feedback négatif Réponses réellement incorrectes : 20% Réponses réellement incorrectes : 100% Expérience 1 Expérience 2 Taux d’erreurs 20% 38% Erreurs moins surprenantes Pertinence du 2nd choix moins bonne FRN moins ample  ↘ Rapport signal sur bruit Moins bonne discrimination des signaux Second choix moins pertinent Sur 16 participants : 50% améliorent leur performance (jusqu’à +12%), et 37.5% la détériorent (jusqu’à -19%) 44% préfèrent le mode avec correction

Résultat inattendu : 2 groupes de participants Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Résultat inattendu : 2 groupes de participants Spec = 0,95 Différences entre les deux groupes (p<0.05) : Spec = 0,68 Spécificité <75% >85% Performance 46% 72% Second Choix 29% 45% Gain -5% +4% Sentiment que la machine est efficace 4,5/10 6,6/10 Sentiment de contrôle sur la machine 5,2/10 7,4/10 Cf 48 Gain <0 Gain >0 Gain = 0 Préférence : Sans correction Avec correction

Différences électrophysiologiques Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Différences électrophysiologiques Différence feedbacks incorrects – corrects Différence flashs cibles – non cibles * ** Spec. >85% Spec. <75%  Potentiel plus précoce pour le groupe avec spécificité >85%  Potentiel plus ample pour le groupe avec spécificité >85% N1 importante pour la classification des cibles Différence attentionnelle entre les deux groupes

Conclusion expérience 2 Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Conclusion expérience 2 Expérience 1 Expérience 2 Sensibilité 65% 63% Spécificité 95% 88% Perrin et al., 2012 Dal Seno et al, 2010 Spüler et al., 2012 Spécificité 88% 68% 96% Sensibilité 63% 62% 40% Détection ? Peut-on améliorer l’interaction en exploitant un signal d’erreur ? Préférence variable Bit rate meilleur qu’avec une stratégie de réécriture Correction

Conclusion expérience 2 Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Conclusion expérience 2 Perrin et al., 2012, Advances in human computer interaction Niveau attentionnel / motivationnel Qualité des réponses aux flashs Qualité des réponses aux feedbacks Électrophysiologie Prédictibilité du feedback Qualité de la classification des cibles Qualité de la classification des ErrP Classification Mesures objectives Performance Second choix Efficacité de la correction Mesures subjectives Perception de l’efficacité de la machine Préférence

Optimisation du temps de réaction de la machine Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience 3 Optimisation du temps de réaction de la machine

Objectifs 3 étapes : Modification de la méthode Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Objectifs Qualité du signal Peut-on améliorer l’interaction en optimisant le temps de réaction de la machine ? Modulation des réponses cérébrales à plusieurs niveaux Nécessité d’adapter la machine Adaptation du comportement de l’utilisateur en retour ? Effet sur le sujet ? Temps de réaction optimal 3 étapes : Modification de la méthode Évaluation de la méthode hors ligne Évaluation de la méthode en ligne et de l’effet sur le sujet

Nouveau classifieur .p(x) Introduction Expérience 1 Expérience 2 Discussion Nouveau classifieur NON Mise à jour après chaque nouvelle observation/flash A priori : p(x) Suffisamment d’information ? p(x|φ) Données: φ .p(x) p(x|φ) α p(φ|x) Sélection de marqueurs OUI Classification Décision Moyennage à travers les répétitions Feedback

Critère sur l’information Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Critère sur l’information Calcul de l’entropie de Shannon de la distribution de probabilité après chaque nouvelle observation Quand la connaissance augmente, l’entropie diminue Lorsque l’entropie passe en dessous d’un certain seuil, la stimulation s’arrête et la décision est prise Évaluation hors ligne Comparaisons de 2 approches sur des données réelles d’une précédente expérience : Approche fixe : nombre fixe de flashs (critère temporel) Approche adaptative : nombre de flash optimal (critère sur l’information)

Résultats hors ligne Résultats hors ligne avec nos données Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Résultats hors ligne Résultats hors ligne avec nos données (20 sujets x 60 lettres) Résultat en temps-réel de Lenhardt et al. 2008 Adaptatif Écart-type Fixe % lettres correctes Adaptatif Écart-type Fixe Mode fixe : 30 bits/minute 9 sujets 9 lettres Mode adaptatif : 50 bits/minute 12 sujets 22 lettres Bit rate maximal équivalent avec mode adaptatif Bit rate en mode fixe meilleur sur nos données Gain inférieur sur nos données (+10 bits/min vs. +20 bits/min)  Différence en ligne vs. hors ligne ? Effet de la motivation ?

Expérience en temps-réel Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience en temps-réel Protocole expérimental EEG - 9 électrodes 11 sujets sains 3 conditions (100 lettres/cond.) Questionnaire Choix du seuil de décision : Utilisation des données d’étalonnage pour estimer un seuil qui correspond environ à 24 et 60 flashs en moyenne Fixe Adaptatif prudent Adaptatif risqué 5 rep 15 rep max 5 rep en moyenne (=60 flashs) 2 rep en moyenne (=24 flashs) Comparaison en ligne  Effet global Comparaisons hors ligne Effet de la motivation Effet de la méthode

Résultats Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Résultats Performance en temps-réel Performance hors-ligne Données réanalysées avec une décision fixe sur les 2 premières répétitions ** *** 60 flashs = 5 répétitions Effet global : +10% ≈ Effet méthode : +4% + Effet motivation : +6% L’approche adaptative est plus efficace et augmente la motivation  Performances encore meilleures

Préférences des sujets Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Préférences des sujets Plus motivant Plus stimulant Plus fiable Plus prédictible Plus précis Moins de concentration nécessaire Conclusion Perrin et al., In preparation Modes adaptatifs plus efficaces que mode fixe Modes adaptatifs plus agréables d’utilisation Effet vertueux des modes adaptatifs qui favorisent la motivation et améliorent ainsi les performances  Coadaptation cerveau-machine

Discussion Introduction Expérience 1 Expérience 2 Expérience 3

Synthèse Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Synthèse Coté cerveau Coté machine Signaux d’erreur (exp1) Reflet de l’apprentissage (exp1 et 2) Modulation par l’attention (exp1 et 2) Correction peu efficace mais très sujet-dépendante (exp1 et 2) Décision adaptative très efficace (exp3) Action Perception 010111001 Interaction exp1 et 2 Attention ↗ Performance ↗ Correction ↗ exp3 ICM adaptative Motivation ↗ Performance ↗ Perception Action Remarques importantes : Effets observés en temps-réel ≠ Effets observés hors ligne  Utilisateur adaptatif Préférences différentes d’un sujet à l’autre  Importance d’une adaptation individualisée 36

Perspectives Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Perspectives Coté machine Coté cerveau Étude des sources corticales  Augmenter connaissance Autres marqueurs (ssvep1) Correction : biais2, a priori3, thêta4… Machine adaptative : optimisation compromis performance/temps, écriture prédictive Ergonomie : nouveaux casques… 010111001 Action Perception Interaction Décision adaptative Motivation ↗ Correction ↗ ? Perception Action [1] Edlinger et al, 2011, 6th int Conf on Universal access in human-computer interaction. [2] Spüler et al., 2012, Clinical Neurophysiology [3] Ahi et al, 2011, IEEE Trans Neural Syst Rehabil Eng [4] Rousseau et al., 2012, Thèse

M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E P300 Speller MERCI_A_TOUS M N O P Q R 5 6 7 8 9 _ Y Z 1 2 3 4 S T U V W X G H I J K L A B C D E F

Essai patiente Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Essai patiente Répartition des erreurs Etalonnage Test Perf Classification Train01 Sess01 24,4% 53,7% Sess02.01 Sess02.02 15,6% 37,8% Sess03.01 Sess03.02 15,0% 52,5% Sess04.01 27,3% 48,9% Healthy subjects Poor performer Accuracy : 43.8 % Good performer Accuracy : 99.4 % Patient Accuracy : 22.6 % Cible Non cible Oddball actif Maby, Perrin et al, 5th International BCI Conference 2011

Origine de la différence entre sujets sains et locked-in syndrome ? Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Perspective clinique Supprimer tout Alarme Copie dans un mail Sauvegarde Espace Sortie vocale Impression Intendix (Guger Technologies) Origine de la différence entre sujets sains et locked-in syndrome ? Laureys et al. Lancet Neurol 2004

Guenther, PLoS ONE 2009 Introduction Expérience 1 Expérience 2 Discussion Guenther, PLoS ONE 2009 (groupe Kennedy, Atlanta USA) Patient « Locked-in » Décodage et synthèse du langage en temps-réel (délai ~50 ms) Après un court apprentissage, les performances de production de voyelles sont de 70%

Les signaux de réponses au feedback Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les signaux de réponses au feedback Yeung et al., 2005, Cerebral Cortex Holroyd et al., 2007, Psychophysiology Perte Gain Choix Temps (ms) Cz Temps (ms) Amplitude (µV)  Signaux modulés par la valence du feedback FRN FRN Correct facile Erreur difficile Correct difficile Erreur facile Correct Erreur P300 P300 FCz Quoi Pourquoi les utiliser dans les ICM Temps (ms) Cz Perte Gain Pas de réponse Temps (ms) Attendu (erreur difficile – correct facile) Inattendu ( erreur facile – correct difficile) Temps (ms) Amplitude (µV) FCz  Réponse motrice pas indispensable  Signaux modulés par l’erreur de prédiction  apprentissage

Réponse au feedback Introduction Expérience 1 Expérience 2 Discussion Réponse au feedback -1000 1000 2000 3000 4000 5000 ms Effet Perf sur session 3 -1000 1000 2000 3000 4000 5000 ms Feedback négatif Feedback positif Erreurs réelles Corrects réels

Modulations des réponses au feedback Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Modulations des réponses au feedback Performances réelles Feedbacks envoyés Feedbacks envoyés ** * ** * * Erreurs réelles Corrects réels Feedbacks attendus Feedbacks inattendus Temps (ms) Temps (ms)

Nombre de lettres d’étalonnage Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Correction Pc = 1-P * Sens. * SC + P * Spec. Nombre de lettres d’étalonnage Sensibilité Spécificité P Pc

Évolution de la classification Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Évolution de la classification Nombre de lettres d’étalonnage Sensibilité Spécificité Au début de la calibration Au milieu de la calibration A la fin de la calibration Erreurs Corrects Erreurs Corrects Erreurs Corrects

Choix des paramètres de détection des feedbacks négatifs Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Choix des paramètres de détection des feedbacks négatifs Choix de la fenêtre temporel Choix du nombre de filtres spatiaux

Correction automatique Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Correction automatique erreurs corrects correction 23.7% 7.6% 14% 54.7% Réponses aux feedbacks Spec. > 85% Spec. < 75% Feedbacks corrects Feedbacks incorrects

Différences inter-individuelles Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Différences inter-individuelles Gain <0 Gain >0 Gain = 0 -3% -2% Spec = 0,95 Spec = 0,68 +1% Gain <0 Gain >0 Gain = 0 Préférence : Sans correction Avec correction

Introduction Expérience 1 Expérience 2 Expérience 3 Discussion 

Effet de la performance sur la détection correction Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Effet de la performance sur la détection correction p < 0.05 r = 0.62 p <0.001 r = 0.78  Effet de la performance sur la détection des erreurs  Effet de la performance sur la correction des erreurs

Détection des erreurs en essai unique Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Détection des erreurs en essai unique 1er auteur Visconti DalSeno Spüler Schmidt Perrin Année 2008 2010 2012 Tâche P300-Speller P300-Speller indépendant de la direction du regard Nombres de sujets 5 2 9 8 sujets âgés 5 patients 11 16 Electrodes Fz, Cz, Pz, Oz 16 électrodes 57 électrodes 32 électrodes Epoch [-100 500] ms [100-800] ms [150-900] ms [200 600] ms Filtrage 1-10 Hz 0,5-16 Hz ? 1-20 Hz Classifieur LDA appliqué aux coefficients polynomiaux LDA SVM avec une fonction de base radiale mixture de deux gaussiennes Nombre d'essais pour l'étalonnage 413 en moyenne 258 ou 374 (pour sujet 1 ou sujet 2) 323 en moyenne 274 en moyenne 223 en moyenne 390 en moyenne, dans une tâche différente 300 en moyenne 240 % Feedbacks incorrects 17% 25 ou 22% ~25% (paramètres adaptés à chaque sujet dans ce but) ~15% ~20% 38% paramètres adaptés pour avoir 15% Type de test Validation croisée hors ligne Test en temps-réel Spécificité 55 à 91% 66 ou 69% 96% 94% 91% 95% 88% Sensibilité 46 à 84% 58 ou 66% 40% 51% 35% 66% 63%

Détection des erreurs en essai unique Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Détection des erreurs en essai unique 1er auteur Visconti DalSeno Ferrez (a) Ferrez Ferrez (b) Chavarriaga Iturate Lopez Kreilinger Spüler Schmidt Perrin Année de publication 2008 2010 2007 2012 Tâche P300-Speller Clic vers une cible (simulation d'ICM) Contrôle d'un carré sur un écran par imagerie motrice Observation d'un jeu de Memory Observation d'un robot Estimation de la durée d'une seconde contrôle d'un bras robotisé par imagerie motrice P300-Speller indépendant de la direction du regard Nombres de sujets 5 2 6 4 10 9 8 sujets âgés 5 patients 11 16 Electrodes utilisées Fz, Cz, Pz, Oz FCz et Cz Fz, FC1, FC2, FCz, Cz, Cp1, CP2, Cpz laplacian autour de Cz 16 électrodes 57 électrodes 32 électrodes Fenêtre temporelle [-100 500] ms [150-650] ms [250-400] ms [200-800] ms [200-600] ms [200 400] ms [100-800] ms [150-900] ms [200 600] ms Filtrage fréquentiel 1-10 Hz 0.5-10 Hz 0,5-10 Hz 0,5-16 Hz ? 1-20 Hz Classifieur LDA appliqué aux coefficients polynomiaux LDA mixture de deux gaussiennes v-SVM avec une fonction de base radiale SVM avec une fonction de base radiale Nombre d'essais pour l'étalonnage 413 en moyenne 258 ou 374 (pour sujet 1 ou sujet 2) ~1500 sur deux jours (J1 et J2) ~1500 1500x6 sujets : données issues de Ferrez et al, 2007 ~900 ~2000 200 600 ~160 323 en moyenne 274 en moyenne 223 en moyenne 390 en moyenne, dans une tâche différente 300 en moyenne 240 % Feedbacks incorrects 17% 25 ou 22% 20% (feedback biaisé) ~32% 5 à 33% 50% 27% ~25% (paramètres adaptés à chaque sujet dans ce but) ~15% ~20% 38% paramètres adaptés pour avoir 15% Type de test Validation croisée hors ligne test en temps-réel Validation croisée et test hors ligne (étalonnage sur J1, test sur J2) Test en temps-réel Test hors ligne Spécificité 55 à 91% 66 ou 69% Val-croisée : 83% 82% 88% Chance level 82.5% J1 : 74% Détail non précisé, exactitude : 61% 96% 94% 91% 95% Test sur J2 : 84% J2 : 81% Sensibilité 46 à 84% 58 ou 66% 76% 75% 79% J1 : 79% 40% 51% 35% 66% 63% Test sur J2 : 79% J2 : 78%

N170 MEG/EEG EEG MEG ★ 160-200 ms (N170) Introduction Expérience 1 Expérience 2 Expérience 3 Discussion N170 MEG/EEG ★ 160-200 ms (N170) FWE corr. p<0.05 Bad feedback Good feedback PO7 EEG MRT35 Aire V1 bilatérale et gyrus fusiforme en accord avec Henson et al, Neuroimage, 2009 MEG Aucune différence entre les conditions

FRN/P3 : Résultats de scalp Introduction Expérience 1 Expérience 2 Expérience 3 Discussion FRN/P3 : Résultats de scalp ★ 230-400 ms (FRN+P300) Différences claires entre les réponses aux feedbacks positifs et négatifs, dominés par les ondes FRN et P300. FCz EEG Feedbacks négatifs Feedbacks positifs MEG ★ 310-450 ms (~P300) ★ 260-280 ms (~FRN) MLT14 MRT14 En MEG, deux fenêtres temporelles émergent. Elles correspondent aux latences de la FRN et de la P300.

Reconstruction de sources Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Reconstruction de sources ★ FCRP (Feedbacks positifs 260-280 ms, N=15) z=10 y=-82 x=0 y=-15 EEG Uncorr. p<10-5 Gyrus occipital moyen et inférieur Cortex cingulaire supérieur et médian z=-1 y=-47 x=-32 y=-78 MEG FWE corr. p<0.05 Gyrus temporal moyen Gyrus pariétal inférieur

Reconstruction de sources Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Reconstruction de sources ★ FCRP (Feedbacks positifs 260-280 ms, N=15) z=28 x=24 z=-11 y=-58 MEG/EEG Uncorr. p<10-5 Gyrus occipital supérieur Gyrus temporal inférieur z=22 y=14 x=17 y=-8 x=38 y=-21 Gyrus frontal inférieur Aire motrice supplémentaire Gyrus précentral

Reconstruction de sources Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Reconstruction de sources ★ FRN - FCRP (Feedbacks négatifs – feedbacks positifs, 260-280 ms, N=11 i.e. sujets avec suffisamment d’essais « erreurs ») z=12 y=14 MEG/EEG Gyrus frontal inférieur Uncorr. p<10-4 z=-9 y=-60 Gyrus temporal inférieur

Reconstruction de sources Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Reconstruction de sources ★ FCRP (Feedbacks positifs 260-280 ms, N=15) MEG Uncorr. p<10-5 Gyrus occipital supérieur Gyrus occipital moyen Gyrus temporal inférieur Gyrus frontal inférieur Aire motrice supplémentaire Gyrus temporal moyen

Rostral cingulate zone (ACC) Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Literature review Donamayor et al, 2011/2012 Gambling task / Time-reaction task MEG / simultaneous EEG-MEG Reconstruction of the difference between bad and good feedbacks with LORETA Bellebaum et al, 2008 strategy task EEG Reconstruction of the difference between bad and good feedbacks with LORETA 250-315 ms 300 ms (unexp. BFB) 320 ms (exp. BFB) 230-270 ms Dorsal PCC PCC Caudal ACC Ferrez et al, 2008 Simulated BCI EEG Reconstruction of the difference between bad and good feedbacks with LORETA 250 ms Rostral cingulate zone (ACC) et pre-SMA

Dilution d’erreur : nouveau mode de flashage Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Dilution d’erreur : nouveau mode de flashage Stimulation statique aléatoire (SRS): la cible est toujours associée aux mêmes items distracteurs Stimulation dynamique aléatoire (DRS): l’assocation entre items change d’une répétition à la suivante 75% des erreurs sont dans le groupe de lettres qui contient la cible Nrep: 1 Nrep: 2 Nrep: 3 B Nrep: 1 Nrep: 2 Nrep: 3

Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Exemple simplifié : évolution du signal et des probabilités au cours du temps Lettre cible : M Simulations simplifiées : signaux aléatoires issus d’une moyenne et d’une variance choisies de manière arbitraire pour les groupes de lettres cibles et non cibles. 1st repetition 2nd repetition 3rd repetition 4th repetition 5th repetition Probabilité d’être la cible SRS DRS Somme cumulée du signal Différences plus grandes entre signaux cibles et non cibles effet moins dévastateur d’une stimulation perturbatrice Devrait permettre d’améliorer la classification

Mode de flashage : stimulation dynamique vs. statique Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Mode de flashage : stimulation dynamique vs. statique SRS DRS *** ** Nrep x stim: ** p = 0.037 r = 0.56 Stimulation dynamique (DRS) plus efficace dès 2 répétitions

Analyses hors ligne à 8-9 capteurs Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Analyses hors ligne à 8-9 capteurs Objectif : améliorer le confort des participants en réduisant la durée d’installation  utilisation clinique Choix des capteurs adapté de Cecotti et al. 2011 en réanalysant hors ligne les données de l’expérience 2 32 chan 8 chan 9 chan 2 rep 68% 44% 41% 40% 39% 56% 4 rep 84% 66% 63% 59% 57% 76%

Évaluation du nouveau classifieur Évaluation du mode adaptatif Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Pré-tests Évaluation du nouveau classifieur Évaluation du mode adaptatif Données réelles (60 lettres x 20 sujets par point) Simulations (1000 lettres par point) Adaptatif Fixe % lettres correctes Statique Dynamique

Évaluations exp3 En ligne Hors ligne Introduction Expérience 1 Discussion Évaluations exp3 En ligne Hors ligne ** * Risqué Fixe Fixe 2rep Prudent En ligne : Hors ligne : ** ** Effet de la méthode Effet motivationnel

Expérience comparant le mode standard et le mode optimisé Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience comparant le mode standard et le mode optimisé Expérience comparant le mode standard et le mode optimisé N=12 Standard Optimisé Rapide 4,6 lettres correctes/minute Perf : 62% 4,5 lettres correctes/minute Lent 3,9 lettres correctes/minute Perf : 78% 4,4 lettres correctes/minute Perf : 91% Préférences : 8% 8% 17% 67% Questionnaire (Dynamique lent vs. Fixe lent) : motivation ↗ ; contrôle de la machine ↗

Amélioration de la correction grâce aux résultats de l’expérience 3 Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Amélioration de la correction grâce aux résultats de l’expérience 3 Décision adaptative augmente la motivation  Modulation du seuil pour obtenir une motivation optimale Évaluation d’un niveau de confiance Qualité des réponses aux flashs Qualité des réponses aux feedbacks Confiance sur la lettre (entropie) Classification des réponses au feedback Décision Confiance sur le 2nd choix (distance de Kullback-Leibler) Lettre incorrecte Lettre correcte mauvaise bonne Correction par 2nd meilleur choix Lettre suivante Flashs supplémentaires

Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Kreilinger et al, 2012 Error potential detection during continuous movement of an artificial arm controlled b brain-computer interface Tâche : imagerie motrice Traitement des données : 16 électrodes Epochs : 200 ms à 400 ms Filtrage 0.5-10 Hz Classifieur : LDA 10x10 cross-validation hors ligne Nombre de sujets : 10 (-1) Nombre d’essais et résultats : ~160 essais (27% d’erreurs), Accuracy : 61.4%

Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Iturate et al, 2010 Single trial recognition of error-related potentials during observation of robot operation Tâche : Observation des mouvements d’un robot  jugement qualitatif Traitement des données : 8 électrodes : Fz, FC1, FC2, FCz, Cz , CP1, CP2 et CPz Epochs : 200 ms à 800 ms Filtrage : 0,5-10 Hz Classifieur : v-SVM with a radial basis function kernel (Ferrez&Millan, 2008) Nombre de sujets : 4 Nombre d’essais et résultats : 100 essais de chaque classe

Intérêt de l’apprentissage continue Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Intérêt de l’apprentissage continue

Effet de la taille de la fenêtre et du classifieur Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Effet de la taille de la fenêtre et du classifieur Données : BCI competition (2 sujets)

Fonctionnement xDAWN Étalonnage : maximisation de Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Fonctionnement xDAWN Puissance Signal 1 Puissance Signal 1 + Signal 2 + bruit Étalonnage : maximisation de Calcul de plusieurs filtres orthogonaux : choix du nombre de filtres optimal (5 ?) En temps-réel : xDAWN classifieur

xDAWN Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Exp 0, suj2 Exp 0, suj1 (MP) Exp 1, suj23 Exp 2, suj1 Exp 2, filtre FB, suj10 +12% Exp 3, suj11

Exemple d’une ICM : Objectif : restauration du contrôle moteur Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Exemple d’une ICM : Objectif : restauration du contrôle moteur Décodage du mouvement Interface cerveau-machine-cerveau Décodage du signal moteur Encodage de la stimulation tactile Stimulation cérébrale du cortex somatosensoriel Contrôle cérébral Exploration active Nicolelis Contrôle manuel Feedback Encodage tactile artificiel O’Doherty et al., 2011, Nature