Auto-organisation des représentations lexicales au cours de l’apprentissage de la lecture approches comportementale, électrophysiologique et neuro-computationnelle Soutenance de thèse de Stéphane Dufau Doctorat Neurosciences - Université de Provence Jury : Ludovic Ferrand Rapporteur Hervé Glotin Examinateur Jonathan Grainger Co-directeur Bernard Lété Rapporteur Claude Touzet Co-directeur Johannes Ziegler Président

Propriétés des mots lettres sons sens sons lettres sens mot écrit Introduction Propriétés des mots lettres sons mot écrit sens sons lettres mot parlé Un mot écrit, c’est une orthographe, une phonologie et un (des) sens associés. En parallèle, un mot parlé. sens

Propriétés des mots lettres sons sens sons lettres sens mot écrit Introduction Propriétés des mots lettres sons mot écrit sens sons lettres mot parlé On peut formaliser ces propriétés dans un modèle triangulaire. Modèle qui a l’avantage de simplifier une complexité (définition du mot, polysémie, phonologie qui est un moyen d’extraire les morphèmes d’un flux de parole, prosodie) On peut lire ce schéma comme deux voies d’accès au sens. mot écrit sens mot parlé Le modèle triangulaire, Seidenberg et McClelland (1989)

Les deux voies d’accès au sens Introduction Les deux voies d’accès au sens unités sémantiques mots orthographiques mots phonologiques O P unités orthographiques unités phonologiques Complexifions le modèle. Ici, on a toujours les deux voies d’accès au sens des mots. -une hiérarchie est introduite dans chaque voie (entre unités et mots) -un mécanisme de passage entre les deux voies est proposé (mécanisme de transcription ortho-phonologique) -des flèches un peu partout qui montrent que chaque module n’est pas isolé: il envoie et reçoit de l’information des modules connexes. Dans ma thèse, je me suis intéressé uniquement à la voie orthographique. mot écrit mot parlé Le modèle bimodal d’activation interactive (Grainger et Ferrand, 1994)

Objectifs de la thèse Partie 1 : expérience en EEG Objectif Introduction Objectifs de la thèse Partie 1 : expérience en EEG Objectif comprendre les mécanismes de traitement de l’information impliqués dans la reconnaissance de mots écrits Questions quelle est la nature des représentations orthographiques (lettres, groupes de lettres, mot entier)? à quel moment ces représentations sont-elles utilisées? Partie 2 : modélisation

La voie orthographique Partie 1 - EEG La voie orthographique Processus commun aux tâches de dénomination, de décision lexicale et d’identification perceptive, de catégorisation sémantique, … effectuées en laboratoire Exemple : Lorsque l’on reconnaît un mot, tous les modules présentés précédament s’activent. Ils s’activent quelque soit la tâche demandée au sujet. Ici, la catégorisation sémantique où l’on demande au sujet de répondre en appuyant sur un bouton si et seulement si le mot qu’ils ont lu fait parti d’une catégorie sémantique (catégorie moyen de transport pour ‘avion’, ou catégorie animaux pour ‘bœuf’). la catégorisation sémantique

Catégorisation sémantique en EEG (1) Partie 1 - EEG Catégorisation sémantique en EEG (1) L’EEG nous informe sur le décours temporel du traitement du mot Complexe N1/P2 (précoce) et composante N400 (plus tardive) N400 est modulée par des facteurs lexicaux (densité de voisinage, fréquence des mots) N1 N400 Haut voisinage Bas voisinage temps (ms) 100 -2 amplitude (µV) 200 La catégorisation sémantique est beaucoup utilisée au labo EEG du LPC. Lorsque l’on mesure l’activité électrique cérébrale La lecture d’un mot produit 3 composantes: N1, P2, N400 Ici, l’expérience manipuler la densité de voisins orthographiques (nombre de mots similaires orthographiquement). Ce facteur module l’amplitude de la N400. Le complexe N1/P2 searit donc relié à des étapes plus précoces du traitement orthographique. P2 Van Petten et Kutas (1991) ; Holcomb, Grainger et O’Rourke (2002)

Partie 1 - EEG Amorçage masqué Série de stimuli visuels Manipulation des relations orthographiques entre l’amorce et la cible Effet de répétition de l’amorce (traitement cognitif plus rapide et plus précis de la cible) -Pour caractériser les étapes précoces, il faut repenser la présentation des stimuli. La catégorisation sémantique simple ne suffit pas. -On introduit un autre mot (mot amorce) dont le traitement orthographique interfère avec le traitement orthographique du mot cible. Le sujet n’est pas conscient de l’identité du stimulus amorce. -On manipule les relations orthographiques entre amorce et cible. Par exemple, en mesures comportementale, la répétition de l’amorce entraine un traitement plus rapide que le traitement de deux mots différents. -La répétition de l’amorce permet de construire des expériences bien contrôlées puisque on peut manipuler « on-line » le traitement du mot cible. Procedure EEG

Amorçage masqué en EEG Complexe N1/P2, N400 + composante N250 Partie 1 - EEG Amorçage masqué en EEG Complexe N1/P2, N400 + composante N250 A quels traitements correspondent ces composantes? N1 N250 N400 Répété Non répété La collision des deux traitements produit 1 nouveaux phénomène:la N250 La lecture d’un mot cible produit 4 composantes: N1, P2, N400 et une composante intermédiare, la N250. Ici, la répétition de l’amorce semble jouer un rôle majeur sur la forme de l’onde. Ces composantes sont reliées à quels traitements? temps (ms) 100 -2 amplitude (µV) 200 P2 Grainger et Holcomb (2006)

Expérience de Chauncey et al. (2008) Partie 1 - EEG Expérience de Chauncey et al. (2008) La répétition de l’amorce recouvre beaucoup de conditions Expérience avec manipulation du facteur Police Amorce toujours en ARIAL Cible en ARIAL Cible en GIGI AMORCE CIBLE table TABLE On va découvrir les traitements associés aux composantes en faisant varier les relations ortho de l’amorce et de la cible. En fait, la répétition est un terme générique. Que l’amorce soit en lettres minuscule ou majuscule, écrite avec une grande ou une petite police, que l’amorce soit en italique ou d’une police différente, c’est toujours une répétition de mot. On peut donc manipuler la relation orthographique entre l’amorce et la cible Chauncey, Holcomb et Grainger (2008)

Résultats de Chauncey et al. (2008) Partie 1 - EEG Résultats de Chauncey et al. (2008) Résultats N/P150 est sensible à l’interaction Répétition x Police N250 et N400 sensibles à la Répétition quelque soit la Police ns ns * arial - arial Répétition x police répété *** ns Répétition *** *** *** *** non répété arial - gigi Les résultats sont clairs pour les composantes N250 et N400. Pour la N/P150, interaction critique: interaction Répétition x Police répété non répété N/P150 N250 N400 Chauncey, Holcomb et Grainger (2008)

Critique de Chauncey et al. (2008) Partie 1 - EEG Critique de Chauncey et al. (2008) Différents processus orthographiques élémentaires selon les conditions : ARIAL – GIGI suppose une projection des lettres (dépendants de la police) sur une forme canonique de lettre ARIAL – ARIAL ne met pas en jeu ce processus Cela fragilise les résultats et leur interprétation Nécessite un facteur plus robuste que le changement de Police le changement de position horizontale

Expérience en EEG (1) --table table -table- table-- Conditions Partie 1 - EEG Expérience en EEG (1) Conditions Répétition x Position horizontale Avantage du facteur position les mêmes processus orthographiques élémentaires Positions CIBLE - toujours présentée au centre AMORCE - décalée d’une lettre à gauche - décalée d’une lettre à droite - présentée au centre AMORCE CIBLE --table table -table- table-- La répétition s’opère sur des mots en tout point similaire. Seul leur présentation centrée sur l’écran est modifiée. Dufau, Grainger & Holcomb (2008)

Expérience en EEG (2) Méthode Partie 1 - EEG Expérience en EEG (2) Méthode Catégorisation sémantique avec amorçage masqué 25 participants adultes 450 mots (4 à 6 lettres, moyenne fréquence) 50 essais x 2 (Répétition) x 3 (Position) Analyse des potentiels évoqués

Résultats N/P150 table- table table -table table Partie 1 - EEG Les cartographie montrent les différences entre les conditions Relié et non Relié, (a) déplacement à gauche et (c) déplacement à droite. On voit une différence entre Relié/Nonrelié uniquement au centre. Ici, c’est bien l’intéraction Répétition x Position qui est significative sur les sites O2 et FP2 pris séparement. table- table table -table table Pas d’effet Pas d’effet Sensibilité au recouvrement des lettres

Résultats N250 et N400 table- table table -table table Partie 1 - EEG Voir le panneau B. N250 et N400. La Répétition n’interagit pas avec le facteur Position (gauche, centre et droit) Le panneau A nous donne la distribution des effets qui sont centraux et antérieurs. Sensibilité à la répétition Sensibilité à la répétition Sensibilité à la répétition

Résultats - + Répété - Non Répété Gauche Milieu Droit N/P150 N250 N400 Partie 1 - EEG Résultats Répété - Non Répété Gauche Milieu Droit N/P150 - + N250 N400 - A 150 ms, le lecteur est sensible à la position horizontale du stimulus (ainsi qu’à la police) - A 250 ms, le lecteur n’est plus sensible à la position horizontale du stimulus - La nature de la représentation orthographique entre 150 et 250 ms a donc changé Exemple: N250 sensible au degré de recouvrement entre l’amorce et la cible. N250 pas modulée qd amorce est un mot voisin, un nonmot voisin ou une répétition parfaite (N400 oui)

Interprétation T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E T A B L E TABLE Partie 1 - EEG Interprétation Position dépendant Position indépendant T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E T A B L E TABLE Lettres indépendantes entre elles Combinaisons ordonnées de lettres Mot entier Ici, un schéma de la voie orthographique encore plus précis. Coupé en 2 A gauche, de la rétine au formes des lettres A droite, le traitement continu. De la forme des lettres au mot orthographique. Ce qu’il faut retenir du schéma: 1- au fur et à mesure du traitement du stimulus visuel, les représentations successives du mot perdent leur propriétés locales pour gagner des propriétés plus gloables. 2 -les unités orthographiques sont de 2 ordres: les lettres indépendantes de la forme et dépendantes de la position, et les lettres indépendantes de la position. Etape 1: T est connu a telle position, mais n’est pas lié à ces lettres connexes. Etape 2: on associe T à ses voisins. T de TABLE et associé à A, à B, à L et à E. TA signifie T à gauche de A. TB, T à gauche de B. Donc, l’indépendance de position est formalisée par par une association de lettre qui code la position relative des lettres à l’intérieur d’un mot. 0 – 200 ms De la rétine aux lettres 200 – 400 ms Des lettres au mot Grainger et van Heuven (2003); Grainger, Rey, Dufau (2008); Rey, Dufau, Massol, Grainger (sous presse)

Partie 1 - EEG Discussion N250 est une composante décrite en 2006 qui reflète un traitement intermédiaire (position indépendant) entre les lettres isolées (position dépendantes) et le mot entier (position indépendant) A quelle manipulation la N250 est-elle sensible? Expériences avec Stéphanie Massol manipulant le recouvrement orthographique entre l’amorce et la cible Facteurs : lexicalité (mot ou nonmot) x voisinage x répétition Effet d’amorçage N250 identique sur les cibles ‘mots’ quand l’amorce est un voisin orthographique (mot ou nonmot) Effet d’amorçage N400 différent suivant la lexicalité de l’amorce  N250 est sensible au recouvrement orthographique (nb de lettres communes) La N250 reflète un processus sous-lexical et la N400 le processus lexical Mon expérience apporte N250 sensible au degré de recouvrement entre l’amorce et la cible. N250 pas modulée qd amorce est un mot voisin, un nonmot voisin ou une répétition parfaite (N400 oui) Massol, Grainger, Dufau & Holcomb (2008)

Conclusion EEG TABLE T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E # T A B L Partie 1 - EEG Conclusion EEG Ces résultats sont d’un intérêt particulier pour notre modélisation : la représentation orthographique sous-lexicale directement reliée au processus lexical est indépendante de la position absolue des lettres N400 Mot orthographique TABLE Combinaisons ordonnées de lettres indépendantes de la position T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E N250 La N250 est ortho, elle reflète la projection des lettres dans un mot sur un espace où la position est plus laxe. Détecteurs de lettres dépendants de la position # T A B L E N/P150 Traits visuels

Objectifs de la thèse Partie 1 : expérience en EEG comprendre les mécanismes de traitement de l’information impliqués dans la reconnaissance de mots écrits Questions quelle est la nature des représentations orthographiques? à quel moment ces représentations sont-elles utilisées? Partie 2 : modélisation évaluer la capacité d’un modèle à apprentissage non supervisé de représenter les mots au cours de l’apprentissage de la lecture - les combinaisons ordonnées de lettres sont-elles des unités orthographiques plausibles? - l’apprentissage implicite des formes orthographiques du modèle peut-il rendre compte des performances mesurées chez des enfants?

Modèle du lecteur expert Partie 2 - Modélisation Modèle du lecteur expert Activation interactive utilisé dans l’établissement d’une représentation lexicale chez le lecteur expert : - les entrées sont des traits visuels qui activent des lettres - compétition lexicale (l’entrée TABLE active le mot TABLE et les mots voisins orthographiquement comme SABLE et CABLE) - niveau d’activation au repos des mots (les mots fréquents ont un niveau de repos plus élevé que ceux de plus basse fréquence) TABLE Mot Activation interactive. C’est le modèle que l’on utilisera ultérieurement. On va le modifer. Il associe les lettres aux mots orthographiques pour établir une représentation stable du représentant lexical de l’entrée orthographique. Les deux propriété de IA Lettres Position absolue T A B L E McClelland & Rumelhart (1981) Traits visuels

Modèle du lecteur expert Partie 2 - Modélisation Modèle du lecteur expert Activation interactive – Exemple du mot BLUR Typiquement, les courbes d’activation des lettres composant le mot et les courbes d’activation de BLUR et des mots voisins. On voit ici la compétition lexicale qui s’établit. BLUE est plus fréquent que BLUR, BLUE s’active puis BLUE est inhibé.

Modèle du lecteur expert Partie 2 - Modélisation Modèle du lecteur expert mécanisme de lecture du produit de l’activation par seuil hard harm harp have a…h…z a…z a…r…z a…p…z MROM introduit des critères de réponse pour déterminer TR et pourcentage d’erreur. Ici figure le seuil M. Quand HARP dépasse ce seuil (0.65), on mesure le le nombre de cycle nécessaire, et on considère ce nombre comme équivalent d’un temps de réaction. Ce que l’on souhaite. harp

Modèle actuel du lecteur expert Partie 2 - Modélisation Modèle actuel du lecteur expert Activation interactive - propose une explication aux phénomènes lexicaux de fréquence et de voisinage orthographique - modèle sans apprentissage - les poids de connexions entre lettres et mots sont fixes - implémentation ad-hoc de la fréquence - les entrées du modèle sont des lettres (position absolue) La fréquence est utilisée à priori. Pour être un modèle d’apprentissage, IA doit faire intervenir un mecanisme d’apprentissage qui établit lui-même sa loi de fréquence en fonction de la fréquence des mots qu’on donne à traiter au modèle.

Modifications proposées Partie 2 - Modélisation Modifications proposées Les entrées du modèle sont des combinaisons ordonnées de lettres indépendantes de la position Utilisation d’un apprentissage modifiant les poids de connexions entre les lettres et les mots Apprentissage d’un corpus réaliste Apprentissage implicite (vs. explicite; pas de connaissance a priori des mots) modèle du lecteur expert (une évaluation à la fin de l’apprentissage sur des données comportementales adultes) modèle de l’apprenti-lecteur (multiples évaluations au cours de l’apprentissage sur des données enfants du CP au CM2) Améliorer la plausibilité du modèle

Partie 2 - Modélisation Entrées du modèle Les entrées du modèle sont des combinaisons ordonnées de lettres: bigrammes ouverts Par exemple, le mot CHUT = (CH, CU, CT, HU, HT, UT) Attribution d’une valeur numérique en fonction de la position des lettres C H U T .7 .5 .5 .6 C H U T Les entrées du modèles. CH CU CT HU HT UT .6 .6 .65 .5 .55 .55 Grainger & van Heuven (2003)

Base d’apprentissage MANULEX Partie 2 - Modélisation Base d’apprentissage MANULEX - 54 manuels scolaires (2 millions de mots) du CP au CM2 - la fréquence des mots par niveau scolaire - l’ordre d’apparition des mots du CP au CM2 - permet de réaliser des expérimentations sur un matériel linguistique contrôlé Construction de corpus réaliste - une liste de mots pour chaque niveau d’études (CP au CM2) respectant la variation des fréquences d’occurrence entre les niveaux La base d’apprentissage de la CA. Lété et al. (2004)

Apprentissage implicite : carte auto-organisatrice Partie 2 - Modélisation Apprentissage implicite : carte auto-organisatrice Espace des sorties chair chut agir nylon Organisation des mots en fonction de leurs propriétés (fréquence, voisinage, âge d’acquisition) Processus d’apprentissage a g i r - -c h u t- -c h a i r- -n y l o n- Bigrammes des mots présentés un à un On ne peut pas modéliser toutes les étapes, nécessite un travail incrémental (nesting modeling) Je me suis concentré sur les étapes décrites par le modèle d’activation interactive A savoir un espace d’entrée des lettres, et un espace de sortie des mots Les propriétés de fréquence, de voisinage, d’age d’acquisition Espace des entrées

Représentation du lexique orthographique Partie 2 - Modélisation Représentation du lexique orthographique La carte auto-organisatrice - respecte la topologie de l’espace d’entrée (voisinage) - respecte la fréquence d’apparition des mots (fréquence lexicale) - respecte l’ordre d’apparition des mots (âge d’acquisition) La construction de la carte est incrémentale. Au début, seul les neurones centraux sont utilisés. Puis, chaque neurone se spécialise et les mots s’étendent sur la carte.

Architecture et algorithme Partie 2 - Modélisation Architecture et algorithme Conditions initiales Les unités sont interconnectées. Les poids de connexions sont randomisés. Présentation d’un mot Un mot codé par un vecteur de 1681 valeurs (bigrammes) se projette sur un espace de 200 x 200 unités. Une unité de la carte est déclarée gagnante (meilleure représentante du mot). Ses poids associés sont mis à jour en fonction de la valeur des bigrammes en entrée. Les poids des unités voisines sont également mises à jour. AA AB AC AD … ZZ L’architecture de la carte auto-organisatrice. Kohonen (1982)

Simulation 120 cartes auto-organisatrices (24 par niveau d’études) Partie 2 - Modélisation Simulation 120 cartes auto-organisatrices (24 par niveau d’études) Les poids de connexion de chaque carte sont utilisés dans un réseau d’activation interactive Une mesure de performance (temps de réaction et pourcentage d’erreur) est réalisée sur 56 mots 14 HF & HV 14 HF & BV 14 BF & HV 14 BF & BV Ces résultats sont comparés à ceux mesurés dans une tâche de décision lexicale chez l’enfant (Bernard Lété) Les simulations Dufau et al. (soumis); Lété et al. (en préparation)

Résultats sur les temps de réaction Partie 2 - Modélisation Résultats sur les temps de réaction Effet des facteurs - Niveau d’études - Fréquence Interaction - Niveau d’études x Fréquence Pas d’effet ni interaction

Résultats sur les erreurs Partie 2 - Modélisation Résultats sur les erreurs Effet des facteurs - Niveau d’études - Fréquence Interaction - Niveau d’études x Fréquence Pas d’effet ni interaction

Contribution de la carte auto-organisatrice Partie 2 - Modélisation Contribution de la carte auto-organisatrice Comparaison de modèles modèle d’activation interactive avec lettre modèle d’activation interactive avec bigramme modèle d’activation interactive avec bigramme + poids de connexions Mesure de corrélation ( 56 items x 5 niveaux = 280 points de mesure vs. TR enfants) AI lettres AI bigrammes CA+AI FREQ TR Erreur 0.13 (0.02) 0.23 (<0.001) 0.40 0.47 On a souhaité comparé avec d’autre modèle pour établir la contribution exacte de la CA.

Partie 2 - Modélisation Conclusion Les performances du modèle CA+AI sont dues à une certaine plausibilité Choix des bigrammes ouverts comme entrées du modèle. La carte auto-organisatrice est un modèle d’apprentissage implicite uniquement guidé par les entrées. Choix d’une base d’apprentissage réaliste. Ce modèle nous renseigne sur l’émergence chez le lecteur des effets de fréquence et de voisinage orthographique qui peuvent découler d’un apprentissage implicite

Partie 2 - Modélisation Mise en perspective Le modèle CA+AI n’est représentatif que d’une partie des processus de la reconnaissance des mots écrits Il existe d’autres modèles implémentés, incluant la voie phonologique PDP: modèle à apprentissage par retro-propagation d’erreur (peu à même de représenter un apprentissage implicite) CDP+: modèle le plus abouti, sans apprentissage, utilise AI classique comme module orthographique Intégration de CDP+ et CA+AI à différentes étapes d’apprentissage : modèle développemental à la fin de l’apprentissage : meilleure performance que AI classique?

Résumé Nous avons vu que Conclusion Résumé Nous avons vu que - la technique d’amorçage masqué en EEG permet de mettre en lumière les différentes représentations des mots au cours du temps - un modèle implémentant un apprentissage implicite des formes orthographiques est à même de simuler les performances mesurées chez les enfants - l’effet de fréquence chez l’enfant est présent dès la fin du CP

Conclusion Articles EEG - Dufau, S., Grainger, J., & Holcomb, P.J. (2008). Cognitive, Affective and Behavioral Neuroscience. Massol, S., Grainger, J., Dufau, S., Holcomb, P. (en révision). Journal of Experimental Psychology: Human, Perception and Performance. Rey, A., Dufau, S., Massol, S. & Grainger, J. (sous presse). Cognitive Neuropsychology. Articles modélisation - Dufau, S., Lété, B., Touzet, C., Glotin, H., Ziegler, J.C., Grainger, J. (soumis). European Journal of Cognitive Psychology. Projet ANR porté par Jonathan Grainger. - Grainger, J., Rey, A., & Dufau, S. (2008). Trends in Cognitive Sciences. Conférences ESCOP 2007, NEUROCOMP 2008, NEUROCOMP 2006, EDSVS 2005, LECA 2005 Chapitre Dufau, S., Touzet, C., & Grainger, J. (2006). Lisibilité des mots sur le Web : ce que nous apprend la modélisation de la reconnaissance orthographique.

Approche comportementale Décision lexicale

Modèles implémentés (4) Modèle triangulaire utilisé dans l’établissement des liens ortho-phonologiques - les entrées orthographiques sont des ensemble de 3 lettres contigües - les informations sont représentés de façon distribuée (pattern d’activation) - algorithme d’apprentissage qui permet, à la fin de l’apprentissage, de catégoriser les entrées en fonction de leur régularité statistique (effet de fréquence, lexicalité, consistance) unités sémantiques Un apprentissage de ce type a été implémenté dans le modèle triangulaire (implémenté sur ordinateur). Mais Autre critique du modèle: trop généraliste pour être représentatif de la finesse des traitements orthographique abordés plus tôt dans cette présentation. Il est surtout développé pour la prononciation des mots. mots phonologiques mots orthographiques Seidenberg & McClelland (1989)

Catégorisation sémantique en EEG (2) Partie 1 - EEG Catégorisation sémantique en EEG (2) Liaison EEG / modèle N400 T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E TABLE Lettres indépendantes de la forme Lettres indépendantes de la position Mot orthographique Si l’on revient au modèle de la voie orthographique, le complexe N1/P2correspondrait aux traitement des lettres et la N400 au traitement du mot orthographique. La N400 est facile à produire, par simple exposition au mot. La N400 est connue, mais les activités précoces le sont moins. N1 et P2? Comment étudier ces composantes précoces? N1/P2 # T A B L E Traits visuels

Résultats N250 et N400 Partie 1 - EEG Voir le panneau B. N250 et N400. La Répétition n’interagit pas avec le facteur Position (gauche, centre et droit) Le panneau A nous donne la distribution des effets qui sont centraux et antérieurs.