Ce document regroupe les transparents présentés lors du cours de janvier 2009. Du fait notamment de votre participation, dont je vous remercie vraiment, mais également d’un manque de contrôle de ma part il y a certaine parties que je n’ai pas pu vous présenter. Elles sont présentes ici sous forme de transparents de rajout. Ces transparents ne font donc pas partie du cours en tant que tel, mais leur lecture pourrait vous permettre d’avoir un éclairage supplémentaire sur celui-ci. A l’adresse : http://web.upmf-grenoble.fr/LPNC/LpncPerso/Permanents/SRousset/NP2009/ Vous trouverez un certain nombre d’articles reliés au cours, l’article de Rousset 2000, date très certainement, mais pourrait encore constituer un complément utile à lire. Les autres sont présents pour vos intérêts annexes les plus débridés… (voir également Versace et Al (2008). The contents of long-term memory and the emergenceof knowledge. European Journal of Cognitive Psychology. que je ne peux pas vous transmettre en pdf…)

Conceptions unitaires et non-abstractive de la mémoire Stéphane Rousset- LPNC Grenoble But : Présenter les conceptions Non Abstractive de la mémoire Structure des modèle Abstractifs (représentationnels) Présentation des modèles multi-traces et de l'utilisation non-abstractive de l'outil connexionniste En transversal : Redéfinition de la mémorisation Interroger la notion de stock mnésiques multiples (Sans pour autant nier l'existence de comportements distincts)     

Les deux sens de représentation Au sens faible : Correspondance régulière entre l’état physique (neurones ou groupes de neurones) d’un système en fonctionnement et les événements qu’il traite. Au sens fort : Structure physique (neurones ou groupes de neurones) d’un système qui correspond de manière permanente à un élément du monde extérieur. Représentation au sens fort : Human being behave by virtue of knowledge Knowledge is constituted of mental representation Behaviour is executed via manipulation of these representation Sens fort /faibe Benny Shanon

Deux Conceptions de la Mémoire Abstractive : la mémoire est un stock de représentations  Créer les représentations (Encodage) Les placer en mémoire (Stockage) Pouvoir les atteindre (Récupération)  

Modèle classique consensuel

Tulving & mémoire Épisodique Deux approches Conceptuelle / Tulving (83)  Tulving (02) Capacité à voyager (espace/temps) dans son passé (self) Indéniable et de toute évidence un phénomène à expliquer Introspection L'amnésie existe ! Théorique-modélisation / Tulving (83)Tulving (95)  Modèle GAPS (1983) Un système distinct avec un mécanisme spécifique Notion de trace épisodique / ecphorie synergetique Modèle SPI (1995) … Apogée de l'approche structurale Prise en compte des processus (1995… 2001…2006) Influence de l'imagerie (HERA …). Nouvelle approche théorique ( ?)

Métaphore spatiale et systèmes multiples Al’origine  une considération sur les niveaux de complexité et de conscience anoëtique noëtique  autonoëtique Évolution  une conception en stocks mnésiques différents et enchâssés [procédurale, sémantique, épisodique]]]

il existe 3 systèmes distincts mais emboîtés TULVING (1972) il existe 3 systèmes distincts mais emboîtés * La Mémoire Procédurale * La Mémoire Sémantique agnosie * La Mémoire Episodique amnésie ME MS MP

Métaphore spatiale et systèmes multiples Al’origine  une considération sur les niveaux de complexité et de conscience anoëtique noëtique  autonoëtique Évolution  une conception en stocks mnésiques différents et enchâssés [procédurale, sémantique, épisodique]]] ymbolique comme seule constitutive du sens : Si un épisode a du sens, il ne peut être constitué que d’un assemblage de composantes sémantiques élémentaires (représentation symbolique) « Encoding of information into the episodic system is contingent upon succesfull processing of information through the semantic system »

Exemple Mémoire Episodique Squire & Alvarez (95), Mc Clelland & Al. (95), Murre (96), Nadel & Moscowitch (97)… Variation autour d'un même thème… 1) Une trace épisodique est apprise très rapidement 2) Les traces épisodique servent ensuite de professeur interne pour le système cortical ('sémantique') afin qu'il apprenne lentement la structure de cooccurrence des différents éléments dans les épisodes vécus par le sujet  Création d'une sémantique E.G. Bière…. Louvain….Plaisir Bière…. Bruxelle….Plaisir Bière….Grenoble…Plaisir

Schéma Global…

…/Episodic Attributes Nadel & Moscowitch (1997)… External episode NEOCORTICALS MODULES Semantic Features HIPPOCAMPAL COMPLEX …/Episodic Attributes

Perception d'un épisode A HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) Début de liaisons entre traits sémantiques ( )  embryon de création de l’organisation sémantique

Perception d'un épisode B NEOCORTICALS MODULES HIPPOCAMPAL COMPLEX Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) Renforcement ( ) et début de liaisons entre traits sémantiques )  vers la création de l’organisation sémantique

Re-évocation de l'épisode A HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES Pour tous les modèles : renforcement de la sémantique

Révocation de l'épisode A NEOCORTICALS MODULES HIPPOCAMPAL COMPLEX Pour tous les modèles : Consolidation de l'épisode au niveau cortical ( corollairement renforcement de la sémantique) Pour Nadel & Moscowitch Création d'une nouvelle trace Episodique

 Modèles fondés sur des unités de sens Abstractifs SYNOPSIS : UNE QUESTION DE SENS Modèles fondés sur des unités de sens Abstractifs La mémoire sémantique est un ensemble organisé de représentations (nécessairement abstraites) La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode    Perception Pré-taitementss perceptifs  Construction de codes abstraits (PRS- systèmes de représentation perceptive)  MS Représentations sémantiques Actualisation  ME Enregistrement des sens co-activés  Construction & Récupération

Deux Conceptions de la Mémoire Abstractive : la mémoire est un stock de représentations  Créer les représentations (Encodage) Les placer en mémoire (Stockage) Pouvoir les atteindre (Récupération)   Non Abstractive : La mémoire est la capacité à re-créer des expériences passées  Trouver un système qui puisse assurer cette re-création après avoir été confronté à des exemples d’apprentissage Les systèmes multi-traces ainsi qu’une certaine utilisation de l outil connexionniste permetent d implémenter ce fonctionnement   Trouver une des configurations d'efficience «synaptique » qui permet de réaliser la fonction de re-création correspondant aux exemples appris

‘’filtrages perceptifs’’ Couche(s) periphérique Schéma de principe Les contenus mnésique sont périphériques et transitoires ‘Recréer la perception’ ‘’filtrages perceptifs’’ Rétine Couche(s) periphérique Autres modalités Boucle Corticale Le but du traitement est qu’en couche périphérique, la sortie des filtrages perceptifs soit égale au retour de la boucle corticale :  Auto-association par adaptation des connexions corticales Précablés, totalement indépendants de tout processus d’abstraction (e.g., séparation fréquentielle, séparation couleurs)

Quelques conceptions de références … Modèle neurologique : -e.g. Damasio, A.R. (1989) Time-locked multiregional retroactivation: a systems-level proposal for the neural substrates of recall and recognition. Cognition, Nov;33(1-2):25-62. Cognition incarnée : -e.g. Barsalou, L.W. (2008). Grounded cognition. Annual Review of Psychology, 59, 617-645. Formalisation des Mécanismes: Réseaux de Neurones Parallèles et Distribués Hintzman, D. L. (1984). MINERVA 2: A simulation model of human memory. Behavior Research Methods, Instruments & Computers. Vol 16(2).

Un modèle multi-traces : Minerva II (Hintznan 84) La MEMOIRE est un ensemble de traces épisodiques stockées  Enregistrement à chaque instant des stimulations primaires dans toutes les modalités  Aucune abstraction à l’encodage – apprentissage définit Aucune organisation : uniquement colonne d’états de ‘capteurs’ Couche(s) periphérique Boucle Corticale ‘’filtrages perceptifs’’ Rétine

Couche(s) periphérique ‘’filtrages perceptifs’’ Boucle Corticale ‘’filtrages perceptifs’’ Rétine

Couche(s) periphérique ‘’filtrages perceptifs’’ Boucle Corticale ‘’filtrages perceptifs’’ Rétine

Couche(s) periphérique ‘’filtrages perceptifs’’ Boucle Corticale ‘’filtrages perceptifs’’ Rétine

Un modèle multi-traces : Minerva II (Hintznan 84) L’état actuel dans l ensemble des modalités (i.e. valeurs d’activation/inhibition des cellules) constitue une SONDE avant d être stockée Calcul en deux étapes : I : Activation des traces en fonction de leurs similarités à la sonde  En parallèle pour chaque trace i

Un modèle multi-traces : Minerva II (Hintznan 84) L’état actuel dans l’ensemble des modalités (i.e. valeurs d activation/inhibition des cellules) constitue une SONDE avant d être stockée Calcul en deux étapes : I : Activation des traces en fonction de leurs similarités à la sonde II : Détermination de l’ECHO comme moyenne de toute les traces pondérées par leurs activations  Un coefficient acc fort permet d augmenter la contribution des traces les plus activées En parallèle pour chaque trace i   En parallèle pour chaque composante j de l’écho

Approche (très) intuitive des propriétés des modèles multi-traces ….. Fourchette/Assiette/Salade…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde  Attention : Ces propriétés ne prennent sens que pour des stimulations élémentaires issues des différentes modalités

Approche (très) intuitive des propriétés des modèles multi-traces ….. Fourchette/Assiette/Salade…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde  Attention : Ces propriétés ne prennent sens que pour des stimulations élémentaires issues des différentes modalités

Approche (très) intuitive des propriétés des modèles multi-traces ….. Fourchette/Assiette/Salade…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde  Attention : Ces propriétés ne prennent sens que pour des stimulations élémentaires issues des différentes modalités

Un modèle multi-traces : Minerva II (Hintznan 84) L’état actuel dans l ensemble des modalités (i.e. valeurs d activation/inhibition des cellules) constitue une SONDE avant d être stockée Calcul en deux étapes : I : Activation des traces en fonction de leurs similarités à la sonde II : Détermination de l’ECHO comme moyenne de toute les traces pondérées par leurs activations  Un coefficient acc fort permet d augmenter la contribution des traces les plus activées En parallèle pour chaque trace i   En parallèle pour chaque composante j de l’écho

Rajout : Le rôle de l’accélération (1) Le coefficient d’accélération permet d’augmenter, dans l’écho, la contribution des traces les plus activées (donc les plus semblables à la sonde) au dépend des traces les moins activées. Il s’agit d’un coefficient global, à un moment donné le calcul s’effectue pour toutes les traces avec un même niveau d’accélération. Acc=1 Acc=3 Trace 1 0.25 0.016 Trace 2 0.50 0.125 Exemple : la trace 2 qui est deux fois plus activée que la trace 1 contribuera 8 fois plus à l’écho que la trace 1 si l’accélération est égale à 3 (au lieu de 2 fois plus si l’accélération reste à 1) Le coefficient d’accélération peut être vus comme un paramètre d’attention concentration global : - Lorsqu’il a une valeur forte (e.g. 15) il permet de favoriser fortement les traces très ressemblantes à la sonde. Pour ces valeurs fortes il favorise donc l’émergence dans l’écho d’un souvenir épisodique principalement déterminé par quelques, voire une, traces

Rajout : Le rôle de l’accélération (2) Lorsqu’il a une valeur faible (e.g 3) L’ensemble des traces ressemblant quelque peu à la sonde participent pleinement à l’écho, il favorise donc l’émergence de connaissances sémantiques En résumé l’accélération est un paramètre global (nombre impair positif pour garder le signe de l’activation) qui permet de favoriser soit des évocations sémantiques soit des évocations épisodiques à partir d’un même système. En plus du rôle des indices de récupérations (transparent suivant) il permet de montrer qu’un même système peut produire les deux types de mémoire Note pour ceux qui ont suivit l’option neuromimetique : Avec une accélération de 1, le système Minerva II produit strictement les mêmes comportements qu’un auto-associateur fonctionnant avec une règle d’apprentissage Hebbienne. Cependant à ma connaissance il n’existe pas actuellement de moyen d’implémenter l’accélération dans un réseau Hebbien. Avec une accélération de 1 le modèle Minerva II possède donc les mêmes limites que celles que nous avons mises en avant pour les réseaux hebbien.

Approche (très) intuitive des propriétés des modèles multi-traces ….. Fourchette/Assiette/Salade…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/../Faim…. ….. Fourchette/ Ecran /../Peur…. ….. Fourchette/ Ecran …………… ….. ???????????/???????/../???….. Echo Mem Sonde  Attention : Ces propriétés ne prennent sens que pour des stimulations élémentaires issues des différentes modalités

Echo Episode courant Echo Episode courant Évocation de propriétés générales/ évocation d’épisode : rôle de la situation de récupération 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/salon…. 5) ….. Chien /aboie . /.patée./montagne. 6) ....Canari./.chante /graine./cuisine….. ………..Chien / ……… …………… ….. Chien /aboie…/.os./…. Echo Mémoire Episode courant 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée /cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os….../salon…. 5) ….. Chien /aboie . /.patée./montagne 6) ....Canari./.chante /graine./cuisine….. ………..Chien / ……… /………/rue ….. Chien /pleure…/.os./rue…. Echo Mémoire Episode courant Ici l’indice de récupération est similaire à l’ensemble des cinq traces. L’écho contient donc les propriétés générales correspondant à l’indice de récupération . Le fonctionnement favorise ici l'évocation du sens du stimulus. Ici l’épisode courant contient deux indices spécifiquement associés dans une trace. L’activation relative de cette trace étant alors plus forte, l’écho reflétera préférentiellement son contenu. Le fonctionnement favorise ici l'évocation d'un épisode particulier.

Synthèse des propriétés modèles multi-traces Synthèse des propriétés Rendent compte du rappel et de la familiarité (somme des activations ou comparaison sonde/écho) donc également de la reconnaissance d’occurrence. Proposent une sémantique - Flexible en fonction des indices de récupérations - Déterminée en ligne, à la récupération, par l’ensemble des expériences passées. La spécificité des indices de récupérations et la valeur d’accélération déterminent des évocations génériques (sémantiques) ou liées principalement à quelques traces (épisodiques)

 modèles multi-traces et réinjections Limites du fonctionnement feed-forward (1) La sonde calculée est généralement mal définie (trop prototypique) surtout pour des mémoire de grande taille. [permettrait, de fait, que des identifications très catégorielle] (2) Le fonctionnement cognitif est complètement déterminé par la stimulation actuelle.. Pour (1) il est possible de jouer sur l’accélération mais …. L évocation est restreinte aux traces contenant l’indice et « la connaissance évoquée à partir du mot prononcés Catherine Deneuve peut elle être restreinte aux quelques traces correspondant aux instants ou nous avons entendu le son Catherine Deneuve  ?» L’écho peut devenir une sonde car il est de même format (REINJECTION) Alors pour l’exemple : 1er écho ébauche d’évocations de la forme du visage, de la forme écrite du nom, de la voix etc Ces indices, une fois réinjectés, permettrons progressivement d’activer les traces qui permettent d’évoquer, au fil des réinjections, le sens de la personne.     

Rôle des réinjections dans l’évocation des propriétés générales 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/niche…. 5) ….. Chien /aboie . /.patée./montagne. 6) ..Canari./.chante /graine./cuisine….. …………….. / ………/os …/niche…… ….. Chien /….…/.os./niche Echo Mémoire Episode réinjecté 1) .. Chien /aboie…./.os….../jardin…. 2) .. Chien /aboie…./.patée/cuisine…. 3).. Chien / pleure /.os……/rue…. 4) .. ……. /………../.os……/niche…. 5) .. Chien /aboie . /.patée./montagne 6) ..Canari./.chante /graine./cuisine….. ……………/ ………/ …………/niche… ….. …….…/……….. / os…../niche. Echo Mémoire Episode courant Evocation initiale : l’indice de récupération permet la récupération d’éléments associés dans les traces le contenant. La réinjection de cet écho permet d’obtenir une évocation qui reflète la structure de la connaissance correspondant à l’ensemble des traces présentes en mémoire Dans un modèle muti-traces doté de réinjections, les évocations ne sont pas un simple résumé statistique des traces contenant l’indice de récupération. Ces réinjections permettent au système mnésique d’être sensible à la structure sous jacente à l’ensemble des traces stockées en mémoire. La structure sémantique n’est pas stockée en mémoire, mais est recrée, lors de la récupération et en fonction des indices fournis.

Exemple avec le cas E.C. (Charnallet, 93; Carbonnel et col, 97) Rajout : Organisation sémantique et modèles multi-traces indices neuropsychologiques (1) Exemple avec le cas E.C. (Charnallet, 93; Carbonnel et col, 97) Agnosie visuelle massive et aucune image mentale, sans trouble perceptifs, et déficit catégorie spécifique à partir d'une entrée verbale : A fréquence contrôlée, à partir d’une entrée verbale le patient ne peut donner que des informations très parcellaires sur les animaux alors que sa connaissance des objets est relativement préservée. Interprétation abstractive : - Perte du stock visuel (explique l’agnosie visuelle) - Preuve de l'organisation catégorielle en mémoire sémantique . Comme les connaissances sémantiques peuvent être touchées spécifiquement pour les animaux c’est donc que le stock sémantique est organisé (puisque l’on peut léser spécifiquement la partie correspondant au représentations sémantiques des animaux) . -> Lésion des représentations visuelles stockées et d’une sous partie spécifique du stock sémantique correspondant aux animaux But : Montrer qu’un même déficit peut être vus de manières totalement différentes suivant le modèle de référence

Exemple avec le cas E.C. (Charnallet, 93; Carbonnel et col, 97) Rajout : Organisation sémantique et modèles multi-traces indices neuropsychologiques (2) Exemple avec le cas E.C. (Charnallet, 93; Carbonnel et col, 97) Agnosie visuelle massive et aucune image mentale, sans trouble perceptifs, et déficit catégorie spécifique à partir d'une entrée verbale : A fréquence contrôlée, à partir d’une entrée verbale le patient ne peut donner que des informations très parcellaires sur les animaux alors que sa connaissance des objets est relativement préservée. Interprétation non abstractive : Prise en compte du fait que nos épisodes de rencontre avec les animaux ont quasiment toujours principalement une composant visuelle (aux exception prés, par exemple pour les cavaliers..) alors que pour les objets il existe également une composante liée au geste. Dans un système non lésé : Pour les animaux, à partir du nom, la sonde vas être similaire avec les quelques traces contenant le nom, donc dans l’écho nous retrouverons les quelques propriétés communes à ces quelques trace. Mais une de ces propriétés sera l’ébauche de la forme visuelle, lors des réinjections cette ébauche vas permettre d’activer toutes les traces contenant la forme visuelle de l’animal. Elle permettra donc d’obtenir, à l’issu des réinjections, les propriétés communes à tous nos épisodes de rencontre avec cet animal. Pour les objets c’est exactement le même processus, à la différence prés que nombre de traces contiennent également des indices liés au geste. Donc, lors des reinjections, la similarité se jouera à la fois sur les composantes visuelles évoquées lors de la première injection mais également sur ces composantes proprioceptives évoquées. Participerons donc à l’écho l’ensemble des traces comportant ces composantes proprioceptives et visuelles.

Rajout : Organisation sémantique et modèles multi-traces indices neuropsychologiques (3) Si on lèse les enregistrements des valeurs correspondant aux capteurs visuels dans les traces mnésiques : - A partir de la sonde aucune similarité ne peu plus se jouer sur les composantes visuelles : Donc à partir d’une entrée visuelle il ne peux plus y avoir d’évocation sémantique quel que soit le stimulus (animal ou objet) -> agnosie visuelle massive - A partir d’informations verbales, l’écho ne contiendra pas de forme visuelle Donc pour les animaux les évocations resterons restreintes aux informations présentes dans les traces contenant le mot (peux de traces, connaissance plutôt encyclopédiques) même après réinjections. Pour les objets en revanches la réinjection des composantes correspondants au geste permettra d’activer un grand nombre de traces -> déficit catégorie spécifique sur entrée verbale sans pour autant qu’il existe une organisation d’un stock sémantique en catégories. -> Ici une seule lésion est responsable des deux déficits. -> L’interprétation permet de rendre compte des exceptions (e.g. connaissance préservée sur le lapin… mais en tant que plat). Conclusion : Cet exemple est destiné à vous montrer que le modèle de référence à des conséquences importantes sur le type d’explication donné et ce que l’on vas ensuite rechercher au niveau anatomique ou lors de l’exploration neuropsychologique. Le but ici n’est pas de prétendre, dans le cas de cet exemple, qu’un type de modèle est meilleur que l’autre mais juste de donner une idée des enjeux. Ceux qui sont intéressés par cet exemple en tant que tel trouverons l’article de base en bibliographie (Carbonnel et col, 1997).