Démarche du psychologue …

Présentation au sujet: "Démarche du psychologue …"— Transcription de la présentation:

1

2 Démarche du psychologue …
Événement 1 : (P)hénomène à expliquer Rappel sériel à court terme Évènement 2 : (S)péculation ou qui donne sens à P « Ruban magnétique et tête de lecture en mémoire de type prononciation »  Évènement 3 : (I)mplication qui doit être vraie Moindre capacité pour les si S est vraie mots longs à prononcer Évènement 4 : Les données sont-elles congruentes La moyenne de rappel de 10 listes avec I ? composées de mots longs à prononcer est plus basse que ..

3 Démarche du psychologue Mais que fait donc le Psychologue ?
SI (Spéculation) ALORS (Implication) !!!!! Le fait que l'implication soit vérifiée ne signifie en rien que la spéculation soit vraie ! La seule conclusion logiquement valide est que la spéculation n'est pas valide quand on démontre que l'implication n'est pas vérifiée Une démarche scientifique fondée exclusivement sur la falsification simple peut s'avérer plutôt perturbante et impossible à tenir au jour le jour.

4 Une solution : la comparaison de modèles
Pour s'en sortir on peut avoir recours au concept de validité relative. Si dans un test où, toutes choses étant égales par ailleurs, un résultats est prédit par un modèle A alors que le modèle B ne prédit aucun effet (ou l'effet inverse) alors on peut conclure que le modèle A est "plus valide" que le modèle B. Conclusion : Les hypothèses doivent toujours s'effectuer dans le cadre d'une comparaison de modèles, et le rôle de la méthodologie experimentale est de s'assurer du "toute choses étant égales par ailleurs".

5 Schèma synthetique Démarche du psychologue 2ème partie
Mais que fait donc le Psychologue ? Schèma synthetique Spéculation X Spéculation Y FACTEURS Phénomène P A B C D -P A B C D FACTEURS Phénomène P A B C D -P A -B C D

6 Une solution : la comparaison de modèles
Mais pas une panacée Attention cependant, le test réellement effectué est toujours: SI (Spéculation*Spéculations Annexes ) ALORS (Implication) Donc, si par la méthodologie on s'assure du "toute chose étant égale par ailleurs", on fixe également les conditions d'observation (facteurs contrôlés). Des spéculations annexes nous font croire que les facteurs que l'on contrôle ne sont théoriquement pas déterminants pour nos tests ou qu'il est inutile d'en contrôler certains. Ce n'est peut être pas le cas….

7 Relation Théorie-modèle-Simulation La place du psychologue
Théorie computationelle (But, logique de la stratégie) ! Expérimentation Niveau algorithmique ? Implémentation Marr (82) : Les trois niveaux auxquels les machines traitant de l'information doivent être comprises Roediger, H. L. (1980). Memory metaphors in cognitive psychology. Memory and Cognition, 8(3), Pour la mémoire Dominance de la métaphore spatiale et symbolique (e.g. Roediger III,1980))

8 trois manifestations de la mémoire :
Doit on prendre les trois manifestations de la mémoire : * Mémoire des apprentissages passés qui modifie notre comportement (sans que l'on ait besoin de prendre conscience de ces événements passés) * Mémoire du sens des choses et des relations entre les choses (sémantique, ‘ memoria ’,  ’catégorielle ’) * Mémoire des événements vécus (souvenir, ‘ remenberance ’, ’temporelle ’ ) comme preuve de l'existence de 3 systèmes mnésiques différents ?

9 Les deux sens de représentation
Au sens faible : Correspondance regulière entre l’état physique (neurones ou groupes de neurones) d’un système en fonctionnement et les événements qu’il traite. Au sens fort : Structure physique (neurones ou groupes de neurones) d’un système qui correspond de manière permanente à un élément du monde extérieur. Représentation au sens fort : Human being behave by virtue of knowledge Knowledge is constituted of mental representation Behaviour is executed via manipulation of these representation Sens fort /faibe Benny Shanon

10 Représentation au sens fort Conséquences
Pour être utile, la représentation doit être accessible en dépit des variations du signal d’une rencontre à l’autre. C’est donc un élément discret abstrait des caractéristiques idiosyncratiques de présentation Il existerait une représentation structurale visuelle qui correspondrait aux invariants. Défit majeur : La notion d’invariant a un sens a posteriori ; en faire la structure centrale nécessite de concevoir un système perceptif ‘particulièrement intelligent’ Difficulté du pari …. comment intégrer l’apprentissage de nouveaux stimuli dans les modèles abstractifs.

11 Modèle classique consensuel

12 Modèles computationnels : ‘Vision’ (structurale) de Marr (1982)
Représentation 3 D Extraction des axes d’élongation/symétrie de l’objet Structuration des surfaces en objet perceptif en utilisant les axes de l’objet comme référentiel spatial Représentation structurale objet-centrée. Cette représentation est confrontée aux représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement. Représentation 2.5 D Extraction des surfaces: forme, position Extraction centrée sur l’observateur Extraction non organisée en structure Représentation 2 D (Esquisse primaire) Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..) Groupements perceptifs (textures, contours)

13 Biederman (1985) Object Recognition (prototype level)
4 4) Appariemment avec des objets stockés en mémoire Object Recognition (prototype level) 3) Assemblage des composantes volumétriques en objet Matching of Components to Object Representations 1 4 Determination of Components 3 2 Jonctions de type Y (avec courbures) Jonctions internes de type Y Detection of Nonaccidental Properties Parsing of Regions of Concavity Trois bords parallèles Jonctions externes de type flêche Bords courbes Deux bords parallèles 2) Extraction des composantes volumétriques de l’objet Edge extraction 1) Extraction des primitives liées aux contours locaux

14 il existe 3 systèmes distincts mais emboîtés
TULVING (1972) il existe 3 systèmes distincts mais emboîtés * La Mémoire Procédurale * La Mémoire Sémantique agnosie * La Mémoire Episodique amnésie ME MS MP

15 Métaphore spatiale et systèmes multiples
A l’origine  une considération sur les niveaux de complexité et de conscience anoëtique noëtique  autonoëtique Évolution  une conception en stocks mnésiques différents et enchâssés [Mprocédurale [Msémantique[Mépisodique]]] Rôle fondamental de l’unité symbolique comme seule constitutive du sens : Si un épisode a du sens, il ne peut être constitué que d’un assemblage de composantes sémantiques élémentaires (représentation symbolique) Ce schéma est fondamental et toujours d'actualité. « Encoding of information into the episodic system is contingent upon succesfull processing of information through the semantic system »

16  Construction & Récupération
SYNOPSIS : UNE QUESTION DE SENS Modèles fondés sur des unités de sens Abstractifs La mémoire sémantique est un ensemble organisé de représentations (nécessairement abstraites) La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode    Perception Pré-traitements perceptifs  Construction de codes abstraits (PRS- systèmes de représentation perceptive)  MS Représentations sémantiques Actualisation  ME Enregistrement des sens co-activés  Construction & Récupération

17 Deux Conceptions de la Mémoire
Abstractive : la mémoire est un stock de représentations  Créer les représentations (Encodage) Les placer en mémoire (Stockage) Pouvoir les atteindre (Récupération)   Non Abstractive : La mémoire est la capacité à re-créer des expériences passées  Trouver un système qui puisse assurer cette re-création après avoir été confronté à des exemples d’apprentissage Les systèmes multi-traces ainsi qu’une certaine utilisation de l outil connexionniste permetent d implémenter ce fonctionnement   Trouver une des configurations d'efficience «synaptique » qui permet de réaliser la fonction de re-création correspondant aux exemples appris

18 Une question de sens … Modèles fondés sur des unités de sens  Abstractifs La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode Modèles fondés sur des enregistrements sensoriels pluri-modaux  Non-Abstractifs (épisodiques) La mémoire (sémantique & épisodique) est issue de l'intégration d’enregistrements pluri-modaux .. .. Perception Pré-traitements perceptifs Pré-traitements perceptifs Pré-traitements perceptifs           Construction de codes abstraits (PRS) Accumulation d’enregistrements intra et inter modaux (épisodes ?) Reinjections ?  Perception  ME ? MS Représentations sémantiques Actualisation  ? Processus « Automatiques » &  « Dirigés »  ME Enregistrement des sens co-activés Construction & Récupération Expérience sémantique Expérience épisodique

19 Un modèle multi-traces : Minerva II (Hintznan 84)
La MEMOIRE est un ensemble de traces épisodiques stockées  Enregistrement à chaque instant des stimulations primaires dans toutes les modalités  Aucune abstraction à l’encodage – apprentissage définit Aucune organisation : uniquement colonne d’états de ‘capteurs’ L état actuel dans l ensemble des modalités (i.e. valeurs d activation/inhibition des cellules) constitue une SONDE avant d être stockée Calcul en deux étapes : I : Activation des traces en fonction de leurs similarités à la sonde II : Détermination de l ECHO comme moyenne de toute les traces pondérées par leurs activations  Un coefficient acc fort permet d augmenter la contribution des traces les plus activées  En parallèle pour chaque trace i En parallèle pour chaque composante j de l’écho 

20 Approche (très) intuitive des propriétés des modèles multi-traces
….. Fourchette/Assiette/Salade…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/../Faim…. ….. Fourchette/ Ecran /../Peur…. ….. Fourchette/ Ecran …………… ….. ???????????/???????/../???….. Echo Mem Sonde  Attention : Ces propriétés ne prennent sens que pour des stimulation élémentaires issues des différentes modalités

21 Évocation de propriétés générales/ évocation d’épisode : rôle de la situation de récupération
1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/salon…. 5) ….. Chien /aboie . /.patée./montagne. 6) ....Canari./.chante /graine./cuisine….. ………..Chien / ……… …………… … Chien /aboie…/.os./…. Echo Mémoire Episode courant 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée /cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os….../salon…. 5) ….. Chien /aboie . /.patée./montagne 6) ....Canari./.chante /graine./cuisine….. ………..Chien / ……… /………/rue … Chien /pleure…/.os./rue…. Echo Mémoire Episode courant Ici l’indice de récupération est similaire à l’ensemble des cinq traces. L’écho contient donc les propriétés générales correspondant à l’indice de récupération . Le fonctionnement favorise ici l'évocation du sens du stimulus. Ici l’épisode courant contient deux indices spécifiquement associés dans une trace. L’activation relative de cette trace étant alors plus forte, l’écho reflétera préférentiellement son contenu. Le fonctionnement favorise ici l'évocation d'un épisode particulier.

22 Rôle des réinjections dans l’évocation des propriétés générales
1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/niche…. 5) ….. Chien /aboie . /.patée./montagne. 6) ..Canari./.chante /graine./cuisine….. …………….. / ………/os …/niche…… … Chien /….…/.os./niche Echo Mémoire Episode réinjecté 1) .. Chien /aboie…./.os….../jardin…. 2) .. Chien /aboie…./.patée/cuisine…. 3).. Chien / pleure /.os……/rue…. 4) .. ……. /………../.os……/niche…. 5) .. Chien /aboie . /.patée./montagne 6) ..Canari./.chante /graine./cuisine….. ……………/ ………/ …………/niche… ….. …….…/……….. / os…../niche. Echo Mémoire Episode courant Evocation initiale : l’indice de récupération permet la récupération d’éléments associés dans les traces le contenant. La réinjection de cet écho permet d’obtenir une évocation qui reflète la structure de la connaissance correspondant à l’ensemble des traces présentes en mémoire Dans un modèle muti-traces dotéde réinjections, les évocations ne sont pas un simple résumé statistique des traces contenant l’indice de récupération. Ces réinjections permettent au système mnésique d’être sensible à la structure sous jacente à l’ensemble des traces stockées en mémoire. La structure sémantique n’est pas stockée en mémoire, mais est recrée, lors de la récupération et en fonction des indices fournis.

23 ‘’filtrages perceptifs’’ Couche(s) periphérique
Schéma de principe Les contenus mnésique sont périphériques et transitoires ‘Recréer la perception’ ‘’filtrages perceptifs’’ Rétine Couche(s) periphérique Autres modalités Boucle Corticale Le but du traitement est qu’en couche périphérique, la sortie des filtrages perceptifs soit égale au retour de la boucle corticale :  Auto-association par adaptation des connexions corticales Précablés, totalement indépendants de tout processus d’abstraction (e.g., séparation fréquentielle, séparation couleurs)

24 ‘’filtrages perceptifs’’
Schéma de principe Lors du fonctionnement : Etudier des représentations au sens faible ‘’filtrages perceptifs’’ Rétine Couche périphérique Autres modalités Boucle Corticale * Ne fonctionnent pas à partir de représentations abstraites * Structurent la perception Réinjections

25 Vers une expression connexionniste des modèles non-abstractifs
Architecture modalitaire minimum à partir de : Damasio (1989), Hintzman(1984), Jacoby (1983), Rousset & Schreiber (1992), etc . Contraintes d’apprentissage : Obtenir un écho égal à l’entrée Mémorisation : Assurée par les connexions (flèches colorées), codage intra & inter modal Mémoire : Re-création de composantes élémentaires Réinjections : Le système fonctionne également à partir de ses sorties (flèches rouges) Un seul stock mnésique avec une organisation modalitaire 

26 Attention le formalisme connexionniste n’est
Qu’un outil – e.g. Nadel et Moscowitch (98) NEOCORTICAL MODULES Semantic Features Spatial/Episodic Attributes HIPPOCAMPAL COMPLEX

27 Une famille de modèles Squire & Alvarez (95), Mc Clelland & Al. (95), Murre (96), Nadel & Moscowitch (97)… Variation autour d'un même thème… 1) Une trace épisodique est apprise très rapidement 2) Les traces épisodique servent ensuite de professeur interne pour le système cortical ('sémantique') afin qu'il apprenne lentement la structure de cooccurrence des différents élément dans les épisodes vécus par le sujet  Création d'une sémantique E.G. Bière…. Louvain….Plaisir Bière…. Bruxelle….Plaisir Bière….Grenoble…Plaisir

28 Nadel & Moscowitch (1997)… Point de vue A
External episode NEOCORTICALS MODULES Semantic Features HIPPOCAMPAL COMPLEX …/Episodic Attributes

29 Perception d'un épisode A
HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) Début de liaisons entre traits sémantiques ( )  embryon de création de la sémantique

30 Perception d'un épisode B
NEOCORTICALS MODULES HIPPOCAMPAL COMPLEX Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) Renforcement ( ) et début de liaisons entre traits sémantiques ( )  vers la création de la sémantique

31 Re-évocation de l'épisode A
HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES Pour tous les modèles : renforcement de la sémantique

32 Révocation de l'épisode A
NEOCORTICALS MODULES HIPPOCAMPAL COMPLEX Pour tous les modèles : Consolidation de l'épisode au niveau cortical ( corollairement renforcement de la sémantique Pour Nadel & Moscowitch Création d'une nouvelle trace Episodique

33 Réseau Hétéro-Associatif
 Adaptation à des exemples d’associations Entrée (X)  Sortie (Y)  Chaque exemple contraint la fonction de re-création  Chaque synapse participe à la re-création de chaque exemple information distribuée  La fonction de re-création capture la structure des exemplaires appris Généralisation 

34 Réseau Auto & Hétéro-Associatif
 Adaptation à des associations Entrée (X)  Entrée (X) et Sortie (Y)  Possède également les propriétés des réseaux Hétéro-Associatifs  Permet de rajouter au rappel, la familiarité et la reconnaissance  Capacité à recréer les entrées (complétion) Fondement des conceptions non-abstractives du sens  Autres représentations

35 Outil connexionniste – exploration, loi de hebb
Lorsque deux neurones sont simultanément activées alors le poids de la connexion qui les relie est modifié proportionnellement au produit de leur activation  Loi d apprentissage quand deux neurones sont activés par une entrée externe  -1 -1/4 0.5 (a) Forme simple de la règle : Nouveau poids = ancien poids + [(1/nb connexions) X (ActivNeurEntréexActivNeurSortie) En (a) : nouveau poids = 0 +( ½ x (-1x0.5) ) = -1/4  Quand un neurone n est pas activé une entrée externe Calcul de la somme des entrées pondérées par les poids de connexions Activation =Sommes des (activation X Poids de connexion)  -1 1 1/4 … -1/4 0.5 (a) En (a) : activation = (-1x-1/4) + (1x1/4) = 0.5 Performance en rappel auto -associateur

36 Outil connexionniste, loi de Hebb
force et faiblesse  Loi de Hebb dans un cadre non abstractif Pas de problème pour apprendre de nouveaux exemples (inverse des modèles abstractifs) Apprentissage supervisé Ici la mémoire n est pas un stockage mais une capacité à recréer des sortie Définie par une architecture, qui s’est modifiée, et qui traite des entrées (fonction) Remarque : si l’on considère l’ensemble [apprentissage*récupération] un auto-associateur est équivalent à Minerva II avec une accélération de 1 Problème : Comme ici il n existe aucune possibilité pour jouer sur le paramètre d accélération qui permettait de sur-discriminer les traces dans Minerva II, on ne peut apprendre que des entrées orthogonales entre elles. Conséquence : Prévoir un système d orthogonalisation Faiblesse de la généralisation Le système ne peut tirer pleinement parti des ressemblances réelles entre exemples     

37 Outil connexionniste / Correction d’erreur
0.01 … 0.49 0.5 (a) 1 La connexion (a) a plus participé à la sortie donc à l’erreur Principe : Au départ poids non nuls Présentation de l’entrée et calcul de la Sortie Effective Comparaison cellule par cellule (loi locale) entre Sortie Effective et Sortie Désirée Utiliser cette erreur pour modifier le poids de connexion en fonction de sa valeur et de l activation de la cellule d’entrée Limite : Ne peut apprendre les associations non linéairement séparables (exemple classique OU Exclusif) Solution : Rajouter des couches cachées, mais on ne connaît pas l erreur à ce niveau Rétropopagation du gradient des fonctions d’erreur par le poids de connexion PROBLEME : Réalisme neuromimétique (il existe néanmoins des alternatives)     1 … 0.5 0.01 La cellule (a) a plus participé à la sortie donc à l’erreur (a)    

38 Principe de fonctionnement
Cellules de Sortie Cellules Cachées Cellules Cachée •••• Cellules d’Entrée ••••

39 Principe de fonctionnement
•••• Cellules de Sortie Cellules Cachées Cellules Cachée Cellules d’Entrée

40 Principe de fonctionnement
•••• Principe de fonctionnement W : poids de connexion Activation de S1 = f [somme(activationC * W)] Avec f fonction de seuil S1 Sortie de la cellule Entrée totale de la cellule = Somme des activations des cellules sources * Poids de connexion 1 W1 W3 W2 C1 C2 C3

41 Le seuil et son évolution
De l’unidimensionnel Discontinu …  Vers le multidimensionnel Discontinu Pour aboutir à Du multidimensionnel continu et non linéaire

42 Sortie de la cellule Seuil Entrée totale de la cellule =
Somme des activations des cellules sources * Poids de connexion Seuil 1

43 Somme des activations des cellules sources * Poids de connexion
W1 S1 E1 E2 W1 W2 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion Seuil 1 Valeur de E2 Valeur de E1 S1 = 0 S1 = 1 S1 = 0 S1 = 1 Valeur de E1

44 Hyperplan ... S1 E1 E2 W1 W2 W3 E3 S1 E1 E2 W1 W2 W3 E3 En … Wn E2 E1

45 Un micro problème … de botanique
S1 E1 E2 W1 W2 Un micro problème … de botanique S1 = 0 S1 = 1 Valeur de E1 (longueur des pétales) Valeur de E1 (longueur des sépales)

46 Comment ajuster le seuil (l’hyperplan)
W1 W2 Paramètres du problème fixes : L’architecture (cellules, connectivité) La fonction de seuil Les exemples à apprendre Paramètres libres : Les poids de connexions [W]

47 Comment ajuster le seuil (l’hyperplan)
Entrée totale de S1=Somme(Ei*Wi) Jouer sur la relation entre les entrées et le seuil…  en modifiant les poids suivant une régle AUTOMATIQUE, LOCALE et simple (e.g. correction d’erreur) S1 W1 S1 E1 Entrée E1 * Poid W1 Entrée E1

48 S1 E1 E2 W1 W2 S1 = 0 S1 = 1 Valeur de E1 (longueur des pétales) Valeur de E1 (longueur des sépales)

49 S1 E1 E2 W1 W2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

50 S1 E1 E2 W’1 W’2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

51 S1 E1 E2 W’1 W’2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

52 S1 E1 E2 W’1 W’2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

53 S1 E1 E2 W’1 W’2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

54 S1 E1 E2 W’’1 W’’2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

55 S1 E1 E2 W1 W2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

56 S1 E1 E2 W’’1 W’’2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

57 Redéfinition de la mémoire
S1 E1 E2 W1 W2 Conséquences … S1 = 1 ? Redéfinition de la mémoire Valeur de E1 (longueur des pétales) Généralisation S1 = 0 Valeur de E1 (longueur des sépales)

58 Un micro problème plus complexe … toujours en botanique
W4 C1 C2 W1 W2 E1 E2 W3 W5 W6 S1 E1 E2 W1 W2 S1 = 1 S1 = 0 Valeur de E1 (longueur des pétales) Valeur de E1 (longueur des sépales)

59 Rôles des cellules cachées
W1 W2 Rôles des cellules cachées S1 W4 C1 C2 W1 W2 E1 E2 W3 W5 W6 Augmentation du nombre de paramètres [W] Augmentation de dimensionnalité Possibilté de projeter les entrées dans un nouvel espace façoné en fonction des contraintes d’apprentissage

60 Quelle fonction pour les cellule cachées ?
Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion 1 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion 1 Une fonction non-linéaire continue

61 Somme des activations des cellules sources * Poids de connexion
Seuil ? !! Sortie de la cellule 1 Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion 1 Fonction Sigmoïde

62 Somme des activations des cellules sources * Poids de connexion
W1 W2 E1 E2 W3 W5 W6 Avant apprentissage W4 0.4 Sortie de la cellule 1 C1 0.18 1 1 E2 E1 1 Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion

63 Somme des activations des cellules sources * Poids de connexion
W1 W2 E1 E2 W3 W5 W6 Après apprentissage W4 0.99 Sortie de la cellule 1 C1 0.01 1 1 E2 E1 1 Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion

64 Somme des activations des cellules sources * Poids de connexion
W1 W2 E1 E2 W3 W5 W6 Après apprentissage W4 Sortie de la cellule 1 0.23 1 C1 E1 0.01 1 E2 1 Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion

65 Somme des activations des cellules sources * Poids de connexion
W1 W2 E1 E2 W3 W5 W6 Après apprentissage W4 0.99 Sortie de la cellule 1 C1 0.01 1 1 E2 E1 1 Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion

66 Rappel : Avant apprentissage
C1 C2 W1 W2 E1 E2 W3 W5 W6 Rappel : Avant apprentissage W4 0.4 Sortie de la cellule 1 C1 0.18 1 1 E2 E1 1 Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion

67 Retour sur la généralisation
Interpolation ! S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

68 Réseaux Auto-associatif : Généralisation
Resistance au bruit Completion

69 Retour sur la généralisation
Interpolation ! (pas si trivial !) Complexité … Critères de généralisation Au delà de la complexité, la non linearité permet de changer la nature de la généralisation S1 = 1 Valeur de E1 (longeur des pétales) S1 = 0 Valeur de E1 (longeur des sepales)

70 Exemple « pédagogique » (McClelland et col, 95)
Architecture : Lisible Les entrées sont des symboles discrets (aucune ressemblance physique) La structure des couches est destinée à rendre les résultats plus facilement analysables. La structure du pb n’est pas dans l’architecture. Apprend successivement des exemples Activation de canary & ISA en entrée  bird en sortie Activation de rose & has en entrée  petals en sortie ……..

71 Exemple « pédagogique » (McClelland et col, 95)
Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseau pour que le réseau infère les propriétés associées … Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités »

72 Phénomènes liés aux structures dans les réseaux distribués (I)
Exemple pédagogique (McClelland et col, 97) But : étudier comment un réseau peut capturer une structure simplement au travers de la succession d’exemples élémentaires Ceci sans fonctionner suivant la structure hiérarchique Architecture : Lisible Les entrées sont des symbole pour faciliter la lecture (représentations non réparties) La structure des couches est destinée a rendre les résultats plus démonstratifs La structure du pb n’est pas dans l’architecture. Apprend successivement des exemples Activation de canary & ISA en entrée  bird en sortie Activation de rose & has en entrée  petals en sortie …….. (les exemples sont construis à partir du graphe structuré) 

73 Capture de la structure à partir d'une succession d'exemples
Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseaux pour que le réseaux infère les propriétés associées … Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités » – évolution durant l’apprentissage  L’architecture permet ici d’avoir un autre indice de la structuration. Cependant cette spécialisation n’est pas nécessaire pour le comportement d’inférence !

74 L’Oubli Catastrophique
 Définition : Oubli dramatique des exemples antérieurement appris lors de l’apprentissage de nouveaux exemples  Cause : les anciens exemples ne contraignent plus la fonction de re-création.  Conséquence : Il faut continuer à présenter les anciennes connaissance pour contraindre la fonction Rafraîchissement   Solution 1 : McClelland et al. (1995) [Sans Rafraîchissement] - Conserver les exemples récents (Mémoire Tampon = Hippocampe ?) - Limiter l ’oubli en ne les faisant que très peu apprendre par la mémoire principale (Cortex ?) Solution très partielle, non viable à long terme Idée de deux structures complémentaires  

75 Auto-Rafraîchissement par Pseudo-Exemples
 Problème : on ne dispose « en général » pas des exemples passés  Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création Sorties Entrées  Principe : (Robins, 1995) - Calculer la sortie à partir d’un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction 

76 Auto-Rafraîchissement par Pseudo-Exemples
Soit une nouvelle association X Y à apprendre SB1 Phase 1 Création d’une pseudo-base B1  SB1 ; B2  SB2 …. Bn SBn B1 Y, SB1 ..SBn Phase 2 Apprentissage de la pseudo-base B1  SB1 ; B2  SB2 …. Bn SBn et de X Y X, B1 ..Bn

77 Auto-Rafraîchissement par Pseudo-Exemples
 Problème : on ne dispose en général pas des exemples passés  Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création  Principe : (Robins, 1995) - Calculer la sortie à partir d un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction   Méthode : (Robins, 1995) 1) Avant tout nouvel apprentissage, création d’un ensemble de PE 2) Stockage de ces PE dans une mémoire tampon 3) Apprentissage conjoint des nouveaux exemples et de ces PE Les connaissances passées continuent à contraindre la fonction   Une des structures (mémoire tampon) n’est pas neuromimétique L’oubli-catastrophique n’est que partiellement résolu 

78 Proposition 1 Deux Structures Connectionistes
 Principe : Faire apprendre les Pseudo-Exemples à un second réseau  Etape 1: Transfert de la fonction de recréation vers un réseau secondaire  Etape 2: Apprentissage de nouveaux exemples conjointement avec un pseudo-rafraîchissement  Les deux réseaux n’ont pas nécessairement la même architecture interne (cellules, connexions, règle de plasticité)

79 Proposition 2 Auto-Association & Réinjection
 Objectif : capture optimale de la structure de la fonction de re-création  Principe : contribution maximale de la structure dans les Pseudo-Exemples  Méthode : réinjection des sorties auto-associatives (Réverbération) A partir d’un bruit aléatoire, la première sortie est le reflet des caractéristiques du bruit et de la structure La sortie auto-associative devient une nouvelle entrée La part de la structure est plus importante dans les sorties (auto et hétéro associatives ) résultant de cette réinjection 1) 2) 3)  Enchaînement de plusieurs réinjections successives : réverbération  Chaque Pseudo-Exemple sera donc le résultat de plusieurs réinjections successives des Auto-Associations

80 Auto-Rafraîchissement par Pseudo-Exemples
SHB1 Création d’un pseudo exemple : 1) Injection de bruit (B1) 2) obtention de la sortie auto-associative SAB1 3) Injection de SAB1 4) … 5) Obtention d’un pseudo pattern (SABn-1)  (SABn ,SHBn) Utilisation du pseudo pattern : Transport vers le réseau secondaire Ou Accompagnateur dans le réseau principal SAB1 B1

81

82 Suppression de l’Oubli Catastrophique
 Cas d’école (MacCloskey, 1989)  Importance du processus de réverbération  Courbe en « U » : Restructuration pour satisfaire les deux sous fonctions

83 Une Quasi Equivalence Nombre de cycles d'apprentissage

84 Phénomènes liés aux structures dans les réseaux distribués (II)
 Objectif : Etudier l’apprentissage séquentiel de deux ensembles structurés ( transfert ?)  Méthode : Choix de la structure additive (contrôle expérimental plus que réalisme psychologique)  Apprentissage de 916 items (base A) correspondant soit à : une addition décimale (e.g., = 53) une opération Max (e.g., 07 Max 46 = 47) Au cours de l’apprentissage de 229 items (base B) d’addition octale (e.g., = 65 ), test de généralisation sur 687 items d’addition octale non appris     Etude de trois cas [ pour le cas compatible (décimal) et non compatible (Max)] Apprentissage de B seul (tabula rasa) Apprentissage simultané de A et B Apprentissage séquentiel de A puis B avec pseudo-rafraîchissement et processus de réverbération   

85 Codage 07 (+décimal) 46 = 53 Auto association :
12 cellules pour l’opérande & 2 cellules pour l’opérateur décimal Couche cachée : 40 cellules Hétéro Association : 6 cellules pour le résultat

86 ….. ….. Codage de l'addition Représentation 1 Représentation 2
1 1 ….. Codage : = en décimal [(000) (111)] + [(100) (110)] = [(101) (011)] et [01].

87 Oubli au cours de l'Apprentissage d'une Base d'Additions Octales

88 Généralisation au cours de l'Apprentissage d'une Base d'Additions Octales

89 Généralisation au cours de l'Apprentissage d'une Base d'Additions Octales

90 Généralisation au cours de l'Apprentissage d'une Base d'Additions Octales

91 Généralisation au cours de l'Apprentissage d'une Base d'Additions Octales

92 Net 2 Net 1 Information transfer with Pseudo-Examples
Musca, Rousset & Ans, 2004 Net 2 Auto-associative network Net 1 Pseudo-Examples ( PE ) Actual Examples

93 Actual Examples List 1 Source Items List 2 Control Items

94 Pseudo-Examples ( PE ) or "attractor states"
from List 1 source items

95 Net 2 Net 1 Filtered Pseudo-Examples Familiarity tests on Source Items
Control Items and Pseudo-Examples Source Items

96 PE Pseudo-Example Filtering Constraint 1 List 1 Source Items List 2
Control Items

97 PE Similarity to the pseudo-example centroid PE List 1 Source Items
(SIi ) Set of Pseudo-Examples (PEk ) List 2 Control Items (CIj ) PE mean ( CIj , PE ) < mean ( SIi , PE ) Constraint 2 : j i

98 ( CIj , PEk ) < mean ( SIi , PEk )
Similarity to all pseudo-examples PEk List 1 Source Items (SIi ) Set of Pseudo-Examples (PEk ) List 2 Control Items (CIj ) ( CIj , PEk ) < mean Constraint 3 : mean ( SIi , PEk ) j k i k

99 Net 2 Net 1 Filtered Pseudo-Examples Familiarity tests on Source Items
Control Items and Pseudo-Examples Source Items

100 Net 2 Simulation Source items Control items PEs from L2
0.30 Source items 0.25 Control items 0.20 PEs from L2 Network error (mean RMS) 0.15 0.10 0.05 0.00 PEs from L1 Training material

101 Net 2 Net 1 Filtered Pseudo-Examples Familiarity tests on Source Items
Control Items and Pseudo-Examples Source Items

102 Behavioral Experiment 1
Occurrence recognition task 5.5 Source items Control items 5.0 4.5 PEs from L2 Group 2 Mean number of recognitions 4.0 3.5 3.0 Group 1 PEs from L1

103 Behavioral Experiment 2
Perceptual fluency task 16.0 Source items responses 15.5 Control items 15.0 LONG 14.5 PEs from L2 Group 2 14.0 Mean number of 13.5 13.0 Group 1 PEs from L1