La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme Évènement 2 : (S)péculation ou qui donne sens à P « Ruban magnétique.

Présentations similaires


Présentation au sujet: "Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme Évènement 2 : (S)péculation ou qui donne sens à P « Ruban magnétique."— Transcription de la présentation:

1

2 Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme Évènement 2 : (S)péculation ou qui donne sens à P « Ruban magnétique et tête de lecture en mémoire de type prononciation » Évènement 3 : (I)mplication qui doit être vraie Moindre capacité pour les si S est vraie mots longs à prononcer Évènement 4 : Les données sont-elles congruentes La moyenne de rappel de 10 listes avec I ? composées de mots longs à prononcer est plus basse que..

3 Démarche du psychologue Mais que fait donc le Psychologue ? Démarche du psychologue Mais que fait donc le Psychologue ? SI (Spéculation) ALORS (Implication) !!!!! Le fait que l'implication soit vérifiée ne signifie en rien que la spéculation soit vraie ! La seule conclusion logiquement valide est que la spéculation n'est pas valide quand on démontre que l'implication n'est pas vérifiée Une démarche scientifique fondée exclusivement sur la falsification simple peut s'avérer plutôt perturbante et impossible à tenir au jour le jour.

4 Pour s'en sortir on peut avoir recours au concept de validité relative. Si dans un test où, toutes choses étant égales par ailleurs, un résultats est prédit par un modèle A alors que le modèle B ne prédit aucun effet (ou l'effet inverse) alors on peut conclure que le modèle A est "plus valide" que le modèle B. Conclusion : Les hypothèses doivent toujours s'effectuer dans le cadre d'une comparaison de modèles, et le rôle de la méthodologie experimentale est de s'assurer du "toute choses étant égales par ailleurs". Une solution : la comparaison de modèles

5 Démarche du psychologue 2ème partie Mais que fait donc le Psychologue ? Démarche du psychologue 2ème partie Mais que fait donc le Psychologue ? Schèma synthetique FACTEURS Phénomène P A B C D -P -A B C D FACTEURS Phénomène P A B C D -P -A B C D FACTEURS Phénomène P A B C D -P A -B C D FACTEURS Phénomène P A B C D -P A -B C D Spéculation XSpéculation Y

6 Une solution : la comparaison de modèles Mais pas une panacée Une solution : la comparaison de modèles Mais pas une panacée Attention cependant, le test réellement effectué est toujours: SI (Spéculation*Spéculations Annexes ) ALORS (Implication) Donc, si par la méthodologie on s'assure du "toute chose étant égale par ailleurs", on fixe également les conditions d'observation (facteurs contrôlés). Des spéculations annexes nous font croire que les facteurs que l'on contrôle ne sont théoriquement pas déterminants pour nos tests ou qu'il est inutile d'en contrôler certains. Ce n'est peut être pas le cas….

7 Relation Théorie-modèle-Simulation La place du psychologue Théorie computationelle (But, logique de la stratégie) Niveau algorithmique Implémentation ! ? Marr (82) : Les trois niveaux auxquels les machines traitant de l'information doivent être comprises Expérimentation Pour la mémoire Dominance de la métaphore spatiale et symbolique (e.g. Roediger III,1980))

8 Doit on prendre les trois manifestations de la mémoire : * * Mémoire des apprentissages passés qui modifie notre comportement (sans que l'on ait besoin de prendre conscience de ces événements passés) * * Mémoire du sens des choses et des relations entre les choses ( sémantique, memoria, catégorielle ) * * Mémoire des événements vécus ( souvenir, remenberance, temporelle ) comme preuve de l'existence de 3 systèmes mnésiques différents ?

9 Les deux sens de représentation Au sens faible : –Correspondance regulière entre létat physique (neurones ou groupes de neurones) dun système en fonctionnement et les événements quil traite. Au sens fort : –Structure physique (neurones ou groupes de neurones) dun système qui correspond de manière permanente à un élément du monde extérieur.

10 Représentation au sens fort Conséquences Pour être utile, la représentation doit être accessible en dépit des variations du signal dune rencontre à lautre. –Cest donc un élément discret abstrait des caractéristiques idiosyncratiques de présentation –Il existerait une représentation structurale visuelle qui correspondrait aux invariants. –Défit majeur : La notion dinvariant a un sens a posteriori ; en faire la structure centrale nécessite de concevoir un système perceptif particulièrement intelligent –Difficulté du pari …. comment intégrer lapprentissage de nouveaux stimuli dans les modèles abstractifs.

11 Modèle classique consensuel

12 Représentation 2 D (Esquisse primaire) Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..) Groupements perceptifs (textures, contours) Représentation 2 D (Esquisse primaire) Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..) Groupements perceptifs (textures, contours) Représentation 2.5 D Extraction des surfaces: forme, position Extraction centrée sur lobservateur Extraction non organisée en structure Représentation 2.5 D Extraction des surfaces: forme, position Extraction centrée sur lobservateur Extraction non organisée en structure Représentation 3 D Extraction des axes délongation/symétrie de lobjet Structuration des surfaces en objet perceptif en utilisant les axes de lobjet comme référentiel spatial Représentation structurale objet-centrée. Cette représentation est confrontée aux représentations 3D stockées en mémoire. Il y a reconnaissance sil y a appariement. Représentation 3 D Extraction des axes délongation/symétrie de lobjet Structuration des surfaces en objet perceptif en utilisant les axes de lobjet comme référentiel spatial Représentation structurale objet-centrée. Cette représentation est confrontée aux représentations 3D stockées en mémoire. Il y a reconnaissance sil y a appariement. Modèles computationnels : Vision (structurale) de Marr (1982)

13 Biederman (1985) Edge extraction Determination of Components Detection of Nonaccidental Properties Parsing of Regions of Concavity Matching of Components to Object Representations Object Recognition (prototype level) 4 1 Deux bords parallèles Bords courbes Jonctions de type Y (avec courbures) 3 4 Jonctions internes de type Y Trois bords parallèles Jonctions externes de type flêche 2 1) Extraction des primitives liées aux contours locaux 2) Extraction des composantes volumétriques de lobjet 3) Assemblage des composantes volumétriques en objet 4) Appariemment avec des objets stockés en mémoire

14 TULVING (1972) il existe 3 systèmes distincts mais emboîtés * La Mémoire Procédurale * La Mémoire Sémantique agnosie * La Mémoire Episodique amnésie MPMS ME

15 Métaphore spatiale et systèmes multiples A lorigine une considération sur les niveaux de complexité et de conscience anoëtique noëtique autonoëtiqueÉvolution une conception en stocks mnésiques différents et enchâssés [M procédurale [M sémantique [M épisodique ] ] ] Rôle fondamental de lunité symbolique comme seule constitutive du sens : Si un épisode a du sens, il ne peut être constitué que dun assemblage de composantes sémantiques élémentaires (représentation symbolique) Ce schéma est fondamental et toujours d'actualité. « Encoding of information into the episodic system is contingent upon succesfull processing of information through the semantic system »

16 Modèles fondés sur des unités de sens Abstractifs La mémoire sémantique est un ensemble organisé de représentations (nécessairement abstraites) La mémoire épisodique est un enregistrement des unités sémantiques co- activées pendant lépisode Pré-traitements perceptifs Construction de codes abstraits Représentations sémantiques Enregistrement des sens co-activés Perception MS ME Actualisation Construction & Récupération (PRS- systèmes de représentation perceptive) SYNOPSIS : UNE QUESTION DE SENS

17 Deux Conceptions de la Mémoire représentations Abstractive : la mémoire est un stock de représentations Non Abstractive : La mémoire est la capacité à re-créer des expériences passées Créer les représentations (Encodage) Les placer en mémoire (Stockage) Pouvoir les atteindre (Récupération) Trouver un système qui puisse assurer cette re-création après avoir été confronté à des exemples dapprentissage Les systèmes multi-traces ainsi quune certaine utilisation de l outil connexionniste permetent d implémenter ce fonctionnement Trouver une des configurations d'efficience «synaptique » qui permet de réaliser la fonction de re-création correspondant aux exemples appris

18 Modèles fondés sur des unités de sens Abstractifs La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant lépisode Modèles fondés sur des enregistrements sensoriels pluri- modaux Non-Abstractifs (épisodiques) La mémoire (sémantique & épisodique) est issue de l'intégration denregistrements pluri-modaux Pré-traitements perceptifs Construction de codes abstraits Représentations sémantiques Enregistrement des sens co-activés Perception MS ME Actualisation Construction & Récupération Pré-traitements perceptifs.. Accumulation denregistrements intra et inter modaux (épisodes ?) Expérience sémantique Expérience épisodique ? Processus « Automatiques » & « Dirigés » Reinjections ? Perception ME ? (PRS) Une question de sens …

19 Un modèle multi-traces : Minerva II (Hintznan 84) La MEMOIRE est un ensemble de traces épisodiques stockées Enregistrement à chaque instant des stimulations primaires dans toutes les modalités L état actuel dans l ensemble des modalités (i.e. valeurs d activation/inhibition des cellules) constitue une SONDE avant d être stockée Calcul en deux étapes : I : Activation des traces en fonction de leurs similarités à la sonde II : Détermination de l ECHO comme moyenne de toute les traces pondérées par leurs activations Un coefficient acc fort permet d augmenter la contribution des traces les plus activées En parallèle pour chaque trace i En parallèle pour chaque composante j de lécho Aucune abstraction à lencodage – apprentissage définit Aucune organisation : uniquement colonne détats de capteurs

20 ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/../Faim…. ….. Fourchette/ Ecran /../Peur…. ….. Fourchette/ Ecran …………… ….. ???????????/???????/../???….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde ….. Fourchette/Assiette/Salade…. ….. Fourchette/……….….………. ….. ???????????/???????/????….. Echo Mem Sonde Approche (très) intuitive des propriétés des modèles multi-traces Attention : Ces propriétés ne prennent sens que pour des stimulation élémentaires issues des différentes modalités

21 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/salon…. 5) ….. Chien /aboie. /.patée./montagne. 6)....Canari./.chante /graine./cuisine….. ………..Chien / ……… …………… ….. Chien / aboie …/. os./ …. Echo Mémoire Episode courant Évocation de propriétés générales/ évocation dépisode : rôle de la situation de récupération 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée /cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os….../salon…. 5) ….. Chien /aboie. /.patée./montagne 6)....Canari./.chante /graine./cuisine….. ………..Chien / ……… /………/rue ….. Chien / pleure …/. os./ rue …. Echo Mémoire Episode courant Ici lindice de récupération est similaire à lensemble des cinq traces. Lécho contient donc les propriétés générales correspondant à lindice de récupération. Le fonctionnement favorise ici l'évocation du sens du stimulus. Ici lépisode courant contient deux indices spécifiquement associés dans une trace. Lactivation relative de cette trace étant alors plus forte, lécho reflétera préférentiellement son contenu. Le fonctionnement favorise ici l'évocation d'un épisode particulier.

22 1).. Chien /aboie…./.os….../jardin…. 2).. Chien /aboie…./.patée/cuisine…. 3).. Chien / pleure /.os……/rue…. 4).. ……. /………../.os……/niche…. 5).. Chien /aboie. /.patée./montagne 6)..Canari./.chante /graine./cuisine….. ……………/ ………/ …………/niche… ….. …….…/……….. / os …../ niche. Echo Mémoire Episode courant 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/niche…. 5) ….. Chien /aboie. /.patée./montagne. 6)..Canari./.chante /graine./cuisine….. …………….. / ………/os …/niche…… ….. Chien / …. …/. os./ niche Echo Mémoire Episode réinjecté La réinjection de cet écho permet dobtenir une évocation qui reflète la structure de la connaissance correspondant à lensemble des traces présentes en mémoire Evocation initiale : lindice de récupération permet la récupération déléments associés dans les traces le contenant. Rôle des réinjections dans lévocation des propriétés générales Dans un modèle muti-traces dotéde réinjections, les évocations ne sont pas un simple résumé statistique des traces contenant lindice de récupération. Ces réinjections permettent au système mnésique dêtre sensible à la structure sous jacente à lensemble des traces stockées en mémoire. La structure sémantique nest pas stockée en mémoire, mais est recrée, lors de la récupération et en fonction des indices fournis.

23 Schéma de principe Les contenus mnésique sont périphériques et transitoires –Recréer la perception Précablés, totalement indépendants de tout processus dabstraction (e.g., séparation fréquentielle, séparation couleurs) Le but du traitement est quen couche périphérique, la sortie des filtrages perceptifs soit égale au retour de la boucle corticale : Auto-association par adaptation des connexions corticales filtrages perceptifs Rétine Couche(s) periphérique Autres modalités Boucle Corticale

24 filtrages perceptifs Rétine Couche périphérique Autres modalités Boucle Corticale Schéma de principe * Ne fonctionnent pas à partir de représentations abstraites * Structurent la perception au sens faible Lors du fonctionnement : Etudier des représentations au sens faible Réinjections

25 Architecture modalitaire minimum à partir de : Damasio (1989), Hintzman(1984), Jacoby (1983), Rousset & Schreiber (1992), etc. Contraintes dapprentissage : Obtenir un écho égal à lentrée Mémorisation : Assurée par les connexions (flèches colorées), codage intra & inter modal Mémoire : Re-création de composantes élémentaires Réinjections : Le système fonctionne également à partir de ses sorties (flèches rouges) Un seul stock mnésique avec une organisation modalitaire Vers une expression connexionniste des modèles non-abstractifs Vers une expression connexionniste des modèles non-abstractifs

26 Attention le formalisme connexionniste nest Quun outil – e.g. Nadel et Moscowitch (98) Attention le formalisme connexionniste nest Quun outil – e.g. Nadel et Moscowitch (98) NEOCORTICAL MODULES Semantic Features Spatial/Episodic Attributes HIPPOCAMPAL COMPLEX

27 Une famille de modèles Squire & Alvarez (95), Mc Clelland & Al. (95), Murre (96), Nadel & Moscowitch (97)… Variation autour d'un même thème… 1) Une trace épisodique est apprise très rapidement 2) Les traces épisodique servent ensuite de professeur interne pour le système cortical ('sémantique') afin qu'il apprenne lentement la structure de cooccurrence des différents élément dans les épisodes vécus par le sujet Création d'une sémantique E.G. Bière…. Louvain….Plaisir Bière…. Bruxelle….Plaisir Bière….Grenoble…Plaisir

28 Nadel & Moscowitch (1997)… Point de vue A HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES …/Episodic Attributes Semantic Features External episode

29 Début de liaisons entre traits sémantiques ( ) embryon de création de la sémantique Perception d'un épisode A Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES

30 Renforcement ( ) et début de liaisons entre traits sémantiques ( ) vers la création de la sémantique Perception d'un épisode B Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) NEOCORTICALS MODULES HIPPOCAMPAL COMPLEX

31 Re-évocation de l'épisode A Pour tous les modèles : –renforcement de la sémantique HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES

32 Révocation de l'épisode A Pour tous les modèles : –Consolidation de l'épisode au niveau cortical ( corollairement renforcement de la sémantique Pour Nadel & Moscowitch –Création d'une nouvelle trace Episodique HIPPOCAMPAL COMPLEX NEOCORTICALS MODULES

33 Réseau Hétéro-Associatif Adaptation à des exemples dassociations Entrée (X) Sortie (Y) Chaque exemple contraint la fonction de re-création Chaque synapse participe à la re-création de chaque exemple information distribuée La fonction de re-création capture la structure des exemplaires appris Généralisation

34 Réseau Auto & Hétéro-Associatif Adaptation à des associations Entrée (X) Entrée (X) et Sortie (Y) Possède également les propriétés des réseaux Hétéro-Associatifs Permet de rajouter au rappel, la familiarité et la reconnaissance Capacité à recréer les entrées (complétion) Fondement des conceptions non-abstractives du sens Autres représentations

35 Outil connexionniste – exploration, loi de hebb Outil connexionniste – exploration, loi de hebb Lorsque deux neurones sont simultanément activées alors le poids de la connexion qui les relie est modifié proportionnellement au produit de leur activation Loi d apprentissage quand deux neurones sont activés par une entrée externe Forme simple de la règle : Nouveau poids = ancien poids + [(1/nb connexions) X (ActivNeurEntréexActivNeurSortie) Quand un neurone n est pas activé une entrée externe Calcul de la somme des entrées pondérées par les poids de connexions Activation =Sommes des (activation X Poids de connexion) /4 0.5 (a) En (a) : nouveau poids = 0 +( ½ x (-1x0.5) ) = -1/4 1 1/4 … … -1/4 0.5… (a) En (a) : activation = (-1x-1/4) + (1x1/4) = 0.5 Performance en rappel auto -associateur

36 Outil connexionniste, loi de Hebb Outil connexionniste, loi de Hebb force et faiblesse Outil connexionniste, loi de Hebb Outil connexionniste, loi de Hebb force et faiblesse Loi de Hebb dans un cadre non abstractif Pas de problème pour apprendre de nouveaux exemples (inverse des modèles abstractifs) Apprentissage supervisé Ici la mémoire n est pas un stockage mais une capacité à recréer des sortie Définie par une architecture, qui sest modifiée, et qui traite des entrées (fonction) Remarque : si lon considère lensemble [apprentissage*récupération] un auto-associateur est équivalent à Minerva II avec une accélération de 1 Problème : Comme ici il n existe aucune possibilité pour jouer sur le paramètre d accélération qui permettait de sur-discriminer les traces dans Minerva II, on ne peut apprendre que des entrées orthogonales entre elles. Conséquence : Prévoir un système d orthogonalisation Faiblesse de la généralisation Le système ne peut tirer pleinement parti des ressemblances réelles entre exemples

37 Outil connexionniste / Correction derreur Outil connexionniste / Correction derreur Principe : Au départ poids non nuls Présentation de lentrée et calcul de la Sortie Effective Comparaison cellule par cellule (loi locale) entre Sortie Effective et Sortie Désirée Utiliser cette erreur pour modifier le poids de connexion en fonction de sa valeur et de l activation de la cellule dentrée Limite : Ne peut apprendre les associations non linéairement séparables (exemple classique OU Exclusif) Solution : Rajouter des couches cachées, mais on ne connaît pas l erreur à ce niveau Rétropopagation du gradient des fonctions derreur par le poids de connexion PROBLEME : Réalisme neuromimétique (il existe néanmoins des alternatives) … … … (a) 11 La connexion (a) a plus participé à la sortie donc à lerreur 0 1 … … 1 0.5… 0.01 La cellule (a) a plus participé à la sortie donc à lerreur (a)

38 Cellules dEntrée Cellules CachéeCellules Cachées Cellules de Sortie Principe de fonctionnement

39 Cellules dEntrée Cellules CachéeCellules Cachées Cellules de Sortie Principe de fonctionnement

40 S1 C1 C2 W1 W2 W3 C3 W : poids de connexion Activation de S1 = f [somme(activationC * W)] Avec f fonction de seuil Sortie de la cellule Entrée totale de la cellule = Somme des activations des cellules sources * Poids de connexion Principe de fonctionnement

41 Le seuil et son évolution De lunidimensionnel Discontinu … Vers le multidimensionnel Discontinu Pour aboutir à Du multidimensionnel continu et non linéaire

42 Sortie de la cellule Entrée totale de la cellule = Somme des activations des cellules sources * Poids de connexionSeuil

43 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexionSeuil S1 = 0 S1 = 1 Valeur de E1 E1 S1 W1 S1 E1E2 W1W2 Valeur de E2 Valeur de E1 S1 = 0 S1 = 0 S1 = 1 S1 = 1

44 S1 E1 E2 W1 W2 W3 E3 E2 E1 E3 S1 E1 E2 W1 W2 W3 E3 En … … Wn

45 S1 E1E2 W1W2 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 = 0 S1 = 0 S1 = 1 S1 = 1 Un micro problème … de botanique

46 Comment ajuster le seuil (lhyperplan) Paramètres du problème fixes : –Larchitecture (cellules, connectivité) –La fonction de seuil –Les exemples à apprendre Paramètres libres : –Les poids de connexions [W] S1 E1E2 W1W2

47 Comment ajuster le seuil (lhyperplan) Entrée totale de S1=Somme(E i* W i ) Jouer sur la relation entre les entrées et le seuil… en modifiant les poids suivant une régle AUTOMATIQUE, LOCALE et simple (e.g. correction derreur) Entrée E1 Entrée E1 * Poid W1 E1 S1 W1 S1

48 E1E2 W1W2 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 = 0 S1 = 0 S1 = 1 S1 = 1

49 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

50 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

51 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

52 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

53 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

54 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

55 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

56 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0

57 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 E1E2 W1W2 S1 = 1 S1 = 1 S1 = 0 S1 = 0 ? Redéfinition de la mémoire Généralisation Conséquences …

58 S1 E1E2 W1W2 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 = 1 S1 = 1 S1 = 0 S1 = 0 S1 W4 C1C2 W1 W2 E1E2 W3 W5 W6 Un micro problème plus complexe … toujours en botanique

59 S1 E1E2 W1W2 S1 W4 C1C2 W1 W2 E1E2 W3 W5 W6 Rôles des cellules cachées Augmentation du nombre de paramètres [W] Augmentation de dimensionnalité Possibilté de projeter les entrées dans un nouvel espace façoné en fonction des contraintes dapprentissage

60 Quelle fonction pour les cellule cachées ? Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion Une fonction non-linéaire continue

61 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion Seuil ? !! Fonction Sigmoïde

62 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion W4 S1 C1C2 W1 W2 E1 E2 W3 W5 W6 E1 E2 C Avant apprentissage

63 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion W4 S1 C1C2 W1 W2 E1 E2 W3 W5 W6 E1 E2 C Après apprentissage

64 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion W4 S1 C1C2 W1 W2 E1 E2 W3 W5 W6 E1 E2 C Après apprentissage

65 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion W4 S1 C1C2 W1 W2 E1 E2 W3 W5 W6 E1 E2 C Après apprentissage

66 Sortie de la cellule Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion W4 S1 C1C2 W1 W2 E1 E2 W3 W5 W6 E1 E2 C Rappel : Avant apprentissage

67 Valeur de E1 (longueur des sépales) Valeur de E1 (longueur des pétales) S1 = 1 S1 = 1 S1 = 0 S1 = 0 Interpolation ! Retour sur la généralisation

68 Réseaux Auto-associatif : Généralisation Resistance au bruit Completion

69 Valeur de E1 (longeur des sepales) Valeur de E1 (longeur des pétales) S1 = 1 S1 = 1 S1 = 0 S1 = 0 Interpolation ! (pas si trivial !) Complexité … Critères de généralisation Au delà de la complexité, la non linearité permet de changer la nature de la généralisation Retour sur la généralisation

70 Exemple « pédagogique » (McClelland et col, 95) Architecture : Lisible Les entrées sont des symboles discrets (aucune ressemblance physique) La structure des couches est destinée à rendre les résultats plus facilement analysables. La structure du pb nest pas dans larchitecture. Apprend successivement des exemples Activation de canary & ISA en entrée bird en sortie Activation de rose & has en entrée petals en sortie ……..

71 Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant lapprentissage Mesure de distance des patterns dactivation sur la première couche cachée lors du traitement de chacune des 8 « entités » – évolution durant lapprentissage Preuve comportementale : Pour un nouvel animal, il suffit dapprendre que cest un oiseau pour que le réseau infère les propriétés associées … Exemple « pédagogique » (McClelland et col, 95)

72 Phénomènes liés aux structures dans les réseaux distribués (I) Exemple pédagogique (McClelland et col, 97) But : étudier comment un réseau peut capturer une structure simplement au travers de la succession dexemples élémentaires Ceci sans fonctionner suivant la structure hiérarchique Architecture : Lisible Les entrées sont des symbole pour faciliter la lecture (représentations non réparties) La structure des couches est destinée a rendre les résultats plus démonstratifs La structure du pb nest pas dans larchitecture. Apprend successivement des exemples Activation de canary & ISA en entrée bird en sortie Activation de rose & has en entrée petals en sortie …….. (les exemples sont construis à partir du graphe structuré)

73 Capture de la structure à partir d'une succession d'exemples Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant lapprentissage Mesure de distance des patterns dactivation sur la première couche cachée lors du traitement de chacune des 8 « entités » – évolution durant lapprentissage Preuve comportementale : Pour un nouvel animal, il suffit dapprendre que cest un oiseaux pour que le réseaux infère les propriétés associées … Larchitecture permet ici davoir un autre indice de la structuration. Cependant cette spécialisation nest pas nécessaire pour le comportement dinférence !

74 LOubli Catastrophique Définition : Oubli dramatique des exemples antérieurement appris lors de lapprentissage de nouveaux exemples Cause : les anciens exemples ne contraignent plus la fonction de re-création. Conséquence : Il faut continuer à présenter les anciennes connaissance pour contraindre la fonction Rafraîchissement Solution 1 : McClelland et al. (1995) [Sans Rafraîchissement] - Conserver les exemples récents (Mémoire Tampon = Hippocampe ?) - Limiter l oubli en ne les faisant que très peu apprendre par la mémoire principale (Cortex ?) Solution très partielle, non viable à long terme Idée de deux structures complémentaires

75 Problème : on ne dispose « en général » pas des exemples passés Principe : (Robins, 1995) - Calculer la sortie à partir dun bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création Lassociation entrée - sortie (PE) sera un reflet de la fonction Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création Auto-Rafraîchissement par Pseudo-Exemples Entrées Sorties

76 Soit une nouvelle association X Y à apprendre Phase 1 Création dune pseudo-base B1 SB1 ; B2 SB2 …. Bn SBn SB1 Phase 2 Apprentissage de la pseudo-base B1 SB1 ; B2 SB2 …. Bn SBn et de X Y B1 X, B1..Bn Y, SB1..SBn Auto-Rafraîchissement par Pseudo-Exemples

77 Problème : on ne dispose en général pas des exemples passés Principe : (Robins, 1995) - Calculer la sortie à partir d un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création Lassociation entrée - sortie (PE) sera un reflet de la fonction Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création Méthode : (Robins, 1995) 1) Avant tout nouvel apprentissage, création dun ensemble de PE 2) Stockage de ces PE dans une mémoire tampon 3) Apprentissage conjoint des nouveaux exemples et de ces PE Les connaissances passées continuent à contraindre la fonction Une des structures (mémoire tampon) nest pas neuromimétique Loubli-catastrophique nest que partiellement résolu Auto-Rafraîchissement par Pseudo-Exemples

78 Proposition 1 Deux Structures Connectionistes Principe : Faire apprendre les Pseudo-Exemples à un second réseau Etape 1: Transfert de la fonction de recréation vers un réseau secondaire Etape 2: Apprentissage de nouveaux exemples conjointement avec un pseudo-rafraîchissement Les deux réseaux nont pas nécessairement la même architecture interne (cellules, connexions, règle de plasticité)

79 Proposition 2 Auto-Association & Réinjection Objectif : capture optimale de la structure de la fonction de re-création Principe : contribution maximale de la structure dans les Pseudo-Exemples Méthode : réinjection des sorties auto-associatives (Réverbération) 1) A partir dun bruit aléatoire, la première sortie est le reflet des caractéristiques du bruit et de la structure La sortie auto-associative devient une nouvelle entrée La part de la structure est plus importante dans les sorties (auto et hétéro associatives ) résultant de cette réinjection 2)2) 3)3) Enchaînement de plusieurs réinjections successives : réverbération Chaque Pseudo-Exemple sera donc le résultat de plusieurs réinjections successives des Auto-Associations

80 Création dun pseudo exemple : 1) Injection de bruit (B1) 2) obtention de la sortie auto-associative SAB1 3) Injection de SAB1 4) … 5) Obtention dun pseudo pattern (SABn-1) ( SABn, SHBn) SHB 1 Utilisation du pseudo pattern : Transport vers le réseau secondaire Ou Accompagnateur dans le réseau principal B1 Auto-Rafraîchissement par Pseudo-Exemples SAB1

81

82 Suppression de lOubli Catastrophique Cas décole (MacCloskey, 1989) Importance du processus de réverbération Courbe en « U » : Restructuration pour satisfaire les deux sous fonctions

83 Une Quasi Equivalence Nombre de cycles d'apprentissage

84 Phénomènes liés aux structures dans les réseaux distribués (II) Objectif : Etudier lapprentissage séquentiel de deux ensembles structurés ( transfert ?) Méthode : Choix de la structure additive (contrôle expérimental plus que réalisme psychologique) Apprentissage de 916 items (base A) correspondant soit à : une addition décimale (e.g., = 53 ) une opération Max (e.g., 07 Max 46 = 47 ) Au cours de lapprentissage de 229 items (base B) daddition octale (e.g., = 65 ), test de généralisation sur 687 items daddition octale non appris Etude de trois cas [ pour le cas compatible (décimal) et non compatible (Max)] Apprentissage de B seul (tabula rasa) Apprentissage simultané de A et B Apprentissage séquentiel de A puis B avec pseudo-rafraîchissement et processus de réverbération

85 CodageCodage Auto association : 12 cellules pour lopérande & 2 cellules pour lopérateur décimal Couche cachée Couche cachée : 40 cellules Hétéro Association Hétéro Association : 6 cellules pour le résultat ( + décimal ) 46 = 53

86 [(000) (111)] + [(100) (110)] = [(101) (011)] et [01]. Codage : = 5 3 en décimal … Représentation 1Représentation 2 Codage de l'addition

87 Oubli au cours de l'Apprentissage d'une Base d'Additions Octales

88 Généralisation au cours de l'Apprentissage d'une Base d'Additions Octales

89

90

91

92 Net 1 Pseudo-Examples ( PE ) Net 2 Actual Examples Information transfer with Pseudo-Examples Musca, Rousset & Ans, 2004 Auto-associative network

93 Actual Examples List 1 Source Items List 2 Control Items

94 Pseudo-Examples ( PE ) or "attractor states" from List 1 source items

95 Net 1 Pseudo-Examples Net 2 Source Items Filtered Familiarity tests on Source Items Control Items and

96 List 1 Source Items List 2 Control Items Pseudo-Example Filtering PE Constraint 1

97 List 1 Source Items (SI i ) List 2 Control Items (CI j ) PE (PE k ) Set of Pseudo-Examples Constraint 2 : mean ( CI j, PE ) < mean ( SI i, PE ) j i Similarity to the pseudo-example centroid PE

98 ( CI j, PE k ) < mean mean k j ( SI i, PE k ) k i Constraint 3 : List 1 Source Items (SI i ) List 2 Control Items (CI j ) (PE k ) Set of Pseudo-Examples Similarity to all pseudo-examples PE k

99 Net 1 Pseudo-Examples Net 2 Source Items Filtered Familiarity tests on Source Items Control Items and

100 Network error (mean RMS) Source items Control items PEs from L1 PEs from L2 Training material Net 2 Simulation

101 Net 1 Pseudo-Examples Net 2 Source Items Filtered Familiarity tests on Source Items Control Items and

102 Source items Control items PEs from L1 Group 1 PEs from L2 Group 2 Mean number of recognitions Behavioral Experiment 1 Occurrence recognition task

103 Source items Control items Mean number of LONG responses PEs from L1 Group 1 PEs from L2 Group 2 Behavioral Experiment 2 Perceptual fluency task


Télécharger ppt "Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme Évènement 2 : (S)péculation ou qui donne sens à P « Ruban magnétique."

Présentations similaires


Annonces Google