Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne.

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne Guérin-Dugué M. Benoît Lemaire Mme Mireille Bétrancourt Mme Karine Doré-Mazars M. Frédéric Alexandre M. Thierry Baccino M. Jean Caelen Directeurs : Rapporteurs : Examinateurs :

Plan Contexte et Problématique Application à un environnement simple
Application à un environnement complexe Modélisation Conclusions et Perspectives 24/11/2009 Soutenance Myriam Chanceaux 2 / 42

Tâche de recherche d’information
Proche-Orient Processus ascendants Processus descendants 24/11/2009 Soutenance Myriam Chanceaux 3

Modélisation cognitive
Modéliser pour comprendre les processus cognitifs impliqués Modéliser pour prédire le comportement des utilisateurs Simulation de trajets oculomoteurs Recherche guidée par un but 24/11/2009 Soutenance Myriam Chanceaux

Soutenance Myriam Chanceaux
Contexte Exemple de tâche : trouver un site avec la date d'une pièce de théâtre Simulation des actions Liens cliqués Pages abandonnées Chaque lien a une valeur informative (Information Scent) Chaque page a une valeur informative moyenne EZ-Reader SWIFT Image Saillance visuelle (Treisman & Gelade, 1980) (Itti & Koch, 2000) Recherche visuelle Guided search 4.0 (Wolfe, 2007) Area activation model (Pomplun, 2007) (Navalpakkam & Itti, 2007) Texte Lecture EZ-Reader (Reichle et al, 1998) SWIFT (Engbert et al., 2002) LSA (Landauer, 2007) Navigation CoLiDeS (Kitajima et al, 2000) Snif-Act (Pirolli & Fu, 2003) 24/11/2009 Soutenance Myriam Chanceaux

Analyse de la sémantique latente (LSA) Landauer, 2007
soupe citron chocolat pharmacie apport plante vigne gibier saveur extrait litre poison marmite tonneau floraison jardinier mouche cruche feuillage sueur jardin chasse linge réserve sommeil faiblesse prairie militaire chagrin commerce jument merveille Corpus de textes Modèle cognitif computationnel de représentation des connaissances sémantiques en mémoire à long terme A partir de grand corpus de texte 24 Millions de mots issus des articles du Monde de l’année 1999 Matrice de co-occurrence entre les termes et les documents et décomposition en valeurs singulières Représentation vectorielle des mots dans un espace d’environ 300 dimensions Similarité entre mots ou groupes de mots mesurée par le cosinus entre les vecteurs Proximité sémantique calculée avec LSA proche du jugement humain LSA 24/11/2009 Soutenance Myriam Chanceaux 6 / 42

Contexte et Problématique
Application à un environnement simple Application à un environnement complexe Modélisation Expérimentations Expérimentations Ajustement des paramètres et validation Ajustement des paramètres et validation Conclusions et Perspectives 24/11/2009 Soutenance Myriam Chanceaux

Interaction des processus
24/11/2009 Soutenance Myriam Chanceaux

Exemple de page Objectif : Trouver l’instrument de musique le plus petit 24/11/2009 Soutenance Myriam Chanceaux

Processus modélisés + = Visuel Acuité Saillance Sémantique Plus les éléments sont proches spatialement plus ils le sont sémantiquement Mémoire Mécanisme d’oubli Intégration Somme pondérée Objectif : Trouver le poisson le plus dangereux Fixation courante sur baleine 24/11/2009 Soutenance Myriam Chanceaux

Variable Memory Model Arani, 1984 ; Horowitz, 2006
2 paramètres Encodage θ Récupération φ À la ième époque le modèle “se souvient” de l’item vu à la kième époque avec la probabilité Pi,k= θ φi-k Tâche de recherche visuelle θ=0.82 φ=0.86 24/11/2009 Soutenance Myriam Chanceaux

Expérimentations Méthode 18 pages (recherches) par participant 3 conditions visuelles (intra-sujet) 2 conditions sémantiques (inter-sujet) Deux versions Mots de taille variable (de 13 à 19) 43 participants Mots de couleur variable (rouge et noir) 29 participants 24/11/2009 Soutenance Myriam Chanceaux

Processus expérimental

Besoin de variables « haut-niveau » pour comparer les données et ajuster les paramètres du modèle Nombre de mots vus avant d’atteindre la cible Taux de saccades progressives (saccades se rapprochant de la cible) Exemple Quelle est la plante la plus piquante? Cible : Cactus 7 mots Tx : 0.75 5 mots Tx : 0.71 7 mots Tx : 0.625 24/11/2009 Soutenance Myriam Chanceaux

Ajustement des paramètres
Pondération des processus αV (visuel), αM (mémoire) et αS (sémantique) tels que αV + αM + αS =1 Paramétrisation de la mémoire θ (encodage) et Ф (récupération) 24/11/2009 Soutenance Myriam Chanceaux

Résultats des comparaisons
Expé Taille Expé Couleur 24/11/2009 Soutenance Myriam Chanceaux

Matériel expérimental
Paragraphes de texte Deux organisations des blocs En lignes et en colonnes En pêle-mêle Avec titre Sans titre 24/11/2009 Soutenance Myriam Chanceaux

Modélisation à deux niveaux
Au niveau des blocs Quel sera le prochain bloc? Premières visites Revisites Au niveau des mots Quand quitte-t-on le bloc? Lecture du texte 24/11/2009 Soutenance Myriam Chanceaux

Niveau des blocs : 1ères visites
Parcours planifié Gist Visite séquentielle de tous les blocs 2 paramètres pour simuler les préférences culturelles Préférence vers le bas Préférence vers la droite 24/11/2009 Soutenance Myriam Chanceaux 23

Niveau des blocs : revisites
Plusieurs processus en compétition à intégrer Processus sémantico-mnésique - SMem Mécanisme d’oubli (IOR, VMM) Tendance à retourner vers les blocs oubliés Intérêt des blocs (LSA) Tendance à retourner vers les blocs intéressants Processus visuel - Vis Acuité visuelle Tendance à aller vers les blocs proches spatialement 24/11/2009 Soutenance Myriam Chanceaux 24

Niveau des mots Modèle simple de lecture mot à mot du bloc
Étiquetage morpho-syntaxique des mots avec Tree-Tagger : omission des mots-outils Continuer ou arrêter la lecture? Similarité LSA entre la séquence de mots traités et le thème de la recherche Abandon du paragraphe s’il est très proche du thème ou pas pertinent du tout Thème : Victoire des footballeurs 24/11/2009 Soutenance Myriam Chanceaux 25

Niveau des mots : Titre Organisateur paratextuel Oriente la lecture Prise en compte du titre dans le modèle en doublant son poids Calcul de similarité entre le thème « Hausse de la bourse » et « Finance Finance bourse tokyo, etc » 24/11/2009 Soutenance Myriam Chanceaux 26 /42

Exemple de trajet simulé
Thème de recherche : Observation des planètes 24/11/2009 Soutenance Myriam Chanceaux 27

Matériel expérimental
Sélection de 20 thèmes de recherche Observation des planètes, aide aux réfugiés, réchauffement climatique, conflit en Irak, réforme de la justice, etc. 7 paragraphes par page 2 paragraphes fortement associés au thème (Association Forte, AF) 2 paragraphes moyennement associés (Association Faible, Afa) 3 paragraphes sans lien (Aucune Association, AA) Une photographie (reliée à un AF ou AA) 2 organisations : Lignes et colonnes (3 blocs avec un fond coloré) 38 participants Pêle-mêle 27 participants (15 Avec Titre et 12 Sans Titre) 24/11/2009 Soutenance Myriam Chanceaux 29

Processus expérimental

Premières analyses 24/11/2009 Soutenance Myriam Chanceaux 31 / 42

Ajustement des paramètres (1)
Optimisation des intervalles de variation des paramètres à partir de calculs de distance de Levenshtein Préférence vers le bas Préférence vers la droite N N2 U U2 Z Z2 24/11/2009 Soutenance Myriam Chanceaux

Ajustement des paramètres (2)
Prise en compte du titre 2 paramètres : 1ère fixation 2nde fixation 24/11/2009 Soutenance Myriam Chanceaux 34

Comparaisons données empiriques et simulées Au niveau des blocs : Lignes & colonnes Matrices de transition Participants Modèle 24/11/2009 Soutenance Myriam Chanceaux 35

Comparaisons données empiriques et simulées Au niveau des blocs : Pêle-mêle Directions des transitions 24/11/2009 Soutenance Myriam Chanceaux 36

Comparaisons données empiriques et simulées Au niveau des blocs : Revisites Taux de blocs revisités selon le type de bloc (Association Forte, Association Faible ou Aucune Association) En lignes et en colonnes Pêle-mêle 24/11/2009 Soutenance Myriam Chanceaux 37

Comparaisons données empiriques et simulées Au niveau des mots Taux de lecture (nombre de fixations / nombre de mots) selon le type de bloc (Association Forte, Association Faible ou Aucune Association) 10 fixations, 31 mots → tx = 0.32 Sans Titre Avec Titre 24/11/2009 Soutenance Myriam Chanceaux 38

Conclusions Modèle qui permet de simuler la scrutation d’une page lors d’une tâche de recherche d’information Prise en compte de différents types d’information Travail pluridisciplinaire Premières simulations permettant une base solide pour de futurs travaux 24/11/2009 Soutenance Myriam Chanceaux

Perspectives Modélisation des durées des fixations Saccades exploratoires Prise en compte de processus décisionnels, permettant l’arrêt de la recherche Intégration des différences inter-individuelles Ajout d’un système de saillance visuelle plus complexe et traitement de la photo Application à des environnements encore plus complexes et plus proches de réelles pages Web 24/11/2009 Soutenance Myriam Chanceaux

Merci de votre attention

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne.

Présentations similaires

Présentation au sujet: "Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne."— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back

Entrer

S'autoriser via un réseau social:

Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne.

Présentations similaires

Présentation au sujet: "Modélisation cognitive computationnelle de trajets oculomoteurs lors d'une tâche de recherche d'information Myriam Chanceaux 24 novembre 2009 Mme Anne."— Transcription de la présentation:

Présentations similaires

Notre projet

Feed-back