Apprendre à partir de textes et de documents multimédia TECFA Technologies pour la Formation et l’Apprentissage Apprendre à partir de textes et de documents multimédia Cours 2. Objectif de ce cours : - explorer comment on acquiert des connaissances à partir d’informations multimédia, cad comment deux sources d'information (par exemple texte et graphiques) sont traitées par un individu qui va se former une représentation unifiée d'un contenu ? - décrire des expériences de psychologie cognitive sur l'effet des facteurs de présentation des informations sur leur intégration cognitive (facteurs spatiaux et temporels). Questions pratiques : est-ce qu ’on apprend mieux avec plusieurs modalités d ’information ? Dans quelles conditions ? Questions théoriques : comment les informations provenant de différentes sources sont-elles mises en relation en mémoire ? On va aborder le sujet au travers de l ’article suivant que je vous propose de lire maintenant. Mettez-vous par deux et essayez de remplir la feuille associée. Cours STAF 15 1

Apprendre à partir d’un texte

Comprendre un texte Jean allait à l‘école. Il était tracassé par le cours de Maths. Il se demandait s’il parviendrait à maîtriser la classe. @ André Bisseret

Comprendre un texte Fonctionnement d’une pompe à vélo. Lorsque l’on tire la poignée, le piston monte, la valve d’entrée s’ouvre, la valve de sortie se ferme et l’air entre dans la partie basse du cylindre. Que fait le piston lorsque l’on tire la poignée ? Comment se fait-il que l’air entrant ne sorte pas ? Plusieurs niveaux de représentation du texte qui se caractérisent par ce qu’ils permettent à l’utilisateur de faire plus que par leur phénoménologie. Mot à mot ou représentation de surface, qui permet de reconnaître des énoncés ou de rappeler le mot à mot Représentation propositionnelle, qui e4st liée à un premier travail d’abstraction du contenu mot à mot pour en retenir le sens. Cette représentation permet de répondre à des questions qui paraphrasent le texte Représentation de la situation décrite par le texte, qui reproduit de façon plus analogique ce qui est décrit. Par exemple icic, il est fréquent de se former une sorte d’image mentale à partir des connaissances que l’on a sur le domaine. Ce niveau permet de résoudre des inférences ou des problèmes de transfert. Ce n’est que lorsque ce niveau est atteint que l’on peut considérer que l’on a apprentissage, c’est-à-dire acquisition de nouvelles connaissances ou encore nouvelle façon de se représenter un phénomène. Que se passe-t-il si la valve de sortie reste ouverte ?

Compétence linguistique Nouvelles connaissances Compétence linguistique Représentation de la situation Connaissances sur le domaine MLT Buts cognitifs Activité métacognitive Mémoire de travail Représentations du texte Cette diapo représente un shéma du modèle actuel de la compréhension de texte. Il considére deux niveaux de mémoire : mémoire de travail et mémoire à long terme. Ce qui est important, c’est l’appel aux connaissances antérieures.

Apprendre à partir d’un texte illustré

L ’effet multimédia Fonctionnement d’une pompe à vélo. poignée piston valve d ’entrée valve de sortie Fonctionnement d’une pompe à vélo. Lorsque l’on tire la poignée, le piston monte, la valve d’entrée s’ouvre, la valve de sortie se ferme et l’air entre dans la partie basse du cylindre.

L ’effet multimédia L ’effet positif de l’ajout d ’illustrations graphiques à un texte : apparaît dans plus de 80% des études améliore la mémorisation d ’environ 36% améliore la compréhension et le transfert En effet, plusieurs études on été menées dans les années 60 à 80 Par exemple, la revue de Levie et Lentz, 1982 qui montre un effet positif des illustrations graphiques sur le mémorisation du texte, mais aussi la compréhension telle que mesurée par la capacité de résoudre des inférences ou des problèmes de transfert. Cependant, cet effet n’apparaît pas dans 20% des études, ce qui a conduit les études ultérieurs à s’intéresser aux conditions dans lesquelles un graphique est bénéfique à la compréhension du texte, notamment des facteurs de différences inter-individuelles, et de format de présentation, j’y reviendrai. L’effet positif est conditionnel à plusieurs facteurs. Levie & Lentz, 1982

L’effet multimedia Décoration Représentation Organisation Exemple : tectonique Rôle cognitif : support à l’élaboration d’une représentation de la situation ou modèle mental et donc à la compréhension. Montrer exemple de chaque Autrement dit, les illustrations graphiques permettent de faire des opérations sur les éléments et leurs relations qui sont plus difficiles de mener sur le texte (comparaison de quantité, relations d’ensemble). Interprétation

L’effet multimedia… et réciproquement poignée piston valve d ’entrée valve de sortie Lorsque l’on tire la poignée, le piston monte, la valve d’entrée s’ouvre, la valve de sortie se ferme et l’air entre dans la partie basse du cylindre. Mayer & Gallini, 1990

L’effet multimedia… et réciproquement L’inspection de la figure est dirigée par le texte Après un passage difficile Pour intégrer une information nouvelle Le texte facilite la mémorisation des informations de la figure (notamment spatiales).

Trois types de modèles de l’intégration Approche amodale Premier modèle : Texte et figure sont traités par une sorte de processeur central, et la représentation en mémoire est sous forme de proposition abstraite, qui code de façon logique (type prédicat argument) les relations entre éléments. Donc dans ce modèle, peu importe que l ’on choisisse texte ou figure pour présenter une info, c ’est la même chose au final. Argument : lorsqu ’une connaissance est acquise, la modalité d ’entrée n ’a pas d ’effet sur les traitements ultérieurs. Pylyshyn

Trois types de modèles de l’intégration Double codage Deuxième approche : Mais non, ce n ’est pas un codage amodal indépendant du type d ’entrée car on n ’a pas les mêmes performances de rappel et de reconnaissance lorsqu ’on présente des concepts sous forme imagée et sous forme verbale. D ’ailleurs, si on présente un objet à la fois en image et en texte, il est beaucoup mieux rappelé qu ’un objet que l ’on présente sous un seul média (mot ou image). Il y a donc deux représentations en mémoire, et donc on augmente la probabilité de retrouver une info puisqu ’elle est codée deux fois. Autre argument, l ’expé de Santa. Paivio Kulhavi

Santa, 1977

Trois types de modèles de l’intégration Deux niveaux de représentation Intégration dans une représentation unifiée Représentations modales Approche intermédiaire : - oui il y a bien deux représentations modales en mémoire de travail, mais les infos de texte et figure sont intégrées en mémoire dans la même représentation = représentation de la situation de référence ou modèle mental Une preuve, c ’est par exemple l ’expérience de Pezdek. Johnson-Laird Kintsch & van Dijk

Modèle de compréhension du multimédia Schnotz et al., 1999 inspection du modèle organisation conceptuelle Modèle mental construction du modèle Représentation propositionnelle organisation visuelle Image visuelle perception sélection thématique traitement semantique Traitement symbolique Représentation de surface Traitement analogique Ce modèle a été proposé par Schnotz, Boeckeler et Grzondziel en 1999. Du côté symbolique, le texte donne d’abord lieu à représentation de la surface du texte, suite à l’applications de processus de typo phonologique, lexicaux et syntaxiques. Ce niveau permet la vérification d’énoncés tirés du texte. Le 2ème niveau, après traitement de type sémantique donne lieu à une présentation de type propositionnelle : permet de juger la véracité de paraphrases du texte. Une 3ème niveau a été mis en évidence parallélement par Kintsch et van Dijk, et par Johnson-Laird en 1983. Ce 3ème niveau, c’est la représentation de l’état du monde qui est décrit dans le texte. Deux particularités de ce 3ème niveau 1) produit d’inférence à partir des connaissances en MLT (par exemple d’inférer qu’il s’agit d’un enfant pour le texte que je vous ai montré en début)., et générateur d’inférences 2) une structure analogique à ce qu’il représente, autrement dit les relations entre éléments du concept sont représentés par des relations entre éléments du MM. Idem du côté visuel. Ce modèle du 3ème type, même s ’il a l ’apparence du double codage. en effet, le verbal s’intégre au visuel dans un MM unique. Ce modèle a deux intérêt : d’une part il pose que l’intégration des infos provenant du verbal et du visuel est essentielle à la formation d’une représentation intégrée et donc à l’acquisition de nouvelles connaissances. D’autre part, il offre un paradigme d’étude, puisque les premiers niveaux de traitement peuvent être évalués au moyen de tâche de mémorisation d’infos explicites, alors que le niveau du MM lui permet la résolution d’inférences et de problèmes de transfert. Il est à noter que peu d’étude adresse le niveau de représentation visuelle du graphique (de type image mentale). Si l’on en revient à la question posée en début qui est de concevoir des présentations multimédia efficaces, ces deux modèles offrent donc un environnement dans lequel des hypothèses peuvent être générées et les résultats interprétées. traitement sub-semantique organisation verbale

Effets du format de présentation

Effet Multimédia Les illustrations statiques ou dynamiques facilitent la compréhension et la mémorisation de textes oraux ou écrits. Enoncé de la question Les illustrations facilitent-elles la compréhension de texte ? Exemple de recherche Dès les années 70-80, recherche typique : comparaison mémorisation et compréhension texte seul et texte plus illustrations. Parenthèse : on considère les illustrations explicatives, cad qui représente les objets, les actions à entreprendre ou les relations entre éléments (ex : explic du fonctionnement d ’un moteur, shéma légendé en anatomie, etc.). On ne considère pas ici les digrammes abstraits, qui demande un traitement très particulier. Ces recherches montrent qu ’un texte illustré est mieux mémorisé et compris qu ’un texte dans illustration, à condition que les images soit en rapport avec les infos du texte. C ’est évident, mais il fallait le montrer. Cas particulier des animations. Comme vous pouvez le voir dans le papier que je vous ai fait lire, les illustrations animées ont le même effet positif que les illustrations statiques. Cependant, peu d ’étude montrent qu ’elles sont plus efficaces que les illustration statiques. je vous en parlerai peut-être plus tout-à-l ’heure si on a le temps. Justification théorique Modèle de Schnotz : deux façons de coder l ’information (picturale et verbale), support analogique à la for,ation d ’un MM

Effet de contiguité spatiale Format séparé Question : voir schémas Expés : Sweller en a fait des tonnes sur divers matériels et en milieu scolaire réel, à différents niveaux d ’étude.

Effet de contiguité spatiale Format intégré

Effet de contiguité spatiale % de réponses correctes Q. factuelles Inférences 58 47 42 36 Combiné Séparé Résultats : - Facteur format significatif avec combiné supérieur à séparé - Facteur type d ’items significatif, avec factuels plus facile qu ’inférentiels. Interaction non significative cad il n ’y a pas plus de différence entre combiné et séparé avec factuel qu ’avec inférentiel. Purnell, Sweller & Solman, 91

Théories des schémas et charge cognitive Acquérir une connaissance, c’est construire un schéma. = construction cognitive qui permet de catégoriser les tâches en fonction des opérations mentales qui seront appropriées à ces tâches. La construction d ’un schéma impose une forte charge cognitive. Théorie des schémas : acquérir une connaissance, c ’est construire un schéma mental. Cf par exemple les joueurs d ’échecs qui retiennent mieux les configurations signifiantes en mémoire que les novices mais pas les configurations aléatoires. Les experts ont des schémas bien construits qui leur permettent de savoir, pour une situation donnée, quelle action effectuer. En gros, il n ’adopte pas une stratégie de résolution de problème (du but vers les actions à entreprendre) mais ils appliquent des actions dans un ordre connu. Exemple du script du restaurant. Vous allez à la cafet de l ’Uni, le schéma restaurant ne s ’applique plus. Pour Sweller et ses collaborateurs, la plupart des matériels pédagogique non seulement ne sont pas formatté pour l ’acquisition de schéma, et en plus, ils induisent une forte charge cognitive, qui n ’est pas compatible avec la charge liée à la construction du schéma. Sous-jacent on voit poindre le modèle du processeur humain dont les ressources cognitives sont limités. Modèle de base en psy cognitive. Sweller & Chandler, 1990

Effet de contiguité spatiale L’intégration spatiale des informations verbales et graphiques facilite le traitement. Deux cas où l’intégration est défavorable : si les deux sources d’information sont redondantes Résultat : intégration spatiale facilite la compréhension Justif théorique de Sweller et ses collaborateurs : - effet de split attention - intégration sémantique Théorie de la charge cognitive: la capacité cognitive de la MT est limitée. Si on augmente la charge lié au traitement du doc à cause de son format inadapté, on diminue les ressources allouées à l ’apprentissage. si les deux sources d’information ne sont pas complémentaires

Effet de contiguïté temporelle Animation et commentaires audio ou visuels doivent être présentés simultanément. Exemples de recherche : Mayyer et Anderson, 1992. Animation d ’une pompe à vélo avec commentaire audio. Comparaison de 4 conditions : - commentaire 7 s avant - 7 sec après - en même temps = concurrent - pas d ’explication du tout. Perf de mémorisation : tous les groupes meilleurs que le contrôle. Perf sur inférences : concurrent plus efficace que les deux autres, le pire étant le commentaire avant

Le principe de contiguïté Le même principe d ’intégration est valable pour la dimension temporelle : lorsque le commentaire est présenté strictement en même temps c ’est bien mieux que juste avant ou juste après (Mayer et ses collègues). D ’où principe de contiguïté. Lorsque l ’on présente texte et figure, il se forme deux représentations modales de ce qui est décrit = connections représentationnelles Mayer & Anderson, 1992

Le principe de contiguïté Si les deux médias ne sont pas contigus, alors les connections référentielles ne sont pas, ou avec une autre perspective, il n ’y a pas véritablement formation d ’un MM. Mayer & Anderson, 1992

Effet de modalité D ’après Mayer (2001) blabla Modèle codage pictural mental Ne pas confondre : - médias : verbal vs pictural - modalité : auditive ou visuelle pour le verbal Expériences : équipe de Sweller et équipe de Mayer Exemple : Moreno et Mayer, 1998 Dans le même sens, Mayer et Moreno (1998) ont réalisé deux expériences. Dans l’une, une animation décrivait la formation des éclairs ; dans l’autre une animation décrivait le fonctionnement des freins d’une automobile. Dans chaque expérience, il y avait deux conditions : - dans l’une, l’animation était accompagnée d’explications orales - dans l’autre, l’animation était accompagnée des explications écrites sur l’écran. Dans les deux expériences, les sujets qui recevaient les explications oralement ont obtenu de meilleurs résultats que les autres dans trois tests : un test de mémoire, un test d’appariement (entre éléments visuels et éléments verbaux) et un test de transfert (à la résolution de problèmes). Donc il vaut mieux varier les modalités. Il existe des recherches qui montrenet que ce n ’est pas forcément vrai si le sujet peut controler le rythme de la présentation. Affaire à suivre... Justif théorique : chaque canal a une capacité limitée. Remarque : évidemment effet de contiguité s ’applique dans le cas de l ’écrit et du visule. codage verbal blabla R° proposi- tionnelle

Effet des différences interindividuelles Aptitudes visuo-spatiales Expertise Effet des compétences visuo-spatiales : Hegarty et Sims 1992 Compréhension de système de poulies figure + texte 2 groupes sont formés en fonction de test d ’aptitude visuo-spatiales : faibles et fort. Il en résulte que seuls les sujets avec haute capacité visuo-spatiale ont pu répondre aux inférences, les autres ne pouvaient pas tirer parti des shémas. Idem Mayer & Sims : les sujets avec forte abilities ont de meilleures perf. Effet de l ’expertise Résultat classique mais à double possibilité : - soit le shéma aide les novices mais pas les experts parce qu ’ils savent déjà visualiser le contenu du texte (en gros, le doc ne leur apprend rien - soit seuls les experts peuvent exploiter le schéma car ils en ont les compétences -> cas de matériel où le symbolisme est fort, et où les inférences sont difficiles. De même, Mayer & Sims montrent que les experts réussissent aussi bien vace des explications coordonnées ou non. Donc pour savoir, nécessite de bien cibler la difficulté du shéma par rapport à la population ciblée. Hegarty & Sims, 1994 Mayer & Sims, 1994

Effet de redondance Deux types de redondance : - informations présentées deux fois - informations connues des utilisateurs Ne pas confondre redondance et complémentarité Mousavi, Low et Sweller (1995) ont présenté à des sujets des exemples de problèmes de géométrie avec des présentations de figures fixes. Dans deux expériences, 3 conditions différentes étaient comparées : -Condition “ simultanée ” : les sujets examinaient une figure et pouvaient lire des explications associées tandis qu’en même temps, ils entendaient ces explications fournies oralement par un magnétophone. -Condition “ tout visuel ” : les sujets examinaient la figure et pouvaient seulement lire les explications écrites ; -Condition “ visuel-auditif ” : les sujets examinaient la figure tout en entendant les explications dispensées oralement par le magnétophone. Dans les deux expériences, l’apprentissage était amélioré en condition avec présentation auditive (condition 1 et 3), la condition simultanée étant la pire en termes de perf et de charge cognitive perçue. Interprétation : les sujets doivent réconcilier les deux infos auditive et verbale, et comme elles sont identiques, ils utilisent des ressources ognitives pour rien.

Effet de cohérence Quel effet de l ’ajout d ’informations attractives (illustrations, exemples, sons, vidéos...) ? Hypothèse motivationnelle Exemple de recherche Matériel sur la formation des éclairs Si on ajoute des illustrations ou des commentaires de type « Les joueurs de golf sont particulièrement exposé », on diminue les perf de compréhension. De même si on ajoute des sons (genre bruits de tonnerre). Justif théorique : théorie de la charge cognitive: toute info non essentielle pour la compréhension augmente le traitement. S ’oppose à la théorie motivationnelle qui dit que motivation augmente et donc perf. Hypothèse de la charge cognitive

Effet de personnalisation Personnalisation du discours a-t-elle une influence? Exemple de recherche Matériel sur la formation des éclairs Si on ajoute des illustrations ou des commentaires de type « Les joueurs de golf sont particulièrement exposé », on diminue les perf de compréhension. De même si on ajoute des sons (genre bruits de tonnerre). Justif théorique : théorie de la charge cognitive: toute info non essentielle pour la compréhension augmente le traitement. S ’oppose à la théorie motivationnelle qui dit que motivation augmente et donc perf.