La méthodologie expérimentale Fondements et bases d’application TECFA Technologies pour la Formation et l’Apprentissage La méthodologie expérimentale Fondements et bases d’application Comme je vous l ’avais annoncé, ce cours a pour objectif de vous donner les bases suffisantes pour 1) être capable de comprendre une recherche expérimentale 2) être capable de mettre en place une expérimentation en Sciences humaines, même si mes exemples seront toujours tirés de la psychologie cognitive ou bien éducative. Je resterai dans le domaine des textes et des hypertextes en m ’appuyant sur une recherche en particulier tout au long de cet exposé = Mayer et Chandler Diplôme STAF Année 2004-2005 M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale 1

M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale Pourquoi l ’expérimentation en sciences humaines ? Sciences humaines sciences de la nature Expérimenter consiste à varier les éléments constitutifs d ’une situation dans le but de provoquer un phénomène et de mesurer son évolution. Une science se définit, selon Claude Bernard, comme une discipline utilisant l ’expérimentation pour valider ses propos. Il n ’y a pas de création en sciences du comportement. C ’est comme pour les sciences de la nature : on fait des observations sur des phénomènes et on cherche à les comprendre, càd à comprendre quand ces phénomènes apparaissent et pourquoi, càd qu ’est-ce qui les a déclenchés ? L ’expérimentation consiste à reproduire une situation, à en varier les caractéristiques pour obtenir des phénomènes observables différents. M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Pour obtenir des réponses scientifiques : des observables objectifs et mesurables situation tâche représentations traitements A quelles conditions une discipline peut-elle se dire scientifique ? Sans rentrer dans les détails de la définition de Claude Bernard, en voici quelques notions importantes : 1. notion d ’observables : on ne peut travailler que sur ce qui est objectif et mesurable. Donc pas d ’introspection possible. L ’observable de la psycho est le comportement. Dans la problématique béhavioriste, l ’objectif était de définir pour une situation S, quelle était la réponse comportementale observée. Par exemple, la probabilité de rappeler un mot d ’une liste en fonction de sa place dans la liste. Dans l ’approche cognitiviste, ce qui est intéressant ce sont les opérations mentales qu ’opère l ’individu, et que l ’on ne peut mesurer directement. On crée alors des situation et des tâches tels que le comportement observé peut être un révélateur des traitements cognitifs engagés. A cet égard les recherches en imagerie mentale dans les années 80 ont essuyé de virulentes critiques. Dans ces expés, on demandait aux individus de parcourir mentalement des distances puis on analysait les temps de réponses. Les recherches sur l ’imagerie mentale ont trouvé le moyen d ’assortir leurs verbalisations d ’observables bien objectifs : devinez quoi ? L ’imagerie cérébrale, qui a permis de montrer que lorsqu ’un sujet parcourait une environnement mentalement, ce sont bien les aires visuelles qui s ’activent. On reviendra sur la notion d ’observables plus tard, car souvent en psycho on est obligé de les provoquer ou de les créer. Stimulus Réponse M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Pour obtenir des réponses scientifiques : des observables objectifs et mesurables manipuler des facteurs situation tâche matériel sujets 2. Manipulation de facteurs Dans les situations d ’enquête, on peut faire varier les caractéristiques de la population en jouant sur l ’échantillon des gens interrogés. De même, dans les situations comparatives, on peut jouer sur les situations que l ’on observe : par exemple, on compare l ’utilisation d ’une techno dans une école de type Freinet ou dans une école traditionnelle. Dans une expérimentation, on ne se contente pas de contrôler les caractéristiques ou d ’observer différents cas existants, on manipule les facteurs. En d ’autres termes, on construit plusieurs modalités d ’un même facteur. Plusieurs types de facteurs liés aux : - situations : en binôme ou seul, la consigne donnée aux sujets - la tâche : ce qu ’on demande aux sujets de faire : comprendre un texte, trouver une information... - objets manipulés par les sujets aussi appelés stimuli dans le jargon - sujets : on peut faire des tests (par exemple leur connaissance du lexique) et affecter les sujets en groupes en fonction des résultats. Dans les autres cas, on ne peut pas vraiment faire varier les facteurs, soit parce que c ’est impossible (pour les CSP), soit parce que l’  « éthique » l ’interdit (par exemple adopter une méthode pédagogique sur toute une année pour laquelle on fait l ’hypothèse qu ’elle est mauvaise). Mais ça ne veut pas dire que ce n ’est pas de la science. Pour récapituler, on fait varier les modalités d ’un facteur (ou plusieurs) pour être surs que les changements observés sont effectivement dûs à ces changements. La phrase préférée des expérimentalistes est « toutes choses égales par ailleurs ». lecture lecture M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Pour obtenir des réponses scientifiques : des observables objectifs et mesurables manipuler des facteurs être capable de réfuter des propositions Modèle 1 Hypothèse 1 Modèle 2 Hypothèse 2 3. Popper (1934) considère qu ’une discipline est scientifique lorsqu ’elle se donne les moyens de réfuter des propositions. En effet, la science fonctionne au moyen de théories ou modèles. Pour progresser, soit on enrichit le modèle en développant des sous-branches, soit on le met en défaut sur certains points. Ce n’est pas différent des Sciences dites dures. Prenons l’exemple bien connu de la chute des corps tel que théorisé par Newton. L’observation de la pomme qui tombe ne fournit pas la théorie. C’est parce que Newton avait une théorie qu’il a pu déduire quelque chose de la chute des pommes. Dans les sciences naturelles ou humaines, on ne peut jamais prouver qu ’une théorie est vraie car on ne peut pas être sur qu ’il n ’y ait pas de situation où elle est fausse (différent des mathématiques). Donc on va montrer que la (ou les) théorie alternative est fausse. En d ’autres termes, on construit une situation dans laquelle on s ’assure que dans une des conditions, on obtiendra des différences entre hyp 1 et hyp 2. Ainsi la théorie gravitationnelle de Newton n’est valide que pour des corps de certaines tailles et pour des petites vitesses (très inférieures à la vitesse de la lumière). M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale Pour obtenir des réponses scientifiques : des observables objectifs et mesurables manipuler des facteurs être capable de réfuter des propositions Par exemple, expé de Shepard et Metzler en 1971 sur l ’imagerie mentale. Le premier modèle postule que l ’imagerie n ’est qu ’un épiphénomène subjective sans réalité psychologique et qu ’en fait les représentations sont toujours de type propositionnel. Le deuxième modèle postule que les représentations spatiales sont de type analogique, Pour tester ça, les chercheurs construisent une situation où l ’on demande à des sujets de comparer deux vues différentes d’objets en 3 D afin de distinguer si deux exemplaires sont identiques ou non. On leur demande donc une opération de rotation mentale. Dans le modèle 1, le codage de l ’objet 3 D est abstrait et donc la complexité de la tâche dépendrait de la complexité géométrique de l ’objet. Dans le modèle 2, où l ’on manipule la représentation comme l ’objet réel, la complexité de la tâche dépendrait de la complexité de la rotation (l’angle et les axes). L ’observable de la complexité était le temps de réponse = complexité de l ’opération. Les auteurs ont observé que le temps de décision était proportionnels à l’angle de rotation nécessaire pour effectuer la comparaison, comme si le sujet avait mentalement effectué la rotation. En outre, cette vitesse de rotation n’est pas fonction de la complexité du stimulus. Donc les résultats sont favorables au modèle analogique et pas au modèle propositionnel. M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Intérêt d’une démarche scientifique Validité L ’effet est bien dû aux facteurs manipulés, les autres sont contrôlés Réplicabilité Dans la même situation, on obtient les mêmes résultats Pourquoi est-ce si important de se vouloir scientifique ? N ’est-ce pas une manifestation du complexe d ’infériorité des chercheurs des sciences dites molles ? Pourquoi ne pas se contenter de faire du qualitatif pour garder la complexité de l ’humain qui ne se réduit pas à un rat de labo ? Sans rentrer dans un débat épistémologique, je dirais que plus le phénomène à observer est complexe, plus on a besoin d ’avoir d ’approches différentes. Si on pense à la médecine humaine, on ne pourrait pas dire que l ’approche fonctionnelle suffit, on a besoin aussi de l ’approche biologique, anatomique et que sais-je encore. Ainsi pour étudier la mémoire humaine, on doit faire interagir une approche située et écologique (témoignage de sujets sains ou malades, observation en situation réelle d ’opérateurs au travail, etc. ), une approche neurologique (fonctionnement des neurones, IRM, potentiels évoqués, etc.) et une approche expérimentale, qui a par exemple permis de reproduire le phénomène de chunking observé chez les experts. On va maintenant voir les étapes de la construction d ’une manipulation expérimentale. Fiabilité Les analyses statistiques permettent de s ’assurer que l ’effet n ’est pas dû au hasard M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Etapes de construction d ’une expérimentation M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Construction de la problématique Travail bibliographique : quels sont les modèles proposés ? Sans rentrer dans le détail de la définition d ’une problématique, voici les principales fonctions d ’une recherche biblio précédent une manip. - Les modèles Par exemple dans le cas des documents multimédia, vous avez 3 types de théories: propositionnelles, double codage, ou modèle mental. Aussi modèle de la charge cognitive : on a des ressources limitées de traitement en mémoire de travail. - Les problèmes identifiés et la façon dont ils sont conceptualisés. L ’un des pb est celui de l ’acquisition d ’un modèle concepts scientifiques à partir d ’hypertextes. - Les résultats précédents : qu ’a t-on fait comme expé sur la l ’acquisition de concept, la lecture en d ’un hypertexte et plus précisément sur l ’acquisition de concepts à partir d ’ hypertexte ? - quels sont les paradigmes utilisés : si on a déjà étudié cette question, comment s ’y est-on pris ? Quelles tâches, quels textes, etc. M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Capacité limitée de la mémoire de travail Mémoire à long terme Connaissances Baddeley, 1983 Centre exécutif Boucle articulatoire Calepin visuo-spatial Mémoire de travail Les développements actuels des modèles de mémoire s’orientent vers les faits suivants: une plus grande perméabilité entre mémoire de travail et mémoire à long terme (cf. Ericson 6 kintsch,) l’importance des processus métacognitifs (le planificateur devient central) L’importance des émotions dans le processus de stockage, de récupération mais aussi d’oubli et de déformations de traces mnésiques Buffer sensoriel M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Modèle de double codage Systèmes sensoriels Systèmes de traitement Mémoire de travail Mémoire à long terme représentation imagée Connaissances du sujet sur le monde Image mentale Explication théorique : chaque canal sensoriel a une capacité limitée (cf. modèle de Mayer 2001). Le fait d’utiliser l’audio libère les ressources visuelles qui sont alors utilisées pleinement pour l’animation. On peut aussi l’interpréter par un effet de split-attention, dans le cas où les commentaires sont présentés sur une zone séparée de l’écran. Remarque : évidemment l’effet de contiguïté s’applique dans le cas de l ’écrit et de l’oral. représentation verbale Représentation propositionnelle Commentaire audio d’après Mayer, 2001 M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Modèle de compréhension du multimédia Schnotz, 2001 inspection du modèle organisation conceptuelle Modèle mental construction du modèle Représentation propositionnelle organisation visuelle Image visuelle perception sélection thématique traitement semantique Traitement symbolique Représentation de surface Traitement analogique Ce modèle a été proposé par Schnotz, Boeckeler et Grzondziel en 1999. Du côté symbolique, le texte donne d’abord lieu à représentation de la surface du texte, suite à l’applications de processus de typo phonologique, lexicaux et syntaxiques. Ce niveau permet la vérification d’énoncés tirés du texte. Le 2ème niveau, après traitement de type sémantique donne lieu à une présentation de type propositionnelle : permet de juger la véracité de paraphrases du texte. Une 3ème niveau a été mis en évidence parallélement par Kintsch et van Dijk, et par Johnson-Laird en 1983. Ce 3ème niveau, c’est la représentation de l’état du monde qui est décrit dans le texte. Deux particularités de ce 3ème niveau 1) produit d’inférence à partir des connaissances en MLT (par exemple d’inférer qu’il s’agit d’un enfant pour le texte que je vous ai montré en début)., et générateur d’inférences 2) une structure analogique à ce qu’il représente, autrement dit les relations entre éléments du concept sont représentés par des relations entre éléments du MM. Idem du côté visuel. Ce modèle du 3ème type, même s ’il a l ’apparence du double codage. en effet, le verbal s’intégre au visuel dans un MM unique. Ce modèle a deux intérêt : d’une part il pose que l’intégration des infos provenant du verbal et du visuel est essentielle à la formation d’une représentation intégrée et donc à l’acquisition de nouvelles connaissances. D’autre part, il offre un paradigme d’étude, puisque les premiers niveaux de traitement peuvent être évalués au moyen de tâche de mémorisation d’infos explicites, alors que le niveau du MM lui permet la résolution d’inférences et de problèmes de transfert. Il est à noter que peu d’étude adresse le niveau de représentation visuelle du graphique (de type image mentale). Si l’on en revient à la question posée en début qui est de concevoir des présentations multimédia efficaces, ces deux modèles offrent donc un environnement dans lequel des hypothèses peuvent être générées et les résultats interprétées. traitement sub-semantique organisation verbale M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Construction de la problématique Travail bibliographique : quels sont les modèles proposés ? quels sont les problèmes identifiés ? quels sont les résultats précédents ? Sans rentrer dans le détail de la définition d ’une problématique, voici les principales fonctions d ’une recherche biblio précédent une manip. - Les modèles Par exemple dans le cas des documents multimédia, vous avez 3 types de théories: propositionnelles, double codage, ou modèle mental. Aussi modèle de la charge cognitive : on a des ressources limitées de traitement en mémoire de travail. - Les problèmes identifiés et la façon dont ils sont conceptualisés. L ’un des pb est celui de l ’acquisition d ’un modèle concepts scientifiques à partir d ’hypertextes. - Les résultats précédents : qu ’a t-on fait comme expé sur la compréhension de documents multimédia ? - quels sont les paradigmes utilisés : si on a déjà étudié cette question, comment s ’y est-on pris ? Quelles tâches, quels textes, etc. quels sont les paradigmes expérimentaux utilisés ? M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Définir les hypothèses Une hypothèse est une proposition consistant à mettre en relation une variable et un observable. « telle modalité de la variable produira telle réponse » « si la théorie est juste, alors telle condition fera apparaître tel phénomène » Plusieurs niveaux d ’hypothèse : - hyp générale : telle variable produit tel phénomène - hyp opérationnelle : telle variable produira tel phénomène que l ’on pourra évaluer au moyen de telles mesures, sur telles tâches - hyp statistique : on va comparer les mesures faites dans une condition et dans l ’autre, et vérifier que les différences ne sont pas dues au hasard. J ’y reviendrai plus loin. Deux conditions pour une bonne hypothèse : - elle peut être facilement opérationnalisée; - elle peut prédire une conséquence et une seule. Ex de mauvaises hypothèse : une animation bien faite facilite l’apprentissage. quel apprentissage ? Facilite comment et par rapport à quoi ? Ex de bonnes hypothèses : une animation améliore les performances de compréhension d’une explication de phénomène dynamique par rapport au texte seul. Souvent les bonnes hypothèses se construisent progressivement. Evidemment, plus le modèle théorique est riche, plus l ’hypothèse sera facile à construire. Dans les deux exemples, quelles sont la problématique et  l’hypothèse générale des auteurs (pas jusqu ’aux hyp opérationnelles) ? M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Mesures ou variables dépendantes = réponses des sujets ou caractéristiques de ces réponses - pertinence - sensibilité Deux exigences pour les VD : VD : mesures effectuées = soit réponse des sujets, soit caractéristiques (temps de réponse). Donc pour une même réponse, il peut y avoir plusieurs mesures ou VD. D car dépendantes du sujet. Plusieurs types de réponse du sujet : - verbale : oral ou écrite - gestuelle - électrophysiologique : réaction électro-dermale, IRM, ... Identifier les VD dans les deux textes Deux qualités de la variable : - pertinence : la VD mesure-t-elle ce qu ’elle est censée mesurer. Par exemple, la difficulté de compréhension d ’un texte peut être mesurée par des temps de lecture. Pb : est-ce que ce temps reflète la difficulté ou bien la compétence en lecture du sujet, sa stratégie ? - sensibilité : peut-on différencier les sujets au moyen de la VD choisie ? Par exemple, VD non sensible si test trop facile (effet plafond) ou trop difficile (plancher). Ou au contraire, trop de variabilité : Dans l ’exemple du temps de lecture, il faut indiquer dans la consigne d ’aller le plus rapidement possible. D ’autre part, il existe plusieurs catégories statistiques de VD que l ’on verra au moment du traitement. M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Les facteurs ou variables indépendantes caractéristique – du sujet, de son environnement, de sa tâche, des stimuli – qui est manipulée par le chercheur dans le but de contrôler ou d ’analyser son ou ses effets sur le comportement.  Rossi et al., 1999 Deux types de VI : - VI dont les variations sont systématiques et manipulées par l ’expérimentateur - VI aléatoire : par exemple les sujets, parfois les stimuli. Dans ce cas, un grand nombre est nécessaire. Deux types : - facteurs principaux : que l ’on veut étudier - facteurs contrôlés : dont on veut s ’assurer qu ’ils n ’auront pas d ’effet. Ex typique : si on demande deux tâches dont on veut connaître les résultats indépendamment l ’une de l ’autre, on contre-balance l ’ordre des deux tâches : la moitié des sujets commencent par la tâche 1, et inversement. Ou bien contrôle en maintenant constant un facteur dans toutes les conditions et à ce moment-là on ne l ’incluse pas dans les facteurs manipulés. Notion de modalité = valeur du facteur Dans l ’exemple, quelles sont les VI et leurs modalités ? Sont- elles principales ou contrôlées ? VI expérimentale vs. VI contrôlée modalités = valeurs de la variable M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Sujets ou participants Echantillon représentatif ou aléatoire En psycho, on appelle sujets (ou participants) les personnes ou animaux qui vont passer l ’expérience et fournir les réponses. On ne veut pas savoir ce que ces sujets-là font mais ce que la population entière fait. Mais on ne peut pas étudier la population entière, on va donc en prendre un échantillon. On vérifiera ensuite par des stats que ce que l ’on a observé peut se généraliser à la population avec un seuil de risque acceptable. La plupart du temps, on choisit ces sujets au hasard, en se disant que l ’on devrait ainsi retrouver les caractéristiques de la population générale. Il faut alors un nombre suffisant de sujets par groupe, que l ’on fixe au minimum à 15 par groupes (le nombre dépend de la sensibilité de la variable). Or c ’est souvent abusif, car il s ’agit le plus souvent d ’étudiants en psycho… En tout cas pas de l ’homme de la rue. Deuxième méthode : contrôle de certains paramètres. Par exemple, dans des études avec une dimension sociale ou professionnelle, on s ’attachera à respecter la proportion des catégories socio-professionnelles. C ’est systématique pour les enquêtes, assez rares dans les expérimentations. Dans l ’exemple, qui sont les sujets, quel contrôle ? Quand même attention à l ’échantillon : si vous voulez étudier la mise en place d ’automates pour distribuer des billet de train et que vous utilisez comme sujets uniquement de jeunes étudiants, vous aurez des problèmes… En recherche, si par exemple vous étudiez un problème de type spatial, il sera intelligent de contrôler l ’equi-proportion d ’hommes et de femmes. M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Sujets ou participants Echantillon représentatif ou aléatoire Groupes indépendants ou appareillés 2 grandes distinctions que l ’on a évoqué la période passée selon que chaque sujet passe toutes les modalités d ’une VI ou seulement une. - groupes appareillés = chaque sujet passe toutes les modalités - groupes indépendants = les sujets 1 à 10 passent la modalité 1, les sujets 11 à 20 la 2, etc. Avec des groupes appareillés, on élimine la variabilité des sujets donc c ’est plus puissant au niveau stats et en plus on a besoin de moins de sujets (faire le tableau). Mais on rajoute un facteur ordre des conditions, plus un deuxième matériel. Déconseillé lorsque la tâche est longue car les sujets se lassent, et lorsqu ’on a un matériel complexe car ils ne seront jamais équivalents. Dans l ’exemple, les groupes sont-ils indépendants ou appareillés ? Notion d ’équivalence des groupes Souvent on veut avoir des groupes équivalents sur une caractéristique que l’on sait être importante. Par exemple sur les hypertextes, on veut s ’assurer que le niveau de lecture moyen des sujets est identique pour chaque groupe. On va donc constituer trois groupes de sujets : bons, moyens ou mauvais lecteurs en fonction d ’un pré-test ou de l ’avis de l ’instit. Et on va mettre autant de chaque type de sujets dans chaque groupe (faire tableau avec 6 mauvais, 10 moyens et 12 bons pour 2 conditions) Equivalence des groupes par appariement M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Groupe et condition contrôle blabla ? = condition de référence blabla Pour connaître l ’effet de tel facteur, il faut avoir des valeurs de référence. Cette valeur de référence est la réponse des sujets dans des situations où le facteur est à la modalité 0, ou bien est neutralisé. Parfois il est difficile de définir cette modalité 0. Par exemple, si on étudie l ’effet de la présence d ’image sur la compréhension de textes, une des conditions est un texte sans image ! Mais plus compliqué, si on étudie l ’effet de la structuration hiérarchique d ’un hypertexte, il faudra définir la référence. Si on prend un texte simple avec juste des fonctions tourne-page, alors on a deux effets : celui de la structuration hiérarchique et celui de l ’aperçu général. Donc la condition de référence est un hypertexte avec index pour chaque page par exemple (voir dee-Lucas). Rque : pb avec la condition contrôle : elle n ’est pas dans un ordre logique... Distinction « groupe » en condition indépendante vs. condition contrôle : quand tous les sujets passent la condition contrôle avant de passer les conditions tests, on a donc un contrôle pour chaque sujet qui peut servir de test préliminaire à la constitution de groupes équilibrés. Voir dans l ’exemple : pas de contrôle dans expés 1 et 2, contrôle dans l ’expé 3 (index). M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale Plans d ’expérience Plan factoriel ou facteurs croisés Illustration graphique Niveau visuo-spatial faible bon Statique Dynamique 10 = relation entre les facteurs. Car souvent, on a des hypothèses du type : je pense que la présence d’une illsutartion dynamique est un facteur important. Mais je pense que cela joue plus pour les faibles lecteurs que les bons lecteurs. Comment je peux répondre à cette question ? Plusieurs variantes: - la plus classique = facteurs croisés ou plan factoriel : chaque modalité de la variable 1 est croisé avec chaque modalité de la variable 2. Voir exemple sur le tableau. Dans les case = nombre de sujets par condition. Petite colle : - si j ’ai mes deux VI en inter-sujets, combien aurais-je de sujets en tout ? Rep . 40 car ils sont tous différents entre conditions (cases). - si ma VI Structure est en intra et l ’autre en inter ? 20 sujets car dans une ligne ce sont les mêmes. Juste pour info si vous rencontrez ce terme : on dit que le facteur sujets et le facteur niveau de lecture sont emboités, cad que les sujets ne passe qu ’une modalité du facteur. - si mes 2 VI sont en intra ? C ’est un piège… le niveau de lecture est forcément inter ! Rappeler que inter-sujets = groupes indépendants et intra-sujet = groupes appareillés. Si les deux VI sont en inter-sujets, N = ? 40 Si la VI illustration est en intra- et la VI niveau en inter- ? Si les deux VI sont en intra-sujets ... ? M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale Plans d ’expérience Plan en carré latin Illustration graphique 10 facile difficile Texte Statique Dynamique faible facile difficile 10 10 Niveau visuo-spatial Le deuxième type de plan, je vous en parle rapidement car vous en verrez sans doute très peu. Il faut trois facteurs et il faut que chaque facteur ait le même nombre de modalités. Imaginons que j ’ai un troisième facteur qui est la complexité du texte (en terme linguistique opérationnalisé par plusieurs indices mais peu importe). Si j’ai un texte facile et un difficile et que je veux croiser avec mes autres facteurs cela me fait 8 conditions donc 80 sujets en inter (ou au mieux 40 mais avec 4 matériel et quatre ordres différents - le bins.) Une solution pour réduire l ’espace de travail est de faire un carré latin : les deux premiers facteurs sont bien croisés, mais pour le troisième, on ne rencontre qu ’une seule modalité par ligne et par colonne. Voir tableau. Vous savez que ça existe mais c ’est rarement utilisé car si il y a des effets d ’interaction, on ne peut rien en dire et l ’interprétation devient très difficile. bon 10 10 M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

La procédure expérimentale Les tâches = ce que l ’on dit au sujet de faire La procédure expérimentale est en quelque sorte l ’organisation de ce qui va se passer lors de l ’expérience : quel matériel, quelles tâches, quelle consigne, etc. Le choix de la tâche dépend bien sur de la problématique. Mais plus la tâche est complexe, et moins on est sur de ce qui se passe réellement : quelles sont les opérations cognitives, quelle stratégie le sujet va employer... Cependant, plus la tâche est contrainte et plus la situation s ’éloigne d ’une situation écologique. D ’où il faut trouver un compromis qui dépend de la problématique... et bien sur s ’inspirer des recherches précédentes. La tendance actuelle est de ne pas regarder que les performances (le sujet a-t-il réussi ou échoué la tâche et à quelle vitesse), mais également à faire des hypothèses sur les opérations cognitives opérées. Il faut alors construire un modèle de la tâche. D ’autre part, on met rarement en œuvre qu ’une seule tâche : on prend en général différentes tâches, au cas où l ’une d ’elles s ’avérerait non sensible. De plus, sur une même tâche, on prend différentes mesures : réponse du sujet, temps d ’exécution, nombre de fois qu ’il a regardé chaque page, etc. Dans l ’exemple, pouvez-vous me dire quelle est la tâche utilisée et ce que l ’on mesure ? M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

La procédure expérimentale Les tâches et la consigne = explique au sujet ce qu ’il doit faire et comment il doit le faire La consigne : c ’est l ’instruction donnée au sujet qui lui explique ce qu ’il devra faire. La consigne doit donner également la forme de la réponse (parler, écrire, taper sur une touche...), les contraintes (de type vous avez au max 5 minutes), et d ’autres exigences par exemple « vous devez répondre le plus vite possible » si on veut étudier les temps de réponse. Aussi cela dépend de l ’interprétation du sujet : si on dit d ’aller le plus vite possible, cela peut être au détriment de l ’exactitude de la réponse. Une solution « répondez le plus vite possible mais privilégiez l ’exactitude de votre réponse sur sa rapidité ». Souvent la consigne est écrite puis lue ou distribuée aux sujets pour être sur de ne rien oublier et de ne pas introduire de variations d ’une sujet à l ’autre. Car si on dit à un sujet « il faut que vous lisiez le texte » et à un autre « étudiez le texte », on introduit une différence de tâche. En général, on préteste la tâche pour voir si elle n ’est pas trop difficile ou facile, si la consigne est bien comprise... Dans l ’exemple, quelle est la consigne donnée aux sujets ? M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

La procédure expérimentale Les tâches et la consigne Le matériel Ne doit pas introduire de biais ni de facteur supplémentaire Le terme matériel recouvre non seulement les stimuli utilisés mais également l ’appareillage utilisé pour présenter et récolter les données. Quand je parle de matériel, je veux surtout dire les stimuli mais c ’est tellement jargonneux... La conception du matériel expérimental est une étape cruciale. Il doit être conçu de sorte qu ’il n’introduise pas de biais dans les réponses du sujet. Par exemple, pour étudier l ’effet de la présence d’animation sur la compréhension si le texte source s ’avère trop difficile, ou pire, complètement inintéressant, vos résultats risquent de ne rien montrer du tout. La sensibilité du matériel est la caractéristique la plus délicate. Encore plus délicat, le matériel changeant d ’une condition à l ’autre, il ne faut pas qu ’un changement supplémentaire intervienne. Par exemple dans les manips comparant illsutration et images statiques, il ne doit pas y avoir de changements de commenatires. C ’est pour cela que, lorsque l ’on travaille sur des matériels complexes comme les textes, on évite de faire en intra, car on ne peut jamais obtenir deux matériels strictement équivalents. Dans l ’exemple, quel est le matériel expérimental utilisé et le dispositif (=apparatus) concret de présentation et de recueil ? Dans cet exemple, on a peu d ’infos sur le matériel utilisé (comment sont conçues les cartes, le matériel a-t-il été pré-testé...) M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

La procédure expérimentale Les tâches et la consigne Le matériel Déroulement et phases de l ’expérience - phase de pré-test - phase d ’entraînement - phase(s) d ’étude et de test Une expérience se déroule en plusieurs phases : - phase de pré-test : pré-test quand on fait passer un test aux sujets pour savoir dans quel groupe les affecter (par exemple test de lecture) - phase d ’entraînement : quand c’est possible, il est toujours bon de prévoir quelques essais pour rien histoire de s ’assurer que le sujet a bien compris la consigne, et de le mettre dans le bain. - phase d ’étude : période où le sujet examine le matériel - phase de test : période où le sujet donne sa ou ses réponses. Parfois les deux dernières phases sont indistinctes comme par exemple les expés de perception ou on vous montre une lettre droite et une après rotation et vous devez dire si c ’est la même. Dans le contexte des documents mutlimédia c’est souvent séparé. Mais il faut faire attention à la pertinence de la consigne d’étude. Dans le cas où il y a plusieurs tâches et plusieurs successions étude-test, il faudra faire attention aux effets d ’apprentissage, de fatigue et d ’ordre. La solution pour contrôler cet effet ? Varier l ’ordre des tâches selon les sujets, ce qui peut faire des plans compliqués de type carré latin. Attention, ne pas oublier le « debriefing », qui consiste à expliquer aux sujets ce qu ’on a fait et pourquoi. Pratique obligatoire aux US mais pas encore entrée dans les mœurs en Europe. Raconter l ’histoire de l ’expé de psy sociale. Dans l ’exemple, quelles sont les phases de l ’expé ? - « debriefing » M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Exercice : effet de l’introduction de pauses L’introduction de pauses dans l’animation facilite-t-elle la compréhension ? Modèles théoriques : Théorie de la charge cognitive Théorie de l’ancrage contextuel Matériel : un document multimédia expliquant la formation des éclairs (animation commentée) M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale

Exercice : effet de l’introduction de pauses Quels sont les facteurs (VI) à étudier ? À contrôler ? Quels sont les sujets, les conditions expérimentales, le nombre de groupes ? Quelles peuvent être les tâches et la procédure ? Quelles sont les hypothèses opérationnelles ? M. Bétrancourt et N. Descryver Staf 15 - Méthodologie expérimentale