Expériences contrôlées Quasi-expériences Études de cas

Expériences contrôlées Discipline : psychologie expérimentale/médecine But tester une hypothèse ou étudier des corrélations produire une connaissance scientifique Étapes Spécifier l'hypothèse : qu'est-ce qu'on étudie ? Spécifier les variables indépendantes : qu'est-ce qui varie ? Opérationnaliser le comportement comment étudier ces variations ? Spécifier les variables dépendantes qu'est-ce qu'on mesure ? Spécifier les procédures répartition des groupes, rôle de l'expérimentateur etc. Identifier les tests statistiques appropriés y a-t-il une différence ?

Exemple (1) Ref. M. Bétrancourt, Effet de trois modalités d'intégration texte figure dans les systèmes multi-média, IHM'94, Lille, France, 8-9 Décembre 1994, p. 219-224 Spécifier l'hypothèse format de présentation des informations a une influence sur l'apprentissage Spécifier les variables indépendantes trois formats de présentation du matériel d'apprentissage texte et figure séparés présentation intégrée (texte et figure côte à côte) texte en escamot (pop-up), bulles d'informations Opérationnaliser le comportement une tâche de mémorisation et une tâche de résolution de problème

Exemple (2) Spécifier les variables dépendantes temps d'apprentissage et mémorisation (nombre de termes correctement replacés sur le graphique) Spécifier les procédures répartition des groupes expérimentaux/ de contrôle rôle de l'expérimentateur etc. ex(résumé). : Test individuel pour 24 étudiants répartis aléatoirement en 3 groupes ; consigne : étudier le graphique et le commentaire; tâche : on présente le graphique et il faut donner le commentaire) Identifier les tests statistiques appropriés ex. : la différence entre le groupe escamot et le groupe conventionnel est significative (f = 2, 94 et p = .028)

Quelques problèmes Méthodologie comparaison entre groupe expérimental et groupe témoin exposer les sujets à toutes les valeurs de la variable indépendante Problèmes de fiabilité contrôle de l'affectation aléatoire dans les groupes, des conditions d'expérimentation reproductibilité de l'expérience, différences individuelles ? utiliser un nombre "raisonnable" de sujets utiliser des statistiques appropriées et déterminer le degré de confiance p Problèmes de validité/ réplicabilité et en dehors du laboratoire ? utilisateurs représentatifs ? cobayes professionnels ? contexte social est-il indifférent ? tâches typiques ? environnement matériel indifférent ? Il est conseillé de faire une pré-expérimentation pour préparer une expérimentation Attention : • Pour présenter une expé. contrôlée dans un papier à publier il y a un format de présentation à suivre impérativement • Ne vous lancer pas seul(e) pauvre informaticien(ne) dans une expe. contrôlée…C ’est aussi un métier qui s ’apprend • effet Hawthorne : groupe expérimental est chouchouté, valorisé sur le groupe expérimental on met plus de moyens que sur le groupe témoin meilleur enseignant, meilleur matériel etc. •en EIAO effet contrat, effet topaze effet jourdain

Quasi-expériences But : Cf. expérimentation contrôlée mais en situation réelle Problème : on ne contrôle pas tous les facteurs Solution : Rendre explicites les menaces d'invalidité, identifier les sources potentielles d’interprétation erronée Trianguler, trianguler, trianguler : faire varier le dispositif expérimental les méthodes expériences études de cas interviews recouper les informations Trianguler : utiliser des paradigmes et des méthodes multiples et recouper pour obtenir la représentation la plus large possible de l ’activité de l ’utilisateur • en français on parle d'expérimentation sur le terrain ou d'observations sur le terrain • pour en savoir plus dans le champ de l’éducation 1) travail en didactique : Un article intéressant pour les problèmes méthodologiques et les précautions méthodologiques pour ce genre d'expérimentations concernant des apprentissages Aline Robert, Problèmes méthodologiques en didactique des mathématiques, Recherches en Didactiques des Mathématiques, vol. 12, n°1, p. 33-58, 1992 2) également un Special issue sur l'évaluation des logiciels éducatifs J. of AIED, special issue on evaluation, vol 4 n° 2/3, 1993 3) exemple: article primé à AIED 99 Anh NGUYEN-XUAN, Anne BASTIDE (Universite de Paris 8), Jean-Francois NICAUD (Universite de Nantes), Learning to Solve Polynomial Factorization Problems : by solving problems and by studying exemples of Problem Solving, In S. Lajoie, M. Vivet (eds), Proceedings of Artificial Intelligence in Education, Le Mans Juillet 1999, IOS Press, Amsterdam, 1999, p. 215- 222. 4 groupes de 20 élèves de seconde travaillent avec un logiciel pour apprendre l’algèbre : deux groupes étudient des exercices corrigés deux groupes résolvent eux-mêmes les exercices Un pré-test ne montraient pas de différence significative entre leur performance ; après le travail avec le logiciel, ils font un post test avec des exercices papiers crayon et les élèves qui ont eux-mêmes résolus les problèmes réussissent mieux

Études de cas pas du tout étude statistique compréhension profonde d'un sujet, d’une activité difficile à mener généralement un expérimentateur pose des questions enregistrement vidéo plusieurs personnes étudient et discutent l'enregistrement aide à émettre des hypothèses à expliciter des modèles à comprendre des difficultés, des fonctionnements, une situation à repérer des régularités, des invariants Exemple: Très beau papier pour étudier en EIAO le rapport complexe entre interface et apprentissage • Celia Hoyles, Lulu Healy, Un micro-monde pour la symétrie axiale : une base de construction de concepts mathématiques ?, Revue Sciences et Techniques Éducatives, vol 4 n°1, numéro spécial Interactions homme-machine et apprentissage coordonné par L.-O. Pochon et M. Grossein, p. 67-97 • très utilisée en didactique en ethnotruc...