Expériences contrôlées Rappel du cours d’IHM

Expériences contrôlées Discipline : psychologie expérimentale/médecine But tester une hypothèse ou étudier des corrélations produire une connaissance scientifique Étapes Spécifier l'hypothèse : qu'est-ce qu'on étudie ? Spécifier les variables indépendantes : qu'est-ce qui varie ? Opérationnaliser le comportement comment étudier ces variations ? Spécifier les variables dépendantes qu'est-ce qu'on mesure ? Spécifier les procédures répartition des groupes, rôle de l'expérimentateur etc. Identifier les tests statistiques appropriés y a-t-il une différence ?

Exemple (1) Ref. M. Bétrancourt, Effet de trois modalités d'intégration texte figure dans les systèmes multi-média, IHM'94, Lille, France, 8-9 Décembre 1994, p. 219-224 Spécifier l'hypothèse format de présentation des informations a une influence sur l'apprentissage Spécifier les variables indépendantes trois formats de présentation du matériel d'apprentissage texte et figure séparés présentation intégrée (texte et figure côte à côte) texte en escamot (pop-up), bulles d'informations Opérationnaliser le comportement une tâche de mémorisation et une tâche de résolution de problème

Exemple (2) Spécifier les variables dépendantes temps d'apprentissage et mémorisation (nombre de termes correctement replacés sur le graphique) Spécifier les procédures répartition des groupes expérimentaux/ de contrôle rôle de l'expérimentateur etc. ex(résumé). : Test individuel pour 24 étudiants répartis aléatoirement en 3 groupes ; consigne : étudier le graphique et le commentaire; tâche : on présente le graphique et il faut donner le commentaire) Identifier les tests statistiques appropriés ex. : la différence entre le groupe escamot et le groupe conventionnel est significative (f = 2, 94 et p = .028)

Quelques problèmes Méthodologie comparaison entre groupe expérimental et groupe témoin exposer les sujets à toutes les valeurs de la variable indépendante Problèmes de fiabilité contrôle de l'affectation aléatoire dans les groupes, des conditions d'expérimentation reproductibilité de l'expérience, différences individuelles ? utiliser un nombre "raisonnable" de sujets utiliser des statistiques appropriées et déterminer le degré de confiance p Problèmes de validité/ réplicabilité et en dehors du laboratoire ? utilisateurs représentatifs ? cobayes professionnels ? contexte social est-il indifférent ? tâches typiques ? environnement matériel indifférent ? Il est conseillé de faire une pré-expérimentation pour préparer une expérimentation Attention : • Pour présenter une expé. contrôlée dans un papier à publier il y a un format de présentation à suivre impérativement • Ne vous lancer pas seul(e) pauvre informaticien(ne) dans une expe. contrôlée…C ’est aussi un métier qui s ’apprend • effet Hawthorne : groupe expérimental est chouchouté, valorisé sur le groupe expérimental on met plus de moyens que sur le groupe témoin meilleur enseignant, meilleur matériel etc. •en EIAO effet contrat, effet topaze effet jourdain