Méthodologie expérimentale : l’analyse des données TECFA Technologies pour la Formation et l’Apprentissage Méthodologie expérimentale : l’analyse des données Cours Méthodologie Master MALTT Mai 2008 Avant-propos : il ne s ’agit pas de vous faire un cours complet sur l ’analyse de données, il faudrait pour cela un cours sur un an. L ’objectif de cette partie est de vous faire connaître les bases des méthodes d ’analyse et surtout de comprendre leur objectif et leurs grands principes. C ’est pourquoi je n ’entrerai pas dans le détail des statistiques, je vous donnerai juste quelques informations pour que vous soyez capable de comprendre ce qui est dit dans les articles qui communiquent des résultats statistiques. Surtout je vous expliquerai jusqu ’où l ’on peut aller dans l ’interprétation des résultats avec ou sans statistiques. Présentation adaptée d’une présentation de C. Rebetez pour l’année 2007-2008

Ce que vous savez déjà faire : Variables indépendantes Matériel Variables dépendantes Modèles Hypothèses Population Procédure

Analyse de données Analyse descriptive Analyse inférentielle Graphiques principalement Voire et décrire ce qui se passe Identifier les problèmes Analyse inférentielle On veut savoir si ce qu’on a observé représente quelque chose au-delà de notre population Tester ses hypothèses, faire des prédictions Analyses statiques avancées : anova, régressions, analyses factorielles, etc…

1. Analyse descriptive Récupérer les données après l’expérience Observer, explorer les données Identifier des problèmes Effet plafond, plancher, variabilité Distribution gaussienne Sujets extrêmes Tirer de premières conclusions quant à l’échantillon

1. Exercice Reprendre les hypothèses de l’articles Hidrio & Jamet, 2002 Télécharger le fichier JametHidrio.sav Etiqueter les données Réalisez un graphique permettant de vérifier les hypothèses

Histogrammes par VD Identifier les problèmes : effet plancher - plafond sujets extrême répartition normale Pour voir la répartition des sujets sur une variable Dans spss: menu graphes -> histogramme, sélectionner simplement la variable désirée

Comparer les moyennes Pour explorer la relation entre une ou plusieurs VI et une VD Dans Spss: Graphes Bâtons Juxtaposé, par catégories

Comparer les moyennes Pour explorer la relation entre une ou plusieurs VI et une VD Dans Spss: Graphes Bâtons Juxtaposé, par catégories

Résultats observés Effet du facteur format ? Effet du facteur type de question ? Effet d’interaction ?

2. Analyse inférentielle Objectif Analyse de la variance (anova) Définition Modèle Risque d’erreur Effets principaux (main effects) Effets d’interaction Effets simples Analyses intra-sujets

? 1. Objectif Échantillon Population Observations  analyse descriptive ? Généralisation  analyse inférentielle

1. Objectif Vérifier si l’observation faite sur un échantillon est suffisamment importante pour qu’on puisse considérer qu’elle n’est pas dû au hasard. Connaître le seuil de risque que l’on prend d’accepter l’hypothèse d’une différence

2. Analyse de variance ANOVA Sert à tester des hypothèses sur des différences entre plusieurs groupes sur la même mesure. N.B. si on a que 2 groupes, on peut utiliser des t de student Différents types: Inter-sujets: les participants sont dans des conditions différentes de la VI Intra-sujets: les participants passent toutes les modalités de la VI Pré-requis Échantillons indépendants (répartition aléatoire) Normalité (voir analyses descriptives). Homogénéité de variance Les VD doivent être numériques…

Anova: modèle Le résultat d’une personne au test de compréhension dépends de: Espérance : ce que n’importe qui peut espérer avoir à ce test + Effet du facteur (VI) + variabilité du sujet (erreur) Lorsqu’on mesure quelque chose on a toujours ces trois choses à la fois. L’anova permet d’isoler l’effet des 2 autres facteurs,

L’ANOVA en image… (mice) Source: http://www.westgard.com/lesson40.htm « The experimenter decided to give three different levels of antibiotic (still a categorical variable) to see if any particular dosage is more effective. There are now three levels on the independent variable, and they are the three mouse groups. Group 1 has low level antibiotic; Group 2 has medium level antibiotic; and Group 3 has high level antibiotic. The t-test can no longer be used because there are more than two groups. The situation calls for the simplest ANOVA, a one-way ANOVA, sometimes called procedure ONEWAY. The null hypothesis for the three groups or levels in the above situation would be: Ho: µLOW = µMED = µHI The results of the experiment are shown in the figure. Here we see the three group distributions. The LO and MED distributions are closer together than the HI distribution. Does this mean that HI is significantly different? How do we go about making any conclusions? The purpose of the ANOVA is to show whether or not there are differences in the means of the three groups. As with the other statistical tests that we have covered thus far, there is a typical flow of mathematical logic. Basically, we are going to determine an overall or grand mean for all three groups and then judge how different each of the individual means is from the grand mean. » (mice) Source: http://www.westgard.com/lesson40.htm

Anova: Risque d’erreur 2 types de risques: Alpha (type 1) : risque de se tromper en rejetant l’hypothèse nulle. Bêta (type 2) : risque de se tromper en retenant l’hypothèse nulle alors que c’est l’hypothèse alternative qui est vraie. Normalement on choisit alpha=5% ou même 1% L’anova renvoie le niveau de risque

Démonstration Effet du facteur nb présentations Dans le menu analyse  modèle linéaire général  mesures répétées Définir le facteur intra-sujet « type de questions » et cliquer sur Definir

Démonstration Choisir les variables intra-sujets, inter-sujets

Démonstration (suite) Regarder les effets de chaque facteur puis l’interaction

Démonstration (suite) Regarder les effets de chaque facteur puis l’interaction Effet Facteur type de question F (1,57 ) = 13.68, MSE = 25.75, p < .0001 Effet d’interaction type de question et nb présentation F (1,57 ) = .283, p = .59, NS

Exercice 3 Testez vos hypothèses initiales au moyen d’une anova (VI format et type de questions) Quel effet du facteur format ? Est-il significatif ? Quel effet du facteur Type de Questions ? Est-il significatif ? Quelles hypothèses sont vérifiées ? Que peut-on conclure ?

Exercice 4 Vérifiez s’il existe une corrélation entre le score total et le temps mis pour répondre Dans SPSS, choisir Graphes -> dispersion de points Puis dans Corrélations -> bivariées

Nuages de points Pour voir des relations entre variables (par exemple correlation entre 2 VD) Dans Spss: Graphes Dispersion/points

Effet de facteur, corrélation, interaction ? « Plus les participants obtiennent un score visuo-spatial faible, plus leurs scores de compréhension est faible.»

Effet de facteur, corrélation, interaction ? « Les participants de la condition ‘texte écrit’ obtiennent de meilleurs scores que les participants de la condition ‘texte oral’.»

Effet de facteur, corrélation, interaction ? « Avec le document A, les participants qui ont appris avec des animations obtiennent des scores significativement plus élevés que les participants qui ont appris avec des images statiques, alors qu’il n’y a pas de différence pour le document B.»

L’analyse des données : quelques règles Un peu de calcul et beaucoup de bon sens... Pour chaque VD Analyser d ’abord les effets principaux de chaque VI Etudier ensuite les interactions, les corrélations Voir l ’analyse des résultats de de Vries 2001, simulation.(fichier Excell) - Les effets simples : observer sur les moyennes Y a-t-il un écart sensible en proportion de l ’échelle ? L ’écart-type dans les groupes est-il important ? Décrire de type : la structure en réseau donne lieu à une exploration plus grande que la structure en index. L ’effet est important (de l ’ordre de 35% de l ’ensemble des cartes de plus). Pas d ’effet simple du type de question. - Interaction : est-ce qu’un des facteurs modifie l ’effet de l ’autre facteur ? Là le graphique aide énormément . Le graphique à gauche est très difficile à interpréter : on n ’y voit que l ’effet simple. Le graphique à droite montre que le type de question n ’a pas d ’effet sur l ’exploration d ’un hypertexte structuré en index, mais a un effet sur un hypertexte structuré en réseau, dans le sens d ’une augmentation de l ’exploration pour les questions superficielles. Exemple d ’effet significatif statistiquement mais faible en valeur absolue. Dire quelques mots de la corrélation.

L’analyse des données : l ’interprétation Prise en compte de l ’ensemble des résultats Réponse aux hypothèses opérationnelles L ’interprétation dépend bien sur des hypothèses de départ. Sans hypothèses, vous voyez qu ’on ne peut pas dire grand chose de plus sur les résultats. Hyp : plus facile d ’apprendre un modèle physique si l ’hypertexte est structuré comme le domaine et si les questions sont conceptuelles. Exploration = indicateur de l’activité de l’utilisateur, doit être mise en relation avec le score. Dans cette étude, les scores de réussite (trouver la bonne carte) sont très hauts donc pas de conséquences de cette activité sur les performances. Donc soit l ’exploration plus élevée parce que les sujets ont plus envie de visiter les infos, soit c ’est parce qu ’ils ne trouvent pas. Une mesure de l ’appréciation subjective du matériel aurait pu lever l ’ambiguité. - Dans cette recherche, le résultat principal est donc la réussite des trois problèmes de transfert. La VD est le nombre de sujets ayant employé les termes de transfert corrects. Le tableau que je vais vous montrer, issus des résultats, fait la somme sur les deux derniers problèmes (un seul sujet avait compris ce qu ’il fallait faire pour le premier problème). Apparemment on a une interaction entre la structure du réseau et le type de tâche, mais le pb est que l ’on a des effectifs (nombre de sujets) et non une variable, et que ces effectifs sont trop faibles pour faire un chi2. De plus l ’effet est faible Donc seule conclusion possible : les résultats ne valident pas l ’hypothèse selon laquelle la structure ou le type de question améliorent l ’apprentissage.

La discussion Les résultats permettent-ils ou non de conforter les hypothèses ? Résumer les résultats, souligner les résultats qui confortent les hypothèses ou non Qu ’est-ce que cela apporte à la problématique théorique générale ? Donc pour la recherche en question : - non, les résultats ne permettent pas de conforter les hypothèses - qu ’est-ce que cela apporte à la problématique théorique ? - Limites : peu de sujets, en plus en inter-sujets pour les questions conceptuelles et superficielles, l ’hypermédia n ’est pas testé, pas d ’évaluation subjective. Perspectives : prendre une autre tâche pour mesurer l ’acquisition de concepts, et peut-être revoir le matériel. Limites et perspectives Quelles sont les limitations de la recherche et quelles sont les pistes pour les prochaines études ?