Utilisation du logiciel EduStat © Analyse classique d’items L’examen du rapport.

Présentation au sujet: "Utilisation du logiciel EduStat © Analyse classique d’items L’examen du rapport."— Transcription de la présentation:

1 Utilisation du logiciel EduStat © Analyse classique d’items L’examen du rapport

2 Le rapport produit à la suite de l’utilisation de l’option « Analyse classique d’items » comprend tout d’abord des informations pour chaque item (ou élément d’information) sous cette forme :

3 Il est alors possible d’examiner les indices statistiques calculés pour chaque item (élément d’information). Dans un premier temps, les items à choix multiple sont présentés. S’il y en a, on retrouve par la suite les items à crédits partiels (i.e. sur un continuum). 1 1 1 1

4 Les deux dernières colonnes du tableau présentant les statistiques sur les items à choix multiple doivent être considérées en priorité : Prop.Il s’agit de la proportion d’élèves ayant répondu correctement à la question posée; en d’autres termes, cet indice rend compte de la difficulté de l’item. 2 2 2 2

5 3 3 Pt. Bis.Cette colonne rapporte les valeurs du point bisérial indiquant la discrimination des items. Plus la valeur se rapproche de « 1 », plus il y a discrimination, c’est-à-dire que ce sont les élèves les plus performants qui ont ordinairement répondu correctement à l’item et que l’item a été échoué par les élèves plus faibles. 3 3

6 Par rapport aux items à crédits partiels, la discrimination est indiquée par la corrélation de Pearson. 4 4 6 6 Le rapport statistique pour ce type d’items comprend les informations suivantes : L’identification de l’item 5 5 Le nombre d’enregistrements 6 6 5 5 4 4

7 La valeur minimale de la note prévue pour l’item 7 7 7 7 La valeur maximale de la note prévue pour l’item 8 8 La moyenne établie par rapport à l’échelle prévue (ici, il s’agit de la valeur « 3 ») 9 9 Le résultat moyen établi sur 100 10 La valeur du coefficient de corrélation indiquant la discrimination de l’item 11 8 8 9 9 10 11

8 Par la suite, il y a un tableau sommaire rendant compte de la discrimination et de la difficulté. 12 La dernière colonne du tableau fournit la distribution des items par rapport à la discrimination. Ainsi, onze items sont affectés d’indices de discrimination situés entre 0,50 et 0,60 et trois entre 0,60 et 0,70. 13 12

9 La dernière ligne fournit la répartition des items par rapport à leur difficulté. Ainsi deux items ont des indices de difficulté situés entre 10 et 20 pourcents; cinq items ont été réussis par 80 à 90 pourcents des élèves. 14

10 La dernière valeur inscrite dans la dernière colonne de la dernière ligne indique le nombre total d’éléments d’information. Le décompte des indices par rapport aux deux aspects examinés (difficulté et discrimination) est rapporté dans les différentes colonnes et lignes. Par exemple cinq (5) items ont simultanément un indice de difficulté situé entre 50 et 60 pourcents de réussite et un indice de discrimination entre 0,40 et 0,50. 15

11 Une dernière section du rapport présente des résultats moyens pour l’ensemble de l’épreuve. 16

12 À cette étape de l’analyse des données, on devrait examiner en priorité les résultats touchant l’ensemble de l’épreuve (le Global). Quatre indices statistiques sont présentés : Moyenne : Cet indice rend compte de la moyenne obtenue à l’ensemble des items de l’épreuve par l’ensemble des élèves évalués. Plus la moyenne est élevée, plus les élèves ont réussi l’épreuve. La valeur de cette statistique peut se situer entre 0 et 100. 17

13 Écart type : L’écart type est une mesure de dispersion des résultats obtenus par les élèves évalués. Plus la valeur de cet indice est faible, plus les résultats obtenus par les élèves évalués se regroupent autour de la moyenne générale. 18

14 Alpha : Cet indice statistique indique la cohérence interne de l’épreuve. Il s’agit ici de rendre compte de la qualité qu'a une épreuve de mesurer avec la même exactitude à chaque administration réalisée dans des conditions semblables, c’est-à-dire la «fidélité». Il existe plusieurs méthodes pour apprécier la fidélité d'un instrument. Le calcul d'un coefficient de consistance interne (par exemple, le coefficient Alpha) est souvent retenu. Ce coefficient a pour but de refléter le degré d'association ou de corrélation qui existe entre les variables. 19

15 Erreur type de mesure : Cet indice permet d’estimer la marge d’erreur que l’on doit accepter, laquelle erreur est due au mécanisme lui-même d’évaluation, en particulier l’instrument utilisé. En d’autres termes, l'erreur type de mesure est la différence entre une valeur observée et la valeur « vraie » ou réelle de ce que l'on mesure, due au manque de fidélité du test ou du processus de mesure. 20 Il est possible de réaliser des analyses similaires pour les regroupements d’items par rapport au tableau de spécification (les domaines et les habiletés).