Evaluation des Unités par les étudiants: Y-a-t-il un biais de sélection? Différences entre  les appréciations chiffrée et commentée Margaret Gerbase Anne Baroffio

1) Y-a-t-il un biais de sélection? Y a-t-il une corrélation entre évaluation des programmes et performance des étudiants à l’examen? b) Y a-t-il une différence de performance à l’examen entre les étudiants qui signent et ceux qui ne signent et/ou ne remplissent pas l’évaluation? c) Les étudiants qui ne signent pas l’évaluation évaluent-ils différemment les programmes que ceux qui signent?

1) Y-a-t-il un biais de sélection? a) Corrélation entre évaluation des programmes et performance des étudiants à l’examen 1ère année (module A) total= 294 étudiants > 190 ont rempli l’évaluation (65%) > 136 ont signé (72%) 2ème année (Nutrition et Digestion) total = 123 étudiants > 103 ont rempli l’évaluation (85%) > 82 ont signé (79%) 3ème année (Défenses et Immunité) total= 91 étudiants > 59 ont rempli l’évaluation (65%) > 42 ont signé (71%)

1) Y-a-t-il un biais de sélection? a) Corrélation entre évaluation des programmes et performance des étudiants à l’examen 1ère année (module A) total= 294 étudiants > 190 ont rempli l’évaluation (65%) > 136 ont signé (72%) 2ème année (Nutrition et Digestion) total = 123 étudiants > 103 ont rempli l’évaluation (85%) > 82 ont signé (79%) 3ème année (Défenses et Immunité) total= 91 étudiants > 59 ont rempli l’évaluation (65%) > 42 ont signé (71%)

r= -0.029 p= 0.735

Corrélation entre l’évaluation moyenne de l’unité par les étudiants et le score obtenu à l’examen Unité Nutrition/examen Module 1 Unité Défenses/ examen Module 4 n=82 n=42 Rsq: 2.36E-4 Rsq: 2E-2

Score à l’examen en fonction de l’évaluation globale donnée au module A

Score à l’examen en fonction de l’évaluation globale donnée à l’unité Unité Nutrition/examen Module 1 Unité Défenses/ examen Module 4 n=80 n=40 2 10 56 12 2 6 25 7

1) Y-a-t-il un biais de sélection? b) Y a-t-il une différence de performance à l’examen entre les étudiants qui signent et ceux qui ne signent et/ou ne remplissent pas l’évaluation? 1ère année (module A) 2ème année (Nutrition et Digestion) 3ème année (Défenses et Immunité)

Scores des étudiants à l’examen du module A selon que l’étudiant a signé ou non la feuille d’évaluation du module 2007-08

Scores des étudiants à l’examen de module selon que l’étudiant a signé ou non la feuille d’évaluation de l’Unité Unité Nutrition/examen Module 1 Unité Défenses/ examen Module 4 41 82 49 42

1) Y-a-t-il un biais de sélection? c) Les étudiants qui ne signent pas l’évaluation évaluent-ils différemment les programmes que ceux qui signent? 1ère année (module A) 2ème année (Nutrition et Digestion, Respiration) 3ème année (Locomotion, Défenses et Immunité)

Evaluation moyenne du Module A selon que les étudiants ont signé ou non la feuille d’évaluation

Evaluation moyenne de l’Unité selon que les étudiants ont signé ou non la feuille d’évaluation Unité Nutrition Unité Respiration (p= 0.057) p= 0.015 21 82 23 88

Evaluation moyenne de l’Unité selon que les étudiants ont signé ou non la feuille d’évaluation Unité Défenses Unité Locomotion (p= 0.214) (p= 0.075) 25 40 17 42

Conclusion 1) Concernant la corrélation entre évaluation des programmes et performance des étudiants à l’examen Il n’y pas de corrélation entre l’évaluation des unités faite par les étudiants et leur performance à l’examen de fin d’unité. Il n’y pas de différence de performance aux examens entre les étudiants qui signent et ceux qui ne signent pas ou ne remplissent pas l’évaluation des unités

Conclusion 2) Concernant la différence d’ évaluation des programmes selon que les étudiants signent ou non leur évaluation Au stade actuel de l’analyse, les étudiants qui ne signent pas la feuille d’évaluation sont susceptibles d’évaluer différemment certaines unités comparés à ceux qui signent.

Evaluation des Unités par les étudiants: Y-a-t-il un biais de sélection? Différences entre  les appréciations chiffrée et commentée

Contexte: évaluation du Module B 05-06 (chiffrée) .organisation bien organisé coordonné avec autres cours unité coordonné avec autres cours même matière organisation comme fil conducteur .contenu adapté aux connaissances préalables objectifs définis objectifs atteints .enseignant disponible motivé rythme .références disponibles permettent d’approfondir la matière 06-07 (commentée) Évaluation globale Commentaires libres

Analyse des commentaires libres Questions: Y a-t-il une augmentation du nombre de commentaires faits par les étudiants? Grandes catégories sont-elles les mêmes que dans l’évaluation chiffrée? Quelles informations sont en plus? Quelles informations sont en moins?

Y a-t-il une augmentation du nombre de commentaires faits par les étudiants? Taux de réponse 05-06 (chiffré) 06-07 (commenté) global 136/296: 46% 104/224: 46% commentaires 19/136: 14% 55/104: 53%

Analyse des commentaires libres .organisation bien organisé coordonné avec autres cours unité coordonné avec autres cours même matière organisation comme fil conducteur .contenu adapté aux connaissances préalables objectifs définis objectifs atteints .enseignant disponible motivé rythme .références disponibles permettent d’approfondir la matière présent absent

Analyse des commentaires libres .organisation bien organisé coordonné avec autres cours unité coordonné avec autres cours même matière organisation comme fil conducteur .contenu adapté aux connaissances préalables objectifs définis objectifs atteints .enseignant disponible motivé rythme .références disponibles permettent d’approfondir la matière fil rouge synthèse-résumés, messages-clé clarté intérêt actuel, liens avec clinique densité superficiel, manque de matière, trop simplifié trop de matière exemples applications pratiques, illustrations clarification sujet difficile anticipation points de confusion élocution pas assez fort cours lu maîtrise du sujet dynamisme dokeos explication des dias légendes, textes d’appui présent absent

Comparaison Points forts Points faibles chiffré commenté prend moins de temps à analyser certains points ne sont pas évalués commenté finesse des commentaires > meilleures suggestions certains points ne sont pas mentionnés Conclusion: ces 2 modes d’évaluation seraient complémentaires!

Discussion Faut-il préférer un type d’évaluation à un autre? Peut-on profiter de l’évaluation en ligne pour enrichir les formulaires ?