Monitoring de l’évaluation des Unités par les étudiants

Présentation au sujet: "Monitoring de l’évaluation des Unités par les étudiants"— Transcription de la présentation:

1 Monitoring de l’évaluation des Unités par les étudiants
Taux de retour et fiabilité de l’évaluation des Unités: résultats avant et après Evasys Margaret Gerbase avec la collaboration de Michèle Germond Cette étude fait partie du Projet d’Evaluation de l’Enseignement de l’Université de Genève Faculté de Médecine. Le projet a reçu le support de la Faculté de Médecine et le généreux soutien de la Société Académique de Genève, la Fondation Louis Jeantet, la Fondation Ernst et Lucie Schmidheiny et la Fondation Gabriella Giorgi-Cavaglieri. Comité du Programme Bachelor 03 février 2010

2 Objectifs - analyser le taux de réponse des questionnaires d’évaluation des Unités avant et après Evasys - analyser la fiabilité des mesures Années analysées à : questionnaires papier : questionnaire en ligne

3 Taux de retour des questionnaires d’évaluation

4 A propos de la fiabilité des mesures
Types de fiabilité : a) fiabilité de l’instrument : calcul du coefficient G (modèle de la généralisabilité) coefficient G >.80 = instrument fiable; les moyennes observées ne dépendent pas de l’échantillon d’étudiants interrogés 4

5 Fiabilité de l’instrument
Unités

6 A propos de la fiabilité des mesures
Types de fiabilité : a) fiabilité de l’instrument : calcul du coefficient G (modèle de la généralisabilité) b) fiabilité des résultats : calcul de l’erreur standard de la moyenne (SEM) (modèle de la généralisabilité)

7 b) fiabilité des résultats: signification de l’erreur standard
de la moyenne C’est l’erreur la plus probable dans l’estimation de la moyenne inconnue de la population. Elle permet de calculer les intervalles de confiance qui contiennent, avec 68% ou 95% de chance, cette moyenne inconnue de la population.

8 Erreur standard de la moyenne et intervalles de confiance
3.80 3.90 4.00 4.10 4.20 68% de chance de contenir η 95% de chance de contenir η Erreur standard .15 3.70 3.85 4.00 4.15 4.30 68% de chance de contenir η 95% de chance de contenir η

9 Taux de réponse moyen durant les 4 dernières années académiques
Unités Taux de réponse par année académique Sig 2e année (7 unités) 78% 77% 83% 43% p < .0001 3e année (4 unités) 59% 56% 40% p = .031 Total 72% 71% 75% 42% 2ème vs. 3ème année p<.001 p <.001 p < .001 p = .393

10 EVALUATIONS DES UNITES: DERNIERS 4 ANS Différences entre années
APP Evaluation moyenne Différences entre années (1) (2) (3) (4) ANOVA Contrasts Test F Tests post hoc INTRO 4.19 4.15 4.05 3.83 p < .001 p < .001 → p < .001 → p = .002 → 3-4 CVC 3.84 4.00 3.92 3.73 p = .002 p = .002 → p = .033 → 3-4 NDM 3.62 3.71 3.79 p = .044 p = .033 → 1-2 REPRO 3.94 3.88 3.90 p = .582 - C-C 3.87 3.98 4.04 p = .236 EH p = .163 RESPIR 3.69 3.78 p = .215 LOCO 3.95 3.63 p = .001 p = .003 → p = .004 → 3-4 PEC 3.80 4.10 3.76 p = .050 p = .046 → 3-4 DI 3.75 3.48 p = .069 INF 3.72 p = .052 → 1-3

11 EVALUATIONS DES UNITES: DERNIERS 4 ANS Différences entre années
APP Evaluation moyenne Différences entre années (1) (2) (3) (4) ANOVA Contrasts Test F Tests post hoc INTRO 4.19 4.15 4.05 3.83 p < .001 p < .001 → p < .001 → p = .002 → 3-4 CVC 3.84 4.00 3.92 3.73 p = .002 p = .002 → p = .033 → 3-4 NDM 3.62 3.71 3.79 p = .044 p = .033 → 1-2 REPRO 3.94 3.88 3.90 p = .582 - C-C 3.87 3.98 4.04 p = .236 EH p = .163 RESPIR 3.69 3.78 p = .215 LOCO 3.95 3.63 p = .001 p = .003 → p = .004 → 3-4 PEC 3.80 4.10 3.76 p = .050 p = .046 → 3-4 DI 3.75 3.48 p = .069 INF 3.72 p = .052 → 1-3 11

12 Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009

13 Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009
13

14 Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009
14

15 Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009
15

16

17 Conclusions Globalement, l’évaluation des Unités en ligne entraîne une diminution du taux de retour de l’ordre de 40%, notamment en 2ème année; Le taux de retour diminue progressivement au cours de l’année; La diminution du taux de retour peut avoir un impact sur la fiabilité des résultats en élargissant l’intervalle de confiance des scores attribués par les étudiants aux Unités.