Monitoring de l’évaluation des Unités par les étudiants Taux de retour et fiabilité de l’évaluation des Unités: résultats avant et après Evasys Margaret Gerbase avec la collaboration de Michèle Germond Cette étude fait partie du Projet d’Evaluation de l’Enseignement de l’Université de Genève Faculté de Médecine. Le projet a reçu le support de la Faculté de Médecine et le généreux soutien de la Société Académique de Genève, la Fondation Louis Jeantet, la Fondation Ernst et Lucie Schmidheiny et la Fondation Gabriella Giorgi-Cavaglieri. Comité du Programme Bachelor 03 février 2010

Objectifs - analyser le taux de réponse des questionnaires d’évaluation des Unités avant et après Evasys - analyser la fiabilité des mesures Années analysées 2005-06 à 2007-08: questionnaires papier 2008-09: questionnaire en ligne

Taux de retour des questionnaires d’évaluation

A propos de la fiabilité des mesures Types de fiabilité : a) fiabilité de l’instrument : calcul du coefficient G (modèle de la généralisabilité) coefficient G >.80 = instrument fiable; les moyennes observées ne dépendent pas de l’échantillon d’étudiants interrogés 4

Fiabilité de l’instrument Unités

A propos de la fiabilité des mesures Types de fiabilité : a) fiabilité de l’instrument : calcul du coefficient G (modèle de la généralisabilité) b) fiabilité des résultats : calcul de l’erreur standard de la moyenne (SEM) (modèle de la généralisabilité)

b) fiabilité des résultats: signification de l’erreur standard de la moyenne C’est l’erreur la plus probable dans l’estimation de la moyenne inconnue de la population. Elle permet de calculer les intervalles de confiance qui contiennent, avec 68% ou 95% de chance, cette moyenne inconnue de la population.

Erreur standard de la moyenne et intervalles de confiance   3.80 3.90 4.00 4.10 4.20 68% de chance de contenir η 95% de chance de contenir η Erreur standard .15   3.70 3.85 4.00 4.15 4.30 68% de chance de contenir η 95% de chance de contenir η

Taux de réponse moyen durant les 4 dernières années académiques Unités Taux de réponse par année académique 2005 - 06 2006 - 07 2007 - 08 2008 - 09 Sig 2e année (7 unités) 78% 77% 83% 43% p < .0001 3e année (4 unités) 59% 56% 40% p = .031 Total 72% 71% 75% 42% 2ème vs. 3ème année p<.001 p <.001 p < .001 p = .393

EVALUATIONS DES UNITES: DERNIERS 4 ANS Différences entre années APP Evaluation moyenne Différences entre années 2005-06 (1) 2006-07 (2) 2007-08 (3) 2008-09 (4) ANOVA Contrasts Test F Tests post hoc INTRO 4.19 4.15 4.05 3.83 p < .001 p < .001 → 1-4 p < .001 → 2-4 p = .002 → 3-4 CVC 3.84 4.00 3.92 3.73 p = .002 p = .002 → 2-4 p = .033 → 3-4 NDM 3.62 3.71 3.79 p = .044 p = .033 → 1-2 REPRO 3.94 3.88 3.90 p = .582 - C-C 3.87 3.98 4.04 p = .236 EH p = .163 RESPIR 3.69 3.78 p = .215 LOCO 3.95 3.63 p = .001 p = .003 → 1-4 p = .004 → 3-4 PEC 3.80 4.10 3.76 p = .050 p = .046 → 3-4 DI 3.75 3.48 p = .069 INF 3.72 p = .052 → 1-3

EVALUATIONS DES UNITES: DERNIERS 4 ANS Différences entre années APP Evaluation moyenne Différences entre années 2005-06 (1) 2006-07 (2) 2007-08 (3) 2008-09 (4) ANOVA Contrasts Test F Tests post hoc INTRO 4.19 4.15 4.05 3.83 p < .001 p < .001 → 1-4 p < .001 → 2-4 p = .002 → 3-4 CVC 3.84 4.00 3.92 3.73 p = .002 p = .002 → 2-4 p = .033 → 3-4 NDM 3.62 3.71 3.79 p = .044 p = .033 → 1-2 REPRO 3.94 3.88 3.90 p = .582 - C-C 3.87 3.98 4.04 p = .236 EH p = .163 RESPIR 3.69 3.78 p = .215 LOCO 3.95 3.63 p = .001 p = .003 → 1-4 p = .004 → 3-4 PEC 3.80 4.10 3.76 p = .050 p = .046 → 3-4 DI 3.75 3.48 p = .069 INF 3.72 p = .052 → 1-3 11

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009 13

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009 14

Taux de réponse, moyenne des scores et erreur standard de la moyenne durant les années 2006 à 2009 15

Conclusions Globalement, l’évaluation des Unités en ligne entraîne une diminution du taux de retour de l’ordre de 40%, notamment en 2ème année; Le taux de retour diminue progressivement au cours de l’année; La diminution du taux de retour peut avoir un impact sur la fiabilité des résultats en élargissant l’intervalle de confiance des scores attribués par les étudiants aux Unités.