Analyse d'un dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après.

Présentation au sujet: "Analyse d'un dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après."— Transcription de la présentation:

1 Analyse d'un dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre Jean-Luc GILLES Chargé de recherches, directeur du SMART-ULg jl.gilles@ulg.ac.be XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004

2 Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES Le fichier de cette présentation est téléchargeable sur le site web du SMART-ULg : http://www.smart.ulg.ac.be/congres/amse2004/

3 Structuration de cette communication Idéalement… dans notre enseignement supérieur… INTRODUCTION1. Quelques conséquences liées au contexte de massification PROBLEMATIQUE 2. DEVELOPPEMENTS & RESULTATS La mise en œuvre des procé- dures de feedbacks via internet 4. PERSPECTIVES Un projet de plateforme où les procédures de feedbacks seront amplifiées… 5. METHODOLOGIE « SMART » Un modèle de construction et de gestion qualité des évaluations standardisées 3. Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

4 Dans le contexte de lenseignement supérieur, lorsquil sagit dévaluer les apprentissages … Introduction Feedbacks Performances Travaux Portfolio Epreuves écrites Examens oraux … Stages Auto-évaluations Rapides Individualisés Diagnostiques Précis Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

5 Dans le contexte de lenseignement supérieur, lorsquil sagit dévaluer les apprentissages … Introduction Feedbacks Performances Travaux Porte-folio Epreuves écrites Examens oraux … Stages Auto-évaluations

6 Blais & al, 1997; Gilles & al., 1998 Problématique massification des effectifs sans suivi des dotations budgétaires ! (Gibbs & Jenkins, 1992 ; Dupont & Ossandon, 1994 ; Romainville & Boxus, 1998 ; Debry, Leclercq & Boxus, 1998) Depuis 1972 le nombre de diplômés a augmenté de 50 % et le budget des universités, lui, est resté égal ! Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

7 Problématique Face à des centaines détudiants, comment fournir rapidement des feedbacks individualisés, précis et diagnostiques ?

8 Blais & al., 1997; Gilles & al., 1998 Votre avis sur la qualité des examens ? Manque de rétroactions en ce qui concerne nos performances aux examens ! Problématique Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

9 Problématique Grands groupes Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

10 Méthodologie « SMART » Besoins des ensei- gnants & des étudiants Ressources en personnel et en matériel nécessaire au SMART Modèles & procédures SMART Critères de qualité validité fidélité sensibilité diagnosticité praticabilité équité communicabilité authenticité Un système qualité pour la réalisation des évaluations : Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

11 Méthodologie « SMART » (Gilles & Leclercq, 1996) 1. Analyse des objectifs de lenseignement -Points Enseignés -Catégories de Performances -Priorités 4. Entraînement 6. Correction et discussion -performances -analyse des propositions, contrôle qualitéa posteriori : rpbis, rectifications 7.Feed-back aux examinés -FB « matières », « processus mentaux » et « métacognitifs » -infos sur lanalyse des questions 3. Construction de lépreuve - Rédaction des questions - Barèmes et tarifs -Contrôle qualité a priori 2. Mise en forme de lépreuve -Définition des Modalités de Questionnement -Équilibrage de lépreuve 8. Macrorégu- lation (recueil des avis des étudiants) 5. Epreuve - préparation du matériel, des locaux, consignes - vérification du timing - procédures anti- fraude Cycle SMART de réalisation des évaluations Un cycle de réalisation des évaluations en 8 étapes : Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

12 Méthodologie « SMART » EEEVI BVE TVI (Gilles & Leclercq, 1995) 8 étapes Plus d'une trentaine de procédures "qualité" Une série de dispositifs technologiques Un modèle de construction et de gestion de la qualité des évaluations :

13 Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES Méthodologie « SMART » Un modèle de construction et de gestion de la qualité des évaluations : EEEVI BVE TVI (Gilles & Leclercq, 1996) 8 étapes Plus d'une trentaine de procédures "qualité" Une série de dispositifs technologiques 7 ème étape : Feedbacks Feedbacks aux étudiants PrécisRapidesDiagnostiquesIndividualisés Accessibles via internet

14 EPREUVES STANDARDISEES Développements SMART en vue daméliorer la qualité des rétroactions

15 Exemple de QCM : (Castaigne & Hanzen, 2000) 2,8 cm 3,9 cm 0,6 cm 1,5 cm Cette échographie de lovaire gauche dune vache pie noire de 6 ans, a été réalisée une semaine après loestrus. Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 6. Aucune 7. Toutes Exemple déchelle de pourcentages de certitude (Leclercq, 1986) Exemple de recueil des données pour une lecture automatisée des réponses et certitudes : (SMART-ULg, 1996) Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

16 Développements SMART en vue daméliorer la qualité des rétroactionswww.smart.ulg.ac.bewww.smart.ulg.ac.be Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

17 Développements SMART en vue daméliorer la qualité des rétroactions Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

18 Développements SMART en vue daméliorer la qualité des rétroactions Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

19 Développements SMART en vue daméliorer la qualité des rétroactions Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

20 Développements SMART en vue daméliorer la qualité des rétroactions Données de baseDescriptif de lévaluation

21 Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES Développements SMART en vue daméliorer la qualité des rétroactions Score globalRésultats par processus mentaux Résultats par rubriques matières Aide à linterprétation Questionnaire de lexamen

22 Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES Problématique Questionnaire de lexamen

23 Développements SMART en vue daméliorer la qualité des rétroactions Données de base Informations relatives à la question 4 question 29 Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

24 Résultats par processus mentaux Connaître les concepts de mémoire Exemples : Développements SMART en vue daméliorer la qualité des rétroactions Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES Appliquer les concepts

25 Résultats par Rubriques matières Par exemple, des chapitres du cours… Développements SMART en vue daméliorer la qualité des rétroactions Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

26 Résultats par Rubriques matières Par exemple, des chapitres du cours… Développements SMART en vue daméliorer la qualité des rétroactions Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES Diagnostic : les corps jaunes Diagnostic : les follicules Diagnostic : les kystes Diagnostic : les tumeurs

27 Développements SMART en vue daméliorer la qualité des rétroactions Aide à linterprétation Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

28 Développements SMART en vue daméliorer la qualité des rétroactions Aide à linterprétation Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

29 Développements SMART en vue daméliorer la qualité des rétroactions Lorsque les pourcentages de certitude sont utilisés… Feedback métacognitif Tendance à se surestimer… Aucune utilisation des degrés de certitude 0, 1 et 5. Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

30 Quelques résultats concernant lutilisation des feedbacks via internet Depuis 2002-2003, le système des feedbacks via internet du SMART a été utilisé à loccasion de 112 évaluations (en moyenne 174 étudiants par épreuve) par 36 professeurs (en moyenne 3 tests par prof.) : - 28 de lULg ; - 3 des FUSAGx ; - 3 de Hautes Ecoles (Rennequin Sualem, ICHEC et HEC) ; - 1 de lUCL ; - 1 des FUNDP. Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

31 Quelques résultats concernant lutilisation des feedbacks via internet Traçage des consultations par les étudiants et stockage des informations dans une base de données

32 Quelques résultats concernant lutilisation des feedbacks via internet Consultation des feedbacks via internet par les étudiants : En 2002 : 3.370 consultations En 2003 : 7.735 consultations Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

33 Les pics dutilisation ne sont pas les mêmes à lULg et en dehors de lULg… pics de consultations à l'ULg pics de consultations hors l'ULg ULg hors ULg Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES * *Étudiants de lULg uniquement

34 Développements SMART en vue daméliorer la qualité des rétroactions … il faudrait revoir la façon dont les résultats sont présentés … …linterprétation des résultats nest pas du tout évidente à faire. …plus de professeurs devraient utiliser le système des feedbacks via internet. Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

35 Développements SMART en vue daméliorer la qualité des rétroactions Cest peut être un moyen indirect permettant de réussir … …je le vois plus comme un outil permettant de nous situer par rapport aux exigences du professeur et de combler un retard éventuel par le travail. Cest un bon moyen de se rendre compte des erreurs faites. Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

36 Perspectives Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

37 http://www.smart.ulg.ac.be/fb.php Les feedbacks via internet sont consultables en démonstration à cette adresse : Analyse dun dispositif innovant dingénierie docimologique permettant aux étudiants dobtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre – XIVème Congrès de lAssociation Mondiale des Sciences de lEducation (AMSE) – 10 au 14 mai 2004 – Jean-Luc GILLES

38 Si vous souhaitez plus dinformations ou utiliser le système des feedbacks via internet, nhésitez pas à prendre contact : smart@ulg.ac.be http://www.smart.ulg.ac.be