Tests en ligne : les utilisations pédagogiques Michel Barouh Mathieu Rossat François Kuss IUT aix-marseille département GMP

Tests en ligne : Les utilisations pédagogiques 13/11/2018 Objectifs de l’exposé. Donner un premier aperçu des fonctionnalités de l’activité « Test »  sur Ametice d’un point de vue pédagogique. Ce n’est pas une formation Moodle. S’inscrire aux stages proposés par la cellule Tice de l’Université Plusieurs emprunts ont été faits aux présentations de Mylène Potier d’Iut en Ligne et Jean Luc Bach de l’IUT A de Toulouse et nous les en remercions.

Plan de l’exposé: 1° Principe des tests en ligne Tests en ligne : Les utilisations pédagogiques Présentation 13/11/2018 Plan de l’exposé: 1° Principe des tests en ligne 2° Tests en ligne sur Amétice : Evaluer avec Moodle 2 3° Retour d’expérience sur la mise en place d’un test en ligne au département GMP 4° Autoévaluation sur la plateforme MIEL (http://miel.iutenligne.net/) 5° Conclusions

Principe des tests en ligne Tests en ligne : Les utilisations pédagogiques 1° : Principe des tests en ligne 13/11/2018 1° Principe des tests en ligne

Principe des tests en ligne : Tests en ligne : Les utilisations pédagogiques 1° : Principe des tests en ligne 13/11/2018 Principe des tests en ligne : La place des TICE est de plus en plus grande. - Technologies de l‘Information et de la Communication pour l’Enseignement-. (Consignes ministérielles, usage prescrit dans le PPN GMP 2013). L’idée : aider l’étudiant dans son parcours de formation et favoriser ainsi sa réussite. Le « Test en ligne » fait partie de la panoplie des TICE. Possibilité d’évaluer un étudiant via le réseau informatique de l’Université .

Intérêts des tests en ligne : Tests en ligne : Les utilisations pédagogiques 1° : Principe des tests en ligne 13/11/2018 Intérêts des tests en ligne : Adaptation à diverses situations pédagogiques Nombreux types de questions: QCM, réponses numériques, texte à trou, appariement, vrai faux, questions aléatoires,… Souplesse des paramétrages Correction et notation automatisées

Tests en ligne sur Amétice, ou Moodle 2.4 Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 2° Tests en ligne sur Amétice, ou Moodle 2.4

Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 ENT – AMETICE : Rappel Chaque membre de l’Université d’Aix-Marseille dispose d’un accès propre à un ensemble de services numériques. L’ENT Environnement Numérique de Travail, (service messagerie, planning,…) Amétice construite sur la plateforme d’enseignement Moodle permet : 1 ° Le dépôt de ressources : fichiers de cours, de td , liens vers sites, etc. 2° L’accès à de nombreuses activités dont les Tests en ligne

Activité « Test » avec Moodle 2 Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 Activité « Test » avec Moodle 2 La formation Moodle sort du cadre de l’exposé. On s’adressera à : La cellule TICE de l’université On consultera : 100 vidéos pour Moodle ( d’IUT en Ligne ) Je crée et je gère les tests en ligne sur Moodle 2 de J.L Bach

Les points forts de la plateforme Moodle 2 Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Les points forts de la plateforme Moodle 2 Richesse et variété des questions Vastes possibilités par rapport aux contraintes du QCM classique. Scénarisation des contenus Possibilité de construire un parcours pédagogique. Retours formatifs Analyse statistique des résultats d’un groupe

Richesse et variété des questions Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Richesse et variété des questions Moodle2.4 COMPOSITION 11 types de questions CORRESPONDANCE Description Calculée Multiple Vrai / Faux Calculée Simple Appariement Choix Multiple Cloze Courte Numérique

Exemple de question CLOZE 1 Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Exemple de question CLOZE 1

Exemple de question CLOZE 2 Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Exemple de question CLOZE 2

Exemple de question Glisser & Déposer Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Exemple de question Glisser & Déposer

Exemple de question calculée (variables tirées d’un jeu de valeurs) Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Exemple de question calculée (variables tirées d’un jeu de valeurs)

3 situations pédagogiques d’évaluation: Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 3 situations pédagogiques d’évaluation: Évaluation en début de formation (diagnostique) Évaluation en cours de formation (formative) Évaluation en fin de formation (sommative)

L’Evaluation diagnostique Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Première situation pédagogique L’Evaluation diagnostique

Exemple d’évaluation diagnostique : test positionnement C2i Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 Exemple d’évaluation diagnostique : test positionnement C2i

Evaluation diagnostique Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 Evaluation diagnostique Résultats côté étudiant Correction et notation immédiates Analyse des erreurs à chaud

Evaluation diagnostique Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 Evaluation diagnostique Résultats côté enseignant Programme personnalisé de travail Affectation dans des groupes de niveau

L’Autoevaluation formative Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice, (Moodle 2.4) 13/11/2018 Deuxième situation pédagogique L’Autoevaluation formative

Autoévaluation Formative Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Autoévaluation Formative Première tentative Retour (ou feedback)

Autoévaluation Formative Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Autoévaluation Formative Deuxième tentative

Autoévaluation Formative Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Autoévaluation Formative Pour l’étudiant Aide pour progresser Seul ou en demandant conseil à l’enseignant Pour l’enseignant Vérifier les acquis Les difficultés Remédiation possible

Evaluation Finale Troisième situation pédagogique Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Troisième situation pédagogique Evaluation Finale

Évaluation Sommative finale. Questions aléatoires Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Évaluation Sommative finale. Questions aléatoires 1° étudiant 2° étudiant Temps limité

Evaluation sommative finale Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Evaluation sommative finale Résultats côté étudiant Correction et notation immédiates Analyse des erreurs à chaud

Evaluation sommative finale Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Evaluation sommative finale Résultats côté enseignant Notes disponibles immédiatement Exportables sous différents formats

Scénarisation des contenus Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Scénarisation des contenus Ametice ou Moodle 2.4 Comportement global du Test Comportement des questions Nombre de réponses autorisées, Pénalités,…. Mélange des questions Mélanges des réponses Questions du test Questions calculées Valeurs de variables tirées dans un jeu de valeurs Questions aléatoires Question extraite aléatoirement dans une catégorie de questions

La correction automatique: Le comportement des questions. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 La correction automatique: Le comportement des questions. Une seule réponse possible Plusieurs réponses possibles

La correction automatique: Le comportement des questions. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 La correction automatique: Le comportement des questions. Feedback immédiat Feedback a postériori Une seule réponse possible Evaluation immédiate ou en fin de test Plusieurs réponses possibles

La correction automatique: Le comportement des questions. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 La correction automatique: Le comportement des questions. Feedback immédiat Feedback a postériori Une seule réponse possible Evaluation immédiate ou en fin de test Feedback Immédiat indication de certitude Feedback a postériori indication de certitude Evaluation immédiate ou en fin de test Avec quel degré de certitude Note négative possible Plusieurs réponses possibles

La correction automatique: Le comportement des questions. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 La correction automatique: Le comportement des questions. Feedback immédiat Feedback a postériori Une seule réponse possible Evaluation immédiate ou en fin de test Feedback Immédiat indication de certitude Feedback a postériori indication de certitude Evaluation immédiate ou en fin de test Avec quel degré de certitude Note négative possible Plusieurs réponses possibles Résultat Vrai Faux Degré de certitude Pas sûr<67% Assez sûr>67% Sûr >80% 0,33 0,67 1,00 0,00 -0,67 -2,00

La correction automatique: Le comportement des questions. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 La correction automatique: Le comportement des questions. Feedback immédiat Feedback a postériori Une seule réponse possible Evaluation immédiate ou en fin de test Feedback Immédiat indication de certitude Feedback a postériori indication de certitude Evaluation immédiate ou en fin de test Avec quel degré de certitude Note négative possible Mode adaptatif Mode adaptatif sans pénalité Plusieurs réponses possibles Plusieurs réponses possibles pour une question avant de passer à la suivante Si pénalité = % de la note totale Pas de note négative Résultat Degré de certitude Pas sûr<67% Assez sûr>67% Sûr >80% Vrai 0,33 0,67 1,00 Faux 0,00 -0,67 -2,00

La correction automatique: Le comportement des questions. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 La correction automatique: Le comportement des questions. Feedback immédiat Feedback a postériori Une seule réponse possible Evaluation immédiate ou en fin de test Feedback Immédiat indication de certitude Feedback a postériori indication de certitude Evaluation immédiate ou en fin de test Avec quel degré de certitude Note négative possible Mode adaptatif Mode adaptatif sans pénalité Plusieurs réponses possibles Plusieurs réponses possibles pour une question avant de passer à la suivante Si pénalité = % de la note totale Pas de note négative

La correction automatique: Le comportement des questions. Tests en ligne : Les utilisations pédagogiques L’activité « test » avec Moodle 2 : la correction automatique 13/11/2018 La correction automatique: Le comportement des questions. Feedback immédiat Feedback a postériori Une seule réponse possible Evaluation immédiate ou en fin de test Feedback Immédiat indication de certitude Feedback a postériori indication de certitude Evaluation immédiate ou en fin de test Avec quel degré de certitude Note négative possible Mode adaptatif Mode adaptatif sans pénalité Plusieurs réponses possibles Plusieurs réponses possibles pour une question avant de passer à la suivante Si pénalité = % de la note totale Pas de note négative Mode Interactif Pour chaque question du test: sans indice = idem feedback immédiat. sinon, nombre d’essais = nombre d’indices + 1 Soit donc au total 7 modes de correction automatiques

Scénarisation des contenus Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 Scénarisation des contenus Du point de vue de l’étudiant Des tests dynamiques pouvant évoluer à chaque tentative. Du point de vue de l’enseignant sur sa plateforme Evite le copiage Adaptation de scénarios pédagogiques Diagnostic, formatif, sommatif Etudiants empêchés, en difficulté, Parcours conditionnels

L’accompagnement des étudiants Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants Test Moodle De quand à quand? Combien de temps ? Condition d’accès au test ? Protection accès ? Achèvement de l’activité ? Scénarisation Nombre de tentatives ? Quel accompagnement ? Réponse exacte? Feedback réponse ? Spécificités ? Feedback général ? Réponse juste ? Eviter la fraude (copiage) ? Note ? Feedback global? Correction automatique? Feedback spécifique ?

L’accompagnement des étudiants Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants Test Moodle Paramétrage du test Question Options de relecture Feedback global Feedback réponse Indices Comportement des questions Feedback combiné Feedback global

L’accompagnement des étudiants. Exemple de feedback. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants. Exemple de feedback.

L’accompagnement des étudiants. Exemple de feedback. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants. Exemple de feedback.

L’accompagnement des étudiants. Exemple d’indice. Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants. Exemple d’indice.

L’accompagnement des étudiants. Ressources à consulter Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants. Ressources à consulter

L’accompagnement des étudiants . La notation Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants . La notation

L’accompagnement des étudiants. La notation Tests en ligne : Les utilisations pédagogiques 2° Tests en ligne sur Amétice: LMS, Moodle 2.4… 13/11/2018 L’accompagnement des étudiants. La notation Remédiation: Prévoir les erreurs Guider dans la réflexion Donner les points à revoir Référencer des ressources …

Retour d’expérience en GMP Tests en ligne : Les utilisations pédagogiques Retour d’expérience en GMP 13/11/2018 3° Retour d’expérience en GMP

Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Contexte général. Département GMP de l’IUT d’Aix-Marseille : 120 étudiants en première année L’équipe de 5 enseignants qui assure la formation en « construction mécanique » possède une certaine expérience en matière des QCM papier. Janvier 2013 Formation à « l’Activité Tests » sur Moodle 2.4 au département GMP Par Mylène Potier d’ IUT en Ligne Objectifs : Produire un test pour découvrir les [nouvelles] fonctionnalités de Moodle 2.4 1 jour de production à deux enseignants Sujet choisi : Guidage en rotation (Coussinets, Roulements…) Support papier existant Retranscription sur moodle 2.4

La scénarisation du test. Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 La scénarisation du test. Evaluation formative : Test de préparation au contrôle final Aucune obligation pour l’étudiant 56 Participants… 9 utilisateurs seulement ! Nombre de questions : 24 Type de questions : Calculée, Calculée simple, Close, Choix multiple, question courte, Vrai/Faux Pas d’indication de certitude Durée : 40 min Fenêtre temporelle : 15 jours Tentatives : 2 Notation : La meilleure note Pondération : 1 par question

Résultats. Participants. Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Résultats. Participants. Suivi en temps réel Ajout d’annotation

Résultats. Notes / Question Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Résultats. Notes / Question

Résultats. Réponses / Question Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Résultats. Réponses / Question

Résultats. Statistiques Générales Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Résultats. Statistiques Générales Récupération possible des données en fichier csv, xls… Beaucoup d’informations

Résultats. Statistiques Détaillées Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Résultats. Statistiques Détaillées Beaucoup d’informations potentiellement intéressantes… si on prend le temps de les étudier

Bilan du point de vue des enseignants Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Bilan du point de vue des enseignants Points + : Prise en main rapide (Présence d’un formateur) Possibilité de sortir du QCM « standard » (Nombreux types de questions) Grand nombre de paramètres pour l’étude des résultats Correction instantannée Points - : Prendre le temps de s’y mettre pour poser les bonnes questions (Tournure de phrases)

Bilan du point de vue des étudiants Tests en ligne : Les utilisation pédagogiques Retour d’expérience en GMP 13/11/2018 Bilan du point de vue des étudiants Point + : Résultat immédiat Feedback à la fin de la tentative Point - : Nécessité d’avoir accès à un poste informatique (Période de vacances) QCM « intelligent » : Fin des QCM à une seule réponse possible (Cas à l’IUT)

Autoévaluation sur la plate forme miel Tests en ligne : Les utilisations pédagogiques Autoévaluation sur la plateforme MIEL 13/11/2018 4° Autoévaluation sur la plate forme miel

Les objectifs de la plateforme MIEL Tests en ligne : Les utilisations pédagogiques Autoévaluation sur la plateforme MIEL 13/11/2018 Les objectifs de la plateforme MIEL Plateforme en accès libre Double vocation pédagogique Autoévaluations formatives pour les étudiants Mutualisation de tests pour les enseignants d’Iut en Ligne

Les usages de la plateforme MIEL Tests en ligne : Les utilisations pédagogiques Autoévaluation sur la plateforme MIEL 13/11/2018 Les usages de la plateforme MIEL Pour tous : étudiants et enseignants d’IEL Exécution illimitée des tests formatifs Correction automatisée Parcours pédagogiques Notes (+ appréciation références à des ressources , feedbacks, indices….) Les enseignants peuvent indiquer aux étudiants le lien vers un test spécifique, mais seuls ceux d’IEL peuvent sous certaines conditions accéder aux résultats de leurs étudiants

La vision de l’étudiant Tests en ligne : Les utilisations pédagogiques Autoévaluation sur la plateforme MIEL 13/11/2018 La vision de l’étudiant

Conclusion Tests en ligne : Les utilisation pédagogiques Conclusion 13/11/2018 Conclusion

Tests en ligne : Les utilisation pédagogiques Conclusion 13/11/2018 Conclusion Dans le cadre des TICE, l’activité « test en ligne » est un outil qui peut, de part la mise en œuvre qu’elle impose, contribuer à placer ou replacer la pédagogie au centre des préoccupations des enseignants en vue de la réussite de leurs étudiants . http://cipe-tice.univ-amu.fr/ http://public.iutenligne.net/informatique/logiciels/moodle/formation-moodle/index.html http://public.iutenligne.net/informatique/logiciels/moodle/formation-moodle/Chapitre-2/Section-2-6.html

Merci de votre attention Tests en ligne : Les utilisations pédagogiques 13/11/2018 Merci de votre attention

Tests en ligne : Les utilisations pédagogiques Retour d’expérience en GMP 13/11/2018 Quelques conseils pour rédiger une question QCM. ( appel d’offre MINES) Une question à la forme interrogative 4 ou 5 réponses proposées Ayant la même structure grammaticale Commençant par une majuscule et se terminant par un point La formulation de la question et des réponses doit être impersonnelle Il est préférable d’éviter les formulations négatives et dans tous les cas exclure les doubles négations ( questions et réponses) Plusieurs réponses peuvent être correctes Les réponses fausses ne doivent pas avoir de leurres (distracteurs) évidents La formulation des bonnes et mauvaises réponses doit être similaire ( même longueur, même précision,etc.) Le nombre exact de réponses correctes ne doit pas être indiqué Il faut être vigilant à l’usage du singulier et du pluriel pour ne pas induire en erreur sur le nombre de réponses attendues