Les outils numériques d'accompagnement au service de l'évaluation des connaissances en chimie de 600 étudiants entrant à Lille 1 : premier bilan Marc RIBAUCOUR Maître de Conférences Université Lille 1 Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Volets de l'appel à projets UNISCIEL en 2008 INTRODUCTION Contexte général Lutter contre l'échec en 1ère année de licence Améliorer la transition lycée-université Volets de l'appel à projets UNISCIEL en 2008 Contexte pédagogique à Lille 1 Responsabilité d'une UE : UE "chimie générale" du S1 du parcours SVTE Effectif et origine des étudiants : 600 à 750 étudiants répartis dans 6 sections Titulaires en majorité d'un bac S option SVT Type d'enseignement Cours-TD et TP Taux de réussite à l'écrit de l'UE : 2006-2007 : 52% 2007-2008 : 60% 2008-2009 : 62% Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Solutions pédagogiques envisagées INTRODUCTION Solutions pédagogiques envisagées Elaborer un QCM permettant d'évaluer les connaissances en chimie des étudiants entrant à Lille 1 celles jugées indispensables pour suivre dans de bonnes conditions l'enseignement de l'UE "chimie générale" Evaluer le niveau en chimie des étudiants à l'aide du QCM Mettre en place un dispositif de soutien pour les étudiants ayant le niveau le plus faible Environnement numérique à Lille 1 Un service d'ingénierie pédagogique multimédia : le SEMM, 17 personnels Des centres de ressources multimédia : 6 centres, 250 postes (60 postes dans les plus gros centres), 8 moniteurs Une plate-forme pédagogique Moodle Lille 1 mise en place à la rentrée 2008 Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Odile Robbe, Sébastien Canneaux, Marc Ribaucour CONCEPTION DU QCM Aspects pédagogiques Gérés par trois enseignants de l'UE "chimie générale" Odile Robbe, Sébastien Canneaux, Marc Ribaucour Etude des contenus des programmes de chimie en Seconde, Première et Terminale BO décrivant les programmes en série scientifique Manuels du secondaire Sélection des connaissances et savoir-faire acquis au lycée jugés indispensables pour suivre dans de bonnes conditions l'enseignement de l'UE "chimie générale"   Bilan de matière d'une réaction chimique Méthodes de titrage Acido-basicité Oxydoréduction Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

3 en Seconde, 5 en Première, 4 en Terminale CONCEPTION DU QCM Aspects pédagogiques Rédaction de 85 questions et des réponses multiples proposées Classement par année du secondaire Classement par thème (intitulé des programmes officiels) dans chaque année 3 en Seconde, 5 en Première, 4 en Terminale Seconde : 1. Constitution de la matière 2. Transformation de la matière 3. Modèle du gaz parfait Première : 1. Grandeurs physiques liées aux quantités de matière 2. Comment mesurer des quantités de matière en solution à l'aide de la conductimétrie ? 3. Comment déterminer des quantités de matière en solution à l'aide d'une réaction chimique ? 4. L'énergie au quotidien : la cohésion de la matière et les aspects énergétiques de ses transformations 5. La chimie créatrice Terminale : 1. La transformation d'un système chimique est-elle toujours rapide ? 2. La transformation d'un système chimique est-elle toujours totale ? 3. Le sens spontané d'évolution d'un système chimique est-il prévisible ? 4. Comment le chimiste contrôle-t-il les transformations de la matière ? Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

CONCEPTION DU QCM Aspects techniques Deux contextes d'utilisation pour les mêmes contenus En autoévaluation pour les étudiants d'universités membres d'UNISCIEL Sur la plate forme pédagogique Moodle Lille 1 pour les étudiants du parcours SVTE Choix de la chaîne éditoriale Scenari Dicté par le cadre UNISCIEL du projet Formation à l'utilisation de l'application Scenari CUEEP Lille 1 Edition sous Scenari du QCM Atelier divisé en trois Espaces correspondant aux trois années du secondaire Chaque Espace comporte autant d'Activités d'évaluation que de thèmes du programme de l'année Chaque Activité d'évaluation comporte autant de Quiz de type Question à Choix Multiples que de questions Génération des versions web du QCM utilisables en autoévaluation à l'aide du modèle SCOOP (charte graphique UNISCIEL) Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Version web du QCM (charte graphique UNISCIEL) CONCEPTION DU QCM Version web du QCM (charte graphique UNISCIEL) Exemple de l'activité d'évaluation du QCM du programme de Seconde Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Version web (charte graphique UNISCIEL) CONCEPTION DU QCM Version web (charte graphique UNISCIEL) Exemple de question et de son résultat Exemple de résultat de l'un des thèmes Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Réalisation par le SEMM CONCEPTION DU QCM Version Moodle Lille 1 du QCM Transfert des questions sur la plate-forme Moodle Lille 1 Réalisation par le SEMM Conversion des fichiers XML Scenari en fichiers XML Moodle utilisant le type "question à choix multiples" de l'outil Test de Moodle Importation des questions dans le cours Moodle avec l'option "Format XML Moodle" Utilisation de texte enrichi et de formules mathématiques Implantation par le SEMM de deux fonctionnalités dans le site Moodle Lille 1 pour répondre aux exigences suivantes Pouvoir utiliser du texte enrichi dans une question à choix multiples Pouvoir insérer des formules dans n'importe quel champ textuel en utilisant la syntaxe Latex Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

CONCEPTION DU QCM Affichage des formules Les formules sont transformées en MathML et affichées par le navigateur web (pour Internet Explorer, il est nécessaire d'activer le plugin MathML). Exemples : Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Intégration du QCM dans le cours de l'UE sur Moodle Lille 1 CONCEPTION DU QCM Intégration du QCM dans le cours de l'UE sur Moodle Lille 1 Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

AVANTAGES ET INCONVENIENTS DE L'OUTIL TEST DE MOODLE Inconvénients Mauvaise ergonomie du formulaire de saisie d'une question à choix multiples Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

AVANTAGES ET INCONVENIENTS DE L'OUTIL TEST DE MOODLE Inconvénients Système de notation "indulgent" Dans le cas de plusieurs réponses vraies, cocher une partie des réponses vraies rapporte des points car les points attribués à la question sont répartis sur les réponses vraies. Exemple : réponse 1 fausse : -100,0% réponse 2 vraie : 33,3% réponse 3 vraie : 33,3% réponse 4 fausse : -100,0% réponse 5 vraie : 33,3% Il est possible d'attribuer une contribution négative aux réponses fausses ce qui entraîne la note zéro si l’étudiant coche toutes les réponses. Si la somme des contributions est négative, alors la note retenue pour la question est zéro. Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

AVANTAGES ET INCONVENIENTS DE L'OUTIL TEST DE MOODLE Classement des questions en catégories Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

AVANTAGES ET INCONVENIENTS DE L'OUTIL TEST DE MOODLE Richesses des paramétrages Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

ORGANISATION DU PASSAGE DU QCM Année 2008 En deux séances Première séance d'1 h : semaines 40 et 41 Information sur l'environnement numérique à Lille 1 Inscription au cours de l'UE "chimie générale" sur Moodle Passage d'un QCM test de 20 questions Seconde séance de 2 h : semaines 43 et 45 Passage du "vrai" QCM Programmation tardive Difficulté à trouver des créneaux de disponibilité des étudiants Encadrement : ATERs de l'UFR de Chimie, personnels du SEMM et moniteurs des centres de ressources Résolution des problèmes techniques : personnels du SEMM et moniteur du centre de ressources Aspects pédagogiques : ATERs de l'UFR de Chimie Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

ORGANISATION DU PASSAGE DU QCM Année 2009 Une seule séance de 2 h Inscription au cours de l’UE sur Moodle Lille 1 Passage du QCM Information des étudiants sur l'environnement numérique de Lille 1 donnée lors de la réunion de présentation des UE du 1er semestre Programmation bien organisée sur deux semaines : 40 et 41 Utilisation des créneaux de TP de l'UE Encadrement : moniteurs de l'UFR de Chimie, personnels du SEMM et moniteurs des centres de ressources Résolution des problèmes techniques : personnels du SEMM et moniteur du centre de ressources Aspects pédagogiques : moniteurs de l'UFR de Chimie Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

ANALYSE DES RESULTATS DU QCM Année 2009 Effectif évalué : 573 étudiants Moyenne générale : 9,6 Moyenne de chaque année du secondaire : seconde : 11,4 première : 8,7 terminale : 8,6 Moyenne de chaque thème : Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

BILAN DE L'EXPERIENCE APRES DEUX ANNEES Côté étudiant Souvent le premier contact interactif avec la plate-forme pédagogique Moodle Lille 1 Réalisent le QCM sérieusement Apprécient d'obtenir leur note immédiatement et le bilan personnalisé Surpris de la faiblesse de leur niveau Côté moniteurs ou ATERs de l'UFR de Chimie S'impliquent dans leur tâche d'encadrement Se familiarisent très vite avec l'utilisation de la plate-forme Apprécient d'être associé à cette expérience d'utilisation des outils numériques à grande échelle Côté équipe pédagogique de l'UE "chimie générale" Début d'implication en 2009 suite à l'envoi d'un bilan global des résultats Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

 analyse des erreurs commises en autoformation PERSPECTIVES Enrichissement du QCM : Ajouts d'explications dans les réponses aux questions du QCM  analyse des erreurs commises en autoformation Création d'autres QCMs Evaluation des connaissances des chapitres de l'UE "chimie générale" avec une utilisation en autoformation Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

REMERCIEMENTS Enseignants de l'UE "chimie générale" Odile ROBBE Sébastien CANNEAUX ATERs et moniteurs de l'UFR de Chimie Moïse CROCHET Etienne TERRENOIRE Marion CARTERET Maxence MENDEZ Personnels du SEMM Téodorina TIBAR Sylvain GILLOT Franck ROUZE Yannick BRUNELLE Thierry DANQUIGNY Monique VINDEVOGHEL Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

Merci pour votre attention Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009

seconde : 11,1 première : 8,2 terminale : 8,7 ANALYSE DES RESULTATS Année 2008 Effectif évalué : 450 étudiants Moyenne générale : 9,1 Moyenne de chaque année du secondaire : seconde : 11,1 première : 8,2 terminale : 8,7 Moyenne de chaque thème : Université VIVALDI "Le numérique, catalyseur de nouvelles pédagogies" 19/11/2009