Patrik Doucet Professeur Département de génie mécanique Outil informatique pour évaluer la contribution individuelle dans les équipes de travail – Phase 1 Patrik Doucet Professeur Département de génie mécanique

Plan de la présentation Problématique à l'origine du projet La solution proposée : la Matrice PME Objectifs du projet soumis au FAPU Résultats à ce jour : Groupes de discussion Recueil de considérations pédagogiques Développement de l'outil informatique Les suites du projet

Problématique à l'origine du projet Contexte: évaluation des projets de conception en génie mécanique : 35% pour la tenue d'un registre individuel; 50% pour le rapport de conception; 10% pour la revue de conception; 5% pour les rapports hebdomadaires. Problème : comment évaluer la contribution individuelle dans les travaux collectifs? Problème non adressé : l'évaluation de la «compétence travail en équipe». Évaluation collective (65%)

Problématique à l'origine du projet Jusqu'en 1997... autoévaluation, valant 10% de la session;  = 9.8/10. Autoévaluation (50%) et évaluation par les pairs (50%), valant aussi 10% de la session...  ≈ 9/10; les «bons» étudiants se pénalisaient davantage... Noteétudiant 10/10 Notepairs = 6/10 Notefinale = 8/10 Noteétudiant 8/10 Notepairs = 9.5/10 Notefinale = 8.75/10

Problématique à l'origine du projet Facteur de pondération ()... solution amenée pour notamment accroître la discrimination entre les résultats; noteétudiant = noteéquipe *  (avec 0.90 <  < 1.10); basé sur l'autoévaluation et l'évaluation par les pairs; les problèmes associés à ce mécanisme : équipe > 1,00 (parfois, équipe = 1,05); les «bons» étudiants se pénalisaient davantage.

Problématique à l'origine du projet Triple facteur de pondération ()...  = 1 * 2 * 3 intérêts : permet aux étudiants d'ajuster leur évaluation; incite ceux qui travaillent peu à contribuer davantage (0.73 < final étudiant < 1.33); encourage la rétroaction et la gestion de l'équipe; problèmes : moyennes toujours élevées; compilation très longue pour l'enseignant.

La Matrice PME Cette matrice : permet de calculer rapidement un facteur de pondération (); remplace le mécanisme d'autoévaluation couplée à l'évaluation par les pairs; rend plus difficile la récompense entre amis; donne une lecture rapide de la «santé» de l'équipe. Principe de base : distribution d'un nombre de points en fonction des contributions perçues...

La Matrice PME Pour chaque critère, 1 point / membre. Pour chacun des critères, l'étudiant doit évaluer si ses coéquipiers ont contribué : plus que lui (p); moins que lui (m); également à lui (e). Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative). Étudiant 1 Étudiant 2 Étudiant 3 Étudiant 4 Étudiant 5 Étudiant 6 6 points à distribuer... Détail du calcul

Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative). Poser une action ou suggérer une idée qui produit un résultat nouveau et utile (mot-clé: créativité). Fournir et renouveler les efforts nécessaires pour atteindre les objectifs (mot-clé: persévérance). Produire les meilleurs résultats possibles avec un minimum de ressources (mot-clé: efficacité). Arriver à temps pour les réunions et les rendez-vous planifiés (mot-clé: ponctualité). p Étudiant 1 Étudiant 2 Étudiant 3 Étudiant 4 Étudiant 5 Étudiant 6 m e 1.02 1.03 0.94 0.96 1.04 Il avoue que tous ont contribué plus que lui. Il mérite... m Il avoue que tous ont contribué moins que lui. Il mérite... p Certains ont contribué plus, d'autres moins, d'autres également. Il mérite ... e

La Matrice PME Une version Excel de la matrice est utilisée depuis septembre 2002 par quelques professeurs. Peu de résistance rencontrée chez les étudiants et, surtout, peu de plainte ou commentaire négatif : ses résultats sont acceptés par les étudiants. Permet une discrimination appréciable. Toutefois : la version informatique actuelle est peu exportable; processus de compilation fastidieux, lourd et propice à des erreurs.

Objectifs du projet Le projet proposé consiste à : développer un outil informatique rendant plus conviviale, plus accessible, plus sûre et plus efficace, l’utilisation de la Matrice PME; préparer son mode d'emploi; réaliser un guide pour l’intégration harmonieuse de cet outil dans des mécanismes d’évaluation. Une demande particulière : réaliser ce projet en gardant à l'esprit une institutionnalisation possible de l'outil.

Objectifs du projet Les objectifs spécifiques : A) Conduire une analyse de besoins auprès de professeurs de l'Université de Sherbrooke. B) Consigner ces besoins dans un cahier de charges. C) Préparer un mode d'emploi de l'outil. D) Préparer un recueil de considérations pédagogiques pour l'intégration harmonieuse de l'outil dans l'enseignement. E) Développer l'outil informatique. Phase 1 Phase 2

Plan de la présentation Problématique à l'origine du projet La Matrice PME Objectifs du projet Résultats à ce jour : Groupes de discussion Recueil de considérations pédagogiques Développement de l'outil informatique Les suites du projet

Groupes de discussion Deux groupes de discussion ont été réalisés : 14 décembre 2005, 8 professeurs : Faculté de génie; 19 janvier 2006, 7 professeurs : Faculté d'administration Faculté d'éducation Faculté d'éducation physique et sportive Faculté des lettres et sciences humaines Faculté des sciences Cahier de charges : Samuel Richard (étudiant génie).

Groupes de discussion Scénario rêvé pour l'enseignant : informer une base de données (noms et équipes); choisir des critères à même une banque ou énoncer ses propres critères d'évaluation; informer ses étudiants qu'ils peuvent accéder à l'outil d'évaluation; extraire de la base de données les résultats des évaluations, tous compilés!

Groupes de discussion Scénario rêvé pour l'étudiant : se rendre à l'adresse URL spécifiée; saisir au clavier son CIP et son mot de passe; compléter la grille d'évaluation spécialement construite pour son cours et son équipe; confirmer son évaluation en cliquant sur «transmettre l'évaluation»; recevoir un message de confirmation de cette transmission.

Recueil de considérations pédagogiques Travail réalisé avec Marie Line Gagnon (étudiante à la Faculté d'éducation). Table des matières : problématique ayant mené à la production de l'outil; présentation de la Matrice PME : ce que l'outil évalue; explication du calcul; considérations avant de décider d'utiliser l'outil : sa place, sa pertinence, les ressources requises;

Recueil de considérations pédagogiques Table des matières (suite) : difficultés potentielles et pistes de solutions : rébellion, zizanie, effet coercitif et effet couperet; aide à l'interprétation des résultats : profil type de l'équipe en santé, du surfeur, d'un clan, des pactes entre étudiants; annexes : banque de critères d'évaluation. notions de base sur le travail en équipe; modèle de rétroaction (CNV); contenu type à introduire au syllabus.

Développement de l'outil informatique Développement en cours, avec Bernard Beaulieu (analyste informatique à la Faculté de génie). Actuellement : base de données construite et fonctionnelle; interfaçage avec le serveur LDAP fonctionnel; les 3 pages pour les étudiants sont fonctionnelles; 2 des 3 pages pour les professeurs quasiment fonctionnelles; 1re mise à l'essai : 22 février 2007; 2e mise à l'essai : 12 avril 2007. https://www2.gel.usherbrooke.ca/xpeer/etudiant/tableau_de_bord.php

Les suites du projet Développement de l'outil informatique : version complète disponible d'ici la fin avril; essais et validations au cours de l'été; diffusion auprès de quelques utilisateurs à l'automne; diffusion à la communauté universitaire au début 2008... en se croisant les doigts! Bref, prochain rendez-vous durant l'édition 2008 du Mois de la pédagogie! Détail du calcul Modèles de pages

Détail du calcul Calcul des fractions pour distribuer les points : Calcul du dénominateur commun : p = 2; e = 1; m = 0. 1 2 Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative). p m e Étudiant 1 Étudiant 2 Étudiant 3 Étudiant 4 Étudiant 5 Étudiant 6 Total de 5... 1/5 2/5 0/5 Fractions

Détail du calcul Calcul du score pour un critère donné : Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative). p m e Étudiant 1 Étudiant 2 Étudiant 3 Étudiant 4 Étudiant 5 Étudiant 6 1 2 1/5 2/5 0/5 6 points x 1,2 2,4 0,0

Détail du calcul Calcul des prél. : calcul de la moyenne des scores; Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative). Poser une action ou suggérer une idée qui produit un résultat nouveau et utile (mot-clé: créativité). Fournir et renouveler les efforts nécessaires pour atteindre les objectifs (mot-clé: persévérance). Produire les meilleurs résultats possibles avec un minimum de ressources (mot-clé: efficacité). p m e Étudiant 1 Étudiant 2 Étudiant 3 Étudiant 4 Étudiant 5 Étudiant 6 Calcul des prél. : calcul de la moyenne des scores; distribution linéaire des scores : Scoremoy. = 0.00  = min = 0.90 Scoremoy. = 1.00  = 1.00 1,02 1,03 0,94 0,96 1,04

Détail du calcul Calcul des globaux : globaux 8 20 Étudiant 2 1.03 0.94 0.96 1.04 1.02 Étudiant 1 1.01 0.91 0.99 1.05 Étudiant 2 1.00 0.98 1.02 Étudiant 3 1.00 0.92 0.99 1.05 1.01 1.03 Étudiant 4 1.01 0.93 0.99 1.03 1.02 Étudiant 5 1.01 0.91 0.98 1.07 1.03 Étudiant 6 1,01 0,93 0.99 1,04 1.01 1,02 globaux 8 20

20