Évaluer les qualités terminales dans un parcours de formation : l’expérience en génie Conférence présentée dans le cadre du Mois de la pédagogie universitaire Roch Lefebvre, vice-doyen à la formation, Faculté de génie Catherine Pilon, adjointe au vice-décanat à la formation, Faculté de génie Faculté de médecine et des sciences de la santé – 3 avril 2014 Agora du Carrefour de l’information – 9 avril 2014

Objectifs de la présentation Vous faire part de notre : projet d’agrément, changements et vision (horizon 2014, 2020… 2026!) structure organisationnelle pour le mener à bien approche générale pour rendre compte du développement des qualités approche générale pour l’évaluation des qualités chez les étudiants approche générale pour l’amélioration continue des programmes Recueillir vos commentaires Ultimement, l’objectif est de rendre compte de notre expérience de ce processus à la Faculté de génie 31

Préambule 30

29

Relevé de notes Un programme Une série de cours (activités pédagogiques) Note de l’étudiant … par rapport à son groupe … dans une activité pédagogique dont on peut aller voir Les objectifs Le contenu La répartition Les productions de l’étudiant avec ses résultats 28

CV « Langages informatiques : C, C++, Java, VB » (connaissances sur certains contenus clés) « Environnements de simulation et de développement: Matlab, SolidWorks, CodeComposer » (outils de l’ingénieur) « Langues : français et anglais, parlés et écrits » + forme du CV (communication) 27

CV (suite) « Projets développés et responsabilités » (gestion de projets) (conception) (analyse de problèmes) (travail en équipe) (communication) « Qualités principales: capacité de synthèse, adaptation à divers contextes de travail, responsable, approche client, … » (professionnalisme) 26

Question Pour un étudiant, pourquoi le relevé de notes et le contenu de ses cours ne suffisent pas pour son CV ? 25

La Faculté de génie en quelques chiffres 4 départements 6 programmes de 1er cycle 120 crédits par programme Environ 1 400 étudiants au 1er cycle génie biotechnologique génie chimique génie civil génie électrique génie informatique génie mécanique 24

Particularités des programmes de 1er cycle Programmes fortement orientés sur la pratique et la conception Des projets de fin d’études d’envergure pouvant représenter jusqu’à un investissement de plus de 4 000 h de travail pour les étudiants 23

Particularités des programmes de 1er cycle Programmes assujettis à un processus d’agrément d’Ingénieur Canada, par l’intermédiaire du Bureau canadien d’agrément des programmes de génie (BCAPG) – Durée maximale de l’agrément : 6 ans Ordre des ingénieurs du Québec : environ 60 000 membres 22

Réforme majeure dans le processus d’agrément des programmes de génie 2014 Historiquement Vers l’avenir « Vision contenu avec unités d’agrément (UA) » « Vision qualités terminales et amélioration continue » 21

Nouvelles normes d’agrément Qualités requises des diplômés (graduate attributes) Interprétées dans le contexte de candidats qui viennent de terminer leurs études Qualités « techniques » et «non techniques » Amélioration continue (continual improvement) Démontrer qu’un processus est en place Tient compte des résultats (Qualités) Les résultats sont utilisés pour améliorer le programme. 20

Beaucoup de place à la créativité… Le BCAPG n’a fourni aucun outil de mesure ou de « formule » aux établissements d’enseignement supérieur Nous avons donc dû : développer nos outils de mesure définir une approche pour prendre les mesures souhaitées déterminer une façon de présenter les résultats obtenus (bien que des exemples à cet effet aient été donnés par le BCAPG à la fin de décembre 2013) 19

Les 12 qualités du BCAPG Choix et définition des 12 qualités requises des diplômés 03 – Investigation 04 – Conception 07 – Communication 08 – Professionnalisme 02 – Analyse de problèmes 10 – Déontologie et équité 01 – Connaissances en génie 12 – Apprentissage continu 05 – Utilisation d’outils d’ingénierie 06 – Travail individuel et en équipe 09 – Impact du génie sur la société et l’environnement 11 – Économie et gestion de projet 18

Vision de la Faculté à l’égard de ce nouveau processus Au-delà des préoccupations relatives à l’agrément, une occasion pour : en faire plus qu’un exercice administratif pour répondre la « commande » du BCAPG; intégrer cette approche dans nos pratiques d’évaluation; créer outil de pilotage pour permettre aux étudiants de documenter leurs réalisations Conséquence: être prêts en tout temps pour l’agrément (i.e. démontrer la progression et l’atteinte des qualités pour tous nos étudiants) Des objectifs ambitieux! Rappel : horizon 2014-2026 Vision 2014-2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 17

Structure organisationnelle GdT-Facultaire GdT-Progr. Vision 2014-2026 Structure organisationnelle Directions départementales, secrétaires et autres personnes-ressources Développement des qualités + Évaluation des qualités Amélioration continue 16

Développement des 12 qualités Programmes = logique de progression dans les apprentissages des étudiants Vision 2014-2026 S1 S2 S3 T1 S4 T2 S5 T3 S6 T4 S7 T5 S8 Structure organisationnelle Développement des qualités Évaluation des qualités S Session Amélioration continue Stage T 15

Rendre compte de cette progression Pour chaque activité pédagogique, déterminer : le coefficient de complexité des qualités développées et/ou évaluées par rapport au programme l’importance de la ou des qualités développées et évaluées dans l’activité pédagogique ou l’APP Toutes ces nouvelles informations ont été intégrées dans de nouveaux dossiers de cours harmonisés au niveau facultaire Vision 2014-2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 14

Résultat : cartographie du développement des qualités Vision 2014-2026 S1 S2 S3 S4 … S8 Q01 ABC122 ABC156 Q02 ABC101 ABC522 ABC910 Q03 ABC105 ABC111 Q04 ABC311 Q05 Q12 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 13

Évaluation des 12 qualités Conception d’échelles descriptives communes aux 6 programmes (échelles basées sur une revue de la littérature et sur l’expertise interne de la Faculté) Ces outils présentent une description du comportement attendu ou des caractéristiques recherchées chez les étudiants/équipes à l’endroit des 12 qualités du BCAPG Vision 2014-2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 12

Éléments de nos échelles descriptives Échelle d’appréciation du niveau de maîtrise démontré Niveau 1 Niveau 2 Niveau 3 (cible) Niveau 4 R Critère 1 Critère 2 Critère 3 … Critères à évaluer Énoncés décrivant les niveaux d’appréciation (descripteurs) Résultat obtenu 11

Exemples de nos échelles descriptives Q04 - Conception Niveau 1 Niveau 2 Niveau 3 (cible) Niveau 4 R L’étudiante, l’étudiant ou l’équipe… Critère 1 Définir un projet ou un problème d’ingénierie … omet plusieurs informations pertinentes pour bien définir le problème. Formule partiellement la problématique et une partie des objectifs à atteindre. … identifie des informations utiles pour définir le problème. Formule la problématique et les objectifs, mais de manière imprécise. … recherche des informations de sources variées pour définir le problème. Formule la problématique à résoudre et les objectifs à atteindre. … recherche des informations de sources variées et fiables pour définir le problème. Formule clairement la problématique à résoudre et les objectifs à atteindre. 10

Exemples de nos échelles descriptives Q070 – Communication orale Niveau 1 Niveau 2 Niveau 3 (cible) Niveau 4 R L’étudiante, l’étudiant ou l’équipe… Critère 2 Recourir à un support visuel de qualité … recourt à un support visuel dont l’allure devrait être améliorée, puisqu’elle détourne l’attention. … recourt à un support visuel qui appuie minimalement le contenu de sa présentation. … recourt à un support visuel qui appuie bien le contenu de sa présentation et veille à ce que son support soit sobre, visible et équilibré (pas seulement du texte). … recourt à un support visuel qui appuie efficacement le contenu de sa présentation et veille à ce que son support soit sobre, visible, équilibré (pas seulement du texte) et d’allure professionnelle. 9

Utilisation de nos échelles descriptives Identification d’un ensemble de situations clés par qualité (minimum 3 par qualité),lesquelles sont généralement associées à des modalités d’évaluation sommatives Vision 2014-2026 S1 S2 S3 T1 S4 T2 S5 T3 S6 T4 S7 T5 S8 Structure organisationnelle (12 Q) Développement des qualités Évaluation des qualités S Session Amélioration continue Stage T Échelle descriptive 8

Résultat : cartographie du développement ET de l’évaluation Vision 2014-2026 S1 S2 S3 S4 … S8 Q01 ABC122 ABC156 Q02 ABC101 ABC522 ABC910 Q03 ABC105 ABC111 Q04 ABC311 Q05 Q12 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 7

Analyse des données Exemple du BCAPG 6

Analyse des données Nos objectifs Donner plus d’informations Courbes de progression pour un étudiant dans une filière/concentration donnée (maths, conception, etc.) Poser un diagnostic précis pour l’amélioration continue pour le programme pour l’étudiant (outil de pilotage) Vision 2014-2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 5

Amélioration continue (demande du BCAPG) Vision 2014-2026 Discuter des résultats précis des mesures en ce qui concerne les attentes futures du programme. Conclusions sur les données présentées Intervenants consultés, et types de consultations Façon dont les résultats et les analyses seront utilisés pour améliorer le programme Mesures particulières prévues ou mises en œuvre Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 4

Conclusions / réflexions À la Faculté de génie, nouvelles normes et processus mis en œuvre vus comme étant bien plus qu’un exercice administratif pour obtenir l’agrément Pourra-t-on vraiment s’affranchir complètement des mesures « contenu » (les U.A.)? Comment mieux intégrer l’expérience et les apprentissages en stage dans l’appréciation du niveau de maîtrise des étudiants? Vision 2014-2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 3

Conclusions / réflexions Comment assurer la pérennité et l’intégration dans la culture facultaire des outils et de la démarche développés aux fins de l’agrément Objectif est de faire évoluer nos pratiques de formation et d’évaluation Quelles sont vos réflexions? Vision 2014-2026 Structure organisationnelle Développement des qualités Évaluation des qualités Amélioration continue 2

Merci pour votre attention Questions? 1