« L’ÉVALUATION DES ENSEIGNEMENTS » CGE APS INSA Lyon 14 Juin 2012 « L’ÉVALUATION DES ENSEIGNEMENTS » Yvan Pigeonnat Conseiller pédagogique PerForm Grenoble INP Réseau PENSERA

Agenda L’évaluation des enseignements Votre vécu Le cadre légal La qualité d’un enseignement ? L’évaluation des enseignements par les étudiants Les « pièges » Une solution pour les éviter Les compétences (des enseignants pour commencer!) Le concept de compétence Prise en main du concept Un exemple de référentiel de compétences de l’enseignant dans le supérieur La question de la valorisation

UNE QUESTION DE COMMUNICATION!

Sondage: votre expérience en évaluation de l’enseignement: - Avez-vous rempli un questionnaire d’évaluation (en tant qu’étudiant) ? - Avez-vous fait évalué un de vos enseignements ? - Ce qui vous a le plus marqué? noter un aspect positif ou un intérêt à évaluer l’enseignement: B) noter un aspect négatif ou un risque à évaluer l’enseignement:

Historique du cadre réglementaire à l’université Janvier 2006 European Association for Quality Assurance in Higher Education (ENQA) Arrêté 23 Avril 2002 Art. 9, 20 & 21 Décembre 2009 Evaluation de la mission d’enseignement des E-C 1997 Arrêté Bayrou 1992 Arrêté Lang Recommandations Européennes Textes de loi réglementaires français Note du MESR

ETAT DES LIEUX (1/3) Constat : « en matière d’évaluation en France, il n’y a pas de théorie, pas d’enjeux, très peu d’effets » (Jacques Dejean 2005) Raisons proposées : Insuffisante perception des enjeux Absence de théorie de l’évaluation adaptée au contexte de notre pays

Quelques bonnes pratiques isolées Institut Polytechnique de Grenoble ETAT DES LIEUX (2/3) Quelques bonnes pratiques isolées Institut Polytechnique de Grenoble perform.grenoble-inp.fr Université Joseph Fourier sup.ujf-grenoble.fr Université Claude Bernard Lyon 1 www.evaluation.univ-lyon1.fr/ Université Lille 1 www.univ-lille1.fr/ofip/ Université Bordeaux 2 Démarche qualité ISO Création du CRAME (Centre de Recherches Appliquées en Méthodes Educatives) Université Lille 1 Réel suivi des étudiants après l’université Création de l’OFIP (Observatoire des Formations et de l’Insertion Professionnelle)

L’évaluation des enseignements existe en France : ETAT DES LIEUX (3/3) L’évaluation des enseignements existe en France : Plutôt dans les universités scientifiques Plutôt dans les formations sélectives et professionnalisantes Volonté politique de la direction  constitution d’un groupe de travail sur le sujet Cas particulier des écoles d’ingénieurs www.cefi.org Comité d'études sur les formations d'ingénieurs (CEFI) Une pratique quasi-généralisée, souvent ancienne (1960 pour ENSPC, Mines de Paris…) Le dispositif d’évaluation des enseignements doit être décrit avec précision dans le dossier d’habilitation (mais pas d’obligation quant à la forme) Depuis 2000, mise en œuvre de procédure formelles accompagnant les démarches qualité

comment s’y prendre pour évaluer l’enseignement évaluer quoi? l’évaluer comment? qui l’évalue ?

FINALITÉS, CONCEPT ET MÉTHODES BESOIN DE FORMATION PUBLIC-CIBLE OBJECTIFS CONTENU MÉTHODES SUPPORTS DIDACTIQUES DÉROULEMENT ÉVALUATION DES ÉTUDIANTS CHANGEMENT EVALUATION … VISÉE ! UNE QUALITÉ ...

L’évaluation des enseignements par les étudiants Comment éviter la dérive bureaucratique ?

Évaluation et qualité Un « principe de base » (ENQA 2005) : Le management de la qualité afin de satisfaire à l’obligation de rendre compte est tout à fait compatible avec le management de la qualité pour l’amélioration Source : « Références et lignes directrices pour le management de la qualité dans l’espace européen de l'enseignement supérieur » Traduction française par le CNÉ

… pour répondre à l’obligation légale et pour l’amélioration continue… Un seul outil… … pour répondre à l’obligation légale et pour l’amélioration continue… Une bonne idée ?

Efficacité de l’évaluation ? Rapport Dejean en 2005 : « peu d’effet » Évolutions sur un public de 100 moniteurs des CIES d’Orsay et Grenoble depuis 2006 : Toujours plus d’évaluations en tant qu’étudiant (de 10% en 2006 à 95 % en 2012) Mais une constante: moins de 10 % en ont vu des effets

Écueils liés au questionnaire… Pertinence des questions Même questionnaire pour tous les enseignements Un questionnaire par type d’enseignement problème des « moutons à 5 pattes »

Écueils liés aux enseignants 2 types d’enseignant-chercheur : Ceux pour lesquels « enseignement = perte de temps » => aucun effet Les autres (la grande majorité)…

Écueils liés aux enseignants Font du mieux qu’ils pensent pouvoir faire Primauté au contenu (piège : en mettre trop) Se sentent démunis face à l’absence de motivation des étudiants Limitent le contrat didactique aux objectifs du cours Piège du « comprendre = apprendre » N’ont pas idée qu’on peut faire autrement Reproduisent le mode transmissif qui leur a réussit N’ont pas l’idée que l’on peut rendre les étudiants actifs même en amphi N’ont pas idée qu’ils ont un impact sur la motivation des étudiants Peuvent être amenés à prendre de mauvaises mesures « correctives » (syndrome du yoyo) CAUSE PRINCIPALE : pas de formation à la pédagogie universitaire

Écueils liés à l’établissement du diagnostique Pour l’enseignant : Un même « score » = bon ou mauvais suivant la question… Importance du facteur émotionnel : risque de focalisation sur des problèmes accessoires… Pour l’institution : Forte dépendance au contexte (par ex. : horaire, filière, etc.) DANGER : si l’évaluation de la mission d’enseignement est faite à l’aide d’une évaluation systématique « automatisée »

Écueils liés aux étudiants Cercle vicieux : Peu d’effet Désengagement progressif des étudiants Perte de signifiance des résultats

La démarche de Grenoble INP S’appuyer sur la structure de pédagogie universitaire (PerForm) pour mettre en place une politique pertinente en matière de gestion de la qualité des enseignements Au sein de PerForm: travail en réseau, partage de pratiques, benchmarking Compagnonnage Franco-Suisse (2004-2007) Pôle Rhône-Alpes : réseau PENSERA (depuis 2008) Grenoble INP UCB Lyon 1 UJF Grenoble 1 ENSA Lyon UJM St-Etienne ENTPE Polytech Annecy-Chambéry => Identification des écueils + élaboration d’une solution

La solution proposée Séparer les outils : Une évaluation systématique « light » Une question globale par enseignement Portée par l’institution Intégrée dans la politique en matière de qualité de l’enseignement Rôle de détecteur de fumée Une analyse approfondie confidentielle Faite à la demande des enseignants Effectuée par des conseillers pédagogiques

L’évaluation indicative systématique Diffusion des résultats : Intégralité au directeur des études et responsables d’années Aux enseignants : leur position par rapport aux autres ayant eu le même public

L’évaluation indicative systématique Diffusion des résultats : Intégralité au directeur des études et responsables d’années Aux enseignants : leur position par rapport aux autres ayant eu le même public Aux étudiants : synthèse + liste des actions menées (taux de réponse d’environ 60 %)

L’analyse approfondie Faite par des conseillers pédagogique de PerForm A la demande des enseignants, confidentielle Menée en 4 temps : entretien préalable adaptation d’un questionnaire recueil anonyme de l’avis des étudiants saisie informatique et analyse entretien final

Bilan : les « + » Toutes les écoles ont progressivement adhéré Taux de réponse des étudiants très satisfaisants (+/- 60 %) Outil systématique apprécié par les directions Bonne articulation entre les 2 outils Plus de cas « intéressants » pour l’analyse approfondie Des progrès significatifs au niveau du détecteur pour ceux qui sont passés entre les mains des conseillers pédagogiques

Bilan : les « – » Tous les problèmes ne sont pas détectés La gestion des commentaires des étudiants… Des problèmes de communication dans certaines écoles

La question des compétences Du point de vue des enseignants !

Qu’est-ce qu’une compétence ? Une « approche par compétences » ? Définition par Marianne Poumay 6’ (professeur à l’université de Liège) 

Compétence : exemple de la conduite d’une voiture Savoirs : code de la route les différents éléments d’une voiture Savoir-faire : passer les vitesses mettre le clignotants faire les contrôles de sécurité, etc. Savoir-être En cas de conduite dans des embouteillages Conduire « léger sur l’accélérateur » (de façon économe) Famille de situation En ville, de nuit, sous la pluie, sur une route enneigée… Mais pas un 4x4 dans les dunes, ou en marche arrière avec une remorque!!!

Compétence : à vous de jouer… Phase d’appropriation de la notion de compétence : 15’ Penser à une compétence utile dans le volet enseignement de votre travail. La phraser Que faut-il (ou faudrait-il) pouvoir mobiliser et combiner en termes de : savoirs savoir-faire savoir-être Dans quelle famille de situations ? Comment pourrait-on l’évaluer ?

Un référentiel de compétences pour l’enseignant dans le supérieur (AIPU 1999) Dimension pédagogique (01) Adopter une représentation de l’acte d’enseigner et d’apprendre susceptible de rendre son activité d’enseignement la plus efficace possible (en termes de gains d’apprentissage). (02) Planifier et mettre en œuvre des activités d'enseignement (choix et articulation des objectifs, des méthodes d'enseignement, des contenus, des supports, etc.) pertinentes, efficaces et efficientes. (03) Planifier et mettre en œuvre les activités d'évaluation des apprentissages (choix et articulation des critères, des méthodes d'évaluation, des instruments, techniques de correction, etc.). (04) Maîtriser les diverses formes de la communication pédagogique (expression orale et écrite, communication non-verbale, utilisation des multimédias, etc.). (05) Animer et gérer les interactions dans des groupes d'étudiants de tailles diverses. (06) Accompagner les étudiants dans leurs apprentissages (tutoring, accompagnement méthodologique, évaluation formative, etc.).

Un référentiel de compétences pour l’enseignant dans le supérieur (AIPU 1999) Dimension institutionnelle (07) Promouvoir la réussite du plus grand nombre et le développement personnel de chacun. (08) Travailler en équipe pluri- ou inter- disciplinaire à la réalisation de projets ou de programmes pédagogiques. Dimension socio-professionnelle (09) Développer une pensée réflexive à l'égard de sa pratique pédagogique. (10) Affronter les devoirs et les dilemmes éthiques de la profession d'enseignant universitaire.

La valorisation, l’évaluation ? Exemple de l’EPFL : Dossier d’enseignement 2004 http://teaching.epfl.ch/ puis évaluer et valoriser mon enseignement, puis Le dossier d'enseignement Exemple de l’UCL : Dossier de Valorisation Pédagogique (DVP) 2000 http://www.uclouvain.be/97742.html McGill : Teaching Portfolio http://www.mcgill.ca/tls/teachingportfolio/#GUIDELINES

Merci de votre attention… Contact : Yvan Pigeonnat Yvan.Pigeonnat@grenoble-inp.fr PerForm http://perform.grenoble-inp.fr PENSERA http://pensera.fr/