Evaluation des enseignements et des formations. Contrôler ou valoriser? Expériences de lUniversité de Genève Dr Nicole Rege Colet

Plan Evaluation formative et démarches qualité Le contexte européen Genèse de lévaluation à UniGe Epistémologie de lévaluation Bilan des pratiques Perspectives et enjeux

Evaluation Démarches qualité Assurance qualité Quality management Accréditation Quality culture

Démarches qualité – assurance qualité Accréditation Audit qualité Evaluation institutionnelle Evaluation dunité denseignement et de recherche Evaluation de discipline ou de filières Evaluation de programme Evaluation de lenseignement par les étudiants

Une progression qui implique de passer de Unités de formation Systèmes de formation Evaluation interne Evaluation externe Micro-régulation Pilotage institutionnel Gestion individuelle Gestion collective Ajustements Décisions

De lEEE aux démarches qualités intégrées Approche qui vise à Améliorer pratique denseignement Renforcer apprentissages des étudiants Favoriser dialogue entre enseignants et étudiants Approche qui vise à Renseigner/informer sur la qualité de lenseignement Promouvoir la formation universitaire Contrôler les prestations Une démarche orientée vers Développement pédagogique Valorisation des activités denseignement Une démarche orientée vers La régulation et le pilotage institutionnel Développement professionnel & académique Reconnaissance - ranking EEEAQ

Principaux enjeux Documenter la qualité de lenseignement et de la formation Mesurer les prestations Construire des indicateurs Systématiser les démarches Bases de données Tableaux de bord Outils de gestion/aide à la prise de décision Critères Principaux enjeux

AQ en Europe …. Objectif de la Déclaration de Bologne Promotion de la coopération en matière dévaluation de la qualité (critères & méthodologie) ENQA – ESIB – EUA – EURASHE = 4E Analyse des pratiques dévaluation en Europe Rencontre ministérielle à Bergen en 2005 Adoption des standards et du guide [ESG] pour lAQ dans lenseignement supérieur Colloque européen annuel Forum AQ de lEUA, Rome novembre 2007

Genèse à lUniversité de Genève

Principales étapes Années 80: Études exploratoires & premiers outils : Phase des projets pilotes : Phase de généralisation : Phase de consolidation & mesure impact : Premier audit qualité : La traversée du désert : Deuxième audit qualité

Principes clés Approche formative Consentement Anonymat Confidentialité Retour aux étudiants Valorisation dans dossier denseignement

Les démarches qualité de lenseignement Évaluation de lenseignement –Depuis 1999 –Méthode: questionnaire auprès des étudiants –Mesure: perceptions des étudiants par rapport aux situations denseignement et dapprentissages (degré de satisfaction) Évaluation des programmes –En développement –Méthode: questionnaire –Mesure: perceptions des étudiants par rapport à lensemble dun cursus ou programme (degré de satisfaction) Évaluation des UERs –De 1992 à 2000 puis reprise dès 2007 –Méthode: rapport dauto-évalution et évaluation externe par experts –Mesure: qualité des prestations de recherche, denseignement et de services

Évolution du nombre de dossiers dévaluation:1999 à 2007

Classement de 1308 enseignements évalués selon lindice de satisfaction: valeurs comprises entre [0.00–0.40] [0.41–0.70] [0.71–0.80] [0.81–0.90] [0.91–1.00]

Une épistémologie de lévaluation

Lévaluation, une forme de recherche QdR: Quelle est la perception des étudiants? Hypothèse: satisfaction par rapport à certaines dimensions Opérationnalisation: construction dindicateurs Méthode: questionnaire & élaboration cadre danalyse Analyse & interprétation Plan daction & suivi

Choix méthodologiques items fermés Énoncés positifs Items libres Échelle de lickert: 4 positions 3-4 questions ouvertes Dimensions couvertes Contenus Structure Habiletés communication Supports Évaluation apprentissage Encadrement Investissement

Choix méthodologiques Tableaux de fréquence Graphique: valeurs relatives Retranscription intégrale

Indice de satisfaction: 0.00 – 1.00

Echelle de classification

Profils individuels Comparaison profil individuel – tendance générale Groupes de comparaison Type denseignement Département Niveau détudes Études longitudinales Exploitation de lindice de satisfaction

Profils individuels

Comparaison profil individuel – tendance générale

Groupe de comparaison Cours, 1 ère année bachelor

Étude longitudinale

Bilan des pratiques

Évaluation de lenseignement Forces Augmentation nombre dossiers Généralisation à toutes les structures académiques Émergence dune culture dévaluation Analyses des résultats Satisfaction des usagers Impact sur pratique denseignement Observatoire des pratiques A développer Suivi & exploitation des résultats Articulation entre évaluation diagnostique et évaluation formative Mécanismes de régulation et de pilotage Procédures darbitrage La politique & le dispositif de travail: répartition des responsabilités

Évaluation de programmes Forces Intérêt marqué Suivi des innovations dans le cadre du processus de Bologne Quelques expériences pilotes Impact sur planification curriculaire A développer Politique & dispositif de travail: principes et cadre Articulation entre satisfaction des étudiants et analyse de la cohérence et pertinence dun programme Suivi des résultats Lien avec laccréditation et les démarches de lOAQ

Évaluation des UERs Forces Importante expérience antérieure Nouveau concept 07: principes et cadre de travail Procédure bien définie & guide de travail Mise en place dun bureau qualité Projet pilote en cours A développer Planification des évaluations Suivi des résultats et des plans daction Évaluation externe de la procédure Lien avec procédures dassurance qualité et daccréditation de lOAQ

Se rappeler que Démarche qualité Qualité

Prochains enjeux Définir une politique en matière dassurance qualité pour lUniversité de Genève Impliquer lensemble de la communauté académique Établir un dispositif intégré et unifié de travail Réviser & développer les différentes procédures existantes Dégager les ressources nécessaires Communiquer et informer sur la politique AQ