Martial DELIGNON Vice Président Evaluation Qualité, Université Nancy 2 Responsable du CRAQ, PRES Université de Lorraine Besançon, vendredi 3 décembre 2010

De l’évaluation à l’action ou Comment intégrer la démarche qualité à l’université … Evaluation des formations et des enseignements pour améliorer de la qualité et les performances

Plan de l’exposé Introduction : l’Université de Lorraine 1. Le contexte international et national : le processus de Bologne 2. La démarche qualité : de quoi parlons nous ? 3. Le pilotage du processus de formation par la démarche d’amélioration continue de la qualité Conclusion : parallélisme prudent du Secondaire / Supérieur Quelques recommandations 3 3 3

UDL Projet de création d’une université lorraine par fusion des quatre établissements actuels : UPVM, UHP, INPL, N2 UDL = 54 000 étudiants 3 000 BIATOS 3 700 Enseignants Chercheurs et enseignants 82 laboratoires 8 Ecoles doctorales 35 UFR et Instituts 10 écoles d’ingénieurs La qualité, un axe transversal du contrat 2009 – 2012 Un Centre de Ressources en Assurance Qualité (CRAQ)

Le processus de Bologne Le processus de Bologne (29 pays en juin 1999, 47 en 2010) est un engagement à construire un espace européen de l'enseignement supérieur (EEES). Objectifs : favoriser - la reconnaissance internationale des diplômes et - la mobilité des étudiants et des enseignants Non pas un système universitaire unique, mais placer les systèmes nationaux diversifiés dans un cadre commun fondé sur trois points clefs : LMD : Une organisation des études en trois cycles : Licence / Master / Doctorat ECTS : Des outils de reconnaissance académiques et professionnels : Crédits (European Credit Transfert System), Supplément au diplôme, Cadre de certification. ESG : Mise en place d’un système d’assurance qualité avec un référentiel commun : les European Standards and Guidelines

La philosophie du processus de Bologne - Centrer sur l’étudiant : axer les formations sur l’étudiant et non plus sur l’enseignant (on passe d’une logique d’apprentissage de savoirs, de transmission de connaissances à une logique d’acquisition de compétences, learning outcomes et d’autoformation). - Employabilité pour chacun des cycles L, M, D = une préoccupation majeure : lisibilité sur le marché du travail (supplément au diplôme), orientation et insertion professionnelle sont de nouvelles missions pour les établissements, partenariat avec l’environnement économique Autonomie : les universités sont les acteurs principaux d’où la nécessité d’avoir des établissements plus autonomes (et donc de nouveaux modes de management : autonomie = responsabilité = évaluation sur l’usage des fonds et la réalisation des objectifs de service public). Qualité et évaluation : validation par des instances indépendantes de la qualité des formations pour favoriser la reconnaissance sur le marché du travail et la mobilité internationale des étudiants (confiance réciproque) Mise en place de réformes dans la plupart des 47 pays signataires  Vers un nouveau paysage de l’enseignement supérieur dans toute l’Europe

Conséquences sur le contexte national Améliorer la qualité du service public, décloisonner les administrations et réduire ses coûts 2007 Passer d’une culture de moyens à une culture de projets et de résultats 2001 - 2006 Loi sur l’organisation de la recherche et sa valorisation + création de l’AERES Autonomie des opérateurs et nouvelle gouvernance RCE Réforme de l’offre de formation en trois cycles RGPP LOLF PRES RTRA 2006 LRU 2007 LMD 2002 Université

European Standards and Guidelines - ESG ESG : Les ESG sont les référentiels adoptés par les ministres de l’espace européen, pour les institutions d’enseignement supérieur et les instances qui les évaluent et/ou les accréditent. Elles sont de trois types d’exigences : - Les ESG pour le management interne de la qualité des institutions d’enseignement supérieur (les exigences vis-à-vis des établissements - opérateurs) Les ESG pour le management externe de la qualité de l’enseignement supérieur (modalités d’évaluation par des agences d’évaluation) - Les ESG pour le management externe de la qualité des agences (modalités d’inscription au registre européen des agences : indépendance, statut officiel, …) Les ESG = un cadre de références donc impératif mais aussi un espace de liberté ; Les ESG disent « ce qu’il faut faire » mais laissent les acteurs décider de « comment faire » en fonction des contextes.

Les ESG dans nos établissements  Les ESG pour l’assurance qualité interne des institutions d’enseignement supérieur explicitent les attentes dans les domaines suivants : Politique et procédures pour le management de la qualité : mettre en œuvre une politique, une stratégie et des procédures visant à l’amélioration continue de la qualité en associant les parties prenantes = CEFE + Charte qualité Approbation, examen et révision périodique des programmes et des diplômes : disposer de mécanismes officiels pour… (procédures d’habilitation en interne et externe) = Conseils + DGESIP Evaluation des étudiants : MCC, critères, règlements et procédures publiés et appliqués de manière systématique et constante = Charte et règlement des examens Management de la qualité du corps enseignant : avoir les moyens de s’assurer de la qualité et de la compétence des enseignants, à développer et commenter dans les rapports d’évaluation = CNU + Commission de spécialistes + CSE - BIP Outils pédagogiques et soutien aux étudiants : s’assurer que les ressources affectées aux outils pédagogiques et au soutien des étudiants sont adaptés à chaque programme = Enquêtes de satisfaction + fiches qualité Systèmes d’information : collecter, analyser et utiliser les informations nécessaires au pilotage efficace des formations = statistiques socio-démo + indicateurs de réussite et d’insertion prof. Information du public : rendre publiques des informations à jour, impartiales et objectives, quantitatives et qualitatives, sur les programmes et les diplômes. = internet observatoire BAIP

comme processus d’amélioration continue La démarche qualité comme processus d’amélioration continue

La démarche qualité : de quoi parlons-nous ? Elle est souvent synonyme de bureaucratie, technocratie, paperasses, contraintes… c’est un des obstacles majeurs à sa mise en oeuvre Le vocabulaire est souvent hermétique pour les non spécialistes : autoévaluation, certification, indicateurs, assurance qualité, normes ISO 9000, 9001, 14 000, référentiels, ESG, cartographie des risques, fiabilisation des données, analyse des processus, procédures, manuel qualité, ranking, benchmarking, amélioration continue, … Démystification de la démarche qualité En résumé, c’est : L’analyse (autoévaluation ou évaluation externe) de nos modes de fonctionnement (nos processus) pour en améliorer progressivement les résultats (performances) par des améliorations (plans d’actions) Démarche pragmatique guidée par une méthodologie simple

Méthode PDCA ou la roue de Deming PLAN = planifier ce que l’on va faire (cahier des charges) ; fixer les objectifs et mobiliser les moyens ; mise en mode projet. ACT = décisions de nouvelles actions pour améliorer et corriger éventuellement = plan d’actions CHECK = mesurer, vérifier les résultats, contrôler que le travail correspond à ce qui était attendu ; comprendre les écarts par rapport à la situation prévue = autoévaluation, production d’indicateurs et analyse. DO = Faire, produire, mise en œuvre et pilotage du projet

Les formes et domaines de l’évaluation Evaluation externe : intervention d’une agence d’évaluation externe (à distinguer de la DGES) AERES – CTI (Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur – Commission des Titres d’Ingénieur) IGAENR (Inspection Générale de l’Administration de l’Education Nationale et de la Recherche) Organismes de certification (type AFNOR, si procédure de certification) http://www.aeres-evaluation.fr/ Evaluation interne : autoévaluation chaque établissement construit son propre dispositif d’évaluation : indicateurs, tableaux de bord, audit, analyse de processus… L’évaluation s’exerce - par rapport à des normes ou des référentiels définis de manière externe (normes ISO, standards européens de l’ENQA, Qualicert pour les IAE, …) ou - par référence à des objectifs fixés par l’établissement (politique d’établissement, CQD) Les domaines concernés : la formation, la recherche, le pilotage (Gouvernance – système organisationnel, RH, Finance, Immobilier, SI, SCD, …)

Dispositif institutionnel d’évaluation français Evaluation par les pairs et habilitation par le ministère tous les 5 ans AERES + CTI - Formation - Recherche - Pilotage DGESIP Habilitations des diplômes - Autoévaluation des formations, des équipes de recherche et de l’établissement - Bilan du contrat - Indicateurs de performance - Projet stratégique Dotation (modèles SYMPA) Contrat quinquennal Etablissement Evaluation des Enseignants Chercheurs tous les 4 ans par le CNU +

Diverses modalités d’application de la démarche qualité La démarche qualité se décline sous différentes formes selon les secteurs d’activités : Démarche de certification en référence à des normes ou des référentiels : labellisation, accréditation pour certains laboratoires, centre de formation continue, instituts ou écoles ; audit Analyse de processus : topographie de processus, cartographie des risques, description de procédures Mise en mode projet : diagramme de Gantt, comitologie, plan d’actions, lettres de mission Construction de tableau de bord : suivi de réalisation des objectifs par rapport à des cibles, fiabilisation et partage de données, construction d’un SI Mise en assurance qualité du processus de formation

Retour d’expériences La démarche qualité doit s’adapter à son objet et aux valeurs de l’établissement : Promouvoir la culture qualité en rapport avec les objectifs de l’établissement : forger un consensus autour des missions de l’établissement et se concentrer sur la capacité au changement (favoriser l’innovation) ; plusieurs cultures selon les pays et les établissements : excellence scientifique (ranking) ou qualité de services par exemple (PDCA) Evaluer par rapport aux objectifs de l’établissement (pas dans l’absolu) en garantissant l’indépendance des évaluateurs et en se méfiant des indicateurs quantitatifs simplistes (complexité des processus de formation) Analyser l’impact des évaluations (coûts / avantages, complexité, fréquence, ….), éviter la bureaucratisation des procédures (application stricte de normes) Garantir le suivi du résultat : processus d’amélioration continue, il ne suffit pas d’évaluer mais boucler la roue de Deming

La démarche d’amélioration continue L’évaluation au service du pilotage du processus de formation

Le rôle de la CEFE : définir les principes communs Mobiliser et associer toutes les parties prenantes au sein d’une Commission d’Evaluation des Formations et des Enseignements Missions et composition de la CEFE - elle est composée d’étudiants, d’enseignants et de Biatos (tous désignés par le CA) + quelques experts et les services en charge de l’évaluation (Observatoire, Cellule d’Aide au Pilotage) - elle intervient en amont et en appui à la démarche du VP Evaluation – Qualité (rôle de réflexion, accompagnement, validation des propositions) - elle élabore une charte de l’évaluation (validée par les conseils) : définir les valeurs et principes qui balisent les pratiques de l’évaluation et de la démarche qualité charte de l’évaluation 18 18

Les axes stratégiques en formation pour 2011 La démarche qualité est au service des objectifs et d’une stratégie : Améliorer la qualité de service : accueil public (charte Marianne) Augmenter le taux de réussite en licence Créer des diplômes conjoints et doubles diplômes Professionnaliser nos étudiants (stage en licence et suivi du stage en master, certifications langues et C2i, BAIP) Accroître la part des ressources propres (FTLV, TA, Contrats PS)

Le système de management de la qualité dans le processus de formation Commission CEFE X + Charte X Rapports de l’AERES X Auto évaluation Tableaux de bord formation L X Population et Indicateurs X Commission consultative Conditions d’études M2 09 M2 CA N2 07 Evaluation des formations et des enseignements L1 AES EFE L1 10 MD Conseil d’UFR X Contrats d’objectifs et de moyens X dont « kit » qualité : Respect charte qualité - Référentiel X - Réunion commission consultative - Transfert fiche qualité - Bonus Qualité Formation Plan Réussite en licence Appui logistique de la CAP, du SEIP et du CRAQ Fiches qualité XY Insertion 6 N2CA Professionnelle X Enquête d’évaluation du processus de formation par les enseignants X Y CEVU X CA X Enquête d’évaluation du processus de formation par les BIATOS 20 20

Identité de problématique : Secondaire versus Supérieur Beaucoup de convergences entre le secondaire et le supérieur Mesure de la performance par des indicateurs de résultats des lycées (pour rendre compte des résultats du service public et alimenter la réflexion sur l’efficacité) Taux de réussite au bac Taux d’accès de seconde et de première au bac Proportion de bacheliers parmi les sortants Puis pondération de ces résultats pour mesurer la valeur ajoutée par le lycée (en mesurant le niveau initial des élèves et leurs caractéristiques sociodémographiques) Dispositifs de soutien à la qualité de la formation des élèves (accompagnement individualisé, travaux sur projet, groupes de soutien, conseils de classe, discrimination positive, …)

Conclusion : Quelques réflexions sur notre démarche Privilégier les démarches incitatives et l’appropriation progressive. Favoriser le partage des bonnes pratiques en s’appuyant sur l’existant et les initiatives locales. Etre prestataires de services et d’outils au service des acteurs et non donneurs d’ordres. Eviter les démarches centralisatrices et autoritaires. Réfléchir aux effets pervers des systèmes de notation (Ranking) Préférez un langage qui encourage et dynamise par rapport à des termes normatifs. Culture organisationnelle partagée et non culture du référentiel ! 22 22

« Eviter que la recherche de la conformité ne remplace la réflexion sur la pertinence » J. Lanares VR Université. de Lausanne FIN