DMU, 1er mars 2013 Garantie de la qualité et évaluation dans l’enseignement supérieur Garantie de la qualité Notions et pratiques Bruno Curvale Ancien président d’ENQA Membre de l’équipe française des Experts de Bologne Chargé de programmes au Centre international d’études pédagogiques (CIEP)

DMU, 1er mars 2013 Au lecteur 2 Cette présentation est un outil développé pour l’animation d’un débat entre l’audience et le présentateur. Les pages suivantes proposent des pistes pour la réflexion. Elles ne présentent pas nécessairement des définitions stabilisées ou consensuelles des notions qu’elles proposent au débat. Bruno CURVALE

DMU, 1er mars 2013 Plan de la présentation 3 Les principes de la dimension européenne de la garantie de la qualité sont-ils européens? Notions à discuter

DMU, 1er mars Processus de Bologne et dimension européenne de la garantie de la qualité dans l’enseignement supérieur 1999 Bologna 2001 Prague 2003 Berlin 2005 Bergen 2007 London European cooperation in quality assurance Primary responsibility of HE institutions for quality European Standards and Guidelines European Register EQAR Cooperation of QA agencies and HE institutions E4 Group ENQA EURASHE EUA ESU 1998 Reco CE 2006 Reco CE Source : Colin Tück, E4, B. Curvale 2009 Leuven Louvain-la- Neuve Evaluation of EQAR 2011 Bucharest Revision of ESG EHEA 2013 Yerevan ?

DMU, 1er mars 2013 Notions à discuter Accréditation/habilitation Clarification EEES ESG Evaluation de… Evaluation ou inspection Indépendance Légitimité Système national de la qualitéSystème national de la qualité Pouvoir Qu’est-ce que la qualité ?Qu’est-ce que la qualité ? La qualité est… La garantie de la qualité Que faut-il pour faire de la garantie de la qualité ?Que faut-il pour faire de la garantie de la qualité ? Culture de la qualitéCulture de la qualité Reconnaissance Rapporter Evaluer, vérifier, décider…Evaluer, vérifier, décider… Que faut-il savoir pour évaluer la capacité d’une institution à garantir sa qualité ?Que faut-il savoir pour évaluer la capacité d’une institution à garantir sa qualité ? 5

DMU, 1er mars 2013 Accréditation/habilitation Donner du crédit à … Quel va être le résultat de la procédure d’accréditation/habilitation ? Une licence d’exercice ? Un signe de communication ? Qui prend une responsabilité, au nom de qui et pourquoi ? 6

DMU, 1er mars 2013 Pour évaluer il faut clarifier… Les objectifs Les normes (Standards ou références) Les critères Les preuves Cela demande de nombreux accords entre les parties prenantes impliquées Voir ESG Part 2 7

DMU, 1er mars 2013 L’Espace européen de l’enseignement supérieur (EEES) S’agit-il? d’homogénéiser ou d’harmoniserd’harmoniser ? L’EEES s’inscrit dans la mondialisation de l’enseignement supérieur 8

DMU, 1er mars 2013 The European Standards and Guidelines Drafted by ENQA in consultation with EUA, EURASHE and ESU Approved by the Bologna ministerial conference in Bergen in 2005 Introduced internationally accepted standards for quality assurance in higher education ESG for internal QA within HEIsinternal QA within HEIs ESG for the external QA of higher educationexternal QA of higher education ESG for the evaluation of QA agenciesevaluation of QA agencies Introduced a peer review system for quality assurance agencies: Cyclical reviews of agencies, based on ESG, every five years for (reconfirmation of) full ENQA membership and/or for being (re)listed in EQAR 9 Bishkek, April 2012

DMU, 1er mars 2013 Evaluation… des objectifs “fitness of purpose” ou/et des organisations “fitness for purpose” ou/et des résultats 10

DMU, 1er mars 2013 Evaluation ou inspection ? Quelle est la différence en termes d’attitude ? La théorie du miroir La correction fraternelle L’évaluation par les pairs (la collégialité) 11

DMU, 1er mars 2013 Indépendance Indépendance de l’agence Indépendance des experts (Indépendance des évaluateurs) La notion de conflit d’intérêt (la déclaration d’intérêt) Voir ESG part3 12

DMU, 1er mars 2013 Légitimité de l’évaluation Qu’est-ce qui facilite la reconnaissance des résultats de l’évaluation ? La clarification des objectifs? La clarification que ce qu’est l’expertise? La clarification des termes de référence de l’évaluation ? La clarification de la méthode ? 13

DMU, 1er mars Extract from the Berlin Communiqué 19th of September 2003 National quality assurance systems they [the Ministers of the Bologna process country] agree that by 2005 national quality assurance systems should include: national quality assurance systems - A definition of the responsibilities of the bodies and institutions involved. - Evaluation of programmes or institutions, including internal assessment, external review, participation of students and the publication of results. - A system of accreditation, certification or comparable procedures. - International participation, co-operation and networking.

DMU, 1er mars 2013 Evaluation et pouvoir L’évaluation conduit à la décision Elle peut être légitimement vue comme un danger La clarification des processus qui produisent des jugements de valeur est nécessaire pour le développement de la confiance entre les parties prenantes. Le résultat de l’évaluation devrait toujours pouvoir faire l’objet d’un examen critique. 15

DMU, 1er mars 2013 La qualité comme… Qualité standard (normale) ou excellence? 16

DMU, 1er mars 2013 Qu’est-ce que la qualité ? Il y a de nombreuses définitions possibles selon les activités et les contextes. Au minimum : La qualité est une mesure de la distance entre une intention (un objectif) et sa réalisation. Il faut cependant distinguer : La qualité des objectifs, la qualité des procédures ou des organisations, la qualité des résultats. 17

DMU, 1er mars 2013 La garantie de la qualité La garantie de la qualité est une réponse à différents besoins : La réddition de compte (dire la quality aujourd’hui) L’amélioration (pour une meilleure qualité demain) La culture de la qualité (La qualité comme valeur) La gouvernance et le management du changement (La qualité comme compétence institutionnelle)compétence institutionnelle 18

DMU, 1er mars 2013 Que faut-il pour faire de la garantie de la qualité… De l’évaluation interne pour développer une culture critique et une bonne gouvernance. De l’évaluation externe par les pairs pour valider l’évaluation interne et proposer des recommandations. 19

DMU, 1er mars 2013 La culture de la qualité Elle repose sur la pensée critique et des questions (pas si) simples : Qu’essayons nous de faire ? Comment le faisons nous ? Comment savons nous que nous atteignons nos objectifs ? Comment remédions nous aux difficultés que nous rencontrons ? Voir l’approche de l’EUA de la culture de la qualité 20

DMU, 1er mars 2013 La reconnaissance… Est-ce que c’est ? La comparabilité L’équivalence La visibilité La réputation …? 21

DMU, 1er mars 2013 Rapporter Les rapports d’évaluation doivent être étayés par des preuves. Ils doivent montrer que les méthodes et les termes de référence des évaluations ont été respectés. 22

DMU, 1er mars 2013 Evaluer, vérifier, décider… 23 PeersAccreditation Committee Actions with regards to each criterion Evidences and motivation of judgment Decision process - Can we trust this procedure? - Can we make a decision? If Yes - Do we follow or not the recommendation of the peers? Accreditation decision or recommendation Analysis of the present situation x Development in the near future (Trends - Trust in the future) x Is it enough or not today?x Recommendation: yes, yes with condition(s), no Agency Complement of informationSelf-Assessment report* Feedback on the procedure Remarks made by the HEI Other elements? Garantir la cohérence des évaluations et des décisions B. Curvale 2011

DMU, 1er mars 2013 Que faut-il savoir pour évaluer la capacité d’une institution à garantir sa qualité ? 24 Les objectifs… Les missions… Les standards (références)… Les résultats d’aujourd’hui La capacité à maintenir et développer la qualité maintenir et développer la qualité Fitness of purpose Fitness for purpose

DMU, 1er mars 2013 Merci pour votre attention CIEP is affiliated to ENQA

DMU, 1er mars Allemagne, Autriche, Belgique, Bulgarie, Danemark, Espagne, Estonie, Finlande, France, Grèce, Hongrie, Islande, Irlande, Italie, Lettonie, Lituanie, Luxembourg, Malte, Norvège, Pays-Bas, Pologne, Portugal, République Slovaque, République tchèque, Roumanie, Royaume-Uni, Slovénie, Suède, Suisse 2001 Chypre, Croatie, Liechtenstein, Turquie 2003 Albanie, Principauté d’Andorre, Bosnie-Herzégovine, « ex-République yougoslave de Macédoine », Fédération de Russie, Vatican, Serbie-Monténégro 2005 Arménie, Azerbaïdjan, Géorgie, Moldavie, Ukraine 2007 Monténégro 2010 Kazakhstan² Les 47 pays qui participent au Processus de Bologne et forment l’Espace Européen de l’Enseignement supérieur 26

DMU, 1er mars 2013 Part 1. ESG for internal quality assurance within HEIs (1/2) 1.1 Policy and procedures for quality assurance: Institutions should have a policy and associated procedures for the assurance of the quality and standards of their programmes and awards. They should also commit themselves explicitly to the development of a culture which recognises the importance of quality, and quality assurance, in their work. To achieve this, institutions should develop and implement a strategy for the continuous enhancement of quality. The strategy, policy and procedures should have a formal status and be publicly available. They should also include a role for students and other stakeholders. 1.2 Approval, monitoring and periodic review of programmes and awards: Institutions should have formal mechanisms for the approval, periodic review and monitoring of their programmes and awards. 1.3 Assessment of students: Students should be assessed using published criteria, regulations and procedures which are applied consistently. 27

DMU, 1er mars 2013 Part 1. ESG for internal quality assurance within HEIs (2/2) 1.4 Quality assurance of teaching staff: Institutions should have ways of satisfying themselves that staff involved with the teaching of students are qualified and competent to do so. They should be available to those undertaking external reviews, and commented upon in reports. 1.5 Learning resources and student support: Institutions should ensure that the resources available for the support of student learning are adequate and appropriate for each programme offered. 1.6 Information systems: Institutions should ensure that they collect, analyse and use relevant information for the effective management of their programmes of study and other activities. 1.7 Public information: Institutions should regularly publish up to date, impartial and objective information, both quantitative and qualitative, about the programmes and awards they are offering. 28

DMU, 1er mars Use of internal quality assurance procedures: External quality assurance procedures should take into account the effectiveness of the internal quality assurance processes described in Part 1 of the European Standards and Guidelines. 2.2 Development of external quality assurance processes: The aims and objectives of quality assurance processes should be determined before the processes themselves are developed, by all those responsible (including higher education institutions) and should be published with a description of the procedures to be used. 2.3 Criteria for decisions: Any formal decisions made as a result of an external quality assurance activity should be based on explicit published criteria that are applied consistently. 2.4 Processes fit for purpose: All external quality assurance processes should be designed specifically to ensure their fitness to achieve the aims and objectives set for them. Part 2. ESG for the external quality assurance of higher education (1/2) 29

DMU, 1er mars 2013 Part 2. ESG for the external quality assurance of higher education (2/2) 2.5 Reporting: Reports should be published and should be written in a style, which is clear and readily accessible to its intended readership. Any decisions, commendations or recommendations contained in reports should be easy for a reader to find. 2.6 Follow-up procedures: Quality assurance processes which contain recommendations for action or which require a subsequent action plan, should have a predetermined follow-up procedure which is implemented consistently. 2.7 Periodic reviews: External quality assurance of institutions and/or programmes should be under taken on a cyclical basis. The length of the cycle and the review procedures to be used should be clearly defined and published in advance. 2.8 System-wide analyses: Quality assurance agencies should produce from time to time summary reports describing and analysing the general findings of their reviews, evaluations, assessments etc. 30

DMU, 1er mars 2013 Part 3. ESG for external quality assurance agencies (1/2) 3.1 Use of external quality assurance procedures for higher education: The external quality assurance of agencies should take into account the presence and effectiveness of the external quality assurance processes described in Part 2 of the European Standards and Guidelines. 3.2 Official status: Agencies should be formally recognised by competent public authorities in the European Higher Education Area as agencies with responsibilities for external quality assurance and should have an established legal basis. They should comply with any requirements of the legislative jurisdictions within which they operate. 3.3 Activities: Agencies should undertake external quality assurance activities (at institutional or programme level) on a regular basis. 3.4 Resources: Agencies should have adequate and proportional resources, both human and financial, to enable them to organise and run their external quality assurance process(es) in an effective and efficient manner, with appropriate provision for the development of their processes and procedures. 3.5 Mission statement: Agencies should have clear and explicit goals and objectives for their work, contained in a publicly available statement. 31

DMU, 1er mars Independence: Agencies should be independent to the extent both that they have autonomous responsibility for their operations and that the conclusions and recommendations made in their reports cannot be influenced by third parties such as higher education institutions, ministries or other stakeholders. 3.7 External quality assurance criteria and processes used by the agencies: The processes, criteria and procedures used by agencies should be pre-defined and publicly available. These processes will normally be expected to include: a self-assessment or equivalent procedure by the subject of the quality assurance process; an external assessment by a group of experts, including, as appropriate, (a) student member(s), and site visits as decided by the agency; publication of a report, including any decisions, recommendations or other formal outcomes; a follow-up procedure to review actions taken by the subject of the quality assurance process in the light of any recommendations contained in the report. 3.8 Accountability procedures: Agencies should have in place procedures for their own accountability. Part 3. ESG for external quality assurance agencies (2/2) 32

DMU, 1er mars Ministries Higher education institutions Agencies National policies / HEIs policies “Evaluation of appropriateness” (social, geographic, systemic) / “Evaluation of quality” Internal evaluation / External evaluation Independence Operational autonomy Institutional autonomy National policies Citizen protection Higher education governance and national QA systems B. Curvale

DMU, 1er mars Ministry of HE Higher education institutions Agencies (AERES, CTI, CEFDG ) Programmes are design by the HEIs State recognitions are granted by the Ministry (habilitation, visa…) The agencies assess the quality and inform the ministry and society An example: the accreditation (“habilitation”) of HE programmes in France Commission d’Évaluation des Formations et des Diplômes de Gestion (CEFDG) When public resources are involved or State recognition is asked for, the evaluation by AERES is necessary CTI: Commission des Titres d’Ingénieurs AERES: Agence d’évaluation de la recherche et de l’enseignement supérieur CEFDG: Commission d’Évaluation des Formations et des Diplômes de Gestion

DMU, 1er mars 2013 La capacité institutionnelle à garantir la qualité 1 35 B. Curvale Concevoir (une politique, une procédure…) Mettre en oeuvre Evaluer les résultats Remédier 2