La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005.

Présentations similaires


Présentation au sujet: "Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005."— Transcription de la présentation:

1 Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005

2 Introduction La Grande-Bretagne est une référence en matière denseignement supérieur et de recherche fondamentale en Europe.

3 Top 10 Countries in the World – Nobel Prizes in Science 1951 to 2003 Country of Citizenship ChemistryPhysicsMedicineTotal Nobel Prizes Nobel Prizes- Science Nobel Prizes In Science United States 45 (47%)70 (60%) 70 (57%)185 (55%) 0f all Prizes 2. Great Britain19 (20%)7 (6%)19 (15%)45 (13%) 3. Germany10 (11%)12 (10%) 9 (7%)31 (9%) 4. Russia1 (1%)9 (8%)2 (2%)12 (4%) 5. France1(1%)4 (3%)5 (4%)10 (3%) 6. Sweden02 (2%)6 (5%) 8 (2%) 7. Japan4 (4%)3 (3%)1 (1%)8 (2%) 8. Canada3 (3%)2 (2%)05 (2%) 8. Dutch1 (1%)4 (3%)05 (2%) 10. Switzerland2 (1%)03 (2%)5 (2%)

4 Universités Dans le classement de Shanghai de 2004, parmi les 25 premières universités classées, on trouve 19 universités américaines (dans lordre Harvard, Stanford, Berkeley, MIT, CalTech, Princeton, Columbia, Chicago, Yale, Cornell, etc.), 4 universités anglaises (Cambridge 3ème, Oxford 8ème, Imperial College London, University College London) et 2 universités japonaises (Tokyo 14ème, Kyoto 21ème).

5 Productivité Moins de 6 chercheurs pour mille emplois (7,5 en France) Moins de 6 chercheurs pour mille emplois (7,5 en France) Part mondiale de la Grande-Bretagne dans les publications scientifiques supérieure à 8 % (5 % pour la France), avec une très bonne fréquence de citations. Part mondiale de la Grande-Bretagne dans les publications scientifiques supérieure à 8 % (5 % pour la France), avec une très bonne fréquence de citations. Ces performances sont supérieures aux nôtres pour un PIB comparable Ces performances sont supérieures aux nôtres pour un PIB comparable - avec une dépense totale moindre (1,8 % contre 2,2%) - avec une part de financement public inférieure (36 % au lieu de 39 %).

6 Les positions britanniques sont très fortes dans les sciences de la vie ainsi qu'en opto- électronique. Les positions britanniques sont très fortes dans les sciences de la vie ainsi qu'en opto- électronique. En matière de brevets, la Grande-Bretagne a une position comparable à la France, et est nettement surclassée par lAllemagne. En matière de brevets, la Grande-Bretagne a une position comparable à la France, et est nettement surclassée par lAllemagne.

7 La Grande-Bretagne concilie un système duniversités publiques très autonomes, avec un pilotage étatique souple, dune très grande lisibilité. Il est intéressant danalyser le système britannique car il comporte un dispositif dallocation des crédits récurrents qui peut être mis en parallèle avec notre « contrat recherche »

8 Structure des universités LAngleterre compte 131 établissements denseignement supérieur, dont 77 universités. LAngleterre compte 131 établissements denseignement supérieur, dont 77 universités. Chaque université a son organisation propre, mais on retrouve partout les mêmes principes dorganisation. Chaque université a son organisation propre, mais on retrouve partout les mêmes principes dorganisation. Luniversité est présidée par un « chancellor » qui a un rôle honorifique. Luniversité est présidée par un « chancellor » qui a un rôle honorifique. Elle est dirigée par le « vice-chancellor » qui est un « professionnel » du management universitaire. Nommé par le « University Council » après consultation du « University Senate », pour une période renouvelable, il négocie son salaire. Elle est dirigée par le « vice-chancellor » qui est un « professionnel » du management universitaire. Nommé par le « University Council » après consultation du « University Senate », pour une période renouvelable, il négocie son salaire.

9 University Council Cest lorgane dirigeant de luniversité du point de vue de la stratégie (consultation du « Senate » pour les aspects académique), du management et des finances. De taille réduite (25-30 membres), la communauté universitaire y est représentée (y compris les étudiants) mais de façon minoritaire. University Senate Présidé par le vice-chancellor, il est compétent pour les affaires académiques (recherche, enseignement) et fait des recommandations au « university council ».

10 Université de Sheffield University Council : University Council : The Chancellor The Pro-Chancellors The Treasurer The Vice-Chancellor The Pro-Vice-Chancellors The Chairman of Convocation One Person Elected by Convocation Thirteen Persons Appointed by the Council Two Deans of the Faculties Five members of the Senate elected by the Senate Two Officers of the Union of Students One person to be elected by and from the employees of the University who are not members of the academic or academic related staff.

11 Université de Sheffield University Senate : University Senate : Cest une instance nombreuse qui comprend, outre léquipe de direction, les doyens de facultés (7), les chefs de départements (58), et des représentants élus des professeurs (28) et des étudiants (15). Cest une instance nombreuse qui comprend, outre léquipe de direction, les doyens de facultés (7), les chefs de départements (58), et des représentants élus des professeurs (28) et des étudiants (15).

12 Système de financement de la recherche Financement structurel de lenseignement supérieur et de la recherche, assuré par les « Higher Education Funding Councils » pour lAngleterre (HEFCE), lEcosse (SHEFC), le Pays de Galles (HEFCW), et lIrlande du Nord (DENI). Financement structurel de lenseignement supérieur et de la recherche, assuré par les « Higher Education Funding Councils » pour lAngleterre (HEFCE), lEcosse (SHEFC), le Pays de Galles (HEFCW), et lIrlande du Nord (DENI). Financement sur projets par des agences sectorielles (« research councils ») qui dépendent de lOST (« Office of Science and technology »), lui-même rattaché au ministère de lIndustrie et du Commerce. LOST est dirigé par le « Chief Scientific Adviser » du gouvernement. Financement sur projets par des agences sectorielles (« research councils ») qui dépendent de lOST (« Office of Science and technology »), lui-même rattaché au ministère de lIndustrie et du Commerce. LOST est dirigé par le « Chief Scientific Adviser » du gouvernement.

13 Higher Education Funding Council for England (HEFCE) Créé en 1992, il a compétence sur lensemble des universités et des instituts polytechniques dAngleterre (devenus universités). Créé en 1992, il a compétence sur lensemble des universités et des instituts polytechniques dAngleterre (devenus universités). Dirigé par un Conseil (« Board ») dune vingtaine de membres (scientifiques mais aussi industriels) nommés par le ministre de lEducation (« Secretary of State for Education ») sur proposition conjointe de la Direction de lEnseignement (« Department for Education and Skills ») et du HEFCE. Dirigé par un Conseil (« Board ») dune vingtaine de membres (scientifiques mais aussi industriels) nommés par le ministre de lEducation (« Secretary of State for Education ») sur proposition conjointe de la Direction de lEnseignement (« Department for Education and Skills ») et du HEFCE. Les positions font lobjet dune publicité.

14 HEFCE Il comprend 5 comités principaux dont celui de la recherche. Il comprend 5 comités principaux dont celui de la recherche. Le HEFCE finance les dépenses dinfrastructure de la recherche, les bibliothèques et les équipements informatiques collectifs. Le HEFCE finance les dépenses dinfrastructure de la recherche, les bibliothèques et les équipements informatiques collectifs. Le financement comprend le soutien de base, mais aussi des fonds pour la formation doctorale et lémergence de nouveaux sujets. Il a vocation à être complété par les financements sur projets distribués par les agences. Le financement comprend le soutien de base, mais aussi des fonds pour la formation doctorale et lémergence de nouveaux sujets. Il a vocation à être complété par les financements sur projets distribués par les agences.

15 HEFCE Il sappuie essentiellement sur les évaluations du « Research Assessment Exercise » (RAE) qui est une campagne dévaluation de la recherche universitaire conduite, jusquici, avec une périodicité variable, dans lensemble du Royaume-Uni. Il sappuie essentiellement sur les évaluations du « Research Assessment Exercise » (RAE) qui est une campagne dévaluation de la recherche universitaire conduite, jusquici, avec une périodicité variable, dans lensemble du Royaume-Uni. Le premier RAE date de 1986, suivi dautres en 1989, 1992, 1996 et Le premier RAE date de 1986, suivi dautres en 1989, 1992, 1996 et Le budget recherche du HEFCE en est de M£. Il se répartit entre Le budget recherche du HEFCE en est de M£. Il se répartit entre - Crédits distribués en fonction de lévaluation par le RAE (« Quality-related funding ») : M£ (98%) - Crédits distribués en fonction de lévaluation par le RAE (« Quality-related funding ») : M£ (98%) - Crédits destinés à lémergence (« Research capability funding ») : 17 M£

16 HEFCE Les dotations de QR funding distribuées par le HFCE sont calculées à partir des notes attribuées par le RAE à chaque département. Elles sont ensuite globalisées au niveau de chaque université qui répartit sa subvention comme elle lentend. Les dotations de QR funding distribuées par le HFCE sont calculées à partir des notes attribuées par le RAE à chaque département. Elles sont ensuite globalisées au niveau de chaque université qui répartit sa subvention comme elle lentend. Les notes délivrées par le RAE sont sur une échelle 1, 2, 3b, 3a, 4, 5, 5*. Les notes délivrées par le RAE sont sur une échelle 1, 2, 3b, 3a, 4, 5, 5*. Les départements de recherche qui ont obtenu une note inférieure à 4 ne reçoivent aujourdhui aucun QR funding. Les départements de recherche qui ont obtenu une note inférieure à 4 ne reçoivent aujourdhui aucun QR funding.

17 HEFCE En , les coefficients de pondération suivants sont appliqués en fonction des notes : En , les coefficients de pondération suivants sont appliqués en fonction des notes : Notes :3b 3a 4 5 5* Coefficients : ,793 3,362 Le « Research Capability Fund » (17 M£ en ) est destiné à soutenir des recherches émergentes dans de nouveaux domaines où la recherche de base nest pas aussi forte que dans les domaines bien établis. Le « Research Capability Fund » (17 M£ en ) est destiné à soutenir des recherches émergentes dans de nouveaux domaines où la recherche de base nest pas aussi forte que dans les domaines bien établis.

18 Research councils - Biotechnology & Biological Sciences Research Council (BBSRC) - Biotechnology & Biological Sciences Research Council (BBSRC) - Council for the Central Laboratory of the Research Councils (CCLRC) - Council for the Central Laboratory of the Research Councils (CCLRC) - Engineering & Physical Sciences Research Councils (EPSRC) - Engineering & Physical Sciences Research Councils (EPSRC) - Economic & Social Research Council (ESRC) - Economic & Social Research Council (ESRC) - Medical research Council (MRC) - Medical research Council (MRC) - Natural Environment Research Council (NERC) - Natural Environment Research Council (NERC) - Particle Physics & Astronomy Research Council (PPARC) - Particle Physics & Astronomy Research Council (PPARC) - Arts & Humanities Research Board (AHRB) - Arts & Humanities Research Board (AHRB)

19 Research Assessment Exercise RAE 2001 La recherche est classée en 68 domaines dévaluation (« units of assessment ») avec pour chacun un comité composé duniversitaires plus quelques représentants du secteur des entreprises. La recherche est classée en 68 domaines dévaluation (« units of assessment ») avec pour chacun un comité composé duniversitaires plus quelques représentants du secteur des entreprises. Un comité comprend de 9 à 18 membres. La moitié des comités a institué des sous-comités. Un comité comprend de 9 à 18 membres. La moitié des comités a institué des sous-comités. Les comités et sous-comités font appel à des experts extérieurs, notamment étrangers. Les comités et sous-comités font appel à des experts extérieurs, notamment étrangers. Publicité des méthodes de travail des comités. Publicité des méthodes de travail des comités.

20 RAE 2001 Désignation des comités Les HEFC désignent les présidents des comités, puis les membres de chaque comité sur avis de son président, parmi les propositions émanant dun grand nombre dorganisations (sociétés savantes, associations scientifiques ou professionnelles, monde industriel,..).. Les HEFC désignent les présidents des comités, puis les membres de chaque comité sur avis de son président, parmi les propositions émanant dun grand nombre dorganisations (sociétés savantes, associations scientifiques ou professionnelles, monde industriel,..)..

21 RAE 2001 Procédures Chaque établissement présente des dossiers, département par département, dans autant de domaines quil veut. Chaque établissement présente des dossiers, département par département, dans autant de domaines quil veut. Ces dossiers ont une forme standard. Ils comprennent une liste des « chercheurs actifs » avec 4 publications (au plus). Ces dossiers ont une forme standard. Ils comprennent une liste des « chercheurs actifs » avec 4 publications (au plus). La liste des chercheurs présentés est laissée à linitiative de luniversité, mais indique quelle proportion de leffectif du département cela représente. La liste des chercheurs présentés est laissée à linitiative de luniversité, mais indique quelle proportion de leffectif du département cela représente. Notes attribuées : 1, 2, 3a, 3b, 4, 5, 5* Notes attribuées : 1, 2, 3a, 3b, 4, 5, 5*

22 Bilan RAE 2001 Dans le RAE 2001, 80% des départements ont obtenu une note 4, 5 ou 5*, et 55% ont obtenu 5 ou 5* Dans le RAE 2001, 80% des départements ont obtenu une note 4, 5 ou 5*, et 55% ont obtenu 5 ou 5* La part de chercheurs actifs classés 4, 5 ou 5* est passée de 43% en 1996 à 64% en La part de chercheurs actifs classés 4, 5 ou 5* est passée de 43% en 1996 à 64% en Coefficients de pondération pour le financement basé sur le RAE de 1996 : Coefficients de pondération pour le financement basé sur le RAE de 1996 : Notes :3b3a 455* Coefficients : 11,52,253,3754,05 Coefficients de pondération pour le financement basé sur le RAE 2001 : Coefficients de pondération pour le financement basé sur le RAE 2001 : Notes :3b3a 455* Coefficients : 00,3111,892,71

23 Bilan RAE 2001 Coefficients de pondération pour le financement basé sur le RAE 2001 : Coefficients de pondération pour le financement basé sur le RAE 2001 : Notes :3b3a 455* Coefficients : 00,3111,892,71 Coefficients de pondération pour le financement basé sur le RAE 2001 : Coefficients de pondération pour le financement basé sur le RAE 2001 : Notes :3b3a 45 5* Coefficients : 0012,793 3,362

24 Bilan RAE 2001 Les HEFC maîtrisent complètement le « cahier des charges » du RAE. Les HEFC maîtrisent complètement le « cahier des charges » du RAE. Ils déterminent ce que seront les unités dévaluation (« units of assessment ») et comment la qualité de la recherche sera évaluée. Ils déterminent ce que seront les unités dévaluation (« units of assessment ») et comment la qualité de la recherche sera évaluée. Ces indications sont publiées avant le démarrage du RAE. Ces indications sont publiées avant le démarrage du RAE. Les HEFC maîtrisent aussi la clé de répartition des crédits en fonction de lévaluation. Mais elle est publiée après le RAE. Les HEFC maîtrisent aussi la clé de répartition des crédits en fonction de lévaluation. Mais elle est publiée après le RAE.

25 Critiques du RAE Disproportion entre la quantité de temps et de travail qui y est consacrée et le financement supplémentaire éventuel correspondant à lévaluation. Disproportion entre la quantité de temps et de travail qui y est consacrée et le financement supplémentaire éventuel correspondant à lévaluation. Le RAE tel quil a fonctionné a effectivement contribué à développer la culture du management de la recherche dans les universités. Mais aujourdhui il a des effets pervers (distorsions et lourdeurs). Le RAE tel quil a fonctionné a effectivement contribué à développer la culture du management de la recherche dans les universités. Mais aujourdhui il a des effets pervers (distorsions et lourdeurs). Cest lévaluation et ses règles qui dicte la politique, et pas les objectifs scientifiques eux-mêmes. Cest lévaluation et ses règles qui dicte la politique, et pas les objectifs scientifiques eux-mêmes.

26 Critiques du RAE On peut se demander si la « peer review » est réellement indispensable au niveau de lévaluation nationale. Une grande partie du financement pourrait être attribué en fonction des indicateurs, le détail des attributions étant laissé à luniversité. On peut se demander si la « peer review » est réellement indispensable au niveau de lévaluation nationale. Une grande partie du financement pourrait être attribué en fonction des indicateurs, le détail des attributions étant laissé à luniversité. Critique du processus de concentration induit par le RAE. Critique du processus de concentration induit par le RAE. Critique de la rationalité qui consiste à financer la recherche séparément de lenseignement. Critique de la rationalité qui consiste à financer la recherche séparément de lenseignement.

27 Rapport Roberts Un comité présidé par Sir Gareth Roberts a procédé à un audit et a formulé des propositions de réforme du RAE. Un comité présidé par Sir Gareth Roberts a procédé à un audit et a formulé des propositions de réforme du RAE. Rapport produit en mai 2003 qui a été lobjet dune large consultation dans les universités et dun vaste débat national. Rapport produit en mai 2003 qui a été lobjet dune large consultation dans les universités et dun vaste débat national.http://www.ra-review.ac.uk/

28 Rapport Roberts Recommandations Lévaluation doit se baser sur le jugement dexperts qui peuvent utiliser des indicateurs. Lévaluation doit se baser sur le jugement dexperts qui peuvent utiliser des indicateurs. Evaluation tous les six ans avec un mi-parcours de portée limitée. Evaluation tous les six ans avec un mi-parcours de portée limitée. Séparer lévaluation de la qualité de la recherche de lévaluation stratégique. (« competences assessment») Séparer lévaluation de la qualité de la recherche de lévaluation stratégique. (« competences assessment») Moduler limportance de lévaluation en fonction des enjeux. Moduler limportance de lévaluation en fonction des enjeux.

29 Rapport Roberts Recommandations On distinguerait trois catégories : On distinguerait trois catégories : - Les institutions les moins actives en recherche : modalités dévaluation particulières déterminées par les HEFC. - Les départements les moins compétitifs des autres établissements : application de critères automatiques (« Research Capacity Assessment » RCA). - Départements les plus compétitifs : véritable évaluation par des experts (« Research Quality Assessment » RQA). - Départements les plus compétitifs : véritable évaluation par des experts (« Research Quality Assessment » RQA). Les institutions choisiraient de soumissionner au RCA ou au RQA suivant les domaines. Les institutions choisiraient de soumissionner au RCA ou au RQA suivant les domaines.

30 Rapport Roberts Recommandations Remplacer les notes par un « profil de qualité » (« quality profile ») des départements. Remplacer les notes par un « profil de qualité » (« quality profile ») des départements. Une organisation un peu différente des comités dévaluation : Une organisation un peu différente des comités dévaluation : - 4 à 5 super comités chargés de superviser la constitution des comités et leur fonctionnement à 25 comités responsables de lévaluation à 70 sous-comités dans lesquels se fait une part importante du travail effectif. - Les comités doivent fixer des critères qui prennent en compte lexcellence de la recherche appliquée. - Les comités doivent fixer des critères qui prennent en compte lexcellence de la recherche appliquée.

31 Réforme du RAE RAE 2008 Le principe du RAE a été réaffirmé, avec des modifications limitées qui sinspirent dune partie seulement des recommandations du rapport Roberts. Le principe du RAE a été réaffirmé, avec des modifications limitées qui sinspirent dune partie seulement des recommandations du rapport Roberts. La périodicité sera désormais de 6 ans. Le prochain RAE est prévu en La périodicité sera désormais de 6 ans. Le prochain RAE est prévu en Le RAE est toujours basé sur un examen de dossiers par des experts, piloté par comités disciplinaires, sappuyant sur 70 sous-comités. Le RAE est toujours basé sur un examen de dossiers par des experts, piloté par comités disciplinaires, sappuyant sur 70 sous-comités. Il ny aura pas dévaluation séparée des « research competences » Il ny aura pas dévaluation séparée des « research competences »

32 Réforme du RAE RAE 2008 Des dispositions seront adoptées pour donner le poids quil convient à la recherche appliquée, ainsi quà lémergence et à linterdisciplinarité. Des dispositions seront adoptées pour donner le poids quil convient à la recherche appliquée, ainsi quà lémergence et à linterdisciplinarité. Les comités sappuieront sur des indicateurs quantitatifs. Les comités sappuieront sur des indicateurs quantitatifs. Allègement de la charge de travail (les dossiers ne feront toujours mention que de 4 publications au plus par chercheur) Allègement de la charge de travail (les dossiers ne feront toujours mention que de 4 publications au plus par chercheur)

33 Réforme du RAE RAE 2008 Le résultat ne sera plus une note globale, mais un profil de qualité (« quality profile ») pour chaque département, qui consiste à classer les chercheurs en 4 niveaux, en indiquant les proportions de chercheurs aux différents niveaux. Le résultat ne sera plus une note globale, mais un profil de qualité (« quality profile ») pour chaque département, qui consiste à classer les chercheurs en 4 niveaux, en indiquant les proportions de chercheurs aux différents niveaux. Les unités dévaluation sont les mêmes que pour le RAE Mais chaque unité aura son sous-comité. Les unités dévaluation sont les mêmes que pour le RAE Mais chaque unité aura son sous-comité. Les comités principaux contrôlent les critères et les méthodes de travail des sous-comités. Ils décident des profils de qualité à attribuer à chaque département examiné. Les comités principaux contrôlent les critères et les méthodes de travail des sous-comités. Ils décident des profils de qualité à attribuer à chaque département examiné.

34 Réforme du RAE Composition des panels Les présidents et les membres des comités et sous-comités sont désignés par les directeurs des quatre HEFC. Les présidents et les membres des comités et sous-comités sont désignés par les directeurs des quatre HEFC. Les présidents de comités seront choisis sur la base de candidatures, après publicité. Les présidents de comités seront choisis sur la base de candidatures, après publicité. Les autres membres de chaque comité seront désignés sur avis du président, parmi des personnalités nominées par une grande variété dorganisations. Les autres membres de chaque comité seront désignés sur avis du président, parmi des personnalités nominées par une grande variété dorganisations. Les présidents de sous-comités seront choisis en concertation avec les présidents du comité principal dont ils dépendent, parmi la liste des «nominés ». Les présidents de sous-comités seront choisis en concertation avec les présidents du comité principal dont ils dépendent, parmi la liste des «nominés ». Les présidents de sous-comités, conjointement avec les présidents des comités dont ils dépendent, proposeront la désignation de leurs membres, pris dans la liste des « nominés ». Les présidents de sous-comités, conjointement avec les présidents des comités dont ils dépendent, proposeront la désignation de leurs membres, pris dans la liste des « nominés ».


Télécharger ppt "Séminaire EHESS Evaluation de la recherche universitaire Evaluation de la recherche universitaire en Grande-Bretagne (J-F Méla) Février 2005."

Présentations similaires


Annonces Google