1 14 Avril 2009

2 L’évaluation des unités de recherche Différents outputs de cette évaluation Quelques réflexions sur les innovations introduites par l’AERES

3 Organisation à 4 niveaux Pilotage: HCST (Prés.), DGRI (Min.) Financement ( ANR (2005), CNRS, INSERM,…) Implémentation (Univ.( LRU (2007 ), CNRS,…?) Evaluation ( AERES (2006) )

4 Evaluation La réforme induit un changement des pratiques d’évaluation. Une agence indépendante et transparente d’évaluation pour atteindre les standards internationaux et améliorer l’efficacité du système (p-f-i-e). L’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur) est créée en 2007 pour atteindre cet objectif.

5 Le « système français » Un paysage hétérogène: –Universités, Grandes Ecoles et Organismes de Recherche (une multitude) avec une très grand variété de pratique. –Des chercheurs temps plein et des enseignants-chercheurs à l’investissement très variable. Un paysage en évolution: –Libertés et Responsabilités des Universités LRU (2007), –Création d’ Agences de financement (ANR (2005)), et d’évaluation indépendantes(AERES 2006)), –Evolution des institutions (CNRS, INSERM) opérateurs et:ou agences de financement, –« Grandes Ecoles » développent une activité de recherche.

6 Les 4 missions de l’AERES AERES a reçu 4 missions –Évaluer les organismes de recherche (INSERM, CEA, CNRS...) et les universités en prenant en compte toutes leurs missions et leurs activités. –Évaluer l’activité de recherche des laboratoires et unités de ces institutions –Évaluer les formations du système d’enseignement supérieur français (LMD) –Valider les processus d’évaluation du personnel scientifique de ces institutions.

7 Do and don’t AERES évalue et NE décide PAS A ccréditation et financement reviennent aux Universités, Organismes, Etat,… AERES évalue la recherche ET la formation : Les sections Recherche et FORMATION travaillent de concert. 70% des délégués scientifiques sont communs aux deux sections: Fertilisation croisée Master et doctorat sont liés aux groupes de recherche L’évaluation des universités (tâche 3) requiert de connaître celle des recherches et formations (tâches 1 et 2). AERES N’évalue PAS les individus Des r eprésentants des instances d’évaluation des Ch. et EC sont intégrés à différents niveaux de l’AERES : Conseil de l’AERES Comités d’experts visitant les laboratoires

8 Les 3 sections Section 1 (Institutions) –Évalue les universités et organismes de recherche, –Valide les processus d’évaluation du personnel scientifique des ces institutions Section 2 (Unités de recherche) évalue les unités de recherche (5-500) ET les équipes(3- 10) de ces institutions par –Évaluation directe, –ou accord avec ces institutions si leurs processus sont validés. Section 3 (Formation ) évalue licence, master et doctorat par –Évaluation directe, –ou accord avec les institutions si leurs processus sont validés.

9 L’organisation de l’AERES

10 L’organisation de l’AERES

11 Organisation sections 2 and 3

12 Evaluation des unités de recherche Objet: évaluation de toutes les unités de recherche fonctionnant sur fonds publics –600 unités de recherche en 2008 (700 en 2009) par 3200 experts (peer review) –32 universités et agences (62 in 2009) –2000 formations en 2008 par 700 experts. Couvrant TOUS les organismes de recherche sur fonds publics, y compris les universités privées, la recherche culturelle ou architecturale et peut être, la recherche clinique … en utilisant une méthodologie et un référentiel homogène.

13 Quelques principes Quoi? –Une évaluation orientée vers l’ amélioration de la structure évaluée, dans une logique de site. –associant quantitatif (signaux d’alerte) et qualitatif (impact, importance, prise de risque,…). Qui? –une évaluation basée sur l’appréciation par les pairs. –des délégués scientifiques à temps partiel (1 à 3 j./sem.) et ne restant pas plus de trois ans à l’AERES. –des visites par une large base d’experts (3200) nationaux et internationaux (2007: 20%, objectif 2010 : 50%)

14 Un rythme quadriennal

15 Processus d’évaluation des Unités de recherche 4 étapes : Output: un rapport détaillé, 4 notes + 1 note globale Chacune est divisée en 5-6 sousprocessus

16 Rédaction du rapport Rédaction = report production Le « retour » de l’unité évaluée est intégré ici Le rapport est - préparé par le président du comité d’experts - vérifié par le Délégué Scientifique de l’AERES (test de qualité) - envoyé aux entités évaluées et à la tutelle principale pour observations - intégré à la base de données en attente de la « fourniture finale » (= report + observations + marks)

17 Le rapport Le rapport doit –fournir un regard critique et non descriptif, –détailler l’évaluation de chaque équipe de recherche de l’unité, –spécifier les Forces, Faiblesses et formuler des Recommandations. Les observations formulées par l’unité de recherche et sa tutelle sont ajoutées à la revue par les pairs. Le rapport et les observations sont publiés sur le Web.

18 Notation des équipes et unités de recherche (1) Une approche délibérément anti- algorithmique. Basée sur une grille en 15 points. Combine données quantitatives et qualitatives. Met l’accent sur les résultats marquants plus que sur les valeurs moyennes.

19 Notation des équipes et unités de recherche (2) Quatre items: –Production (Qualité, quantité, impact) –Attractivité (nationale, internationale,..) –Stratégie, pilotage –Projet Plus une note globale donnée par l’ AERES Chaque note est sur 4 niveaux: A+, A, B et C

20 Notation des équipes et unités de recherche (3) La notation n’est pas proposée par le comité d’experts (inhomogénéité, effet avocat…). Mais par des panels regroupant env. 10 présidents de comité d’experts et des délégués de l’AERES. Les panels suivent à peu près le découpage de l’ERC*. * European Research Council

21 Notation des équipes et unités de recherche(4) Le panel note sur la base du consensus des pairs

22 Post traitement Les utilisations internes aux établissements et universités et établissements. –Une pratique très diversifiée –mais prenant en compte les évaluations de l’AERES, –et probablement évolutive. Les synthèses d’information AERES

23 Synthèses AERES Etape 1: Synthèse par champ scientifique sur un site donné (Jan-Mar), faite par les DS à la fin d’une « mini- vague ». Etape 2: Synthèse de site (Jan-Mar) à destination de la section des Etablissements faite par un DS en collaboration avec les autres DS du même domaine, en amont du processus d’évaluation de l’établissement. Etape 3: Synthèse par champ thématique sur une vague donnée (Juil-Sept) faite par les DS d’un champ scientifique donné (env. un panel de l’ERC) à la fin d’une vague donnée.

24 Premiers éléments de synthèse de l’évaluation des unités de recherche (Vague C)

25 Données globales concernant la vague C: –Unités par domaine (ScD, SHS, équipes en SdV) –Effectifs par domaine Répartition des effectifs par établissement et par grand domaine (SHS, ScD, SdV) Quelques exemples de répartition dans un domaine thématique : Géo-Aménagement, Eco- gestion, Maths & Appl., Physique Analyse géographique comparée : Alsace et Lorraine

26 Données globales : unités par domaine (ScD, SHS, équipes en SdV) Données globales : effectifs par domaine effectifs pourcentages Secteur AERES Domaine scientifiqueCBAA+TotauxCBAA+ Sciences Dures Math. Appl ,9%19,1%73,0%100% Physique ,9%53,4%42,7%100% Sc. Terre Univ ,5%52,8%40,7%100% Chimie ,6%27,9%49,9%20,6%100% Sc. Ing ,1%25,6%35,7%29,5%100% STIC ,2%12,7%64,3%19,8%100% Total ScD ,4%14,3%48,2%35,1%100% Sciences de la Vie LS1 : Bio. Mol., Bio. Str.,Bioch ,8%26,6%46,8%21,9%100% LS2 : Génét., Génom., Bioinf, Bio systèmes ,7% 28,6%100% LS3 : Bio cell., Bio.dévelop ,6%27,8%37,4%21,2%100% LS4 :Physio., Physiopatho., Endocrino ,6%38,2%49,9%7,2%100% LS5 Neurosc ,0%35,7%41,6%15,7%100% LS6 Immuno, Infectio ,3%25,4%47,4%21,0%100% LS7 :Rech.Clin, Santé publique ,7%37,9%39,8%17,6%100% LS8 : Evol., Eco., Bio.Envir ,6%23,0%51,8%23,6%100% LS9 : Sc. Tech. viv., Biotechno ,5%43,1%50,4% 100% Total SdV ,9%30,9%45,9%17,3%100% S H SAnthropo., Ethno ,5%79,5%100% Arts, Lett., Lang. Soc. Cult. Etr ,1%25,7%46,0%23,1%100% Droit ,0%42,7%32,4%22,9%100% Eco gestion ,4%33,4%7,8%29,3%100% Géo, Aménag., Urbanisme ,6%50,3%39,0%100% Histoire ,9%38,1%49,4%8,6%100% Info. Comm ,1%21,7%46,1%28,1%100% Lang.Litt.Franç, Philo ,1%41,0%27,7%29,2%100% Psycho ,7%46,8%27,4%100% Sc. Pol., Socio ,0%39,6%26,1%23,3%100% Sc. Educ. 133 ######100% Sc. langage ,7%51,7%23,4%20,3%100% STAPS ,7% 92,3% 100% Total SHS ,8%39,1%32,7%19,4%100%

27 Données globales : unités par domaine (ScD, SHS, équipes en SdV) Données globales : effectifs par domaine effectifs pourcentages Secteur AERES Domaine scientifiqueCBAA+TotauxCBAA+ Sciences de la Vie LS1 : Bio. Mol., Bio. Str.,Bioch ,8%26,6%46,8%21,9%100% LS2 : Génét., Génom., Bioinf, Bio systèmes ,7% 28,6%100% LS3 : Bio cell., Bio.dévelop ,6%27,8%37,4%21,2%100% LS4 :Physio., Physiopatho., Endocrino ,6%38,2%49,9%7,2%100% LS5 Neurosc ,0%35,7%41,6%15,7%100% LS6 Immuno, Infectio ,3%25,4%47,4%21,0%100% LS7 :Rech.Clin, Santé publique ,7%37,9%39,8%17,6%100% LS8 : Evol., Eco., Bio.Envir ,6%23,0%51,8%23,6%100% LS9 : Sc. Tech. viv., Biotechno ,5%43,1%50,4% 100% Total SdV ,9%30,9%45,9%17,3%100% S H SAnthropo., Ethno ,5%79,5%100% Arts, Lett., Lang. Soc. Cult. Etr ,1%25,7%46,0%23,1%100% Droit ,0%42,7%32,4%22,9%100% Eco gestion ,4%33,4%7,8%29,3%100% Géo, Aménag., Urbanisme ,6%50,3%39,0%100% Histoire ,9%38,1%49,4%8,6%100% Info. Comm ,1%21,7%46,1%28,1%100% Lang.Litt.Franç, Philo ,1%41,0%27,7%29,2%100% Psycho ,7%46,8%27,4%100% Sc. Pol., Socio ,0%39,6%26,1%23,3%100% Sc. Educ. 133 ######100% Sc. langage ,7%51,7%23,4%20,3%100% STAPS ,7% 92,3% 100% Total SHS ,8%39,1%32,7%19,4%100%

28 Statistiques vague C A+ABC SHS16%29%39%15% SD30%42%23%5% SDV (équipes ) 19%43%31%7%

29 Données globales : histogramme effectifs

30 Données globales : histogramme unités

31 Répartition des effectifs par établissement

32 Répartition des effectifs par établissement

33 Répartition des effectifs par établissement

34 Quelques exemples d’analyse par secteur thématique

35 Quelques exemples d’analyse par secteur thématique

36 Quelques exemples d’analyse par secteur thématique

37 Quelques exemples d’analyse par secteur thématique

38 Quelques exemples d’analyse par secteur thématique

39 Comparaison de pôles géographiques (Lorraine-Alsace)

40 Innovations AERES Transparence totale (rapports, procédures, statistiques, comités publiés) Observations associées au rapport Toutes les unités sont évaluées quel que soit leur statut; leur organisme Evaluation intégrée (recherche, enseignement, établissement)

41 Merci pour vos questions… qui nous aideront à améliorer la qualité de nos évaluations