Les évaluation de lAERES Colloque Futuris - 14 décembre 2011 Limpact des évaluations de lAERES sur la stratégie des universités Rémi Barré, Catherine Raffour, rapporteurs Groupe de travail AERES : Michel Cormier, Pierre Glorieux Experts/acteurs : Jean-Pierre Finance, Jean-Claude Lehmann, Catherine Paradeise.

Introduction En quatre ans: évaluation de la totalité des universités, unités de recherche, diplômes (L et M) et écoles doctorales Objectif: comprendre les impacts des évaluations sur la stratégie des universités Effets directs et indirects - via modifications comportement partenaires (MESR, CNRS…) Méthode: Groupe de travail, questionnaire, entretiens, Groupe élargi

Introduction (2) 1. Constats 2. Questionnements sur lAERES 3. Mise en perspective 4. Conclusions

1. Constats (1) Trois observations liminaires Les évaluations: - documents de référence partagés - porteuses dune démarche qualité - instrument dune nouvelle logique d allocation des ressources

1. Constats (2) Impacts (directs) des évaluations : Les arbitrages au sein des universités -Impact sur la stratégie de recherche Forte incitation à note A pour unités -Impact sur offre de formation Cadre du dialogue contractuel pour habilitation -Impact sur organisation interne – SI, mode de gestion, international, valorisation, vie étudiante, communication – mise sur agenda, alerte Lisibilité de la gouvernance, cohérence globale projet

1. Constats (3) Impacts (indirects) des évaluations : via modifications de comportement des partenaires -Le MESR - contrats quinquennaux critères performance basé sur les évaluations; modèle SYMPA; labellisation formations -Les organismes – notamment CNRS et INSERM: base de négociation pour engagements mutuels -Collectivités territoriales, entreprises -Dossiers Investissements dAvenir

2. Questionnements (1) Sur les usages des évaluations et leurs effets -Risque surdétermination stratégie des établissements par les critères d évaluation Quand les critères deviennent des objectifs -Risque alignement de la recherche sur normes académiques standardisées Académique, disciplinaire Rapport EREFIN – proposition sur une évaluation contextualisée

2. Questionnements (2) Sur les évaluations elles-mêmes: modalités, méthodes, diffusion -Mode de travail des comités – temps collectif parfois trop bref -Mise en ligne des évaluation – des cas de préjudices possibles -Caractère de facto public des auto-évaluation – risque de travail tactique plutot que substantif -Caractère réducteur de la notation – malentendus possibles -Risques de conflits dintérêts dans certains domaines

3. Mise en perspective (1) Par rapport aux besoins dévaluation - la relation entre: logique de financement ET type évaluation Quatre logiques possibles -Volume dactivité Analyse niveaux activité -Performance constatée Evaluation performance ex-post -Accréditation Evaluation assurance qualité -Pertinence stratégie Evaluation stratégique ex-ante Les besoins dévaluation au sein du SFRI sont largement définies par les logiques de financement mises en place

3. Mise en perspective (2) Le positionnement de lAERES par rapport aux types dévaluation -Analyse niveaux activité – toutes les évaluation AERES -Evaluation performance ex-post – évaluation des unités -Evaluation assurance qualité – évaluation des établissements – A deux restrictions près -Evaluation stratégique ex-ante – non réalisé par AERES Hypothèses sur le développement des financements sur pertinence stratégique (cf IA), accréditation, performance (extention à la formation et aux établissements)

4. Conclusions LAERES a été acteur important du changement Questionnements sur pratiques et usages des évaluations Aujourdhui: positionnement sur lévaluation de la performance pour calcul ressources allouées (recherche) Pistes évolutions possibles -Modifier les critères / indicateurs sur performance – risques effets pervers -Vers évaluations assurance qualité et évaluations stratégiques ex-ante -Vers prise en compte entités nouvelles – Labex, PRES, Campus, Idex Cest bien dune nécessaire co-évolution SFRI – AERES quil sagit… …. et quil sagit de penser

Merci pour votre attention!