ÉVALUER LA RECHERCHE Vague E Pierre GLAUDES Directeur du département d’évaluation de la recherche Réunions de lancement, novembre-décembre 2017

1 – MISSIONS DU DÉPARTEMENT D’ÉVALUATION DE LA RECHERCHE jkjkjkjkj

TROIS MISSIONS Évaluer les entités de recherche, y compris leurs équipes internes / thèmes. Parmi ces entités : UR (EA, UMR), SF, CIC, activités de recherche des DHU et CHU, UMIFRE. Valider les procédures d’évaluation d’autres instances qui en feraient la demande. Contribuer à l’évaluation des coordinations territoriales pour le volet Recherche des sites évalués.

DES PRINCIPES D’ÉVALUATION STABLES Une évaluation par les pairs, collégiale, où sont représentées les instances nationales d’évaluation : CNU, CoNRS, CSS. Une évaluation au service des évalués et de leurs tutelles, qui leur fournit un diagnostic extérieur. Une évaluation transparente et contradictoire (i.e. permettant aux évalués d’intervenir en cas de conflit d’intérêt et de répondre au rapport d’évaluation). Une évaluation qui garantit l’égalité de traitement entre unités de recherche (EA, UMR, UPR, etc.).

TROIS ÉVOLUTIONS MÉTHODOLOGIQUES Une évaluation plus soucieuse de la diversité des personnels : présence d’un représentant des personnels d’appui à la recherche dans les comités d’experts. Une évaluation simplifiée, qui fait plus de place à l’autoévaluation et à la dimension qualitative (vs la volumétrie). Une évaluation centrée sur les produits et activités de recherche (vs les « produisants »).

TROIS CRITèRES D’ÉVALUATION Critère 1 : Qualité des produits et des activités de recherche a) production de connaissance / rayonnement ; b) interactions avec l’environnement ; c) implication dans la formation par la recherche. Critère 2 : Organisation et vie de l’unité Critère 3 : Projet et stratégie scientifique à cinq ans. Pour évaluer, un référentiel d’évaluation des entités de recherche et des Guides d’évaluation des P&A par sous-domaines disciplinaires.

2 – LE DOSSIER D’AUTOÉVALUATION jkjkjkjkj

UN DOSSIER SIMPLIFIé Désormais composé de trois documents : un fichier texte intitulé « Dossier d’autoévaluation », auquel sont associés : a) une aide à la rédaction, b) un fichier texte intitulé « Sélection des produits et activités de recherche » qui doit être annexé au Dossier d’autoévaluation ; un fichier tableur « Données du contrat en cours » comprenant 6 tableaux à renseigner ; un fichier tableur « Données du prochain contrat » comprenant 2 tableaux à renseigner.

NOUVEAUTÉS (1) Possibilité offerte aux unités (voire à leurs équipes internes) de choisir entre a) une évaluation standard ; b) une évaluation interdisciplinaire transversale à au moins deux domaines. Dans la partie « Présentation de l’unité », a) exposé des actions entreprises pour tenir compte des recommandations du précédent rapport d’évaluation. b) simplification de la présentation du « Profil d’activités ».

NOUVEAUTÉS (2) Création d’une partie « Présentation de l’écosystème de l’unité » : a) présentation des structures de coordination du site (pôles, champs de recherche, structures fédératives, objets issus du PIA…) dans lesquelles l’unité est impliquée. b) indication des ressources obtenues et analyse de la plus-value pour l’unité.

NOUVEAUTÉS (3) Dans la partie « Produits et activités de recherche » : a) La liste exhaustive des produits et activités de recherche n’est plus jointe au Dossier d’auto- évaluation. , b) Elle est établie et tenue à disposition du comité d’experts pour le cas où il souhaiterait la consulter. c) Une liste sélective des produits et activités de recherche est dressée dans le fichier « Sélection des produits et activités de recherche » (20% de la production totale pour les articles, ouvrages, actes de congrès).

NOUVEAUTÉS (4) Dans la partie « Organisation et vie de l’unité », introduction de nouveaux items : a) la parité, b) l’intégrité scientifique, c) la protection et la sécurité.

3 – LE PROCESSUS D’ÉVALUATION jkjkjkjkj

NOUVEAUTÉS (1) En amont de la campagne d’évaluation, entre novembre 2017 et janvier 2018 : b) Envoi par le Hcéres aux directeurs d’unité d’un tableau à renseigner et à renvoyer à une adresse générique : tutelles de l’unité, nombre d’EC-C, nombre d’équipes / thèmes, disciplines / thématiques concernées. a) Prise de contact du conseiller scientifique avec le directeur d’unité : échange sur la date de la visite, le profil du président de comité d’experts.

NOUVEAUTÉS (2) Avant la visite, le comité d’experts : a) produit un rapport préliminaire à usage interne (il est déposé sur le portail de Gestion électronique des documents du Hcéres), b) transmet ses questions à l’unité de recherche 15 jours au moins avant la visite. Pendant la visite, qui ne doit pas être redondante par rapport au dossier d’autoévaluation : a) réponse aux questions du comité d’experts et discussion du projet ; b) présentation des faits nouveaux survenus depuis le dépôt du dossier ; c) rencontre avec les personnels et, s’il y a lieu (plateforme technologique), visite des locaux.

NOUVEAUTÉS (3) Après la visite, un rapport allégé, qui comporte : a) un avis global sur l’unité et, le cas échéant, sur ses équipes / thèmes ; b) pour chaque critère, un commentaire des données comportant points forts, points à améliorer, recommandations et appréciation textuelle synthétique. (Pour le critère 1, chacun des trois items qui le composent est décliné sur le même mode.) Ce rapport d’évaluation a) est transmis aux évalués et à leur(s) tutelle(s) pour observations ; b) est rendu public sur le site du Hcéres sous forme de résumé ; c) est signé par le président du comité et cosigné par le président du Hcéres ou son représentant.

LES STRUCTURES FÉDÉRATIVES Diverses, les structures fédératives constituent un type d’entités de recherche regroupant, autour de thèmes scientifiques partagés, des unités qui peuvent relever de plusieurs organismes ou établissements d’ESR. Elles contribuent à identifier des pôles scientifiques dominants et permettent la mutualisation de l'équipement et du personnel. Les entités qui participent aux structures fédératives conservent leur individualité propre. Seules font l’objet d’une évaluation par le Hcéres les structures fédératives bénéficiant en propre de locaux, de personnels, d’un budget. Cette évaluation peut avoir diverses modalités, décidées au cas par cas : évaluation sur dossier, sur site, etc.

4 – PRODUCTION DE SYNTHÈSES ET CHAMPS DE RECHERCHE jkjkjkjkj

4 – PRODUCTION DE SYNTHÈSES ET CHAMPS DE RECHERCHE jkjkjkjkj

SYNTHÈSES RECHERCHE DE SITE (1) Depuis trois ans, le Hcéres produit des synthèses Recherche pour chaque site. Ces synthèses comportent : a) une partie « Caractérisation », incluant une présentation du site, la ventilation des effectifs par corps et par établissement, un diagnostic sur l’investissement des organismes ; b) une partie « Résultats des évaluations » réalisée à partir des rapports d’évaluation des unités de recherche et des structures fédératives, mais aussi des renseignements réunis sur leurs interactions avec les objets PIA et les structures de valorisation / transfert.

SYNTHÈSES RECHERCHE DE SITE (2) Elles sont réalisées selon une structure préétablie : a) découpage en domaines, sous-domaines et secteurs disciplinaires d’après la nomenclature du Hcéres. b) pour chaque domaine, une introduction qui dégage les éléments les plus remarquables de ce domaine et les éléments structurants. c) quand c’est possible et pertinent, des données et des indicateurs permettant de positionner un sous- domaine, voire une thématique, dans un environnement national et international. Elles sont transmises aux tutelles (établissements, organismes) pour information et observations, puis au MESR, à quelques autres ministères et aux collectivités territoriales.

CHAMPS DE RECHERCHE Compte tenu de l’instabilité et du degré de structuration variable des coordinations territoriales vague E, le Département d’évaluation de la recherche a renoncé à une évaluation systématique des champs et des dispositif de recherche des sites de cette vague. En revanche, il offre la possibilité aux coordinations territoriales qui le souhaitent de demander que la synthèse Recherche réalisée pour le site prenne en compte l’organisation en champs de recherche de ce site (ou, à défaut, de cet établissement). Dans ce cas, le site (ou l’établissement concerné) complète et transmet au Hcéres un fiche de renseignements pour chaque champ de recherche.

SYNTHÈSES DISCIPLINAIRES NATIONALES Pour la première fois en vague E, le Hcéres réalisera à titre expérimental des Synthèses disciplinaires nationales. Deux disciplines pilotes : l’archéologie et les mathématiques. Un processus en deux temps, en cours de formalisation : a) une phase préparatoire, conduite par les conseillers scientifiques du Hcéres, qui tireront des données de caractérisation et d’évaluation des dossiers et des rapports d’évaluation des cinq dernières vagues b) une phase de réalisation de la Synthèse avec le renfort d’experts extérieurs, qui pourront procéder à des auditions (responsables institutionnels, personnalités qualifiées) et s’appuyer aussi sur les ressources de l’OST. aud

5 – CALENDRIER jkjkjkjkj

CAMPAGNE D’ÉVALUATION 2018-2019 Novembre 2017-janvier 2018 : renvoi de la fiche de renseignements par les DU au Hcéres ; prise de contact à l’initiative des CS sur la date de la visite et le profil du président du comité. 22 février 2018 : renvoi par les établissements de la liste prévisionnelle des unités de recherche évaluées. 6 septembre 2018 : dépôt des Dossiers d’auto-évaluation sur la plateforme PELICAN. 15 octobre 2018 : début de la campagne d’évaluation : a) octobre-janvier : Paris Saclay ; b) novembre-février : Lille Nord de France ; c) décembre-mars : Paris-Est, Paris Lumière, Paris Seine.