Réunions de lancement 2017 Vague E Annie VINTER Michel ROBERT Directrice du département d’évaluation des coordinations territoriales (DECT) Michel ROBERT Directeur du département d’évaluation des établissements (DEE) Robert FOUQUET Conseiller scientifique coordinateur Stéphane ONNÉE Véronique LESTANG-PRECHAC Cheffe des départements DEE et DECT

Le Hceres 4 départements d’évaluation: Département d’évaluation des coordinations territoriales Département d’évaluation des établissements Département d’évaluation des formations Département d’évaluation de la recherche Participation de l’OST dans le processus

Liste des établissements du site évalués en 2018-2019 Université Paris Lumières (Comue) Université Paris 8 Vincennes - Saint-Denis Université Paris Nanterre (Paris 10) École nationale supérieure Louis Lumière (ENS Louis Lumière) Institut national de formation et de recherche pour l’éducation des jeunes handicapés et les enseignements adaptés (INS HEA) Université Paris Saclay (Comue) Université Paris-Sud (UP Sud) Université de Versailles Saint-Quentin-En-Yvelines (UVSQ) Université d'Evry-Val-d'Essonne AgroParis Tech Centrale Supelec École normale supérieure Paris Saclay Groupe des Écoles nationales d'économie et statistique (GENES / ENSAE ParisTech-ENSAI Rennes/CREST) Institut d’Optique Graduate School (IOGS) École nationale supérieur d’informatique pour l’industrie et l’entreprise (ENSIIE) École supérieure des techniques aéronautiques et de construction automobile (ESTACA)

Liste des établissements du site évalués en 2018-2019 Comue Lille Nord de France Université de Lille 1-Sciences et technologies Université de Lille 2-Droit et santé Université de Lille 3- Sciences humaines et sociales Université d'Artois Université Littoral Côte d'Opale (ULCO) Université de Valenciennes et du Hainaut-Cambrésis École centrale de Lille ESJ Lille (Ecole supérieure de journalisme de Lille) Fédération universitaire et polytechnique de Lille (ICL- Yncrea- IESEG-EDHEC) Autres établissements du site évalués : Chimie Lille (Ecole nationale supérieure de chimie de Lille - ENSCL) ENSAIT Roubaix (Ecole nationale supérieure des arts et industries textiles) ENS-AP (Ecole nationale supérieure d'architecture et de paysage de Lille) Sciences Po Lille SKEMA Business School (Comue UCA)

Liste des établissements du site évalués en 2018-2019 Université Paris Est (comue) Université Paris-Est Créteil Val de Marne (UPEC) École des Ponts ParisTech École nationale vétérinaire d'Alfort (EnvA) École nationale supérieure d'architecture de Paris-Belleville École nationale supérieure d'architecture de Paris-Malaquais ESTP Paris (Ecole spéciale des travaux publics, du bâtiment et de l'industrie) Université Paris-Est Marne-la-Vallée (UPEM) ESIEE Paris (Ecole d'Ingénieurs de la Chambre de commerce et d'industrie de région Paris Ile-de-France) École d'architecture de la ville et des territoires à Marne-la-Vallée École des ingénieurs de la Ville de Paris (EIVP) Liste des établissements du site évalués en 2019-2020

Liste des établissements du site évalués en 2018-2019 Université Paris Seine (Comue) École de biologie industrielle (EBI) ; École d’électricité de production et des méthodes industrielles (ECAM EPMI) ; École internationale des sciences et du traitement de l’information (EISTI) ; École nationale supérieure d’architecture de Versailles (Ensa V) ; École nationale supérieure de l’électronique et de ses applications (ENSEA) ; École nationale supérieure du paysage de Versailles (ENSP Versailles Marseille) ; ESSEC Business School ; École supérieure d'agro-développement international (ISTOM) ; Supmeca (Institut supérieur de mécanique de Paris) ; Université de Cergy Pontoise. Université de la Réunion Centre universitaire de formation et de recherche de Mayotte

sommaire Processus d’évaluation intégrée d'un site et caractéristiques de l’évaluation institutionnelle PROCESSUS D’Évaluation d’une coordination territoriale (ct) ou d’un établissement (etbLs) Repères pour l’auto-évaluation CT et EtbLs Calendrier et modalités pratiques

I - PROCESSUS D’ÉVALUATION INTÉGRÉE ET ÉVALUATION D’UNE COORDINATION TERRITORIALE Vague E Annie Vinter Directrice du département d’évaluation des coordinations territoriales

L’évaluation de la CT avant celle des établissements permet: ° d’analyser comment se concrétise la stratégie collective d’une CT au niveau de chaque acteur en identifiant ses contributions à la politique de site (problématique des délégations, transferts,…); La consolidation des évaluations recherche et formation au niveau de la CT permet, dans un travail de synthèse final: ° de relier les résultats constatés à la mise en œuvre des objectifs stratégiques visés; ° d’apprécier la cohérence au niveau du site de l’ensemble des niveaux évalués; ° de formuler des recommandations finales croisant la subsidiarité de chaque acteur avec la dynamique de site. ° d’analyser comment chaque acteur articule sa stratégie propre avec celle de la CT (respect des principes de subsidiarité); ° d’analyser comment la CT et les établissements se dotent d’outils et de processus de pilotage pour apprécier la plus value effective des stratégies de la CT comme des établissements.

Périmètre de l’évaluation institutionnelle Gouvernance institutionnelle, pilotage institutionnel, domaines d’activité, partenariats. Domaines d’activité: formation, recherche, valorisation, relations internationales , vie étudiante, parcours de l’étudiant, liens formation recherche…..et pour la CT: ceux qui relèvent de ses missions L’ensemble des dispositifs de pilotage de ces activités à l’échelle de l’étbls/de la CT.

Une Évaluation institutionnelle centrée sur la gouvernance centrale et le pilotage des activités Une analyse de la dynamique interne de l’étbls/ CT relativement à ses objectifs stratégiques : Le respect des choix politiques de l’étbls/CT. Pas de comparaison ni de classement. Analyse de la cohérence d’ensemble relativement au positionnement et à la stratégie choisis par l’étbls/la CT ; analyse de l’étbls/CT par rapport à sa dynamique interne (trajectoire) et non pas en absolu. Identification des forces et faiblesses en fournissant les analyses et éléments de preuve. Des recommandations prenant en compte les orientations stratégiques futures.

La base de l’analyse des experts Opérationnalisation Suivi Amélioration Quels dispositifs et moyens mis en œuvre? Quels ajustements? Quels résultats? Quelle trajectoire parcourue? Quelle analyse critique? Quelle stratégie? Quels objectifs opérationnels? L’évaluation de la CT avant celle des établissements permet: ° d’analyser comment se concrétise la stratégie collective d’une CT au niveau de chaque acteur en identifiant ses contributions à la politique de site (problématique des délégations, transferts,…); La consolidation des évaluations recherche et formation au niveau de la CT permet, dans un travail de synthèse final: ° de relier les résultats constatés à la mise en œuvre des objectifs stratégiques visés; ° d’apprécier la cohérence au niveau du site de l’ensemble des niveaux évalués; ° de formuler des recommandations finales croisant la subsidiarité de chaque acteur avec la dynamique de site. ° d’analyser comment chaque acteur articule sa stratégie propre avec celle de la CT (respect des principes de subsidiarité); ° d’analyser comment la CT et les établissements se dotent d’outils et de processus de pilotage pour apprécier la plus value effective des stratégies de la CT comme des établissements.

Une Évaluation institutionnelle portant une exigence sur la qualité de l’auto-évaluation Une analyse spécifique de la qualité du rapport d’auto-évaluation et des annexes associées: Une analyse de la réponse de l’étbls/Ct aux attendus du rapport d’auto-évaluation (cf. infra repères pour l’auto-évaluation). Une analyse de la capacité de l’établissement à articuler son rapport d’auto-évaluation avec une base documentaire structurée. Une analyse de la capacité de l’établissement à fournir les preuves d’une gouvernance et d’un pilotage maîtrisés. Une analyse de la capacité de l’établissement à décliner une analyse critique de ses activités.

Les enjeux de l’évaluation pour le Hcéres   L’enjeu global de la démonstration par chaque institution de la maîtrise de son pilotage et donc de l’exercice de son autonomie et de sa responsabilité L’enjeu global pour le Hcéres du renforcement de la culture de l’autoévaluation, Une étape fondamentale pour l’amélioration de la qualité de l’évaluation externe

II - ÉVALUATION D’UN ÉTABLISSEMENT ou D’UNE COORDINATION TERRITORIALE Vague E Michel ROBERT Directeur du département d’évaluation des établissements

La démarche d’évaluation L’acte d’évaluation s’appuie sur : les principes d’objectivité, de transparence et d’égalité de traitement un même référentiel qui fixe le périmètre de l’évaluation un dialogue amont et aval avec l’établissement évalué (recueil des attentes, propositions d’experts …. phase contradictoire) Evaluation globale d’un établissement (et non pas par composantes)

Le processus d’Évaluation d’UN ETABLISSEMENT ou d’une coordination territoriale : organisation Evaluation par les pairs : experts choisis dans le vivier Hcéres en constante évolution Principes de neutralité et de prévention des conflits et liens d’intérêts Expérience de la gouvernance et du pilotage institutionnel Un comité de 4 à 8 membres pour ETBLS, 7 à 12 membres pour CT Des choix de présidents de comités et experts en concertation avec l’établissement (appel à propositions) Une visite sur place de 2 à 3 jours pour ETBLS, 3,5 à 4 jours pour CT. Le comité est responsable du contenu du rapport final signé par son président

Absence de conflits d’intérêts Le processus d’Évaluation d’UN ETABLISSEMENT/d’une coordination territoriale : organisation REFERENTIEL Absence de conflits d’intérêts ETBLS ou CT REPONSE RAE ATTENTES REFERENTIEL RAPPORT HCERES COMITE PAIRS

Le processus d’Évaluation d’UN ETABLISSEMENT OU D’UNE COORDINATION TERRITORIALE : organisation Suivi Hcéres par un binôme “CS-CP” (Conseiller Scientifique, Chargé de Projet) - Rôle d’interface (information, organisation, relecture) - Accompagnement du comité avant, pendant et après la visite Rencontre Hcéres-établissement ou coordination territoriale - les attentes de l’établissement - les aspects organisationnels et la préparation de la visite - la consultation de l’établissement sur la composition du comité - la détection des liens d’intérêt Visite - une préparation structurée (note de problématique) - un planning - environ 40 entretiens (ETBLS) ou 60-70 (CT) avec des interlocuteurs externes et internes variés - aucune restitution devant l’établissement

Les règles de composition d’un comité de visite Un autre comité que celui de l’évaluation précédente Principe de parité Expert(e)s académiques : exercice de responsabilité dans l’équipe de direction d’un Ets de l’ESR Expert(e) administratif(ve) : expérience via une fonction d’encadrement supérieur ou de pilotage dans l’administration Expert(e) professionnel(le) : expérience via une fonction à responsabilités à des postes de direction/responsabilités managériales et/ou scientifiques et/ou culturelles pertinents et en lien avec le monde de l’ESR Expert(e) international Pour CT: expert(e) qualité Expert(e) étudiant(e) Suggestions des établissements bienvenues Attention au conflit d’intérêt

Le processus d’Évaluation d’UN ETBLS ou d’une CT : RAPPORT Ecriture du « projet de rapport » : - par les experts sous la responsabilité du président du comité - interventions du Hcéres : interaction avec le comité, relecture (CL): cohérence interne, méthode (objectivation), formulations - réunion de restitution comité/Hcéres conduisant au rapport provisoire Rapport provisoire : transmission du rapport provisoire à l’étbls/CT retour étbls/CT : erreurs factuelles, compréhension, omissions, formulations impropres, assertions mal fondées, mentions pouvant entraîner un risque concurrentiel, voire juridique Rapport définitif : Rapport définitif signé par le président du Comité et le président du Hcéres Réponse de l’étbls/CT : lettre d’observation Publication (rapport + réponse)

Spécificités organisation globale Le processus d’Évaluation de la coordination territoriale Spécificités organisation globale Mise en place d’une équipe projet inter-départements Une caractérisation du site en amont de l’évaluation: Analyse bibliométrique par l’OST, et partagée avec la CT si souhaité. Demande d’aide à la collecte d’informations concernant les institutions associées au regroupement mais non évaluées par le Hcéres, pour la synthèse finale de site.

III – Repères pour l’autoévaluation d’une CT ou d’un ETBLS. Vague E Robert FOUQUET Stéphane ONNEE Conseillers scientifiques coordonnateurs

1- Les caractéristiques globales du document Le document « repères pour l’autoévaluation » : Fichier  :    « 2017_10_23_DECT_DEE_reperes_autoevaluation_vague E »

Le plan de ce document : Trois chapitres : Le contexte de la qualité et du processus de Bologne Le concept de boucle d’amélioration continue Le contexte des ESG :l’articulation entre assurance qualité interne et assurance qualité externe / l’évaluation externe par les pairs La politique de la qualité levier de la gouvernance L’évaluation externe outil de la politique qualité Les bonnes pratiques de l’autoévaluation à l’international Un exercice ponctuel et spécifique  Un système d’analyse identifié  Des étapes et modalités de mise en œuvre clairement définies  Des modalités d’investigation très diversifiées  Des acteurs identifiés  Un processus de production et de validation du rapport final formalisé  Les attendus du RAE dans le cadre de l’évaluation externe par le Hcéres cf suite présentation

Les lignes directrices de ce document : Les évolutions des messages passés aux institutions :  Une référence plus appuyée aux ESG Une explicitation plus précise des dimensions d’une politique de la qualité Une simple revue des éléments clés de l’autoévaluation sans référence précise à une méthode particulière Les éléments sans obligation pour l’institution :  Le calendrier de l’autoévaluation (hors date livraison RAE) La méthode d’autoévaluation : acteurs, outils, processus d’investigation Le processus d’élaboration et de validation du RAE Les niveaux d’attentes du Hcéres :  L’organisation du RAE Les types de contenus souhaités La nature des exercices critiques souhaités

! ! Les attentes du Hcéres quant à l’organisation du RAE - Une période de référence correspondant à la contractualisation en cours ; - Un rapport synthétique comportant environ 60 pages (CT/ETBLS) ; - Un plan du rapport reprenant les grands chapitres du référentiel du Hcéres ; Pas d’obligation formelle de respecter dans le détail le plan du référentiel du Hcéres. MAIS une organisation par grands chapitres, proche de celle du référentiel, facilite toutefois le travail des experts, et est donc conseillée. - Des annexes clairement reliées au RAE, structurées et sélectionnées dans l’objectif d’un dossier concis et pertinent.   ! !

Les attentes du Hcéres concernant le contenu du RAE - L’explicitation de la méthode utilisée et des acteurs mobilisés pour l’autoévaluation ; - La présentation de la stratégie et des politiques associées par activité, poursuivies durant la période de référence soumise à évaluation ; Les orientations stratégiques pour la période de contractualisation à venir : document spécifique en complément du rapport d’autoévaluation. - La présentation des dispositifs mis en œuvre au regard de la stratégie pour la période de référence ; - L’explicitation des indicateurs de pilotage que l’institution a choisis pour chaque activité ; - L’explicitation pour chaque activité (dans le RAE ou sous forme d’annexe) des données que l’institution juge utiles à son évaluation externe ; - Le cas échéant, l’explicitation de l’exploitation par l’institution des résultats de la précédente évaluation externe ;

Les attentes concernant les finalités du processus d’auto-évaluation : -Un rapport d’autoévaluation focalisé sur des dimensions d’analyse critique et limitant les approches descriptives ; -Un rapport d’autoévaluation traitant les différentes thématiques identifiées par le référentiel du Hcéres.  

IV – Calendrier et modalités pratiques Vague E Véronique LESTANG-PRÉCHAC Cheffe de département DEE et DECT

Calendrier Rapport d’auto-Évaluation 22 février 2018 : envoi par les établissements d’une adresse mail générique, servant d'identifiant de connexion à la plate-forme PELICAN et à l'envoi d'informations, à : aide.pelican@collecte.evaluation-contractualisation.fr Fin avril – début mai 2018 : Demi-journées de présentation de la plate-forme d’échanges PELICAN en vue du dépôt des dossiers d’évaluation 31 mai 2018, au plus tard : dépôt des dossiers d’auto-évaluation des coordinations territoriales et du document présentant les axes stratégiques pour le prochain contrat 20 septembre 2018 : dépôt dossier d’auto-évaluation des établissements évalués en 2018-2019 20 juin 2019 : dépôt dossier d’auto-évaluation des établissements évalués en 2019-2020

Composition du dossier CT Rapport d’auto-évaluation incluant un bilan synthétique des résultats du contrat en cours avec le ministère de tutelle (60 pages maximum) Organisation de la coordination territoriale ─ Textes statutaires ─ Organisation de la gouvernance et du pilotage ─ Liste des associés et conventions d’associations ─ Liste de partenaires et conventions de partenariat éventuelles Documents stratégiques ─ Textes et indicateurs de référence accompagnant le bilan ─ Schéma d’organisation de la recherche et des formations sur le site ─ Schéma directeur de la vie étudiante ─ Schéma directeur du numérique/SI ─ Déclaration d’axes stratégiques de la coordination territoriale pour le contrat à venir Investissements d’avenir ─ Synthèse des projets Investissements d'avenir sur le site ─ Dossier I-Site/Idex - éventuellement rapport d’auto-évaluation I-Site/Idex Moyens et fonctionnement ─ Moyens humains et financiers de fonctionnement de la coordination territoriale (en propre, mutualisés, mis à disposition, etc.) ─ Budget 2018, et lettre d’orientation budgétaire et lettre d’orientation budgétaire ─ Comptes financiers 2016, 2017, 2018 accompagnés du rapport de présentation de l’agent comptable Divers Notes de positionnement et attentes des parties prenantes : la liste des parties prenantes et les modalités de recueil de ces notes seront à définir conjointement avec l’établissement coordonnateur

Composition du dossier Établissement Rapport d’auto-évaluation incluant un bilan synthétique des résultats du contrat en cours avec le ministère de tutelle (60 pages maximum) Déclaration des axes stratégiques de développement de l'établissement pour la prochaine période contractuelle à venir incluant un focus sur la stratégie en matière de formation et de recherche (5 pages) Organigramme fonctionnel de l'établissement Données de caractérisation jugées utiles par l’établissement pour son évaluation Indicateurs propres à l'établissement dont les indicateurs contractuels Budgets initiaux et comptes financiers des 4 dernières années, tels que votés par le CA, accompagnés du rapport de présentation de l’agent comptable, documents d’analyse financière de l’établissement si disponibles, lettre d’orientation budgétaire (par exercice) Autres rapports d'évaluations externes, le cas échéant Documents complémentaires à déposer pour les Ensa, le cas échéant

Calendrier de L’Évaluation Coordination territoriale Juin-sept 2018 : rencontre Coordination territoriale /Hcéres Octobre 2018-Janvier 2019 : visite sur site Février-Mai 2019 : Rapport provisoire Avril-Juillet 2019 : Rapport publié Établissements (2018-2019) Dès octobre 2018 : rencontre établissement/Hcéres Janvier-Mai 2019 : visite sur site Avril-Juillet 2019 : Rapport provisoire Juin-Septembre 2019 : Rapport publié

http://www.hceres.fr/

Contacts Coordinations territoriales Établissements Annie VINTER Directrice 01 55 55 61 92 Véronique LESTANG-PRECHAC CHEFFE de département 01.55.55.63.93 Laura ARMALET Adjointe à la CHEFFE de département 01.55.55.60.92 Pour toute question : etablissements@hceres.fr Établissements Michel ROBERT directeur 01.55.55.63.51 Véronique LESTANG-PRECHAC CHEFFE de département 01.55.55.63.93