Les classements des universités Ghislaine Filliatreau, OST, JRC, EHESS, 15 mai 2008

GhFilliatreau-JRC2 Caractéristiques et propriétés Exemples de classements internationaux Effets directs et indirects Usages

GhFilliatreau-JRC : la Commission du département à léducation américain publie les premières statistiques systématiques sur les universités américaines 1910 James Catell établi les premières statistiques sur « lélite des chercheurs » et se sert des données obtenues sur les chercheurs dexcellence pour classer les établissements (étudiants/professeurs/ratios...) 1925 Raymond Hughes ( American Council of Education ) classe les établissements daprès leur score dans une enquête de réputation 1957 le Chicago Tribune publie six rankings annuels : lancement du classement de lU.S. News & World Report (nbrx classements dans le domaine de la santé ) 2002 :une réunion internationale sur les classements, à Varsovie, répertorie 20 registres de résultats (classements nationaux, trans-nationaux ou internationaux, thématiques ou globaux) 2003 : Academic Ranking of World Universities - ARWU de lIHE - Université Jiao Tong de Shanghai, sur demande du gouvernement. A lépoque, il existe en Chine une vingtaine de classements nationaux orientés « étudiants » 2004 : classement international du Times Higher Education Supplement, Création en 2004 du Groupe international dexperts en classements (International Rankings Expert Group - IREG), qui sest réuni à Berlin en 2006 et à Shangai en Création dun observatoire international par les producteurs de classements. Une histoire déjà longue

Exemples de classements pour usager Auteur Asiaweek * CHE/Stern Good Guides The Guardian Macleans Melbourne Institute Perspektyw U.S. News Titre Les meilleures universités dAsie Les classements universitaires du CHE Le guide des bonnes universités du CHE Le guide des universités Le classement des universités Classement des universités canadiennes Le classement des universités Le guide des bonnes universités Les meilleurs collèges des États-unis Pays/Région Asie Allemagne Royaume-Uni Canada Australie Pologne Etats-Unis But poursuivi Honorer lexcellence Identifier les meilleures universités Aider les diplômés de lycée à choisir où étudier Choix des lycéens Choix des lycéens Choix des lycéens Classement des universités australiennes Choix des lycéens Source :Volume XXX Numéro 2 Juillet 2005 : Nina Van Dyke, « Vingt ans de registres de résultats universitaires p.9

Classements internationaux - Shanghai Jiao Tong University - Times Higher Education Supplement (THES) - Classement du CHE - Classement de Leiden - Nombreux classements thématiques Source :Volume XXX Numéro 2 Juillet 2005 : Nina Van Dyke, « Vingt ans de registres de résultats universitaires p.9

GhFilliatreau-JRC6 « Ranking » : palmarès annuel appliqué à un ensemble détablissements supposés comparables, Deux catégories : au service de lusager (dévoilement) ou du décideur/prescripteur (pilotage) avec des données et des indicateurs différents (étroit/large) Etabli par « une équipe indépendante » (notion de jugement extérieur, de désanctuarisation, éviter le « old boy network ») Principes généraux (opérations de base) : collecte de données pour la mesure (bases, enquêtes ad hoc), chaque mesure est transformée en score (base 100) plusieurs scores sont pondérés et combinés pour calculer un indice unique le nombre dindices utilisés varie de 1 à 15, pour établir une ou plusieurs listes, qui « objectivent » la qualité de létablissement. Les classements (« palmarès »)

GhFilliatreau-JRC7 Source: Les auteurs et. La distribution des scores

GhFilliatreau-JRC8 LAcademic Ranking of World Class Universities de luniversité Jiao Tong : -produit par une structure universitaire par un pays lointain (« neutralité ») -indices soigneusement calculés – mais données biaisées -travail sur la base WoS (SCI expanded et SSCI) de Thomson Scientific : hiérarchie internationale strictement basée sur lactivité de recherche -méthode mise au point par défaut (données dinputs trop variables) -à lorigine, destiné à un usage national : évaluer la notoriété recherche des établissements chinois sur la scène internationale, -en Europe, perçu comme preuve de lexistence dun « marché international » détudiants de haut niveau, mobiles. - deux usages dérivés nouveaux liés à lexercice lui-même : utilisation pour caractériser les systèmes nationaux (France : « la taille est une qualité ») et classer les pays (prestige de la France lié à la place de ses établissements)

GhFilliatreau-JRC9 ParamètreIndicateursPondération Qualité de la formation 1. Nombre danciens étudiants ayant remporté un Prix Nobel ou le prestigieux prix de mathématiques Fields Medal in Mathematic entre 1911 et % Qualité du personnel 2. Nombre de chercheurs ayant remporté un Prix Nobel de physique, de chimie, de médecine ou déconomie et/ou le prestigieux prix de mathématiques Fields Medal in Mathematic entre 1911 et % 3. Nombre de chercheurs les plus cités entre 1981 et 1999 dans 21 catégories réparties dans les disciplines des sciences du vivant, de la médecine, de la physique, des sciences de lingénieur et des sciences sociales. 20 % Output de la recherche 4. Nombre darticles publiés dans Nature et Science entre 2001 et 2005 (N&S).20 % 5. Nombre darticles répertoriés dans le Web of Science (SCI Expanded & SSCI Expanded) en 2005 et dans les index Social Science Citation Index et Arts & Humanities Citation Index. 20 % Grandeur des institutions 6. Nombre total de points aux indicateurs 1 à 5 divisé par les effectifs du personnel scientifique de luniversité concernée (équivalents plein-temps). En labsence de données relatives au personnel académique, cest le total de points des indicateurs 1 à 5 qui est retenu. 10 % Les indicateurs du Shanghai Ranking 2007 et leur pondération Source :

GhFilliatreau-JRC10 -« les résultats confirment ce quon pensait » -« les données convergent » : ici, corrélation par la taille et la durée

GhFilliatreau-JRC11 Le THES ranking : palmarès des 200 premières universités mondiales Produit par TSL Education Ltd of London, une filiale de léditeur du Times notoriété : apprécier le prestige auprès des professionnels (« insiders »). Démocratisation et réassurance sur le capital social.

GhFilliatreau-JRC12 Source : DomaineIndicateurPondération Réputation internationale des universités 1. Evaluation par les pairs: chercheurs de réputation internationale notent les universités par domaines de recherche. 40 % Réputation internationale des universités parmi les DRH (2) Enquête mondiale auprès de chefs du personnel dentreprises internationales désignant les 20 universités avec les meilleurs diplômés. 10 % Performance internationale de recherche (impact) 2. Taux de citation par membre des facultés selon la Thomson Scientific Database ( ) ou Scopus(2007). 20 % Place de lenseignement dans les cursus académiques 3. Conditions dencadrement des étudiants.20 % Orientation internationale et attractivité 4. Nombre détudiants étrangers.5 % Orientation internationale et attractivité 5. Nombre de collaborateurs étrangers dans les facultés.5 % Le THES ranking

GhFilliatreau-JRC13 Classement de Leiden Source : Le centre détudes sur les sciences et les technologies (CWTS) de luniversité de Leiden développe un nouveau ranking basé uniquement sur des indicateurs bibliométriques, sur financement de la CE Le CWTS présente les résultats pour les 100 universités européennes qui ont le plus grand nombre de publications scientifiques. Ce ranking propose quatre indicateurs différents, chacun donnant un classement différent selon : - le plus grand nombre de publications - le nombre de citations par publication - le nombre total de publications multiplié par l'impact relatif selon le domaine -le nombre de citations par publication divisé par limpact moyen selon le domaine. Deux caractéristiques 1) purement bibliométriques – base Thomson 2) reconnaissance automatique des établissements

GhFilliatreau-JRC14 usage 1 : Classement du CHE

Le CHE 2) Visée européenne pour usage dobjectiver une élite : une présélection des établissements denseignement supérieur sopère au moyens de quatre indicateurs mesurant les « prestations de recherche » au niveau des « facultés » ou des départements (a) nombre de publications dans des revues internationales, b) citations relatives au standard international, c) nombre des auteurs les plus cités et des prix Nobel de luniversité, d) le nombre de projets soutenus dans le cadre du programme de promotion de recherches Marie Curie de lUnion européenne (UE). Ces "facultés" ou départements reçoivent des médailles de bronze, dargent ou dor. Les " facultés " ayant obtenu une médaille dargent ou dor font partie du "groupe de tête". Au moins trois médailles dargent attribuées fait rejoindre le "groupe dexcellence". Résultats : A) Médailles : Allemagne et Royaume-Uni : 283 (or : respectivement 64 et 111) France : 112 (31); Italie : 98 (20); Pays-Bas : 90 (27); Suisse : 67 (30); Suède : 62 (19) B) Excellence group : 66 HEI, qui ont obtenu pour un département au moins une médaille dargent dans au moins 3 des indicateurs. Allemagne : 16, Royaume-Uni : 14, Pays-Bas : 7, France, Italie, Suède : 5, Suisse : 4, Belgique : 3, Espagne : 2, Autriche, Danemark, Finlande, Norvège : 1 Des informations complémentaires ont été obtenues directement auprès des Présidences, et des étudiants, dun certain nombre de HEI représentatifs. Mais pas assez de précision sur la méthodologie.

GhFilliatreau-JRC16

GhFilliatreau-JRC17 IREG : « Rankings are here to stay » La méthode du ranking a des effets directs : le score est transformé en un nouvel « indicateur », le rang, qui distribue les établissements sur une échelle linéaire (cf diapo 7). La différence de score, aussi insignifiante (au deux sens) soit-elle, est transformée en différence de rang, un chiffre décontextualisé qui a toujours un sens (« le résultat des courses » déchiffrable par tous ) : on a créé une nouvelle information, intuitive. Deux manières danalyser cet « outil informationnel » - par ce quil contient (ie la pertinence des données sélectionnées par rapport aux usages visés) - par les effets quil a (effets liés aux résultats, et effets liés à lexercice lui-même) Lanalyse des effets directs

GhFilliatreau-JRC18 La taille de la « maille » est déterminante dans ces classements. On mesure une position historique plutôt que celle des résultats actuels (avis dexperts, prix Nobel, effet Matthieu, …) Il induit une normalisation (concurrence) mais aussi des séparations (« les 100 premiers ») lémergence, la nouveauté, certaines disciplines, des politiques de niche et de risque, la multidisciplinarité peuvent être pénalisées. Le rang ne peut servir ni à lévaluation ni au suivi de performance (qui supposent une prise en compte de létablissement et son environnement, de ses progrès et de leur analyse). Les effets liés aux contraintes,

GhFilliatreau-JRC19 Quelques effets observés sur les établissements a) uniformisation par concurrence : la concurrence nest pas choisie, et il est très difficile de développer une stratégie « dissidente » b) prophétie auto-réalisatrices et « effet Matthieu » classiques, renforcés par le fait quil ny a pas besoin de savoir expert pour « comprendre ce que signifie un rang » c) neutralisation des opérations sous-jacentes pour deux raisons : - le lien entre le rang obtenu et les mesures primaires est très indirect - certaines opérations de départ sont peu explicites, notamment –pourquoi le choix des mesures (ce quon dénombre, souvent dû aux contraintes) et pas –la construction dun « espace déquivalence » entre établissements, autoréférence « lespace existe puisquon a une mesure commune » –les notions contextuelles pas mesurables ou pas mesurées la contrainte majeure, qui est celle de la comparabilité, est largement minimisée on compare pommes et poires : tout le monde essaie de devenir une poire

GhFilliatreau-JRC20 On peut utiliser les classements : au niveau national, pour organiser certaines phases de pilotage du système dans son ensemble mécanisme type « accréditation qualité », benchmark justifiant des décisions politiques de différenciation, outil de pression de parties prenantes « extérieures », orientation efficace du système. au niveau européen, pour rendre plus visible certaines valeurs « prouver » lespace européen de la recherche au niveau international imposer les spécificités européennes (diversité, sites, mixités et superpositions, réseaux transnationaux....) Conclusion

GhFilliatreau-JRC21 Annexe sur les résultats français

GhFilliatreau-JRC Paris University VI 2 64 Paris University XI 3 96 Strasbourg I University 4 99 École Normale Sup. Paris Paris University VII Grenoble I University École Polytechnique Lyon I University Méditerranee University Montpellier II University Paris University V Toulouse III University Bordeaux I University École Nat. Sup. Mines Paris École Sup. Phys. & Chem Industry Nancy I University Paris University IX Aix Marseille I University Bordeaux II University École Normale Supérieure Lyon Nice University Paris University VI 2 52 Paris University XI 3 83 École Normale Sup. Paris 4 99 Strasbourg I University Paris University VII Grenoble I University Paris University V Ecole Polytechnique Lyon I University Méditerranee University Montpellier II University Toulouse III University Aix Marseille I University Bordeaux I University École Nat. Sup. Mines Paris Nancy I University Paris University IX Bordeaux II University École Normale Supérieure Lyon Lille I University Nice University Rennes I University Les établissements français dans le classement de SHANGHAI Source :

GhFilliatreau-JRC23 Les établissements français dans le classement du TIMES (THES) École Normale Supérieure, Paris 2 28 École Polytechnique Université Pierre et Marie Curie, Paris VI École Normale Supérieure de Lyon Université Louis Pasteur, Strasbourg I École Normale Supérieure de Paris 2 37 École Polytechnique 3 52 Sciences Po 4 72 École Normale Supérieure de Lyon 5 93 Pierre et Marie Curie University 6161 Louis Pasteur Strasbourg University Paris Université -Sorbonne (Paris University IV) Source :

GhFilliatreau-JRC (Uniquement) 1 52 Paris University XI Sud 2 55 Grenoble I Joseph Fourier University 3 59 Paris University V Rene Descartes 4 64 Paris University VI Pierre & Marie Curie 5 67 Paris University VII Denis Diderot 6 86 Lyon I Claude Bernard University 7 87 Toulouse III University Les établissements français dans le classement de LEIDEN Bibliométrie Source :

GhFilliatreau-JRC25 Table 14: Distribution of excellence group placements across universities University Number of subjects in the excellence group Subjects in the excellence group BiologyChemistryMathematicsPhysics Universit é Paris-Sud 112XX Universit é de Rennes 11X Universit é Louis Pasteur Strasbourg1X Universit é Paris 7 - Denis Diderot1X Universit é Pierre et Marie Curie1X Les établissements français dans le classement du CHE Source : Working paper No. 99 December 2007 : Source : Working paper No. 99 December 2007 : "Identifying the Best : The CHE Ranking of Excellent European Graduate Programmes in the Natural Sciences and Mathematics, p.36

GhFilliatreau-JRC26