Les classements des universités Ghislaine Filliatreau, OST, JRC, EHESS, 15 mai 2008.

Présentation au sujet: "Les classements des universités Ghislaine Filliatreau, OST, JRC, EHESS, 15 mai 2008."— Transcription de la présentation:

1 Les classements des universités Ghislaine Filliatreau, OST, JRC, EHESS, 15 mai 2008

2 15-5-08GhFilliatreau-JRC2 Caractéristiques et propriétés Exemples de classements internationaux Effets directs et indirects Usages

3 15-5-08GhFilliatreau-JRC3 1870 : la Commission du département à léducation américain publie les premières statistiques systématiques sur les universités américaines 1910 James Catell établi les premières statistiques sur « lélite des chercheurs » et se sert des données obtenues sur les chercheurs dexcellence pour classer les établissements (étudiants/professeurs/ratios...) 1925 Raymond Hughes ( American Council of Education ) classe les établissements daprès leur score dans une enquête de réputation 1957 le Chicago Tribune publie six rankings annuels.... 1983 : lancement du classement de lU.S. News & World Report (nbrx classements dans le domaine de la santé ) 2002 :une réunion internationale sur les classements, à Varsovie, répertorie 20 registres de résultats (classements nationaux, trans-nationaux ou internationaux, thématiques ou globaux) 2003 : Academic Ranking of World Universities - ARWU de lIHE - Université Jiao Tong de Shanghai, sur demande du gouvernement. A lépoque, il existe en Chine une vingtaine de classements nationaux orientés « étudiants » 2004 : classement international du Times Higher Education Supplement, Création en 2004 du Groupe international dexperts en classements (International Rankings Expert Group - IREG), qui sest réuni à Berlin en 2006 et à Shangai en 2007. Création dun observatoire international par les producteurs de classements. Une histoire déjà longue

4 Exemples de classements pour usager Auteur ------------------- Asiaweek * CHE/Stern Good Guides The Guardian Macleans Melbourne Institute Perspektyw U.S. News Titre ------------------------------------------------------------ Les meilleures universités dAsie Les classements universitaires du CHE Le guide des bonnes universités du CHE Le guide des universités Le classement des universités Classement des universités canadiennes Le classement des universités Le guide des bonnes universités Les meilleurs collèges des États-unis Pays/Région -------------------- Asie Allemagne Royaume-Uni Canada Australie Pologne Etats-Unis But poursuivi --------------------------------- Honorer lexcellence Identifier les meilleures universités Aider les diplômés de lycée à choisir où étudier Choix des lycéens Choix des lycéens Choix des lycéens Classement des universités australiennes Choix des lycéens Source :Volume XXX Numéro 2 Juillet 2005 : Nina Van Dyke, « Vingt ans de registres de résultats universitaires p.9

5 Classements internationaux - Shanghai Jiao Tong University - Times Higher Education Supplement (THES) - Classement du CHE - Classement de Leiden - Nombreux classements thématiques Source :Volume XXX Numéro 2 Juillet 2005 : Nina Van Dyke, « Vingt ans de registres de résultats universitaires p.9

6 15-5-08GhFilliatreau-JRC6 « Ranking » : palmarès annuel appliqué à un ensemble détablissements supposés comparables, Deux catégories : au service de lusager (dévoilement) ou du décideur/prescripteur (pilotage) avec des données et des indicateurs différents (étroit/large) Etabli par « une équipe indépendante » (notion de jugement extérieur, de désanctuarisation, éviter le « old boy network ») Principes généraux (opérations de base) : collecte de données pour la mesure (bases, enquêtes ad hoc), chaque mesure est transformée en score (base 100) plusieurs scores sont pondérés et combinés pour calculer un indice unique le nombre dindices utilisés varie de 1 à 15, pour établir une ou plusieurs listes, qui « objectivent » la qualité de létablissement. Les classements (« palmarès »)

7 15-5-08GhFilliatreau-JRC7 Source: Les auteurs et.http://ed.sjtu.edu.cn/ranking.htm La distribution des scores

8 15-5-08GhFilliatreau-JRC8 LAcademic Ranking of World Class Universities de luniversité Jiao Tong : -produit par une structure universitaire par un pays lointain (« neutralité ») -indices soigneusement calculés – mais données biaisées -travail sur la base WoS (SCI expanded et SSCI) de Thomson Scientific : hiérarchie internationale strictement basée sur lactivité de recherche -méthode mise au point par défaut (données dinputs trop variables) -à lorigine, destiné à un usage national : évaluer la notoriété recherche des établissements chinois sur la scène internationale, -en Europe, perçu comme preuve de lexistence dun « marché international » détudiants de haut niveau, mobiles. - deux usages dérivés nouveaux liés à lexercice lui-même : utilisation pour caractériser les systèmes nationaux (France : « la taille est une qualité ») et classer les pays (prestige de la France lié à la place de ses établissements)

9 15-5-08GhFilliatreau-JRC9 ParamètreIndicateursPondération Qualité de la formation 1. Nombre danciens étudiants ayant remporté un Prix Nobel ou le prestigieux prix de mathématiques Fields Medal in Mathematic entre 1911 et 2005. 10 % Qualité du personnel 2. Nombre de chercheurs ayant remporté un Prix Nobel de physique, de chimie, de médecine ou déconomie et/ou le prestigieux prix de mathématiques Fields Medal in Mathematic entre 1911 et 2005. 20 % 3. Nombre de chercheurs les plus cités entre 1981 et 1999 dans 21 catégories réparties dans les disciplines des sciences du vivant, de la médecine, de la physique, des sciences de lingénieur et des sciences sociales. 20 % Output de la recherche 4. Nombre darticles publiés dans Nature et Science entre 2001 et 2005 (N&S).20 % 5. Nombre darticles répertoriés dans le Web of Science (SCI Expanded & SSCI Expanded) en 2005 et dans les index Social Science Citation Index et Arts & Humanities Citation Index. 20 % Grandeur des institutions 6. Nombre total de points aux indicateurs 1 à 5 divisé par les effectifs du personnel scientifique de luniversité concernée (équivalents plein-temps). En labsence de données relatives au personnel académique, cest le total de points des indicateurs 1 à 5 qui est retenu. 10 % Les indicateurs du Shanghai Ranking 2007 et leur pondération Source : http://www.universityrankings.ch/fr/methodology/shanghai_jiao_tonghttp://www.universityrankings.ch/fr/methodology/shanghai_jiao_tong

10 15-5-08GhFilliatreau-JRC10 -« les résultats confirment ce quon pensait » -« les données convergent » : ici, corrélation par la taille et la durée

11 15-5-08GhFilliatreau-JRC11 Le THES ranking : palmarès des 200 premières universités mondiales Produit par TSL Education Ltd of London, une filiale de léditeur du Times notoriété : apprécier le prestige auprès des professionnels (« insiders »). Démocratisation et réassurance sur le capital social.

12 15-5-08GhFilliatreau-JRC12 Source : http://www.universityrankings.ch/fr/methodology/times_higher_educationhttp://www.universityrankings.ch/fr/methodology/times_higher_education DomaineIndicateurPondération 2005 - 2007 Réputation internationale des universités 1. Evaluation par les pairs: 5 101 chercheurs de réputation internationale notent les universités par domaines de recherche. 40 % Réputation internationale des universités parmi les DRH (2) Enquête mondiale auprès de 1 471 chefs du personnel dentreprises internationales désignant les 20 universités avec les meilleurs diplômés. 10 % Performance internationale de recherche (impact) 2. Taux de citation par membre des facultés selon la Thomson Scientific Database (2004-2006) ou Scopus(2007). 20 % Place de lenseignement dans les cursus académiques 3. Conditions dencadrement des étudiants.20 % Orientation internationale et attractivité 4. Nombre détudiants étrangers.5 % Orientation internationale et attractivité 5. Nombre de collaborateurs étrangers dans les facultés.5 % Le THES ranking

13 15-5-08GhFilliatreau-JRC13 Classement de Leiden Source : http://www.universityrankings.ch/fr/methodology/leidenhttp://www.universityrankings.ch/fr/methodology/leiden Le centre détudes sur les sciences et les technologies (CWTS) de luniversité de Leiden développe un nouveau ranking basé uniquement sur des indicateurs bibliométriques, sur financement de la CE Le CWTS présente les résultats pour les 100 universités européennes qui ont le plus grand nombre de publications scientifiques. Ce ranking propose quatre indicateurs différents, chacun donnant un classement différent selon : - le plus grand nombre de publications - le nombre de citations par publication - le nombre total de publications multiplié par l'impact relatif selon le domaine -le nombre de citations par publication divisé par limpact moyen selon le domaine. Deux caractéristiques 1) purement bibliométriques – base Thomson 2) reconnaissance automatique des établissements

14 15-5-08GhFilliatreau-JRC14 usage 1 : http://www.che.de/cms/?getObject=2&getName=CHE-Ranking&getLang=de Classement du CHE

15 Le CHE 2) Visée européenne pour usage dobjectiver une élite : une présélection des établissements denseignement supérieur sopère au moyens de quatre indicateurs mesurant les « prestations de recherche » au niveau des « facultés » ou des départements (a) nombre de publications dans des revues internationales, b) citations relatives au standard international, c) nombre des auteurs les plus cités et des prix Nobel de luniversité, d) le nombre de projets soutenus dans le cadre du programme de promotion de recherches Marie Curie de lUnion européenne (UE). Ces "facultés" ou départements reçoivent des médailles de bronze, dargent ou dor. Les " facultés " ayant obtenu une médaille dargent ou dor font partie du "groupe de tête". Au moins trois médailles dargent attribuées fait rejoindre le "groupe dexcellence". Résultats : A) Médailles : Allemagne et Royaume-Uni : 283 (or : respectivement 64 et 111) France : 112 (31); Italie : 98 (20); Pays-Bas : 90 (27); Suisse : 67 (30); Suède : 62 (19) B) Excellence group : 66 HEI, qui ont obtenu pour un département au moins une médaille dargent dans au moins 3 des indicateurs. Allemagne : 16, Royaume-Uni : 14, Pays-Bas : 7, France, Italie, Suède : 5, Suisse : 4, Belgique : 3, Espagne : 2, Autriche, Danemark, Finlande, Norvège : 1 Des informations complémentaires ont été obtenues directement auprès des Présidences, et des étudiants, dun certain nombre de HEI représentatifs. Mais pas assez de précision sur la méthodologie. http://www.excellenceranking.org/eusid/EUSID

16 15-5-08GhFilliatreau-JRC16

17 15-5-08GhFilliatreau-JRC17 IREG : « Rankings are here to stay » La méthode du ranking a des effets directs : le score est transformé en un nouvel « indicateur », le rang, qui distribue les établissements sur une échelle linéaire (cf diapo 7). La différence de score, aussi insignifiante (au deux sens) soit-elle, est transformée en différence de rang, un chiffre décontextualisé qui a toujours un sens (« le résultat des courses » déchiffrable par tous ) : on a créé une nouvelle information, intuitive. Deux manières danalyser cet « outil informationnel » - par ce quil contient (ie la pertinence des données sélectionnées par rapport aux usages visés) - par les effets quil a (effets liés aux résultats, et effets liés à lexercice lui-même) Lanalyse des effets directs

18 15-5-08GhFilliatreau-JRC18 La taille de la « maille » est déterminante dans ces classements. On mesure une position historique plutôt que celle des résultats actuels (avis dexperts, prix Nobel, effet Matthieu, …) Il induit une normalisation (concurrence) mais aussi des séparations (« les 100 premiers ») lémergence, la nouveauté, certaines disciplines, des politiques de niche et de risque, la multidisciplinarité peuvent être pénalisées. Le rang ne peut servir ni à lévaluation ni au suivi de performance (qui supposent une prise en compte de létablissement et son environnement, de ses progrès et de leur analyse). Les effets liés aux contraintes,

19 15-5-08GhFilliatreau-JRC19 Quelques effets observés sur les établissements a) uniformisation par concurrence : la concurrence nest pas choisie, et il est très difficile de développer une stratégie « dissidente » b) prophétie auto-réalisatrices et « effet Matthieu » classiques, renforcés par le fait quil ny a pas besoin de savoir expert pour « comprendre ce que signifie un rang » c) neutralisation des opérations sous-jacentes pour deux raisons : - le lien entre le rang obtenu et les mesures primaires est très indirect - certaines opérations de départ sont peu explicites, notamment –pourquoi le choix des mesures (ce quon dénombre, souvent dû aux contraintes) et pas –la construction dun « espace déquivalence » entre établissements, autoréférence « lespace existe puisquon a une mesure commune » –les notions contextuelles pas mesurables ou pas mesurées la contrainte majeure, qui est celle de la comparabilité, est largement minimisée on compare pommes et poires : tout le monde essaie de devenir une poire

20 15-5-08GhFilliatreau-JRC20 On peut utiliser les classements : au niveau national, pour organiser certaines phases de pilotage du système dans son ensemble mécanisme type « accréditation qualité », benchmark justifiant des décisions politiques de différenciation, outil de pression de parties prenantes « extérieures », orientation efficace du système. au niveau européen, pour rendre plus visible certaines valeurs « prouver » lespace européen de la recherche au niveau international imposer les spécificités européennes (diversité, sites, mixités et superpositions, réseaux transnationaux....) Conclusion

21 15-5-08GhFilliatreau-JRC21 Annexe sur les résultats français

22 15-5-08GhFilliatreau-JRC22 2006 1 45 Paris University VI 2 64 Paris University XI 3 96 Strasbourg I University 4 99 École Normale Sup. Paris 5 102-150 Paris University VII 6 151-200 Grenoble I University 7 201-300 École Polytechnique 8 201-300 Lyon I University 9 201-300 Méditerranee University 10 201-300 Montpellier II University 11 201-300 Paris University V 12 201-300 Toulouse III University 13 301-400 Bordeaux I University 14 301-400 École Nat. Sup. Mines Paris 15 301-400 École Sup. Phys. & Chem Industry 16 301-400 Nancy I University 17 301-400 Paris University IX 18 401-500 Aix Marseille I University 19 401-500 Bordeaux II University 20 401-500 École Normale Supérieure Lyon 21 401-500 Nice University 2007 1 39 Paris University VI 2 52 Paris University XI 3 83 École Normale Sup. Paris 4 99 Strasbourg I University 5 102-150 Paris University VII 6 151-202 Grenoble I University 7 151-202 Paris University V 8 203-304 Ecole Polytechnique 9 203-304 Lyon I University 10 203-304 Méditerranee University 11 203-304 Montpellier II University 12 203-304 Toulouse III University 13 305-401 Aix Marseille I University 14 305-401 Bordeaux I University 15 305-401 École Nat. Sup. Mines Paris 16 305-401 Nancy I University 17 305-401 Paris University IX 18 402-508 Bordeaux II University 19 402-508 École Normale Supérieure Lyon 20 402-508 Lille I University 21 402-508 Nice University 22 402-508 Rennes I University Les établissements français dans le classement de SHANGHAI Source : http://www.universityrankings.ch/fr/results/results_main_rankingshttp://www.universityrankings.ch/fr/results/results_main_rankings

23 15-5-08GhFilliatreau-JRC23 Les établissements français dans le classement du TIMES (THES) 2007 1 26 École Normale Supérieure, Paris 2 28 École Polytechnique 3 132 Université Pierre et Marie Curie, Paris VI 4 157 École Normale Supérieure de Lyon 5 184 Université Louis Pasteur, Strasbourg I 2006 1 18 École Normale Supérieure de Paris 2 37 École Polytechnique 3 52 Sciences Po 4 72 École Normale Supérieure de Lyon 5 93 Pierre et Marie Curie University 6161 Louis Pasteur Strasbourg University 7 200 Paris Université -Sorbonne (Paris University IV) Source : http://www.universityrankings.ch/fr/results/results_main_rankingshttp://www.universityrankings.ch/fr/results/results_main_rankings

24 15-5-08GhFilliatreau-JRC24 2007 (Uniquement) 1 52 Paris University XI Sud 2 55 Grenoble I Joseph Fourier University 3 59 Paris University V Rene Descartes 4 64 Paris University VI Pierre & Marie Curie 5 67 Paris University VII Denis Diderot 6 86 Lyon I Claude Bernard University 7 87 Toulouse III University Les établissements français dans le classement de LEIDEN Bibliométrie Source : http://www.universityrankings.ch/fr/results/results_main_rankingshttp://www.universityrankings.ch/fr/results/results_main_rankings

25 15-5-08GhFilliatreau-JRC25 Table 14: Distribution of excellence group placements across universities University Number of subjects in the excellence group Subjects in the excellence group BiologyChemistryMathematicsPhysics Universit é Paris-Sud 112XX Universit é de Rennes 11X Universit é Louis Pasteur Strasbourg1X Universit é Paris 7 - Denis Diderot1X Universit é Pierre et Marie Curie1X Les établissements français dans le classement du CHE Source : Working paper No. 99 December 2007 : Source : Working paper No. 99 December 2007 : "Identifying the Best : The CHE Ranking of Excellent European Graduate Programmes in the Natural Sciences and Mathematics, p.36

26 15-5-08GhFilliatreau-JRC26 www.obs-ost.fr