1 Place de la bibliométrie dans lévaluation des établissements et des programmes de recherche Colloque Académie des sciences, 15 mai 2007 Bernard MEUNIER CNRS ( ) et PALUMED (depuis février 2006)

2 Classement de Shanghai: horreur ou réalité ? - Qui aurait imaginer en 1970 que des chinois allaient se mettre au début des années 2000 à faire un classement des universités ! - Pas de surprise du côté des universités américaines, le classement chinois est en accord avec celui connu des américains (Harvard en n° 1, ensuite Stanford, Berkeley, MIT, Caltech, Columbia.....). - Pas de surprise en Grande-Bretagne : Cambridge est 2 ième et Oxford 10 ième. - ETH de Zürich est en 27 ième position. - La première université française est en 45 ième position (Paris-VI), suivi de Paris-XI (64 ième ), lULP de Strasbourg est 96 ième et Normale Sup est 99 ième (seulement 4 institutions françaises dans les 100 premières en 2006). - Le classement des universités françaises nétant pas reluisant, le milieu universitaire français rejette le classement de Shanghai...

3 Doù vient ce classement ? - De linstitut «Higher Education» de lUniversité Jiao Tong de Shanghai (fondée en 1896).

4 Quel est le but recherché ? - Cet institut participe à la mise en place duniversités de classe mondiale en Chine. Pour cela, le gouvernement chinois a demandé détablir un classement. Traduction (libre) de la dernière phrase : Le gouvernement chinois prend des mesures spéciales pour mettre en place des universités de classe mondiale.

5 Comment répondre au classement de Shanghai ? (1) - Certainement pas par le mépris (« par tradition la recherche française est excellente ! »). Cest à travers ces classements internationaux que la recherche française est perçue. - Nous devons éviter de nous replier sur nous mêmes au nom d une nouvelle « exception à la fran ç aise ». - Il suffit de regrouper les universit é s en grand blocs ! Mauvaise r é ponse, le classement de Shanghai tient compte des effectifs …. Plusieurs pays fournissent maintenant le chiffre de leur effectif d enseignants-chercheurs à l Universit é Jiao Tong.

6 Comment répondre au classement de Shanghai ? (2) - Nos multiples adresses de laboratoires et instituts sont une source de déclassement. A qui la faute ? Certainement pas aux autres ! - Pour un bon article sur nos adresses : voir N. Haeffner et al., Nature, 438, 559 (2005). Utilisation du point-virgule ! - 80% des articles de lINSERM dans le « Top 1% » des articles les plus cités sont perdus par analyse automatique, contre 0% pour lUniversité dOxford. A qui la faute ? Notre incapacité à avoir des adresses simples nous conduit au record mondial du taux derreur ! Recommandation : simplifier nos adresses et utiliser les notes en bas de page pour mettre tous les sigles et acronymes abscons !

7 La recherche française utilise-t-elle les outils bibliométriques ? - Oui, mais le plus souvent de la plus mauvaise manière possible : voir par exemple le rapport annuel de lOST (Observatoire des Sciences et des Techniques). - Volonté de faire des moyennes insipides qui conduisent à un rapport annuel qui na aucun impact national ou international. Pas de classement, rien qui puisse fâcher, juste des suites de chiffres sur le nombre total de publications, …….etc. - Les députés et sénateurs (ceux qui votent le budget recherche de la Nation) ne lisent pas les rapports de lOST (par contre, ils lisent les journaux et connaissent le classement de Shanghai). - Recommandation : mettre en place des pratiques de bibliométrie de niveau international capables de conduire à des classements (revoir le fonctionnement de lOST ?, que va faire lAERES ?).

8 Quels sont les bons outils bibliométriques ? (1) - Mise en place des « bonnes pratiques ». - Transparence des études bibliométriques. - Evaluation des chercheurs. - Evaluation des équipes. - Evaluation des instituts. - Evaluation des disciplines. - Evaluation des organismes et universités. Quelques propositions.

9 Quels sont les bons outils bibliométriques ? (2) - Mise en place des « bonnes pratiques ». i) La bibliométrie demande un minimum de travail sérieux, ce nest pas une succession de « clics ». Il faut avoir accès aux données brutes des bases pour ne pas perdre dinformations. (gestion des adresses compliquées, des homonymies, …). ii) Mise aux points doutils et dindicateurs adaptés. iii) Mettre des éléments internationaux de comparaison. Eviter laccumulation de tableaux sans aucun contenu discriminant. iv) Ne pas oublier quil sagit daide à la décision (la bibliométrie nest pas un outil de décision). - Transparence des études bibliométriques. Il est essentiel de rendre public toutes les études de bibliométrie. La communauté scientifique doit pouvoir réagir (corrections derreurs et sensibilisation).

10 Quels sont les bons outils bibliométriques ? (3) - Evaluation des chercheurs. i)Eviter dutiliser la bibliométrie pour les jeunes chercheurs (pas avant 10 ans de carrière). Il faut choisir librement les sujets de recherche et pas ceux qui donnent des citations. ii)Utilisation du « point H » pour les seniors. Point H = nombre darticles avec un nombre de citations H. Proposition de J. E. Hirsch (Department of Physics, UCSD) publiée dans PNAS, 102, (2005). Depuis janvier 2007, le point H est directement donné par le « Web of Science ». Difficile dy échapper ! Recommandation : 2 points H, H 10 (les 10 dernières années) ou H 25 (les 25 dernières années).

11 Quels sont les bons outils bibliométriques ? (4) - Evaluation des équipes. i)Faire le point H moyen de léquipe (utilisé à lInserm). ii)Nombre darticles (ou % darticles) publiés dans le Top 10% de la spécialité. - Evaluation des instituts. i)Liste des points H des seniors : la comparaison des bouquets de points H est très significative (utilisé pour les RTRA). ii)Nombre darticles (ou % darticles) publiés dans le Top 1% (ou Top 3%) de la spécialité.

12 Quels sont les bons outils bibliométriques ? (5) - Evaluation des disciplines. i)Taux de citations par articles avec des comparateurs internationaux (il est important de travailler sur les données brutes pour de pas oublier des publications françaises). Exemple : classement par nation pour la maladie dAlzheimer ( ). Rang Nationtot. citations tot. articles citat./art. rang/cit-art 1USA ,913 2England ,446 3Canada ,631 4Germany ,059 5Japan ,7910 6France ,208 Au classement citations/article, la Belgique est n°2, lEcosse n°4, la Suède n°5 et les Pays-Bas n°7.

13 Quels sont les bons outils bibliométriques ? (6) - Evaluation des organismes et universités. i)Utilisation de plusieurs indicateurs avec des comparateurs internationaux pour valider et permettre des comparaisons justifiées. ii)Le nombre total de publications ou de citations ne sont pas de bons indicateurs. Utilisation des taux de citations par articles comme pour les disciplines. La qualité doit primer sur la quantité. - Comparaison Inserm/MRC/NIH (Les Echos du 4 avril 2007) Institutiontaux de citations par article ( ) NIH (USA)28,9 MRC (Grande-Bretagne)29,8 Inserm18,8 Ne pas faire des comparaisons entre Cochin et lInserm …

14 Le « Web of Science » doit être accessible à tous les chercheurs et enseignants-chercheurs en France. - Il est important dagir dans la transparence. - Le « Web of Science » est accessible, dans des versions plus ou moins é tendues, dans certaines universit é s fran ç aises ou organismes. - De nombreux pays ont opt é pour un abonnement national permettant à tous les chercheurs d avoir acc è s à la même version : c est le cas du Brésil depuis 1990, de lEspagne et du Portugal depuis La France est toujours en discussion depuis 3 ans avec ISI- Thomson ! Il est urgent de conclure un accord et de permettre à tous daccéder à cette base de données. De plus, le « Web of Science » est un outil de bibliographie très efficace pour suivre lévolution des nouveaux sujets. PS. Merci à Nicole Haeffner-Cavaillon et à Marc Ledoux pour de fructueuses discussions.