MODELES, OUTILS ET METHODES DE BIBLIOMETRIE Sessions de Formation URFIST 2009 Manuel Durand-Barthez, SCD Toulouse 3.

Présentation au sujet: "MODELES, OUTILS ET METHODES DE BIBLIOMETRIE Sessions de Formation URFIST 2009 Manuel Durand-Barthez, SCD Toulouse 3."— Transcription de la présentation:

1 MODELES, OUTILS ET METHODES DE BIBLIOMETRIE Sessions de Formation URFIST 2009 Manuel Durand-Barthez, SCD Toulouse 3

2 2 types dévaluation: A priori, qualitative, par les pairs (peer reviewing) A posteriori, quantitative, par les citations (bibliom é trique) A priori, qualitative, par les pairs (peer reviewing) A posteriori, quantitative, par les citations (bibliom é trique)

3 Définition du problème Nécessité de promouvoir des alternatives de type qualitatif par rapport au modèle dominant quantitatif

4 MéthodeMéthode Démonter le système quantitatif (bibliométrie) qui trop souvent régit en amont la soumission darticle Réformer ce système de lintérieur Réformer ce système de lintérieur Introduire une évaluation qualitative coopérative Introduire une évaluation qualitative coopérative Y associer étroitement lOAI Y associer étroitement lOAI Démonter le système quantitatif (bibliométrie) qui trop souvent régit en amont la soumission darticle Réformer ce système de lintérieur Réformer ce système de lintérieur Introduire une évaluation qualitative coopérative Introduire une évaluation qualitative coopérative Y associer étroitement lOAI Y associer étroitement lOAI

5 LEVALUATION DES PUBLICATIONS SCIENTIFIQUES Depuis 1960, modèle quasi monopolistique: ISI (Institute of scientific Information – Philadelphie) [Groupe U.S. Thomson Inc.] Depuis 1960, modèle quasi monopolistique: ISI (Institute of scientific Information – Philadelphie) [Groupe U.S. Thomson Inc.]

6 EVALUATION DES AUTEURS 9750 titres 9750 titres revendiqués sur la Plate-Forme propriétaire de lISI WEB OF SCIENCE (WoS) 9750 titres 9750 titres revendiqués sur la Plate-Forme propriétaire de lISI WEB OF SCIENCE (WoS)

7 Répartition par Domaines 6650 titres 6650 titres en Sciences Technologie Médecine Base Science Citation Index 1950 titres 1950 titres en Sciences sociales Base Social Science Citation Index 1150 titres 1150 titres en Sciences humaines Base Arts & Humanities Citation Index 6650 titres 6650 titres en Sciences Technologie Médecine Base Science Citation Index 1950 titres 1950 titres en Sciences sociales Base Social Science Citation Index 1150 titres 1150 titres en Sciences humaines Base Arts & Humanities Citation Index

8 EVALUATION DES SOURCES (Titres des revues) JOURNAL CITATION REPORT (J.C.R.) Tableau statistique annuel paraît au Printemps de lannée « n+1 » 2007: + de 6000 titres analysés JOURNAL CITATION REPORT (J.C.R.) Tableau statistique annuel paraît au Printemps de lannée « n+1 » 2007: + de 6000 titres analysés

9 Journal: Journal: EMBO J Impact Factor Impact Factor: 8.662 Cites in 2007 to articles published in:2006 Cites in 2007 to articles published in:2006 = 4170 2005 2005 = 3981 05+06 05+06 = 8151 Number of articles published in:2006 Number of articles published in:2006 = 547 2005 2005 = 394 05+06 05+06 = 941Calculation: Cites to recent articles Cites to recent articles8151 ------------------------------ = ---------- = 8.662 Number of recent articles Number of recent articles 941

10 Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités : Certaines peuvent mieux supporter 5 ans de délai 5 ans de délai Notamment parce que la nature des articles publiés possède un caractère plus pérenne et plus fondamental, appréciable (et donc "citable") sur une plus longue durée

11 Facteurs de pondération: - Périodicité + ou – grande: 2 ou 52 num. par an ? - Nombre darticles par numéro - Changement de titre en cours dannée - « Jeune » périodique (libre, par ex.) - Nombre de textes type « review » - Langue, alphabet - Autocitations

12 Spécificités SHS Primauté des monographies Pérennité des contenus En France, importance de la langue française Schéma de lenquête CNRS de 2004 sur les périodiques SHS Schéma de lenquête CNRS de 2004 sur les périodiques SHS Primauté des monographies Pérennité des contenus En France, importance de la langue française Schéma de lenquête CNRS de 2004 sur les périodiques SHS Schéma de lenquête CNRS de 2004 sur les périodiques SHS

13 Scholar Google Une r é plique « ouverte » du W.O.S. Pas dexploitation « sophistiqu é e » des donn é es Pas dexploitation « sophistiqu é e » des donn é es D é limitation du corpus inconnue et mouvante D é limitation du corpus inconnue et mouvante Une r é plique « ouverte » du W.O.S. Pas dexploitation « sophistiqu é e » des donn é es Pas dexploitation « sophistiqu é e » des donn é es D é limitation du corpus inconnue et mouvante D é limitation du corpus inconnue et mouvante

14

15 La « Fronde » Publication d articles pol é miques, notamment dans Nature

16

17

18 La fièvre de lévaluation de la recherche. Du mauvais usage de faux indicateurs Note de Recherche Yves GINGRAS – Mai 2008 Centre interuniversitaire de recherche sur la science et la technologie UQAM - Québec Note de Recherche Yves GINGRAS – Mai 2008 Centre interuniversitaire de recherche sur la science et la technologie UQAM - Québec

19 Citebase et Citeseer Une autre conception du Facteur dImpact Des exp é riences fond é es sur lOAI Comparaisons portant sur: Comparaisons portant sur: - Nb. de t é l é chargements - Nb. de citations g é n é r é es - Temps é coul é entre ces deux actions - Cycle de la publication (long terme) Des exp é riences fond é es sur lOAI Comparaisons portant sur: Comparaisons portant sur: - Nb. de t é l é chargements - Nb. de citations g é n é r é es - Temps é coul é entre ces deux actions - Cycle de la publication (long terme)

20

21

22 Facteur de HIRSCH Calcul dune moyenne faisant co ï ncider: Nb de Publications et Nb de Publications et Nb de Citations Nb de Citations = indice h Calcul dune moyenne faisant co ï ncider: Nb de Publications et Nb de Publications et Nb de Citations Nb de Citations = indice h

23

24 Il y associe unindice portant surla durée (nombre dannées) résultant de la pente (slope)versus Il y associe un indice m portant sur la durée n (nombre dannées) résultant de la pente (slope) h versus n

25 m 1 (h = 20 après 20 ans dactivité) : chercheur de « bon niveau »m 1 (h = 20 après 20 ans dactivité) : chercheur de « bon niveau » m 2 (h = 40 après 20 ans dactivité) : chercheur responsable dune équipe de haut niveau dans une université très cotéem 2 (h = 40 après 20 ans dactivité) : chercheur responsable dune équipe de haut niveau dans une université très cotée m 3 (h = 60 après 20 ans dactivité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…m 3 (h = 60 après 20 ans dactivité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…

26 Le facteur G dEgghe Le facteur G est calculé comme le plus grand nombre G tel que les G publications les plus citées ont reçu au moins G citations au carré Le facteur G est calculé comme le plus grand nombre G tel que les G publications les plus citées ont reçu au moins G citations au carré Il est censé remédier au « gel » des publications captées au-dessus de lindice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes dentre elles Il est censé remédier au « gel » des publications captées au-dessus de lindice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes dentre elles Le facteur G est calculé comme le plus grand nombre G tel que les G publications les plus citées ont reçu au moins G citations au carré Le facteur G est calculé comme le plus grand nombre G tel que les G publications les plus citées ont reçu au moins G citations au carré Il est censé remédier au « gel » des publications captées au-dessus de lindice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes dentre elles Il est censé remédier au « gel » des publications captées au-dessus de lindice H en tenant compte du nombre exceptionnellement élevé de citations générées par quelques-unes dentre elles

27 EVALUATION QUALITATIVE (hors Citations)

28 Le Peer Reviewing classique 2 referees en principe anonymes 2 referees en principe anonymes Arbitrage par lEditor in Chief Arbitrage par lEditor in Chief 1 (rarement 2) « navettes » 1 (rarement 2) « navettes » Voir les Recommandations aux Auteurs Voir les Recommandations aux Auteurs Exemple de la Charte de lAmerican Chemical Society Exemple de la Charte de lAmerican Chemical Society 2 referees en principe anonymes 2 referees en principe anonymes Arbitrage par lEditor in Chief Arbitrage par lEditor in Chief 1 (rarement 2) « navettes » 1 (rarement 2) « navettes » Voir les Recommandations aux Auteurs Voir les Recommandations aux Auteurs Exemple de la Charte de lAmerican Chemical Society Exemple de la Charte de lAmerican Chemical Society

29 Lévaluation qualitative coopérative Un réservoir : arXiv Des périodiques : European Geological Union Un groupe éditorial : BMC - F1000 Un réservoir : arXiv Des périodiques : European Geological Union Un groupe éditorial : BMC - F1000

30

31 Faculty of 1000 (1) "Recommended" "Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3) "Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6), "Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9). Recommended F1000 Factor 3.1 Must Read F1000 Factor 6.2 Exceptional F1000 Factor 10.7

32 Fac of 1000 (2) F1000 Factor = F1000 Factor = Moyenne des 2 scores les plus é lev é s + (Somme de tous les Scores/30) Exemple: 3 examinateurs, 2 attribuent la mention, le 3è d é cerne lExceptionalon a un F1000 Factor de Exemple: 3 examinateurs, 2 attribuent la mention Must Read, le 3è d é cerne lExceptional => on a un F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2 Ceci correspond à un "Exceptional" rating badge. Ceci correspond à un "Exceptional" rating badge. F1000 Factor = F1000 Factor = Moyenne des 2 scores les plus é lev é s + (Somme de tous les Scores/30) Exemple: 3 examinateurs, 2 attribuent la mention, le 3è d é cerne lExceptionalon a un F1000 Factor de Exemple: 3 examinateurs, 2 attribuent la mention Must Read, le 3è d é cerne lExceptional => on a un F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2 Ceci correspond à un "Exceptional" rating badge. Ceci correspond à un "Exceptional" rating badge.

33

34

35 F1000 – Les « perles cachées » Signalement périodique darticles issus de revues « prestigieuses » à faible impact : Hidden Jewels Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious » Signalement périodique darticles issus de revues « prestigieuses » à faible impact : Hidden Jewels Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »

36 Alternatives à lévaluation des sources Eigenfactor L Eigenfactor de Carl Bergstrom (Dept. Biology Univ. Washington) Scimago Universités espagnoles de Grenade, Extremadure, Carlos III (Madrid) et Alcalá de Henares Scimago Universités espagnoles de Grenade, Extremadure, Carlos III (Madrid) et Alcalá de Henares Eigenfactor L Eigenfactor de Carl Bergstrom (Dept. Biology Univ. Washington) Scimago Universités espagnoles de Grenade, Extremadure, Carlos III (Madrid) et Alcalá de Henares Scimago Universités espagnoles de Grenade, Extremadure, Carlos III (Madrid) et Alcalá de Henares

37 L Eigenfactor de Carl Bergstrom (Dept. Biology Univ. Washington) Classement et Mapping des revues en prenant souche sur le JCR de l ISI Classement et Mapping des revues en prenant souche sur le JCR de l ISI Exécution itérative du Page Rank Exécution itérative du Page Rank Cartographie des axes de recherche, traçabilité des liens Cartographie des axes de recherche, traçabilité des liens Chaînage et passerelles entre disciplines Chaînage et passerelles entre disciplines Classement et Mapping des revues en prenant souche sur le JCR de l ISI Classement et Mapping des revues en prenant souche sur le JCR de l ISI Exécution itérative du Page Rank Exécution itérative du Page Rank Cartographie des axes de recherche, traçabilité des liens Cartographie des axes de recherche, traçabilité des liens Chaînage et passerelles entre disciplines Chaînage et passerelles entre disciplines

38 L Eigenfactor de Carl Bergstrom (Dept. Biology Univ. Washington) Dans les liens subséquents, élargissement à tout type de documents scientifiques (thèses, communications…) Dans les liens subséquents, élargissement à tout type de documents scientifiques (thèses, communications…) Évaluation sur cinq ans Évaluation sur cinq ans Ajustement automatique des moyennes de citations propres à chaque discipline Ajustement automatique des moyennes de citations propres à chaque discipline Sinspire de la distinction Popular Sinspire de la distinction Popular Prestigious du Journal Status de Bollen Prestigious du Journal Status de Bollen Dans les liens subséquents, élargissement à tout type de documents scientifiques (thèses, communications…) Dans les liens subséquents, élargissement à tout type de documents scientifiques (thèses, communications…) Évaluation sur cinq ans Évaluation sur cinq ans Ajustement automatique des moyennes de citations propres à chaque discipline Ajustement automatique des moyennes de citations propres à chaque discipline Sinspire de la distinction Popular Sinspire de la distinction Popular Prestigious du Journal Status de Bollen Prestigious du Journal Status de Bollen

39 Scimago - Scopus Même concept de calcul que l Eigenfactor Même concept de calcul que l Eigenfactor Page Rank appliqué au réservoir défini de la base SCOPUS dElsevier Page Rank appliqué au réservoir défini de la base SCOPUS dElsevier Couverture SCOPUS plus large que le JCR qui sert de souche à l Eigenfactor Couverture SCOPUS plus large que le JCR qui sert de souche à l Eigenfactor Même concept de calcul que l Eigenfactor Même concept de calcul que l Eigenfactor Page Rank appliqué au réservoir défini de la base SCOPUS dElsevier Page Rank appliqué au réservoir défini de la base SCOPUS dElsevier Couverture SCOPUS plus large que le JCR qui sert de souche à l Eigenfactor Couverture SCOPUS plus large que le JCR qui sert de souche à l Eigenfactor

40 Système SCEAS / DBLP Évaluation des articles ou communications Évaluation des articles ou communications Évaluation parallèle des sources Évaluation parallèle des sources Page Rank sur les liens électroniques + citations brutes Page Rank sur les liens électroniques + citations brutes Réservoir DBLP (DataBase systems and Logic Programming ) de lUniv. de Trèves Réservoir DBLP (DataBase systems and Logic Programming ) de lUniv. de Trèves [Allemagne] : essentiellement INFORMATIQUE Évaluation des articles ou communications Évaluation des articles ou communications Évaluation parallèle des sources Évaluation parallèle des sources Page Rank sur les liens électroniques + citations brutes Page Rank sur les liens électroniques + citations brutes Réservoir DBLP (DataBase systems and Logic Programming ) de lUniv. de Trèves Réservoir DBLP (DataBase systems and Logic Programming ) de lUniv. de Trèves [Allemagne] : essentiellement INFORMATIQUE

41 Citation et Accès libre Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres La philosophie de laccès libre na pas la citation pour objectif principal mais de fait, il la facilite La philosophie de laccès libre na pas la citation pour objectif principal mais de fait, il la facilite Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres La philosophie de laccès libre na pas la citation pour objectif principal mais de fait, il la facilite La philosophie de laccès libre na pas la citation pour objectif principal mais de fait, il la facilite

42 Lévaluation administrative Au niveau national: indicateurs de lOSTAu niveau national: indicateurs de lOST Au niveau local: systèmes 3 voletsAu niveau local: systèmes 3 volets Budget + Carrières +Publications (ex.:GRAAL ou INRA) Budget + Carrières +Publications (ex.:GRAAL ou INRA) Au niveau national: indicateurs de lOSTAu niveau national: indicateurs de lOST Au niveau local: systèmes 3 voletsAu niveau local: systèmes 3 volets Budget + Carrières +Publications (ex.:GRAAL ou INRA) Budget + Carrières +Publications (ex.:GRAAL ou INRA)

43 Les 8 Indicateurs de lOST Part de publications scientifiques Indice de spécialisation scientifique Part de citations Indice dimpact relatif Indice dimpact espéré Ratio de citations relatif Indice dactivité par classe de citations Part darticles en co-publication Part de publications scientifiques Indice de spécialisation scientifique Part de citations Indice dimpact relatif Indice dimpact espéré Ratio de citations relatif Indice dactivité par classe de citations Part darticles en co-publication

44 Facteurs dImpact et Axes de Recherche 107 Subject Categories du JCR regroupées en 8 disciplines académiques par lOST 107 Subject Categories du JCR regroupées en 8 disciplines académiques par lOST Les Subject Categories font lobjet dun Facteur dImpact agrégé sur le JCR dont la variation annuelle peut faire varier les politiques de recherche Les Subject Categories font lobjet dun Facteur dImpact agrégé sur le JCR dont la variation annuelle peut faire varier les politiques de recherche 107 Subject Categories du JCR regroupées en 8 disciplines académiques par lOST 107 Subject Categories du JCR regroupées en 8 disciplines académiques par lOST Les Subject Categories font lobjet dun Facteur dImpact agrégé sur le JCR dont la variation annuelle peut faire varier les politiques de recherche Les Subject Categories font lobjet dun Facteur dImpact agrégé sur le JCR dont la variation annuelle peut faire varier les politiques de recherche

45 Pour conclure La citation: un probl è me d é ontologique ? Son ampleur et ses d é rapages nimpliquent-ils pas une action de la communaut é scientifique ? Importance dun travail coop é ratif sur les alternatives La citation: un probl è me d é ontologique ? Son ampleur et ses d é rapages nimpliquent-ils pas une action de la communaut é scientifique ? Importance dun travail coop é ratif sur les alternatives

46 Sources (1) http://isiwebofknowledge.com/ http:// arxiv.org http://citebase.org http://citeseer.ist.psu.edu http://scholar.google.com http://www.f1000biology.com/home / http://isiwebofknowledge.com/ http:// arxiv.org http://citebase.org http://citeseer.ist.psu.edu http://scholar.google.com http://www.f1000biology.com/home /

47 Sources (2) http://www.eigenfactor.org http://scimagojr.com http://www.eigenfactor.org http://scimagojr.com

48 Sources (3) Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102 Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/060 1030v1.pdf Les mêmes :The convergence of digital libraries and the peer-review process 2006 Les mêmes : The convergence of digital libraries and the peer-review process 2006 http://arxiv.org/ftp/cs/papers/0504/0504084.pdf Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102 Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/060 1030v1.pdf Les mêmes :The convergence of digital libraries and the peer-review process 2006 Les mêmes : The convergence of digital libraries and the peer-review process 2006 http://arxiv.org/ftp/cs/papers/0504/0504084.pdf

49 Sources (4) La fièvre de lévaluation de la recherche. Du mauvais usage de faux indicateurs La fièvre de lévaluation de la recherche. Du mauvais usage de faux indicateurs Yves GINGRAS – Mai 2008 UAQAM – QuébecNote de Recherche Yves GINGRAS – Mai 2008 Centre interuniversitaire de recherche sur la science et la technologie UAQAM – Québec http://www.cirst.uqam.ca/Portals/0/docs/ note_rech/2008_05.pdf http://www.cirst.uqam.ca/Portals/0/docs/ note_rech/2008_05.pdf La fièvre de lévaluation de la recherche. Du mauvais usage de faux indicateurs La fièvre de lévaluation de la recherche. Du mauvais usage de faux indicateurs Yves GINGRAS – Mai 2008 UAQAM – QuébecNote de Recherche Yves GINGRAS – Mai 2008 Centre interuniversitaire de recherche sur la science et la technologie UAQAM – Québec http://www.cirst.uqam.ca/Portals/0/docs/ note_rech/2008_05.pdf http://www.cirst.uqam.ca/Portals/0/docs/ note_rech/2008_05.pdf