Contexte de la production et de lévaluation scientifique Gabriel Gallezot Avignon

Plan Usage de lIST par les chercheurs La communication Scientifique Lévaluation scientifique … appropriation « du numérique » et indicateurs émergents

Types de documents Formats de documents Modalités daccès aux documents … Usage de linformation Rechercher: IR/épistémè Bases Bibliographiques Banques de données Revues, ouvrages Colloques Site web, page perso, blog Liste de discussion Editeurs, agrégateurs Archives Ouvertes Bibliothèques Les ressources

Communication Scientifique (schéma dia suivante) un processus au cœur de la recherche le chemin "traditionnel" qu'emprunte l'IST Montre les types de doc et les statuts des doc Schéma bouleversé par laccès réseaux prod. numérique les entrepôts numériques --> en terme rapidité et spectre documentaire

Communication scientifique modèle 70 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

Ex. « Code documentaire » pour lévaluation ACL : Articles dans des revues internationales ou nationales avec comité de lecture répertoriés dans les bases de données internationales ACLN : Articles dans des revues avec comité de lecture non répertoriés dans des bases de données internationales. ASCL : Articles dans des revues sans comité de lecture, INV : Conférences invité. ACT : Communications avec actes dans un congrès international ou national COM : Communications sans actes dans un congrès international ou national AFF : Communications par affiche dans un congrès international ou national OS : Ouvrages scientifiques (ou chapitres de ces ouvrages) OV : Ouvrages de vulgarisation (ou chapitres de ces ouvrages) DO : Directions douvrages AP : Autres publications TH : Thèses soutenues Valorisation et brevets : contrats de recherche, les partenariats industriels,..

Cycle de linformation (usage de linformation et production de résultats) Cycle de publication (chaîne éditoriale) Contexte de la recherche Communication scientifique (diffusion des résultats) Acteurs : Pairs Editeurs institutions La question de lévaluation

Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, … Auto-évaluation Collègues de labo (évaluation) Direction de N° (guest éditor) ou douvrage (sélection/évaluation) Comité de rédaction (sélection) Comité scientifique (évaluation) Editeur (évaluation/correction) Lecteur (évaluation)

… Publication pour lévaluation Evaluation quantitative : a posteriori, la bibliométrie À lorigine : Garfield et le Science Citation Index (SCI, 1961) de lInstitute for Scientific Information (ISI), puis JCR (1975) Des référentiels : SCI (ISI), JCR (ISI), OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes… Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, … Des évaluations : AeRES, CNU, Université, … Et … dautres formes dévaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…voir les diapos suivantes

Pour qui ? : > le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, … Comment ? Quels référentiels ? Quels indicateurs ? Qui ? Quoi ? : les chercheurs, les établissements, les revues, les programmes,... Par Qui ? : Ost, Aeres, Cnu, Univ... un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations reçues par dautres publications (bibliométrie) Un modèle dominant (STM) et quasi monopole de lanalyse et du référentiel (ISI) Evaluer lactivité recherche ?

Quel(s) réfentiel(s) ? -> Examen des sources disponibles comme référentiel(s) possible(s) pour lévaluation... WoS (ISI), Scopus (Elsevier), Google Scholar,... et après ??? Bases payantes : Isi-Wos (S.C.I, J.C.R.), Scopus Bases « invisibles » : interne institution, programme,... Bases « ouvertes » : Pubmed, Common Chemistry,... Moteurs de recherche : Scholar, Scirus, Scitopia,... AO & co : ArXiv, CiteSeer, institionnelle, revues.org, Cairn, Persée,... Listes et références : Aeres, ERIH, JQL,...F1000 Outils dinterfaçage / Mashup : Eigenfactor, Scimago, SCEAS, Authoratory, Scival, Bibapp... Web : site labo, perso, programme,... Web2.0 : Connotea, 2collab, Zotero, bibsonomy Postegenomic, hypothèse,...

Quelle(s) Mesure(s) ?... pour l'essentiel, la quantification est utilisée comme indicateur de qualité « C'est une course, un match à la réputation, et dans ce contexte, la recherche c'est sexy. La réputation, malheureusement, repose sur la recherche et la recherche attire le meilleur talent. » « La meilleure façon de pousser les classements vers le haut, c'est de tuer les sciences humaines. » Il est largement accepté qu'une grande lacune des classements, comme des différentes bases bibliométriques – tient à leur incapacité à traduire avec exactitude et de manière adaptée la manière dont les différentes disciplines produisent et diffusent les connaissances, et de plus en plus pour rendre compte des retombées au-delà du périmètre académique.... malgré leur durée de vie relativement courte, est quil existe déjà des fortes preuves que les classements ont déjà un effet profond sur la prise de décisions et les comportements dans le monde de la recherche ce qui entraînera des conséquences pour la structure des systèmes et lorganisation des institutions. Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT OCCASIONNEL No. 15

Système de classement Indicateurs Pondération Classement Académique des Universités Mondiales – SJT « SHANGAI » Qualité de lenseignement Qualité des membres du corps professoral Nombre de Prix Nobel / Médailles Fields Nombre de chercheurs les plus cités (« HiCi ») Production de la Recherche Nombre dArticles dans « Nature/Science » Nombre dArticles dans le « Citation Index » Taille de lInstitution 10% 20% 10% Classement Mondial des Universités de Times QS « THE- QS » Évaluation par les Pairs Employabilité des Diplômés Qualité de lenseignement / rapport élèves-enseignants Étudiants Internationaux Personnel enseignant international Qualité de la Recherche / Citations par Faculté 40% 10% 20% 5% 20% Classement des Performances des Articles Scientifiques pour Universités de Recherche « Taiwan » Productivité de la Recherche Nombre d'Articles dans les 11 dernières années Nombre d'Articles dans lannée en cours. Impact de la Recherche Nombre de Citations dans les 11 dernières années Nombre de Citations dans les 2 dernières années Nombre moyen de Citations dans les 11 dernières années Excellence de la Recherche Classement HiCi des 2 dernières années Nombre darticles HiCi dans les 10 dernières années Nombre dArticles dans des Revues à fort facteur dimpact Nombre de disciplines dans lesquelles lUniversité fait preuve dExcellence 10% 20% 10% Exemples d'indicateurs mondiaux (Etablissements) Une comparaison de ce que les différents classements mesurent Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT OCCASIONNEL No. 15

Les 8 indicateurs de lOST Part de publications scientifiques Indice de spécialisation scientifique Part de citations Indice dimpact relatif Indice dimpact espéré Ratio de citations relatif Indice dactivité par classe de citations Part darticles en co-publication Ex IPERU : Programme 150 de la LOLF « formations supérieurs et recherches universitaire Indicateurs « part mondiale de publications » et « indices dimpact à 2 ans » par discipline, pour les sciences de la matière et sciences de la nature et de la vie Source :

Classement de Shanghai sensibiliser le monde universitaire à son positionnement international (dynamique) 200X : Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) Pb multiples liés à laffiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …) Pb de nos univ dans la mondialisation: éparpillement, petites tailles, pluridisciplinaires, …

« Shangai » quelques critères La qualité de l'enseignement (10% de l'évaluation) Le critère « Alumni » : ce critère prend en compte le nombre de prix Nobel (hors littérature et paix) et de médailles Fields reçues par les anciens élèves ayant validé un bachelor, un master ou un doctorat (les distinctions les plus récentes valant plus de points). La qualité de l'établissement (40% de l'évaluation) Le critère « Award » : ce critère est lié au nombre de prix Nobel (toujours hors littérature et paix) et de médailles Fields obtenus cette fois-ci par les chercheurs (une fois de plus le poids des chercheurs du début du siècle est moins important que les chercheurs en poste). Le critère « HiCi » : le deuxième élément utilisé pour mesurer la qualité de l'établissement est le nombre de chercheurs les plus cités dans leurs disciplines. Le volume de publications scientifiques (40% de l'évaluation) Le critère « N&S » : ce critère classant prend en compte les articles publiés dans les revues scientifiques « Nature » et « Science » Le critère « PUB » : il comptabilise les articles indexés dans le « Science Citation Index », et le « Arts & Humanities Citation Index ». La taille de l'établissement (10% de l'évaluation) Source :

Indicateurs utilisés pour évaluer la recherche Système de classement (pays) Total des financements (somme dargent)Slovaquie Financements par université (somme dargent)Autriche, Allemagne, Italie Financements par université (nombre absolu)Italie Projets de recherche financés par lUnion Européen (UE) Italie Participation à des programmes internationaux de recherche Pologne Nombre de publicationsSuède Publications par chercheurAllemagne, Slovaquie, Suisse Citations par universitéRoyaume-Uni Citations par publicationAllemagne, Slovaquie, Suisse Nombre de publications internationalesPologne Pourcentage darticles cités dans les deux premières années suivant leur publication Suède Nombre de publications avec 5 citations ou plusSlovaquie Pourcentage darticles classés dans les premier 5% des articles les plus cités (HiCi) Suède Nombre de brevets (nombre absolu)Allemagne Brevets par universitéAllemagne Rapport détudiants chercheurs de troisième cycleRoyaume-Uni Qualité de la rechercheAllemagne, Royaume-Uni Réputation de la rechercheAutriche, Allemagne Types d'indicateurs Nationaux pour lévaluation de la recherche Rapport Unesco 2009, Ellen Hazelkorn, RAPPORT OCCASIONNEL No. 15

Facteur dimpact ISI calcule le facteur dimpact dune revue de la façon suivante: Le nombre total de citations faites en 2004 darticles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total darticles publiés au cours des deux années précédentes Citations en 2004 déléments publiés en 2003 et 2002 Nombre total darticles publiés en 2003 et = Source : ISI thomson

h index et variantes H index : Jorge E. Hirsch (2005) Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois G index : Egghe, Leo (2006) : un g- index de 10 => 10 papiers dont la somme des citations est au moins de A- index, H-b index, scHolar index, … Démo avec POP ou ScholarIndex

facteur y tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». Cest le produit de « ISI IF and Weighted PageRank »

Êtes-vous « publiant » ? selon lAERES (doc 2007) Lactivité dune unité de recherche fait lobjet dune appréciation qualitative, fondée principalement sur lévaluation par les pairs, complétée par un certain nombre dindicateurs aussi objectifs que possible. A lestimation globale de la qualité de la production scientifique et du rayonnement dun laboratoire, sajoute la prise en considération de lorganisation et de la répartition des travaux entre ses membres. Lun des indicateurs est une estimation de la proportion des chercheurs et enseignants-chercheurs "publiants". Peut-être de nouveaux critères, selon les recommandations de lAcademie des Sciences au MESR

CNU Voir site CP- CNU : qualification et… recommandation de chaque section :

Principales Recommandations pour Lévaluation individuelle des chercheurs et des enseignants-chercheurs en sciences exactes et expérimentales (Rapport Academie des Sciences du 8 juillet 2009 au MESR) Pour une déontologie incontestable 1 -Assurer la qualité des évaluateurs à partir de pré-requis définis par l'AERES 2 -Imposer une déclaration obligatoire des conflits d'intérêt directs et indirects, signée par les évaluateurs, et remplacement au sein du comité si nécessaire 3 -Limiter la durée des mandats à trois ans avec rotation annuelle par tiers pour dissocier les lobbies Évaluation de lactivité de recherche 4 -Réaffirmer la valeur primordiale de l'évaluation directe des travaux scientifiques à partir des publications originales et éventuellement dauditions

...suite 5 -Encadrer la bibliométrie en s'assurant quelle soit utilisée de façon rigoureuse, en évitant tous les biais trop souvent négligés, en adaptant les indicateurs selon les disciplines, et en lintégrant à lévaluation qualitative. Encourager le développement dune recherche critique de nouveaux indicateurs 6 -Donner la place qu'elle mérite à la recherche appliquée pour ceux qui s'y consacrent 7 -Prendre en considération les critères objectifs de notoriété scientifique nationale et internationale Évaluation de lactivité denseignement 8 -Etablir une grille d'évaluation de l'enseignement en donnant une large place à lappréciation des étudiants 9 -Intégrer des critères objectifs tels que le contenu et loriginalité de lenseignement ou la production douvrages pédagogiques Évaluation des charges dintérêt collectif 10 -Prendre en compte les charges dintérêt collectif, plus particulièrement celles impliquant des responsabilités importantes

Autres mesures importantes 11 -Réduire le nombre des évaluations au strict nécessaire, en distinguant les évaluations approfondies (recrutements et autres étapes-clés de la carrière), des évaluations de suivi 12 -Procéder aux recrutements en deux étapes : admissibilité sur dossier, admission après audition et examen approfondis 13 -Toute évaluation ne doit être entreprise que si elle peut conduire à des conséquences significatives pour lintéressé. Créer des structures de ressources humaines en vue dune aide à une évolution de la carrière des personnels en difficulté 14 -Bien mettre en perspective le rôle de lévaluation nationale (essentielle pour lactivité de recherche) et de lévaluation locale (la mieux placée pour lévaluation de lenseignement et celle des charges dintérêt collectif) en veillant néanmoins à ce que les structures locales dévaluation incluent un pourcentage suffisant dexperts extérieurs....suite

Rapport de LInria Les indicateurs sont des instruments de mesure importants mais qui doivent être utilisés de manière éclairée en respectant des règles de base : Les indicateurs actuels sont essentiellement des facteurs d'impact ce qui n'est pas synonyme de qualité. Il faut simplement s'attacher aux ordres de grandeur des indicateurs car même l'utilisation de sources diverses ne permet pas d'obtenir une grande précision. Il est nécessaire de corriger les indicateurs par l'avis d'experts. Il est nécessaire d'utiliser plusieurs indicateurs. Il est nécessaire de recouper des sources diverses pour obtenir une information pertinente.

Appropriation du « numérique » (re)penser le cycle de linfo la communication scientifique lévaluation de la recherche

eScience Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) Gain de productivité ? (bouclage rapide du cycle) Gain de créativité ? (tertiarisation documentaire)

Production scientifique et Compartimentation des savoirs...vers linterdisplinarité Daprès Swanson (1986) Spécialisation de la R Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc) Il faut : Mieux connecter Mieux partager Ouvrir le spectre documentaire La KDD

Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

Retour sur la communication scientifique

Indicateurs émergents ? IF, Shanghai, h index et quoi dautre ? >Des spécificités Ex. SHS : Importance Revues/Ouvrages ? Internationnalisation des disciplines ? >Des pistes (les dia suivantes) : Système dinformation (SI) local Interfaçage / Mashup visibilité internationale des références hors marché de linformation : le scholar web (AO, outils spécialisés,…)

Ce qui se met en place dans nos institutions (Univ et EPST) Système dInformation (SI) local (global ?) imposé par la LOLF (indicateurs dactivités) Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) Ex. sur lINRA : ProdInra Connexions des entrepôts dinformations nationaux et locaux (AO institutionelles notamment) Pour luniv : ses propres indicateurs au regard de ceux proposés par Ost - IPERU Toutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD disciplinaires en France, connectivité avec dautres BdD (HAL, …) (Cf dia 35 - IRRA/RAE en Uk)dia 35

Interfaçage / Mashup >> des outils de croissement de référentiels, pour mesures ou visualisation différentes. SCEAS System (DBLP) SCImago : ( Scopus - Elsevier) Eigenfactor : (JCR) Authoratory : (Pubmed) Scival : (Elsevier)

Le « scholar web » ISI factor vs. web factor Référencement établi vs. visibilité usage/accès aux BdD commerciales vs. usage/accès généralisé/libre Evaluation maîtrisée par une méthode et une entreprise vs. une multitude dévaluations, méthodes, projets,... Publier autrement Déjà à lœuvre : CiteBase, Citeseer, Scholar google, webometric, clickstream, F1000, enquête… (dia suivante) De lOpen Peer Review au Peer commentary : de la levée de lanonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place)

Autres indicateurs Citebase, 1999, rapport téléchargements/citations Citeseer, Associations des refs, commentaires et votes F1000, 2002, « groupes qualités » IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories : Google scholar 2004, Enquête SHS/CNRS (Sciences de lHomme et de la Société, n 69, mai 2004) Ranking web ( CSIC) principe du Clickstream (cf. dia suivante)dia suivante

Clickstream

Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes dévaluation de la recherche (y compris selon le principe de citation), actuellement pas beaucoup danticipation (dautre lieux de publication, dautres lieux de citations, etc...) Nouveaux modes dévaluation de la recherche ? En guise de conclusion

Quelques refs pour poursuivre S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 Nov Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) Evaluation et validation de linfo sur Internet : Et les liens :

Vos questions