Contexte de la production et de l’évaluation scientifique Avril-2008 Gabriel Gallezot

Plan Usage de l’IST par les chercheurs La communication Scientifique L’évaluation scientifique … vers une appropriation profonde « du numérique »

… Usage de l’information Rechercher: IR/épistémè Types de documents Bases Bibliographiques Banques de données Revues, ouvrages Colloques Site web, page perso, blog Liste de discussion Editeurs, agrégateurs Archives Ouvertes Bibliothèques Usage de l’information Rechercher: IR/épistémè … Les ressources Types de documents Formats de documents Modalités d’accès aux documents

Communication Scientifique (schéma dia suivante) un processus au cœur de la recherche le chemin "traditionnel" qu'emprunte l'IST Montre les types de doc et les statuts des doc Schéma bouleversé par l’accès réseaux prod. numérique les entrepôts numériques --> en terme rapidité et spectre documentaire

Communication scientifique modèle 70’ Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

Contexte de la recherche Cycle de l’information (usage de l’information et production de résultats)‏ Communication scientifique (diffusion des résultats)‏ Acteurs : Pairs Editeurs Cycle de publication (chaîne éditorial)‏ La question de l’évaluation

Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, … Auto-évaluation Collègues de labo (évaluation)‏ Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)‏ Comité de rédaction (sélection)‏ Comité scientifique (évaluation)‏ Editeur (évaluation/correction)‏ Lecteur (évaluation)‏

… Publication pour l’évaluation Evaluation quantitative : a posteriori, la bibliométrie Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)‏ STM/SHS : JCR et JCR-SS. OST (bases de l’INIST et WoS) Classement de Shanghai (WoS) Instances institutionnelles (CNU, Université, ministère, …) Et … d’autres formes d’évaluation (enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

Evaluer l’activité “recherche” ? Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., incitations liées à la com. sc. Comment ?  Une réponse : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)  Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)

Quel(s) réfentiel(s) ? Bases de données françaises > question de l’indexation de “toutes” les revues. Diversités des instances “évaluatrices” (CNU, Université, OST, EPST, ANR, PCRD …) … d’autres formes d’évaluation ponctuelles ou en émergences : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar… Examen des critères d’évaluation Examen des sources disponibles comme référent(s) possible(s) des instances d’évaluation

l’Institute for Scientific Information (ISI) Garfield : le Science Citation Index (SCI) et le Journal Citation Report (JCR et JCR-SS) 1960, Science Citation Index (SCI) pour l’évaluation des auteurs, 1975 , Journal Citation Reports (JCR) pour celle des revues . en 2004, env. 6000 pour le JCR et 1700 JCR-SS => seulement 8000 revues indexées > où sont les 20 000 (env.) autres revues ? Pb de réfentiel : articles uniquement, indexation limitée de revues Pb de calcul : 1er auteur jusqu’en 1997, impact factor sur 2 ans seulement, périodicité des revues, existence de 5 ans pour les nouvelles revues L’ISI à créer un « espace cooptatif quasiment tautologique » Source : Manuel Durand Barthez

Facteur d’impact En cliquant sur la valeur vous accéderez a l’explication exacte du calcul de ce facteur. Le facteur d’impact est calculé en effectuant la division du nombre de citations durant l’année de JCR (dans ce cas l’année 2004) d’articles publiés au cours des deux années precedentes, (2002 et 2003) par le nombre total d’articles publiés au cours de ces deux années precedentes. (*) Dans le cas de la revue Pediatrics, en 2004, les articles publiés en 2002 ont été cités 846 fois et ceux publiés en 2003 furent cités 784 fois, ce qui nous donne un total de 1630 citations. La revue Pediatrics publia 255 articles en 2002 et 268 en 2003 ce qui nous donne un total de 523 articles. Pour calculer le facteur d’impact nous divisons le nombre de citations par le nombre d’articles. Ici 1630 divisé par 523 nous donne un impact factor de 3.117. Ceci veut par consequent dire qu’en moyenne, un article publié en 2002 ou 2003 dans la revue Pediatrics a été cité 3.117 fois en 2004. ISI calcule le facteur d’impact d’une revue de la façon suivante: Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes 1630 523 Citations en 2004 d’éléments publiés en 2003 et 2002 Nombre total d’articles publiés en 2003 et 2002 3.117 = Source : ISI thomson

Classement de Shanghai sensibiliser le monde universitaire à son positionnement international (dynamique) Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) Ne tient pas compte de la taille de l’institution Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …)

Les critères de l’OST (1) Observatoire des Sciences et des Techniques OST: un GIP (1990), mandaté par la DGES pour “fournir annuellement à chacun des Ets d'enseignement supérieur des indicateurs décrivant sa production scientifique et technologique [et ainsi] de connaître, sur une base quantitative, sa position dans l'espace français, européen et mondial” Expérimentation déjà menée dans les Sciences de la matière et de la vie, poursuite en 2007 pour tous les Ets. Tests en 2007 pour les SHS 3 axes d’indicateurs : la production scientifique mesurée par les publications la production technologique mesurée par les brevets la participation aux programmes européens de R&D

Les critères de l’OST (2) Sources des données : recherche des références dans le Web Of Science (WOS) de Thomson Scientific : “intègre les données issues du dépouillement intégral d’environ 7 000 journaux sélectionnés sur la base de leur fonctionnement éditorial et de leur visibilité internationale.” La mesure de la production scientifique mobilise plusieurs indicateurs : Des indicateurs de volumes, directement liés à la taille, Des indicateurs de caractérisation, indépendants de la taille. La mise à jour de la base s’effectue annuellement. Le périmètre est le suivant : Repérage effectué par laboratoire reconnu dans le contrat quadriennal, Repérage effectué « en ligne » entre le 01/03/2007 et le 15/04/2007 Repérage des publications sur 2003/2004/2005. La pertinence de l’exploitation de la base de données des publications pour les domaines des SHS sera testée au cours de l’année 2007

http://www.cwts.nl/hm/bibl_rnk_wrld_univ_full.html

Appropriation du « numérique » (re)penser le cycle de l’info la communication scientifique l’évaluation de la recherche

eScience un exemple : La recherche « in silico » Dialectique entre la technique , la production de savoir et sa diffusion Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) Gain de productivité ? (bouclage rapide du cycle) Gain de créativité ? (tertiarisation documentaire)

Production scientifique et Compartimentation des savoirs Spécialisation de la R Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc)‏ Il faut : Mieux connecter Mieux partager Ouvrir le spectre documentaire La KDD D’après Swanson (1986)‏

Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

Nouveaux modèles de publication ? L’auto-publication sur web perturbe le modèle traditionnel de la publication Accessibilité (relation auteur/lecteur, hébergements)‏ D’autres visibilités (couverture et calculatoire)‏ D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA)‏ D’autres productions scientifiques (Cf supra)‏ Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, d’échange, …)‏ Modèle alternatif pour la publication scientifique, dynamique non-marchande Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

Retour sur la communication scientifique

Reprend les éléments de communication ... … les transforme ou en propose d'autres Enregistrement public des connaissances Société savante Coût de revient min Echanges personnels, communautaires, publiques Diffusion mondiale multilatérale publique En ref à 1963 1660 1665 Effet des non déposants ? Possibilité d'évaluation des institutions cf IRRA de RAE Priorité à l'article => intérêt Sc. du contenu Dépot de pré-print et post-print Dépot des adjuvants de la recherche Recherche sur des champs et full text Mémoire scientifique publique arXiv OAI-PMH Eprint.org BOAI Protocole … 1970 1989

ISI, Shanghai, OST et quoi d’autres ? Des spécificités Ex. SHS : Importance Revues/Ouvrages ? Internationnalisation des disciplines ? Des pistes : Système d’information (SI) local visibilité internationale des références “hors marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)

Le scholar web Impact factor vs. “web” factor Référencement établi vs. visibilité usage/accès aux BdD commerciales vs. usage/accès généralisé/libre Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ... Publier autrement Déjà à l’œuvre : CiteBase, Citeseer Scholar google, F1000… (dia suivante) De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs aux commentaires de la communautés (avant, après, à la place) Que reproche-t-on au Peer-reviewing ?  les experts sont anonymes ce qui favorise leur désengagement : ils s'y mettent au dernier moment, ils ne respectent pas forcément la "checklist" d'évaluation (quand elle existe)  les femmes acceptent trois fois plus de manuscrits que les hommes et/mais les femmes sont nettement minoritaires dans les comités d'évaluation  les pairs en question sont souvent moins "experts" sur le sujet que l'auteur de l'article  des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes ou auteurs au profit d'autres seniors (et je ne vous parle même pas des mesquineries et autres animosités personnelles qui - comme dans tout groupe humain - se font évidemment jour, tant il est vrai que "l'anonymat" des articles évalués n'empêche souvent en rien d'identifier leur auteur.)  le processus d'évaluation est looooooong, très long (entre 6 mois et 2 ans, parfois plus)  il est également coûteux (frais d'édition, de secrétariat, etc ...)  il ne joue pas son rôle de filtre (la plupart des articles refusés finissent par être publiés par d'autres revues, et pas nécessairement moins "prestigieuses")  il est inefficace qualitativement (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs volontairement introduites dans des articles bidonnés pour les besoins du test)

Autres facteurs Citebase, 1999, rapport téléchargements/citations Citeseer, Associations des refs, commentaires et votes F1000, 2002, « groupes qualités » IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories Google scholar 2004 Facteur H (Hirsch, 2005) : point de rencontre en le nbr de publi et le nbr de fois où elles sont citées Facteur Y (Bollen, 2006), Journal status, Weighted pagerank, author rank : mesures de « réseaux » , de poids, de centralité …

Ce qui se met en place dans nos institutions (Univ et EPST) Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités) Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) Ex. sur l’INRA : ProdInra Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment) Pour l’univ : ses propres indicateurs Toutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD disciplinaires en France, Connectivité avec d’autres BdD (HAL, …)

ISI, OST, SI local, CCSD, schoolar google, … Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0 CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … ISI, OST, BdD fr, commerciales ISI, OST, SI local, CCSD, schoolar google, … Plateforme blogs Scientifiques Trackback Web 2.0 blog, social bookmarking, Social Search, … Publication archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Ref biblio ? bases biblio par citation par Hit par note, avis Et par …. Xmetrie

Pour engager la discussion La question globale de l’évaluation de la recherche sur le court terme ? La qualité de base ? (ISI, AO > pb de libellé du labo, de l’univ, de l’auteur… Quasi monopole de l’ISI (SCI, JSR), centré sur env 7000 revues Inventions d’autres indicateurs ?

Quelques refs pour poursuivre S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271 Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com

Vos questions