Contexte de la production et de l’évaluation scientifique Gabriel Gallezot

Plan Usage de l’IST par les chercheurs La communication Scientifique L’évaluation scientifique … vers une appropriation profonde « du numérique »

… Usage de l’information Rechercher: IR/épistémè Types de documents Bases Bibliographiques Banques de données Revues, ouvrages Colloques Site web, page perso, blog Liste de discussion Editeurs, agrégateurs Archives Ouvertes Bibliothèques Usage de l’information Rechercher: IR/épistémè … Les ressources Types de documents Formats de documents Modalités d’accès aux documents

Communication Scientifique (schéma dia suivante) un processus au cœur de la recherche le chemin "traditionnel" qu'emprunte l'IST Montre les types de doc et les statuts des doc Schéma bouleversé par l’accès réseaux prod. numérique les entrepôts numériques --> en terme rapidité et spectre documentaire

Communication scientifique modèle 70’ Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

Contexte de la recherche Cycle de l’information (usage de l’information et production de résultats)‏ Communication scientifique (diffusion des résultats)‏ Acteurs : Pairs Editeurs institutions La question de l’évaluation Cycle de publication (chaîne éditorial)‏

Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, … Auto-évaluation Collègues de labo (évaluation)‏ Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)‏ Comité de rédaction (sélection)‏ Comité scientifique (évaluation)‏ Editeur (évaluation/correction)‏ Lecteur (évaluation)‏

… Publication pour l’évaluation Evaluation quantitative : a posteriori, la bibliométrie À l’origine : Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)‏ Des référentiels : SCI (ISI), JCR (ISI), , OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes… Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, … Des évaluations : AeRES, CNU, Université, … Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

Evaluer l’activité “recherche” ? Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, … Comment ?  un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)  Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)

Quel(s) réfentiel(s) ? -> Examen des sources disponibles comme référent(s) possible(s) des instances d’évaluation Science Citation Index (S.C.I) - 1961 éval. auteurs, Journal Citation Reports (J.C.R.) -1975 éval. revues - cf. portail BU de l’univ. L’agence d’évaluation de la recherche et de l’enseignement supérieur - AeRES : http://www.aeres- evaluation.fr/La-liste-des-revues-scientifiques European Reference Index for the Humanities - ERIH : http://www.esf.org/research-areas/humanities/research-infrastructures-including-erih/erih-initial- lists.html Journal Quality List (JQL) : http://www.harzing.com/jql.htm Scholar Google : http://scholar.google.fr/ Repositories (OpenDOAR, ROAR, …) … autres listes, Bases de Données

Quelle(s) Mesure(s) ?

Facteur d’impact En cliquant sur la valeur vous accéderez a l’explication exacte du calcul de ce facteur. Le facteur d’impact est calculé en effectuant la division du nombre de citations durant l’année de JCR (dans ce cas l’année 2004) d’articles publiés au cours des deux années precedentes, (2002 et 2003) par le nombre total d’articles publiés au cours de ces deux années precedentes. (*) Dans le cas de la revue Pediatrics, en 2004, les articles publiés en 2002 ont été cités 846 fois et ceux publiés en 2003 furent cités 784 fois, ce qui nous donne un total de 1630 citations. La revue Pediatrics publia 255 articles en 2002 et 268 en 2003 ce qui nous donne un total de 523 articles. Pour calculer le facteur d’impact nous divisons le nombre de citations par le nombre d’articles. Ici 1630 divisé par 523 nous donne un impact factor de 3.117. Ceci veut par consequent dire qu’en moyenne, un article publié en 2002 ou 2003 dans la revue Pediatrics a été cité 3.117 fois en 2004. ISI calcule le facteur d’impact d’une revue de la façon suivante: Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes 1630 523 Citations en 2004 d’éléments publiés en 2003 et 2002 Nombre total d’articles publiés en 2003 et 2002 3.117 = Source : ISI thomson

Classement de Shanghai sensibiliser le monde universitaire à son positionnement international (dynamique) 2008 : http://www.arwu.org/rank2008/ARWU2008_A(EN).htm Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …) Pb de nos univ dans la mondialisation: éparpillement , petites tailles, pluridisciplinaires, …

H index : Jorge E. Hirsch (2005) www. pnas. org/cgi/doi/10. 1073/pnas H index : Jorge E. Hirsch (2005) www.pnas.org/cgi/doi/10.1073/pnas.0507655102. Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois G index : Egghe, Leo (2006) http://dx.doi.org/10.1007%2Fs11192-006-0144-7 : un g-index de 10 => 10 papiers dont la somme des citations est au moins de 100 A- index, H-b index , scHolar index, … Démo avec POP ou ScholarIndex http://insitu.lri.fr/~roussel/projects/scholarindex/ h index et variantes

facteur y tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». C’est le produit de « ISI IF and Weighted PageRank »

Quelle(s) Evaluation(s) AeRES : http://www.aeres-evaluation.fr/Presentation-de-la-rubrique ex : « chercheur publiant » http://www.aeres-evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf CNU : http://91.121.210.124:8080/cpcnu/ qualification et… ex : recommandation de chaque section : http://91.121.210.124:8080/cpcnu/sectionsCnu.htm Université : (ex: comité de sélection : http://portail.unice.fr/jahia/page7736.html … toutes vos activités

Appropriation du « numérique » (re)penser le cycle de l’info la communication scientifique l’évaluation de la recherche

eScience un exemple : La recherche « in silico » Dialectique entre la technique , la production de savoir et sa diffusion Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) Gain de productivité ? (bouclage rapide du cycle) Gain de créativité ? (tertiarisation documentaire)

Production scientifique et Compartimentation des savoirs Spécialisation de la R Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc)‏ Il faut : Mieux connecter Mieux partager Ouvrir le spectre documentaire La KDD D’après Swanson (1986)‏

Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

Nouveaux modèles de publication ? L’auto-publication sur web perturbe le modèle traditionnel de la publication Accessibilité (relation auteur/lecteur, hébergements)‏ D’autres visibilités (couverture et calculatoire)‏ D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA)‏ D’autres productions scientifiques (Cf supra)‏ Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, d’échange, …)‏ Modèle alternatif pour la publication scientifique, dynamique non-marchande Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

Retour sur la communication scientifique

Reprend les éléments de communication ... … les transforme ou en propose d'autres Enregistrement public des connaissances Société savante Coût de revient min Echanges personnels, communautaires, publiques Diffusion mondiale multilatérale publique En ref à 1963 1660 1665 Effet des non déposants ? Possibilité d'évaluation des institutions cf IRRA de RAE Priorité à l'article => intérêt Sc. du contenu Dépot de pré-print et post-print Dépot des adjuvants de la recherche Recherche sur des champs et full text Mémoire scientifique publique arXiv OAI-PMH Eprint.org BOAI Protocole … 1970 1989

IF, Shanghai, h index et quoi d’autre ? Des spécificités Ex. SHS : Importance Revues/Ouvrages ? Internationnalisation des disciplines ? Des pistes : Système d’information (SI) local visibilité internationale des références “hors marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)

Le « scholar web » “ISI” factor vs. “web” factor Référencement établi vs. visibilité usage/accès aux BdD commerciales vs. usage/accès généralisé/libre Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ... Publier autrement Déjà à l’œuvre : CiteBase, Citeseer, Scholar google, F1000… (dia suivante) De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place) Que reproche-t-on au Peer-reviewing ?  les experts sont anonymes ce qui favorise leur désengagement : ils s'y mettent au dernier moment, ils ne respectent pas forcément la "checklist" d'évaluation (quand elle existe)  les femmes acceptent trois fois plus de manuscrits que les hommes et/mais les femmes sont nettement minoritaires dans les comités d'évaluation  les pairs en question sont souvent moins "experts" sur le sujet que l'auteur de l'article  des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes ou auteurs au profit d'autres seniors (et je ne vous parle même pas des mesquineries et autres animosités personnelles qui - comme dans tout groupe humain - se font évidemment jour, tant il est vrai que "l'anonymat" des articles évalués n'empêche souvent en rien d'identifier leur auteur.)  le processus d'évaluation est looooooong, très long (entre 6 mois et 2 ans, parfois plus)  il est également coûteux (frais d'édition, de secrétariat, etc ...)  il ne joue pas son rôle de filtre (la plupart des articles refusés finissent par être publiés par d'autres revues, et pas nécessairement moins "prestigieuses")  il est inefficace qualitativement (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs volontairement introduites dans des articles bidonnés pour les besoins du test)

Autres indicateurs Citebase, 1999, rapport téléchargements/citations Citeseer, Associations des refs, commentaires et votes F1000, 2002, « groupes qualités » IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories Google scholar 2004 Enquête SHS/CNRS (Sciences de l’Homme et de la Société, n 69, mai 2004) … indicateurs émergents

Ce qui se met en place dans nos institutions (Univ et EPST) Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités) Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) Ex. sur l’INRA : ProdInra Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment) Pour l’univ : ses propres indicateurs Toutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD disciplinaires en France, Connectivité avec d’autres BdD (HAL, …)

ISI, OST, SI local, CCSD, schoolar google, … Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0 CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … ISI, OST, BdD fr, commerciales ISI, OST, SI local, CCSD, schoolar google, … Plateforme blogs Scientifiques Trackback Web 2.0 blog, social bookmarking, Social Search, … Publication archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Ref biblio ? bases biblio par citation par Hit par note, avis Et par …. Xmetrie

Quelques refs pour poursuivre S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271 Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com

Vos questions