La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Contexte de la production et de lévaluation scientifique Avril-2008 Gabriel Gallezot.

Présentations similaires


Présentation au sujet: "Contexte de la production et de lévaluation scientifique Avril-2008 Gabriel Gallezot."— Transcription de la présentation:

1 Contexte de la production et de lévaluation scientifique Avril-2008 Gabriel Gallezot

2 Plan Usage de lIST par les chercheurs La communication Scientifique Lévaluation scientifique … vers une appropriation profonde « du numérique »

3 Types de documents Formats de documents Modalités daccès aux documents … Usage de linformation Rechercher: IR/épistémè Bases Bibliographiques Banques de données Revues, ouvrages Colloques Site web, page perso, blog Liste de discussion Editeurs, agrégateurs Archives Ouvertes Bibliothèques Les ressources

4 Communication Scientifique (schéma dia suivante) un processus au cœur de la recherche le chemin "traditionnel" qu'emprunte l'IST Montre les types de doc et les statuts des doc Schéma bouleversé par laccès réseaux prod. numérique les entrepôts numériques --> en terme rapidité et spectre documentaire

5 Communication scientifique modèle 70 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

6 Cycle de linformation (usage de linformation et production de résultats) Cycle de publication (chaîne éditorial) Contexte de la recherche Communication scientifique (diffusion des résultats) Acteurs : Pairs Editeurs La question de lévaluation

7 Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, … Auto-évaluation Collègues de labo (évaluation) Direction de N° (guest éditor) ou douvrage (sélection/évaluation) Comité de rédaction (sélection) Comité scientifique (évaluation) Editeur (évaluation/correction) Lecteur (évaluation)

8 … Publication pour lévaluation Evaluation quantitative : a posteriori, la bibliométrie Garfield et le Science Citation Index (SCI) de lInstitute for Scientific Information (ISI) STM/SHS : JCR et JCR-SS. OST (bases de lINIST et WoS) Classement de Shanghai (WoS) Instances institutionnelles (CNU, Université, ministère, …) Et … dautres formes dévaluation (enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

9 Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., incitations liées à la com. sc. Comment ? Une réponse : publication (article de revue) et valeur de cette publi. par la mesure des citations reçues par dautres publications (bibliométrie) Un modèle dominant (STM) et quasi monopole de lanalyse (ISI) Evaluer lactivité recherche ?

10 Quel(s) réfentiel(s) ? Bases de données françaises > question de lindexation de toutes les revues. Diversités des instances évaluatrices (CNU, Université, OST, EPST, ANR, PCRD …) … dautres formes dévaluation ponctuelles ou en émergences : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar… Examen des critères dévaluation Examen des sources disponibles comme référent(s) possible(s) des instances dévaluation

11 lInstitute for Scientific Information (ISI) Garfield : le Science Citation Index (SCI) et le Journal Citation Report (JCR et JCR-SS) 1960, Science Citation Index (SCI) pour lévaluation des auteurs, 1975, Journal Citation Reports (JCR) pour celle des revues. en 2004, env pour le JCR et 1700 JCR-SS => seulement 8000 revues indexées > où sont les (env.) autres revues ? Pb de réfentiel : articles uniquement, indexation limitée de revues Pb de calcul : 1er auteur jusquen 1997, impact factor sur 2 ans seulement, périodicité des revues, existence de 5 ans pour les nouvelles revues LISI à créer un « espace cooptatif quasiment tautologique » Source : Manuel Durand Barthez

12 Facteur dimpact ISI calcule le facteur dimpact dune revue de la façon suivante: Le nombre total de citations faites en 2004 darticles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total darticles publiés au cours des deux années précédentes Citations en 2004 déléments publiés en 2003 et 2002 Nombre total darticles publiés en 2003 et = Source : ISI thomson

13 Classement de Shanghai sensibiliser le monde universitaire à son positionnement international (dynamique) Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) Ne tient pas compte de la taille de linstitution Pb multiples liés à laffiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …)

14 Les critères de lOST (1) Observatoire des Sciences et des Techniques OST: un GIP (1990), mandaté par la DGES pour fournir annuellement à chacun des Ets d'enseignement supérieur des indicateurs décrivant sa production scientifique et technologique [et ainsi] de connaître, sur une base quantitative, sa position dans l'espace français, européen et mondial Expérimentation déjà menée dans les Sciences de la matière et de la vie, poursuite en 2007 pour tous les Ets. Tests en 2007 pour les SHS 3 axes dindicateurs : la production scientifique mesurée par les publications la production technologique mesurée par les brevets la participation aux programmes européens de R&D

15 Sources des données : recherche des références dans le Web Of Science (WOS) de Thomson Scientific : intègre les données issues du dépouillement intégral denviron journaux sélectionnés sur la base de leur fonctionnement éditorial et de leur visibilité internationale. La mesure de la production scientifique mobilise plusieurs indicateurs : Des indicateurs de volumes, directement liés à la taille, Des indicateurs de caractérisation, indépendants de la taille. La mise à jour de la base seffectue annuellement. Le périmètre est le suivant : Repérage effectué par laboratoire reconnu dans le contrat quadriennal, Repérage effectué « en ligne » entre le 01/03/2007 et le 15/04/2007 Repérage des publications sur 2003/2004/2005. La pertinence de lexploitation de la base de données des publications pour les domaines des SHS sera testée au cours de lannée 2007 Les critères de lOST (2)

16

17 Appropriation du « numérique » (re)penser le cycle de linfo la communication scientifique lévaluation de la recherche

18 eScience un exemple : La recherche « in silico » Dialectique entre la technique, la production de savoir et sa diffusion Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) Gain de productivité ? (bouclage rapide du cycle) Gain de créativité ? (tertiarisation documentaire)

19 Production scientifique et Compartimentation des savoirs Daprès Swanson (1986) Spécialisation de la R Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc) Il faut : Mieux connecter Mieux partager Ouvrir le spectre documentaire La KDD

20 Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

21 Nouveaux modèles de publication ? Lauto-publication sur web perturbe le modèle traditionnel de la publication Accessibilité (relation auteur/lecteur, hébergements) Dautres visibilités (couverture et calculatoire) Dautres formes dévaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA) Dautres productions scientifiques (Cf supra) Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, déchange, …) Modèle alternatif pour la publication scientifique, dynamique non-marchande Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

22 Retour sur la communication scientifique

23 Enregistrement public des connaissances Société savante Coût de revient min Echanges personnels, communautaires, publiques Diffusion mondiale multilatérale publique Effet des non déposants ? Possibilité d'évaluation des institutions cf IRRA de RAE Priorité à l'article => intérêt Sc. du contenu Dépot de pré-print et post-print Dépot des adjuvants de la recherche Recherche sur des champs et full text Mémoire scientifique publique En ref à 1963 arXiv OAI-PMH Eprint.org BOAI Protocole … … les transforme ou en propose d'autres Reprend les éléments de communication...

24 ISI, Shanghai, OST et quoi dautres ? Des spécificités Ex. SHS : Importance Revues/Ouvrages ? Internationnalisation des disciplines ? Des pistes : Système dinformation (SI) local visibilité internationale des références hors marché de linformation : le scholar web ( AO, outils spécialisés,…)

25 Le scholar web Impact factor vs. web factor Référencement établi vs. visibilité usage/accès aux BdD commerciales vs. usage/accès généralisé/libre Evaluation maîtrisée par une méthode et une entreprise vs. une multitude dévaluations, méthodes, projets,... Publier autrement Déjà à lœuvre : CiteBase, Citeseer Scholar google, F1000… (dia suivante) De lOpen Peer Review au Peer commentary : de la levée de lanonymat des pairs aux commentaires de la communautés (avant, après, à la place)

26 Autres facteurs Citebase, 1999, rapport téléchargements/citations Citeseer, Associations des refs, commentaires et votes F1000, 2002, « groupes qualités » IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories Google scholar 2004 Facteur H (Hirsch, 2005) : point de rencontre en le nbr de publi et le nbr de fois où elles sont citées Facteur Y (Bollen, 2006), Journal status, Weighted pagerank, author rank : mesures de « réseaux », de poids, de centralité …

27 Ce qui se met en place dans nos institutions (Univ et EPST) Système dInformation (SI) local (global ?) imposé par la LOLF (indicateurs dactivités) Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) Ex. sur lINRA : ProdInra Connexions des entrepôts dinformations nationaux et locaux (AO institutionelles notamment) Pour luniv : ses propres indicateurs Toutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD disciplinaires en France, Connectivité avec dautres BdD (HAL, …)

28 Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes dévaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup danticipation (dautre lieux de publication, dautre lieux de citations, etc...) --> eScience, Science 2.0 ISI, OST, BdD fr, commerciale s par citation bases biblio Publication Ref biblio archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Web 2.0 blog, social bookmarking, Social Search, … ? par Hit par note, avis Et par …. Xmetrie ISI, OST, SI local, CCSD, schoolar google, … CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … Plateforme blogs Scientifiques Trackback

29 Pour engager la discussion La question globale de lévaluation de la recherche sur le court terme ? La qualité de base ? (ISI, AO > pb de libellé du labo, de luniv, de lauteur… Quasi monopole de lISI (SCI, JSR), centré sur env 7000 revues Inventions dautres indicateurs ?

30 Quelques refs pour poursuivre S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 Nov Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) Evaluation et validation de linfo sur Internet :

31 Vos questions


Télécharger ppt "Contexte de la production et de lévaluation scientifique Avril-2008 Gabriel Gallezot."

Présentations similaires


Annonces Google