La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Contexte de la production et de lévaluation scientifique Gabriel Gallezot.

Présentations similaires


Présentation au sujet: "Contexte de la production et de lévaluation scientifique Gabriel Gallezot."— Transcription de la présentation:

1 Contexte de la production et de lévaluation scientifique Gabriel Gallezot

2 Plan Usage de lIST par les chercheurs La communication Scientifique Lévaluation scientifique … vers une appropriation profonde « du numérique »

3 Types de documents Formats de documents Modalités daccès aux documents … Usage de linformation Rechercher: IR/épistémè Bases Bibliographiques Banques de données Revues, ouvrages Colloques Site web, page perso, blog Liste de discussion Editeurs, agrégateurs Archives Ouvertes Bibliothèques Les ressources

4 Communication Scientifique (schéma dia suivante) un processus au cœur de la recherche le chemin "traditionnel" qu'emprunte l'IST Montre les types de doc et les statuts des doc Schéma bouleversé par laccès réseaux prod. numérique les entrepôts numériques --> en terme rapidité et spectre documentaire

5 Communication scientifique modèle 70 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

6 Cycle de linformation (usage de linformation et production de résultats) Cycle de publication (chaîne éditorial) Contexte de la recherche Communication scientifique (diffusion des résultats) Acteurs : Pairs Editeurs institutions La question de lévaluation

7 Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, … Auto-évaluation Collègues de labo (évaluation) Direction de N° (guest éditor) ou douvrage (sélection/évaluation) Comité de rédaction (sélection) Comité scientifique (évaluation) Editeur (évaluation/correction) Lecteur (évaluation)

8 … Publication pour lévaluation Evaluation quantitative : a posteriori, la bibliométrie À lorigine : Garfield et le Science Citation Index (SCI) de lInstitute for Scientific Information (ISI) Des référentiels : SCI (ISI), JCR (ISI),, OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes… Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, … Des évaluations : AeRES, CNU, Université, … Et … dautres formes dévaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

9 Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, … Comment ? un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations reçues par dautres publications (bibliométrie) Un modèle dominant (STM) et quasi monopole de lanalyse (ISI) Evaluer lactivité recherche ?

10 Quel(s) réfentiel(s) ? -> Examen des sources disponibles comme référent(s) possible(s) des instances dévaluation Science Citation Index (S.C.I) éval. auteurs, Journal Citation Reports (J.C.R.) éval. revues - cf. portail BU de luniv. Lagence dévaluation de la recherche et de lenseignement supérieur - AeRES : evaluation.fr/La-liste-des-revues-scientifiques evaluation.fr/La-liste-des-revues-scientifiques European Reference Index for the Humanities - ERIH : lists.html lists.html Journal Quality List (JQL) : Scholar Google : Repositories (OpenDOAR, ROAR, …) … autres listes, Bases de Données

11 Quelle(s) Mesure(s) ?

12 Facteur dimpact ISI calcule le facteur dimpact dune revue de la façon suivante: Le nombre total de citations faites en 2004 darticles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total darticles publiés au cours des deux années précédentes Citations en 2004 déléments publiés en 2003 et 2002 Nombre total darticles publiés en 2003 et = Source : ISI thomson

13 Classement de Shanghai sensibiliser le monde universitaire à son positionnement international (dynamique) 2008 : Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) Pb multiples liés à laffiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …) Pb de nos univ dans la mondialisation: éparpillement, petites tailles, pluridisciplinaires, …

14 h index et variantes H index : Jorge E. Hirsch (2005) Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois G index : Egghe, Leo (2006) : un g- index de 10 => 10 papiers dont la somme des citations est au moins de 100 A- index, H-b index, scHolar index, … Démo avec POP ou ScholarIndex

15 facteur y tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». Cest le produit de « ISI IF and Weighted PageRank »

16 Quelle(s) Evaluation(s) AeRES : ex : « chercheur publiant » evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf CNU : qualification et… ex : recommandation de chaque section : Université : (ex: comité de sélection : … toutes vos activités

17 Appropriation du « numérique » (re)penser le cycle de linfo la communication scientifique lévaluation de la recherche

18 eScience un exemple : La recherche « in silico » Dialectique entre la technique, la production de savoir et sa diffusion Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) Gain de productivité ? (bouclage rapide du cycle) Gain de créativité ? (tertiarisation documentaire)

19 Production scientifique et Compartimentation des savoirs Daprès Swanson (1986) Spécialisation de la R Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc) Il faut : Mieux connecter Mieux partager Ouvrir le spectre documentaire La KDD

20 Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

21 Nouveaux modèles de publication ? Lauto-publication sur web perturbe le modèle traditionnel de la publication Accessibilité (relation auteur/lecteur, hébergements) Dautres visibilités (couverture et calculatoire) Dautres formes dévaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA) Dautres productions scientifiques (Cf supra) Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, déchange, …) Modèle alternatif pour la publication scientifique, dynamique non-marchande Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

22 Retour sur la communication scientifique

23 Enregistrement public des connaissances Société savante Coût de revient min Echanges personnels, communautaires, publiques Diffusion mondiale multilatérale publique Effet des non déposants ? Possibilité d'évaluation des institutions cf IRRA de RAE Priorité à l'article => intérêt Sc. du contenu Dépot de pré-print et post-print Dépot des adjuvants de la recherche Recherche sur des champs et full text Mémoire scientifique publique En ref à 1963 arXiv OAI-PMH Eprint.org BOAI Protocole … … les transforme ou en propose d'autres Reprend les éléments de communication...

24 IF, Shanghai, h index et quoi dautre ? Des spécificités Ex. SHS : Importance Revues/Ouvrages ? Internationnalisation des disciplines ? Des pistes : Système dinformation (SI) local visibilité internationale des références hors marché de linformation : le scholar web ( AO, outils spécialisés,…)

25 Le « scholar web » ISI factor vs. web factor Référencement établi vs. visibilité usage/accès aux BdD commerciales vs. usage/accès généralisé/libre Evaluation maîtrisée par une méthode et une entreprise vs. une multitude dévaluations, méthodes, projets,... Publier autrement Déjà à lœuvre : CiteBase, Citeseer, Scholar google, F1000… (dia suivante) De lOpen Peer Review au Peer commentary : de la levée de lanonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place)

26 Autres indicateurs Citebase, 1999, rapport téléchargements/citations Citeseer, Associations des refs, commentaires et votes F1000, 2002, « groupes qualités » IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories Google scholar 2004 Enquête SHS/CNRS (Sciences de lHomme et de la Société, n 69, mai 2004) … indicateurs émergents

27 Ce qui se met en place dans nos institutions (Univ et EPST) Système dInformation (SI) local (global ?) imposé par la LOLF (indicateurs dactivités) Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) Ex. sur lINRA : ProdInra Connexions des entrepôts dinformations nationaux et locaux (AO institutionelles notamment) Pour luniv : ses propres indicateurs Toutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD disciplinaires en France, Connectivité avec dautres BdD (HAL, …)

28 Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes dévaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup danticipation (dautre lieux de publication, dautre lieux de citations, etc...) --> eScience, Science 2.0 ISI, OST, BdD fr, commerciale s par citation bases biblio Publication Ref biblio archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Web 2.0 blog, social bookmarking, Social Search, … ? par Hit par note, avis Et par …. Xmetrie ISI, OST, SI local, CCSD, schoolar google, … CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … Plateforme blogs Scientifiques Trackback

29 Quelques refs pour poursuivre S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 Nov Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) Evaluation et validation de linfo sur Internet :

30 Vos questions


Télécharger ppt "Contexte de la production et de lévaluation scientifique Gabriel Gallezot."

Présentations similaires


Annonces Google