Contexte de la production et de l’évaluation scientifique

Slides:



Advertisements
Présentations similaires
Quelques effets de la nouvelle donne numérique sur la recherche en éducation Olivier Rey Veille scientifique et technologique Chercheurs mai 2010.
Advertisements

Open Access et d é pôts dans HAL Gabriel Gallezot 25 juin Ecole Centrale de Marseille- Chateau Gombert.
Gabriel Gallezot Urfist paca-c
UR1, CRI, Thierry Bédouin, le 21 Mai 2007 Journée Couperin du 21 Mai 2007 Thierry Bédouin, directeur du CRI de Rennes 1 Les publications scientifiques,
Terminologie, propositions, repères Séminaire CPU / DES / ADBU Couperin Universités et communication scientifique : la problématique des Archives Ouvertes.
Espaces numériques de travail 12 mars 2004 Une nouvelle approche sur les usages des T.I.C. Espace Numérique de Travail - Système dInformation Alain Mayeur.
Atelier sur les Archives Ouvertes mai 2012, Monastir, Tunisie Les Archives ouvertes et les archives institutionnelles. NEREUS : portail européen.
Mai Le projet européen DRIVER Une infrastructure pour la recherche européenne
La bibliométrie comme un des éléments dévaluation de lactivité scientifique des Territoires et des États Jean Dercourt ÉVOLUTION DES PUBLICATIONS SCIENTIFIQUES.
Les publications scientifiques en ligne Ghislaine Chartron Urfist-Paris Chambéry, mai 2001.
Publication électronique des résultats de la recherche 29 mars Paris.
Dalila CHIADMIIFISI TIC et le développement de la recherche scientifique Revue scientifique : le modèle du libre accès Dalila Chiadmi.
Les revues anglophones Mercredi 9 décembre – 12h30 Marie Gaussel Veille scientifique et technologique.
Documentation numérique sur l’Internet
ProdINRA Centre de documentation P. Bartoli Sources : ProdINRA, base des publications en libre accès.
RECHERCHER LINFORMATION SCIENTIFIQUE Masters ENSAT Octobre 2010 SCD INPT.
Contexte de la production et de l’évaluation scientifique
La Recherche dInformation en Ligne Quelques outils Gabriel Gallezot.
Contexte de la production et de lévaluation scientifique Gabriel Gallezot Avignon
Les ressources documentaires électroniques : Cemadoc et le portail IST Emilie Gentilini Journée des nouveaux arrivants 3 mai 2010.
Projet BICTEL/e Présentation au Conseil Académique Du 16 juin 2003.
Plateforme de revues et d’articles en sciences humaines et sociales
Quelles ressources sur linternet ? Méthodologie de recherche et validation de linformation Jean-Philippe Accart Bibliothèque nationale suisse Service de.
Les pratiques documentaires de la Maison des Géosciences : Rapport denquête Emilie Gentilini Juin 2006.
Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet.
La valorisation de la Recherche
Communication Scientifique
d’un article scientifique
1 Bibdoc 37 – Regards croisés Bibliothèques virtuelles, usages réels 7 avril 2009 – Tours « Les usages des bibliothèques virtuelles » Jean-Philippe Accart.
Droits dauteur et archives ouvertes 25 octobre 2011 Mme V. HOSPITAL M. M. DANTANT, Direction des Affaires juridiques du CNRS Mme F. FLAMERIE Mme A. GIRAUDON,
Quelques principes et quelques exemples…. Caractéristiques des outils Web 2.0 –Le web comme plateforme –La longue traîne –Lintelligence collective –La.
Standards pour les ressources documentaires description – organisation – diffusion – production Séminaire Normes et standards pour les TICE Saint-Clément-les-Places.
Département de linformation scientifique et de la communication Missions : - apporter aux chercheurs l'information dont ils ont besoin - transmettre et.
TEMPLATE DESIGN © Les impacts de la recherche scientifique: Comment les mesurer et maximiser Yassine GARGOURI 1 & Stevan.
Introduction à la littérature scientifique
La recherche sur le Web Améliorer sa performance Compétences informationnelles – Activité 13 - Documentation Module 3: les moteurs académiques: Google.
La recherche sur le Web Améliorer sa performance Compétences informationnelles – Activité 13 - Documentation Module 3: les moteurs académiques: Google.
Réunion Information Scientifique et Technique (IST)
Déposer ses publications dans HAL pour valoriser la recherche au CHEC. Enjeux, méthodologies, services.
AGENCE UNIVERSITAIRE DE LA FRANCOPHONIE ATELIER 2
Méthodologie documentaire
Thierry Bédouin, Université de Rennes 1, le 11 Juin 2008 Maîtriser son patrimoine numérique Un enjeu essentiel pour les établissements de lESR et plus.
Présentation de larchive ouverte « ArchiveTématice » Colloque Technologies pour lapprentissage et léducation, Paris,
Web Citation Index. Copyright 2006 Thomson Corporation 2 Qu’est ce que le Web Citation Index? Index multidisciplinaire de citations de publications accessibles.
Enjeux, méthodologies, services.
ESIT, 27 septembre 2008 L’évaluation de la recherche en lettres et sciences humaines : pratiques actuelles et réflexions prospectives Sophie Moirand Université.
Projet TEMPUS-ISTMAG Archive institutionnelle marocaine Pour une meilleure visibilité de la production scientifique Mme Lrhoul Hanae Coordinatrice nationale.
BIBLIOTHEQUES NUMERIQUES Présentateur : Daniel MICHEL.
11/04/2017 École de bibliothéconomie et des sciences de l'information
Réunion des directeurs d’unités ST2I 30 octobre 2007 Réseau Doc-ST2I Missions et perspectives (MI2S)
L’information scientifique : les impacts du libre accès
Information Scientifique et Technique à l’IN2P3 LAL Orsay 25 janvier 2006 Dominique Jarroux-Déclais Responsable IST IN2P3.
L’archive ouverte HAL-SHS Christine Berthaud, Agnès Magron Service d’Ingénierie Documentaire Institut des Sciences.
Ministère de l’enseignement Supérieur et de la Recherche Scientifique
LES ARCHIVES OUVERTES. L’accès à l’information scientifique : un enjeu majeur pour les chercheurs.
OPEN ACCESS Présentateur : Daniel MICHEL Libre accès à l’info. Scientifique  Présentation  Définition  Revues en libre accès  Archives ouvertes 
13/04/2017 École de bibliothéconomie et des sciences de l'information
ARCHIVES OUVERTES OPEN ACCESS
BU enquête 2012 usages et attentes des publics de niveau master et recherche mars 2012.
Exploration de ressources en libre accès : revues thèses et autres
CNRS UPS 2916 SupADONIS - Dourdan Mai TGE ADONIS Accès unifié aux documents numériques en SHS.
La valorisation de l’information scientifique Colloque IFAN, 27 novembre 2007.
Réunion Information Scientifique et Technique (IST) Journée IST, Laboratoire de Recherche sur le Langage, doctorants 15 décembre 2009, MSH.
Indicateurs IST des EPST et des Epic
Diane Le Hénaff, Equipe ProdInra 5 janvier 2015 Politique de dépôt et de services dans ProdInra.
La bibliométrie Notoriété Visibilité Création du corpus Les outils bibliométriques du WOK Signature Collaborations.
Master 1 « diffusion de la culture » Formation à la maîtrise de l’information scientifique et technique Séance 2 Jeudi 02/10/2014 SID2 1.
L’ISI.: historique et produits :. LARDY Jean-Pierre Université LYON 1.
Le Service d’Information Scientifique du CERN Le CERN La communication scientifique: acteurs, processus, spécificités Le rôle du SIS Les défis.
Compétences informationnelles Choisir ses sources Connaître les outils de repérage.
Transcription de la présentation:

Contexte de la production et de l’évaluation scientifique Gabriel Gallezot

Plan Usage de l’IST par les chercheurs La communication Scientifique L’évaluation scientifique … vers une appropriation profonde « du numérique »

… Usage de l’information Rechercher: IR/épistémè Types de documents Bases Bibliographiques Banques de données Revues, ouvrages Colloques Site web, page perso, blog Liste de discussion Editeurs, agrégateurs Archives Ouvertes Bibliothèques Usage de l’information Rechercher: IR/épistémè … Les ressources Types de documents Formats de documents Modalités d’accès aux documents

Communication Scientifique (schéma dia suivante) un processus au cœur de la recherche le chemin "traditionnel" qu'emprunte l'IST Montre les types de doc et les statuts des doc Schéma bouleversé par l’accès réseaux prod. numérique les entrepôts numériques --> en terme rapidité et spectre documentaire

Communication scientifique modèle 70’ Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 2020

Contexte de la recherche Cycle de l’information (usage de l’information et production de résultats)‏ Communication scientifique (diffusion des résultats)‏ Acteurs : Pairs Editeurs institutions La question de l’évaluation Cycle de publication (chaîne éditorial)‏

Evaluation pour la publication… Evaluation qualitative : a priori, le peer reviewing, … Auto-évaluation Collègues de labo (évaluation)‏ Direction de N° (guest éditor) ou d’ouvrage (sélection/évaluation)‏ Comité de rédaction (sélection)‏ Comité scientifique (évaluation)‏ Editeur (évaluation/correction)‏ Lecteur (évaluation)‏

… Publication pour l’évaluation Evaluation quantitative : a posteriori, la bibliométrie À l’origine : Garfield et le Science Citation Index (SCI) de l’Institute for Scientific Information (ISI)‏ Des référentiels : SCI (ISI), JCR (ISI), , OST, AO, ERIH, JQL, liste AeRES, Scholar Google…des bases, des listes… Des mesures : Impact Factor, Classement de Shanghai, H index, Y index, G index, indicateurs OST, … Des évaluations : AeRES, CNU, Université, … Et … d’autres formes d’évaluation et de mesures : enquête SHS/CNRS, faculty of 1000, Citeseer, Citebase, schoolar…

Evaluer l’activité “recherche” ? Pour le pilotage (DGES, Univ, …) : orientation de la prod sc., répartition bugétaire, recrutement, … Comment ?  un modèle prégnant : publication (article de revue) et valeur de cette publi. par la mesure des citations “reçues” par d’autres publications (bibliométrie)  Un modèle dominant (STM) et quasi monopole de l’analyse (ISI)

Quel(s) réfentiel(s) ? -> Examen des sources disponibles comme référent(s) possible(s) des instances d’évaluation Science Citation Index (S.C.I) - 1961 éval. auteurs, Journal Citation Reports (J.C.R.) -1975 éval. revues - cf. portail BU de l’univ. L’agence d’évaluation de la recherche et de l’enseignement supérieur - AeRES : http://www.aeres- evaluation.fr/La-liste-des-revues-scientifiques European Reference Index for the Humanities - ERIH : http://www.esf.org/research-areas/humanities/research-infrastructures-including-erih/erih-initial- lists.html Journal Quality List (JQL) : http://www.harzing.com/jql.htm Scholar Google : http://scholar.google.fr/ Repositories (OpenDOAR, ROAR, …) … autres listes, Bases de Données

Quelle(s) Mesure(s) ?

Facteur d’impact En cliquant sur la valeur vous accéderez a l’explication exacte du calcul de ce facteur. Le facteur d’impact est calculé en effectuant la division du nombre de citations durant l’année de JCR (dans ce cas l’année 2004) d’articles publiés au cours des deux années precedentes, (2002 et 2003) par le nombre total d’articles publiés au cours de ces deux années precedentes. (*) Dans le cas de la revue Pediatrics, en 2004, les articles publiés en 2002 ont été cités 846 fois et ceux publiés en 2003 furent cités 784 fois, ce qui nous donne un total de 1630 citations. La revue Pediatrics publia 255 articles en 2002 et 268 en 2003 ce qui nous donne un total de 523 articles. Pour calculer le facteur d’impact nous divisons le nombre de citations par le nombre d’articles. Ici 1630 divisé par 523 nous donne un impact factor de 3.117. Ceci veut par consequent dire qu’en moyenne, un article publié en 2002 ou 2003 dans la revue Pediatrics a été cité 3.117 fois en 2004. ISI calcule le facteur d’impact d’une revue de la façon suivante: Le nombre total de citations faites en 2004 d’articles publiés au cours des deux années précédentes (2002 & 2003) est divisé par le nombre total d’articles publiés au cours des deux années précédentes 1630 523 Citations en 2004 d’éléments publiés en 2003 et 2002 Nombre total d’articles publiés en 2003 et 2002 3.117 = Source : ISI thomson

Classement de Shanghai sensibiliser le monde universitaire à son positionnement international (dynamique) 2008 : http://www.arwu.org/rank2008/ARWU2008_A(EN).htm Calculé sur les données du WoS qui présentent déjà de nombreux biais (notamment la langue, type de doc) Pb multiples liés à l’affiliation des chercheurs (institutions de rattachement, mixité des labos, articles en collaboration, émerite univ A<>B, …) Pb de nos univ dans la mondialisation: éparpillement , petites tailles, pluridisciplinaires, …

H index : Jorge E. Hirsch (2005) www. pnas. org/cgi/doi/10. 1073/pnas H index : Jorge E. Hirsch (2005) www.pnas.org/cgi/doi/10.1073/pnas.0507655102. Relation entre un nombre total de publications et leurs citations > coïncidence approximative entre un nombre équivalent de publications et de citations. Ex : h index = 10 => environ 10 publications citées au moins 10 fois G index : Egghe, Leo (2006) http://dx.doi.org/10.1007%2Fs11192-006-0144-7 : un g-index de 10 => 10 papiers dont la somme des citations est au moins de 100 A- index, H-b index , scHolar index, … Démo avec POP ou ScholarIndex http://insitu.lri.fr/~roussel/projects/scholarindex/ h index et variantes

facteur y tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». C’est le produit de « ISI IF and Weighted PageRank »

Quelle(s) Evaluation(s) AeRES : http://www.aeres-evaluation.fr/Presentation-de-la-rubrique ex : « chercheur publiant » http://www.aeres-evaluation.fr/IMG/pdf/Criteres_Identification_Publiants.pdf CNU : http://91.121.210.124:8080/cpcnu/ qualification et… ex : recommandation de chaque section : http://91.121.210.124:8080/cpcnu/sectionsCnu.htm Université : (ex: comité de sélection : http://portail.unice.fr/jahia/page7736.html … toutes vos activités

Appropriation du « numérique » (re)penser le cycle de l’info la communication scientifique l’évaluation de la recherche

eScience un exemple : La recherche « in silico » Dialectique entre la technique , la production de savoir et sa diffusion Appropriation des technologies, pratiques informationnelles nouvelles ou renouvelées (diffusion et accès) Gain de productivité ? (bouclage rapide du cycle) Gain de créativité ? (tertiarisation documentaire)

Production scientifique et Compartimentation des savoirs Spécialisation de la R Évaluation de la R => accroissement de la Pub. Sc. (données, textes, revues, etc)‏ Il faut : Mieux connecter Mieux partager Ouvrir le spectre documentaire La KDD D’après Swanson (1986)‏

Communication scientifique modèle 2020 Source : Julie M. Hurd JASIST 51(14), 2000 Lien vers 1970

Nouveaux modèles de publication ? L’auto-publication sur web perturbe le modèle traditionnel de la publication Accessibilité (relation auteur/lecteur, hébergements)‏ D’autres visibilités (couverture et calculatoire)‏ D’autres formes d’évaluation (liens, hits, moteurs, CiteSeer, Opcite…IRRA)‏ D’autres productions scientifiques (Cf supra)‏ Pas nouveau, mais phénomène accru par le web (libre diffusion, expression directe, d’échange, …)‏ Modèle alternatif pour la publication scientifique, dynamique non-marchande Prise en charge de la pérennisation ? (institutions, éditeurs), Modèles hybrides ?

Retour sur la communication scientifique

Reprend les éléments de communication ... … les transforme ou en propose d'autres Enregistrement public des connaissances Société savante Coût de revient min Echanges personnels, communautaires, publiques Diffusion mondiale multilatérale publique En ref à 1963 1660 1665 Effet des non déposants ? Possibilité d'évaluation des institutions cf IRRA de RAE Priorité à l'article => intérêt Sc. du contenu Dépot de pré-print et post-print Dépot des adjuvants de la recherche Recherche sur des champs et full text Mémoire scientifique publique arXiv OAI-PMH Eprint.org BOAI Protocole … 1970 1989

IF, Shanghai, h index et quoi d’autre ? Des spécificités Ex. SHS : Importance Revues/Ouvrages ? Internationnalisation des disciplines ? Des pistes : Système d’information (SI) local visibilité internationale des références “hors marché de l’information” : le “scholar web” ( AO, outils spécialisés,…)

Le « scholar web » “ISI” factor vs. “web” factor Référencement établi vs. visibilité usage/accès aux BdD commerciales vs. usage/accès généralisé/libre Evaluation maîtrisée par une méthode et une entreprise vs. une multitude d’évaluations, méthodes, projets, ... Publier autrement Déjà à l’œuvre : CiteBase, Citeseer, Scholar google, F1000… (dia suivante) De l’Open Peer Review au Peer commentary : de la levée de l’anonymat des pairs évaluateurs aux commentaires de la communautés (avant, après, à la place) Que reproche-t-on au Peer-reviewing ?  les experts sont anonymes ce qui favorise leur désengagement : ils s'y mettent au dernier moment, ils ne respectent pas forcément la "checklist" d'évaluation (quand elle existe)  les femmes acceptent trois fois plus de manuscrits que les hommes et/mais les femmes sont nettement minoritaires dans les comités d'évaluation  les pairs en question sont souvent moins "experts" sur le sujet que l'auteur de l'article  des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes ou auteurs au profit d'autres seniors (et je ne vous parle même pas des mesquineries et autres animosités personnelles qui - comme dans tout groupe humain - se font évidemment jour, tant il est vrai que "l'anonymat" des articles évalués n'empêche souvent en rien d'identifier leur auteur.)  le processus d'évaluation est looooooong, très long (entre 6 mois et 2 ans, parfois plus)  il est également coûteux (frais d'édition, de secrétariat, etc ...)  il ne joue pas son rôle de filtre (la plupart des articles refusés finissent par être publiés par d'autres revues, et pas nécessairement moins "prestigieuses")  il est inefficace qualitativement (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs volontairement introduites dans des articles bidonnés pour les besoins du test)

Autres indicateurs Citebase, 1999, rapport téléchargements/citations Citeseer, Associations des refs, commentaires et votes F1000, 2002, « groupes qualités » IRRA (2005, Institutional Repositories and Research Assessment), RAE Software for Institutional Repositories Google scholar 2004 Enquête SHS/CNRS (Sciences de l’Homme et de la Société, n 69, mai 2004) … indicateurs émergents

Ce qui se met en place dans nos institutions (Univ et EPST) Système d’Information (SI) local (global ?)  imposé par la LOLF (indicateurs d’activités) Ex. sur Unice : CRI/DRED système SIRIUS (GRAAL) Ex. sur l’INRA : ProdInra Connexions des entrepôts d’informations nationaux et locaux (AO institutionelles notamment) Pour l’univ : ses propres indicateurs Toutes les refs peuvent êtres prises en considération Interopérabilité des SI : constitution de BdD disciplinaires en France, Connectivité avec d’autres BdD (HAL, …)

ISI, OST, SI local, CCSD, schoolar google, … Un nouveau modèle de la publication Scientifique entraînera de nouveaux modes d’évaluation de la recherche ( y compris selon le principe de citation), actuellement pas beaucoup d’anticipation (d’autre lieux de publication, d’autre lieux de citations, etc...) --> eScience, Science 2.0 CCSD, moissonneurs Plateforme revues Inextenso citebase F1000 … ISI, OST, BdD fr, commerciales ISI, OST, SI local, CCSD, schoolar google, … Plateforme blogs Scientifiques Trackback Web 2.0 blog, social bookmarking, Social Search, … Publication archives ouvertes institunionnelles et disciplinaires, revues en lignes Digital Library … Ref biblio ? bases biblio par citation par Hit par note, avis Et par …. Xmetrie

Quelques refs pour poursuivre S.Y. Crawford, J.M. Hurd, A.C. Weller, From print to electronique : transformation of scientifique communication, Melford Information today Inc (ASIS monograph series, Washington USA, 1996 Les chercheurs et la documentation numérique, nouveaux services, nouveaux usages (sous la dir. G. Chartron), Editions du cercle de la librairie, 2002 Nov 2006 - Séminaire de l'AMUE : Les indicateurs de production scientifique des établissements : pour quoi faire ? comment faire ? (Vidéos) http://w3appli.u-strasbg.fr/canalc2/video.asp?idEvenement=271 Evaluation et validation de l’info sur Internet : http://urfistreseau.wordpress.com

Vos questions