FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 1 Ivana Roche Ingénieur R&D – INIST-CNRS DBF : projet de modélisation d’un processus de sélection à l’aide d’indicateurs bibliométriques/scientométriques

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 2 Le projet DBF Le concept développé ERC : le contexte du projet La notion de recherche exploratoire La formalisation des indicateurs Le modèle bibliométrique & les indicateurs La fonction de sélection Discussion Plan de la présentation

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 3 DBF = Development and verification of a Bibliometric model for the Identification of Frontier Research Action d’appui (SA) 7 ème PCRD – Programme IDEAS placé sous la responsabilité de l’ERC – – 3 ans : Consortium : –AIT, Austrian Institute of Technology –INIST-CNRS DBF : le projet

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 4 Concept consistant à inférer les attributs de recherche exploratoire dans les propositions de projet de recherche reçues dans le cadre des appels de l’ERC et soumises à une évaluation par des pairs Concevoir, implémenter, tester et affiner un modèle bibliométrique/scientométrique permettant d’évaluer si les propositions répondent à la définition, énoncée par le High Level Expert Group de l’ERC, de recherche exploratoire Comparer les résultats obtenus avec notre modèle et les choix opérés par les experts pour alimenter une réflexion sur l’influence de la notion de recherche exploratoire sur le processus de sélection Le concept développé

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 5 ERC  premier organisme de financement de projets de recherche (exploratoire) à l’initiative de chercheurs au travers d’un processus de compétition ouvert et direct Principaux objectifs : –viser l’excellence scientifique –privilégier les chercheurs présentant les idées le plus créatives en vue de favoriser l’identification et l’exploration de voies nouvelles dans tous les secteurs de la recherche scientifique –contribuer au développement d’une synergie positive autour des chercheurs sélectionnés –favoriser la réactivité scientifique et géographique de la recherche européenne ERC : le contexte du projet

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 6 Les 2 schémas de soumission de projets : –StG, réservé aux chercheurs débutants  offrir les moyens pour développer des carrières « indépendantes » en s’entourant de leur propre équipe –AdG, dédié aux chercheurs confirmés  favoriser les efforts de recherche innovateurs, de grande portée, avec un fort potentiel "haut-risque/haut-impact" et soutenir des projets amenant à un changement notable de leur axe de recherche ERC : les schémas

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 7 Les domaines couverts (« panels ») : –Physique & Sciences de l’Ingénieur (PE)10 panels –Sciences de la Vie (LS)9 panels –Sciences Humaines & Sociales (SH)6 panels Chaque chercheur soumissionnaire : –doit classer sa proposition dans un des 25 panels qui devient le panel « d’origine » et l’indexer avec des MC contrôlés –doit avoir l’accord d’une institution d’accueil en Europe –doit être ressortissant d’un état membre de l’UE-27 ou d’un pays associé Appels annuels : le 1 er en 2007 Financement : Programme IDEAS du 7 ème PCRD de la CE ERC : les domaines couverts

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 8 ERC : les panels & leur structure LS9 Appliedlife sciences and biotechnology: agricultural, animal, fishery, forestry and food sciences; biotechnology, chemical biology, genetic engineering, synthetic biology, industrial biosciences; environmental biotechnology and remediation LS9_1 Genetic engineering, transgenic organisms, recombinant proteins, biosensors LS9_2 Synthetic biology and new bio-engineering concepts LS9_3 Agriculture related to animal husbandry, dairying, livestock raising LS9_4 Aquaculture, fisheries LS9_5 Agriculture related to crop production, soil biology and cultivation, applied plant biology LS9_6 Food sciences LS9_7 Forestry, biomass production (e.g. for biofuels) LS9_8 Environmental biotechnology, bioremediation, biodegradation LS9_9 Biotechnology, bioreactors, applied microbiology LS9_10 Biomimetics LS9_11 Biohazards, biological containment, biosafety, biosecurity PE1 Mathematical foundations: all areas of mathematics, pure and applied, plus mathematical foundations of computer science, mathematical physics and statistics PE1_1 Logic and foundations PE1_2 Algebra PE1_3 Number theory PE1_4 Algebraic and complex geometry PE1_5 Geometry PE1_6 Topology PE1_7 Lie groups, Lie algebras PE1_8 Analysis PE1_9 Operator algebras and functional analysis PE1_10 ODE and dynamical systems PE1_11 Partial differential equations PE1_12 Mathematical physics PE1_13 Probability and statistics PE1_14 Combinatorics PE1_15 Mathematical aspects of computer science PE1_16 Numerical analysis and scientific computing PE1_17 Control theory and optimization PE1_18 Application of mathematics in sciences (*) sous-panels = MC contrôlés (*)

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 9 Evolution du budget ERC (2007 – 2013) : Taux de propositions sélectionnées (2009) : –StG  10% (237 sur 2503 soumissions) –AdG  15% (244 sur 1584 soumissions ) ERC : le financement Financement moyen ~ 1,7 Million € 811

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 10 Processus de sélection : –25 panels d’experts –membres UE & hors-UE définis par le Conseil Scientifique –processus de sélection à 2 étapes projets de recherche à caractère exploratoire ERC : la sélection de projets

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 11 La notion de recherche exploratoire a été explicitée par le High Level Expert Group de l’ERC qui lui a associé 4 attributs-clés : Située à la pointe de la création de nouvelles connaissances… à l’origine de découvertes fondamentales… contribuant parfois à la réalisation de percées révolutionnaires Intrinsèquement risquée Contribuant à réduire les barrières entre recherche fondamentale et appliquée S’intéressant à des problèmes au-delà des frontières interdisciplinaires Recherche exploratoire Lors du processus de sélection les experts doivent identifier parmi un très grand nombre de propositions celles présentant ces caractéristiques

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 12 Identification des 4 attributs-clés associés par le High Level Expert Group à la notion de recherche exploratoire : –Nouveauté –Risque –Applicabilité –Interdisciplinarité Formalisation de ces attributs-clés en termes d’indicateurs construits en combinant des approches scientométriques et de fouille de texte : Formalisation des indicateurs

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 13 Utilisé pour inférer le « degré d’innovation » de la proposition en se fondant sur ses références citées Source de données : –BdD ERC Hypothèse : –plus ses références sont récentes, plus il est probable que la proposition soit à la pointe de la recherche Calcul : –l’indicateur se concentre sur le temps écoulé depuis la publication des références citées et l’indicateur est calculé en considérant la différence entre l’année de soumission de la proposition et l’année de publication des articles correspondant à chaque référence citée Indicateur d’Actualité

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 14 Indicateur d’Actualité

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 15 Employé pour inférer le « degré d’innovation » de la proposition à l’aune du changement dynamique du paysage scientifique correspondant au panel d’origine de la proposition Source de données : –BdD ERC & BdD bibliographiques Hypothèse : –plus la proposition est proche de zones de forte évolution thématique, plus il est probable qu’elle soit innovante Calcul : –collecte des données + extraction information terminologique –classification automatique : une carte thématique regroupant en classes des références similaires et donnant une représentation du paysage scientifique relatif au panel –analyse diachronique : étude de l’évolution du paysage scientifique entre 2 périodes de temps (2000 et l’année de soumission) –rang des classes de la période la plus récente selon leur degré d’innovation –calcul de la similarité entre chaque proposition et les classes de la période la plus récente Indicateur de Proximité

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 16 Indicateur de Proximité

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 17 Utilisé pour inférer le « risque personnel » que prendrait le PI s’il mettait en œuvre sa proposition Sources de données : –BdD ERC & BdD bibliographiques Hypothèses : –les références citées dans les publications passées du chercheur sont une source d’information pour obtenir son « profil bibliométrique de recherche » –plus le recouvrement entre ce profil et le profil calculé avec les références citées dans la proposition est petit, plus la proposition peut être considérée comme risquée pour le chercheur Calcul : –comparaison entre le profil « passé » du chercheur et celui de sa proposition –comparaison entre le profil de sa proposition et un profil global calculé à partir de toutes les propositions du panel Indicateur de Risque

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 18 Indicateur de Risque

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 19 Utilisé pour inférer le degré d’applicabilité des résultats attendus de la proposition Sources de données : –BdD ERC & BdD bibliographiques Pasteuresquenness… Qu’est-ce que c’est? –néologisme inspiré du Quadrant de Pasteur catégorise des recherches qui cherchent tant à accroître la connaissance fondamentale que à développer des applications Calcul : –brevets –relations industrielles –auto-citations dans des périodiques catégorisés « appliqués » Indicateur d’Applicabilité ou Pasteuresqueness

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 20 Indicateur d’Applicabilité ou Pasteuresqueness

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 21 Utilisé pour inférer la présence, dans la proposition, de mots-clés étiquetés comme appartenant à des panels autres que le panel d’origine de la proposition Source de données : –BdD ERC Hypothèses : –plus l’occurrence de ces mots-clés est élevée, plus la proposition est interdisciplinaire –plus la diversité de ces panels est grande, plus la proposition est interdisciplinaire Calcul : –évaluation de la concentration de mots-clés associés à des panels autres que le panel d’origine de la proposition Indicateur d’Interdisciplinarité

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 22 Indicateur d’Interdisciplinarité

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 23 Modèle comportamental –modèle à choix-discret Idée : –estimer la probabilité de sélection d’une proposition en fonction des ses indicateurs calculés –AC, actualité –PR, proximité –RI, risque –AP, applicabilité –IN, interdisciplinarit P proposition i soit sélectionnée = f (AC i, PR i, RI i, AP i, IN i ) 5 indicateurs & 1 fonction de sélection

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 24 La validation du modèle Panels d’experts BdD ERC BdD bibliographiques Processus de sélection ERC Application modèle Comparaison Analyse Feedback bibliométrique

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 25 Le modèle développé… est ambitieux : difficile de représenter fidèlement les caractéristiques de la « recherche exploratoire » et de les quantifier ne peut en aucun cas se substituer à l’expertise : il est attendu seulement que les résultats aient un effet positif sur la probabilité de décision de financement en attirant l’attention sur des propositions refusées qui mériteraient néanmoins une seconde chance ne se fonde pas sur des mesures de performance : combine des méthodes de scientométrie et des techniques d’analyse de contenu utilisant l’information textuelle présente dans les propositions peut être réutilisé produit une méthodologie : permettant à l’agence de financement de suivre, du point de vue bibliométrique, le processus de sélection et, éventuellement, de l’affiner Discussion

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 26 Ce travail est partiellement financé par le Programme Ideas du 7 ème Programme-Cadre pour la Recherche et le Développement Technologique ( ) de la Commission Européenne (N° de référence du projet : ) Site du projet : Remerciements

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 27 Merci

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 28

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 29 Le modèle bibliométrique & les indicateurs

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 30 ERC : la distribution des soumissions 2009 StG_2009AdG_2009

FRéDoc'11 - L'information scientifique et technique au prisme de l'Europe, Bordeaux, octobre 31 EU : les pays associés