Logistique et Secrétariat Département de l’Évaluation Scientifique Secrétariat Directrice Yveline GRAFF Claude GRAILLOT Chargés de Mission Logistique et Secrétariat Raymond BAZIN Armelle FOLIOT Michelle HADCHOUEL Nicole HAEFFNER CAVAILLON Chantal LASSERRE Danièle MURCIANO Josiane POGGIOLI Christine TUFFEREAU Anita DUMENIL Sabine MADOIRE Sonia NECIBI Dorothée VILLANUEVA Administration informatique Michaël BEDIOU Moulay BENZINEB Cellule bibliométrie commmm Nicole HAEFFNER CAVAILLON Nicole Barberousse Béatrice CHOLLET Gérard DUFFOURG Alexandra FARGEOT Céline PELTIER Base Experts Alexandra FARGEOT

Accompagnement de l’évaluation Missions Accompagnement de l’évaluation - Organisation des procédures d’évaluation et veille - Suivi des comités de visites et des commissions - Création et maintien de la base d’expert Prise en compte des résultats - Information de la Direction générale (rapports) - Information des Départements (DRH, DPRE,…) Bibliométrie et indicateurs

Accompagnement de l’évaluation Dossiers suivis Recrutement Chercheurs et enseignants chercheurs (activité, promotion, interfaces, accueil…) Laboratoires

Indicateurs Production de connaissances Notoriété Exploitation des résultats Internationalisation Transfert des connaissances

Usual bibliometric indicators Nombre d’articles par chercheur, laboratoire, institution, pays : mesure la productivité. Facteur d’impact du journal : mesure la barrière éditoriale. Nombre de citations par article : mesure l’impact sur la communauté scientifique. Index H : quantifie la qualité de la production scientifique d’un chercheur, d’un laboratoire, d’un institut.

Bibliometric indicators : Impact factor 80 journals If above 10 595 journals If above 3 citations 2003+ 2004 nb articles 2003+ 2004 If 2005 = IF>3

Bibliometric indicators (If): time dependent - 5 + 10

Bibliometric indicators (If): field dependent

Bibliometric indicators : publication citations From: The history and meaning of journal IF – Eugène Garfield - International Congress on Peer Review Chicago 2005

Bibliometric indicators (Ic): field dependent Nature Publications 1995 - 2005 ESI (ISI-Thomson)

Publications 2001 Citations 2001+2002

Bibliometric Indicators : H Index Physic open archives H Index

Bibliometric indicators : Top 10%... How many citations a paper published in 1998 needs to receive to be in the Top 10% papers of Biology & Biochemistry field 22 scientific fields

Bibliometric Indicators and evaluation Les différents indicateurs sont complémentaires Chaque indicateur a ses avantages et ses limites Leur “convergence” doit être examinée pour mettre l’information qu’ils apportent en perspective Le top 10% est le seul indicateur indépendant du temps et de la thématique qui permet d’apprécier la visibilité internationale. Les données d’origine doivent être soigneusement vérifiées

Les chiffres exacts

Comparaisons

Visibilité des publications Inserm (1995-2005) % de publications Nombre de citations

Evolution des publications Publications Inserm Evolution des publications

Affiliations des publications des structures Inserm Janvier 2007

C’est simple Institution 1, intitulé structure, ville, pays. Institution n, intitulé structure, ville, pays.

Exploitation des résultats Brevets Licences (montant des redevances) Services (montant des retours) Contrats (montant) Start up (appel de fond, salariés, chiffre d’affaires) Projets (issus de l’activité de recherche) Applications cliniques

Internationalisation Doctorants et post doctorants étrangers Seniors étrangers Participation aux programmes européens Financements étrangers obtenus Collaborations internationales

Transfert des connaissances Doctorants formés Doctorants et post doctorants recrutés par le public Doctorants et post doctorants recrutés par le privé Mobilité des chercheurs vers d’autres structures Mobilité des chercheurs vers le privé Reprise de projets par le secteur privé Publications didactiques

merci Prénom.nom@tolbiac.inserm.fr

Commissions scientifiques   Neurosciences, neuroendocrinologie, neurologie Génétique, développement et oncogénèse, angiogénèse, muscle, vieillissement Sciences et techniques appliquées à la médecine, Santé Publique Cardiovasculaire, néphrologie, urologie, diabète, endocrinologie, reproduction, nutrition, obésité Immunologie, maladies infectieuses, hématologie, hémostase Gastro-entérologie, hépatologie, pneumologie, dermatologie, système ostéoarticulaire et odontologie Médicament, interface chimie biologie, bioengénierie, biothérapies Psychiatrie et santé mentale (IC) Chirurgie ( IC) Sciences sociales et économiques : systèmes sanitaires et santé des populations (IC)

Criteres d’évaluation (I) Evaluation Post Réalisation des objectifs Publications (originales et didactiques) Transfert de connaissances et de technologie (brevet, licences, expertises, consultances, intérêt médical des applications,…) Formation des étudiants Animation scientifique (congrès, colloques, activités d’évaluation,…)

Criteres d’évaluation (II) Evaluation Ante originalité Pertinence (intérêt de la question posée, adéquation aux missions de l’Inserm) Stratégie Adéquation des moyens Potentiel de transfert économique et/ou médical Faisabilité

Criteres d’évaluation (III) Chercheurs seniors ou directeurs notoriété Capacité, qualité et rôle d’encadrement Suivi des docteurs Pertinence de la composition de l’équipe.

Units: team evaluation or creation:

Indicateurs Production de connaissances Notoriété (Prix,..) Exploitation des résultats Internationalisation Transfert des connaissances

Critères indicateurs Production de connaissances Notoriété Exploitation des résultats Internationalisation Transfert des connaissances indicateurs

Critères indicateurs Production de connaissances Notoriété Exploitation des résultats Internationalisation Transfert des connaissances indicateurs

Critères indicateurs Production de connaissances Notoriété Exploitation des résultats Internationalisation Transfert des connaissances indicateurs

Teams 2006 : International visibility (nb Top 10%) Vidal & Kroemer

Top 10 / If Vidal H Kroemer G Péault B Delmas PD Albert M Teichmann M Sterkers O

Evolution des domaines (nb publications 1995 – 2005)

Evolution du domaine clinique (nb publications 1995 – 2005)

Publication citations versus journal Impact factors n= 14200 2000 2001 2002 2003 2004 2005

Peer reviewers : global grade C C A/B A+ B/C 60% of the grade are different

Données bibliométriques

Bibliometrics a tool for science policy : provides indicators to measure productivity and scientific quality, thereby supplying a basis for evaluating and orienting R&D. a tool for evaluation : provides indicators to help evaluation committees. - neutral - comparative (national & international) - selects papers at the forefront in all fields

Chercheurs et enseignants chercheurs Évaluation (chercheurs et enseignants chercheurs) Promotion (chercheurs) Avenir (chercheurs et enseignants chercheurs) Contrats d’interfaces (chercheurs et enseignants chercheurs) Postes d’accueil

Bibliometric Indicators : H Index Time dependent Field dependent

Units: team evaluation or creation:

Bibliométrie

Les enjeux Place de la France Place de l’Inserm

Place de la France dans l’OCDE Part des publications 5eme Part des publications / million d’habitants 17eme Part des publications / PNB 20eme Part des citations mondiales 6eme Impact relatif des citations 15eme Impact relatif des citations (médical) 15eme

Inserm / France

Part de l’Inserm en France Publications 1995-2005

Science (IF=30,927) and Nature (IF=29,273) Que les articles, ni lettres ni revues New England Journal of Medicine (IF=44,016) , JAMA-Journal of the American Medical Association (23,494) and Lancet (23,878) Science (IF=30,927) and Nature (IF=29,273)