évaluation et valeur comparative Le CV du chercheur évaluation et valeur comparative Bibiane Fréché (ULB) Björn-Olav Dozo (ULg-FNRS)

Objectifs généraux Présenter et décrypter les grandes catégories des CV types de différentes institutions (universités et FNRS) Interroger ces catégories en rappelant les débats qui les ont vues naître

Pourquoi une telle actualité autour de l’évaluation? Travail scientifique, depuis toujours : évaluation par les pairs Mars 2000 : conseil européen de Lisbonne ; « stratégie de Lisbonne » « Chercheurs-entrepreneurs », concurrence, « marché de la recherche »

 Multiplication des classements Universités Revues Facteur d’impact H-index Etc.

Des classements pas évidents… Exemples du classement des revues en SHS ERIH (European Reference Index for the Humanities) de l’ESF (European Science Foundation) AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur)

ERIH Deux listes (2007 et 2011) Mise en garde explicite contre l’usage de ces listes pour évaluer les chercheurs Élaboration de la première liste peu transparente et peu fiable

AERES Différences en fonction des disciplines Par exemple : pas de liste en études littéraires Question du classement et/ou du périmètre de scientificité

Un retour à l’évaluation qualitative Depuis deux à trois ans, mouvement de défiance envers l’évaluation quantitative, même du côté de ceux qui la prônaient avant. Quelques exemples : EUA (European University Association) DFG (Deutsche Forschungsgemeinschaft) RAE (Research Assessment Exercise) Voir aussi les travaux de Michèle Lamont, notamment How Professors Think. Inside the Curious World of Academic Judgement, Harvard UP, 2009.

Pour l’évaluation qualitative 1 : L’EUA critique les classements des universités L’European University Association a publié le 19 juin 2011 un rapport critiquant les classements des universités. […] There is clear evidence that attempts to measure the quality of teaching and learning that involve the use of proxies,  often with a very indirect link to teaching quality, are ‘rarely effective’, while the importance of links to external stakeholders and environments are largely ignored. […]

Pour l’évaluation qualitative 2 : position de la Deutsche Forschungsgemeinschaft With these regulations, the DFG wants to counteract the quantitative factors that have been increasing for years in terms of research publications. “Whether in performance-based funding allocations, postdoctoral qualifications, appointments, or reviewing funding proposals, increasing importance has been given to numerical indicators such as the H-index and the impact factor. The focus has not been on what research someone has done but rather how many papers have been published and where. This puts extreme pressure upon researchers to publish as much as possible and sometimes leads to cases of scientific misconduct in which incorrect statements are provided concerning the status of a publication. This is not in the interest of science”. (Lettre d’information de la DFG - Deutsche Forschungsgemeinschaft, 23/2/2010)

Pour l’évaluation qualitative 3 : retour sur les réformes de l’UK’s Research Assessment Exercise (RAE) Evaluations of research quality in universities are now widely used in the advanced economies. The UK’s Research Assessment Exercise (RAE), which began in 1986, is the most highly developed of these research evaluations. Based on peer review and involving some sixty-nine panels evaluating the research work of more than 50,000 academic staff, the exercise is expensive and time consuming. In this article, we examine the possibility that a quantitative, metrics-based approach can provide a low-cost alternative to expensive, qualitative peer review. […] Our results show that no single model will apply across science and non-science disciplines. Any metrics approach to performance evaluation has to use a discipline-specific suite of indicators. Linda Butler et Ian Macallister, “Evaluating University Researche Performance using metrics”,European Political Science, vol. 10/1, 2011, pp. 44–5

Pertinence des métriques pour les SHS Article de Butler et Macallister (2011) sur RAE, qui pointe que la bibliométrie est peu pertinente pour les SHS Réserves de l’Académie des sciences française (voir note de Cl. Lemercier sur http://evaluation.hypotheses.org) « Quant à l’utilisation de Google Scholar, souvent présentée comme la seule planche de salut pour les SHS (vu la faible couverture des bases de données mieux construites), les membres du groupe osaient à peine me croire quand j’en parlais, vu le manque de qualité des données… Cela veut dire, particulièrement pour nos disciplines où les bases elles-mêmes sont à construire (si une telle chose est possible vu la multiplicité et la variété des supports de publication), que si l’on voulait faire proprement de la bibliométrie, il faudrait y dédier de nombreux postes. » Lemercier, 25/1/2011

Création de bases de données pour la bibliométrie En cours, notamment du côté flamand (Ghent U., KUL, etc.) Conséquence : certains collègues ne souhaitent plus publier dans des revues qui ne sont pas classées dans leur université

Exemple de l’UGhent Où l’extension de ces classements aux SHS a été effectué

L’usage des indicateurs bibliométriques incite à modifier ses comportements de publication Soyons francs : nous savons tous faire cela, découper un article en deux, trois, quatre articles et le faire traduire en deux, trois, quatre langues pour ajouter autant d’items à nos listes de publications. Productivité en hausse, créativité zéro. Notre schizophrénie de chercheurs est là : nous renâclons — également sous la forme de la contestation infinie des « critères » — mais nous savons faire, et nous savons que ce n’est pas cela qu’il faut faire. Philippe Büttgen et Barbara Cassin, « Les dégâts de l’évaluation. L’État schizophrène et l’évaluation de la recherche », La Vie de la recherche scientifique, 378, 2009, p. 30-31.

H index : qu’est-ce que c’est ? Indice h rend compte du nombre de publications et du nombre de citations par publication Ex. : un indice 10 équivaut à 10 publications citées au moins 10 fois

Le CV du chercheur Les « nécessaires » Séjour de recherche à l’étranger Articles peer-reviewed Livre (thèse) Les « non suffisants » mais importants Colloques, organisation, administratif, etc.

Séjour de recherches à l’étranger Durée Bruxelles Liège FNRS BAEF, Fullbright, accords Québec, Wiener-Anspach, post-doc out, bourse DRE out, etc.

Articles dans des revues Revues à comité de lecture Prise en compte des classements Dépend de l’université Dépend de la discipline Articles en anglais ? Articles comme chapitres de livres Article individuel / collectif ?

Livres Seul Collectif Dirigé / co-dirigé Chapitre de livre Thèse Maison d’édition Collectif Dirigé / co-dirigé Livre Numéro de revue Chapitre de livre

Autres types de publications Comptes rendus Notices de dictionnaire

Prises de parole Colloques internationaux Conférences Sur invitation Dans des gros congrès disciplinaires Conférences Organisation de colloque Comité scientifique Président de séance

Prix / bourses Distinctions scientifiques Telle diversité que semble inquantifiable

Activité éditoriale Revue Exemple de COnTEXTES Collection PULg BSS

Sociétés savantes Réseaux internationaux Informations sur la discipline Sociabilité de la recherche Groupes liés à des projets de recherche Groupes de contact Comité de rédaction de revues Etc.

Expertise Peer-reviewing pour revues Comité de lecture Expert externe Évaluation de dossiers pour organismes finançant Fondation universitaire FNRS, CRSH, etc.

Développements informatiques Bases de données Logiciels (d’annotation par exemple) Différence avec un programmeur : nécessité de problématiser et de présenter les enjeux de ce type de travail dans des articles scientifiques

Vulgarisation Variable d’une université à l’autre Publications Cartes blanches dans journaux Dossier de vulgarisation dans revues généralistes Conférences grand public Université senior Intervention en milieu scolaire Invitation dans associations

Enseignement Importance différente en fonction de la cible : chercheur / enseignant Participation à différents cours comme invité Missions d’enseignement Direction / jurys de mémoire

Services à la communauté Administration universitaire interne CA, conseil facultaire, conseil de département, commissions, etc. Promotion de l’enseignement Coopération au développement

Conclusion Sanction / progression Quantité /qualité Réflexion critique et propositions