L'évaluation bibliométrique des départements des universités du G13 Planification et analyse institutionnelle Université McGill 26 avril 2007

Contenu de la présentation Ce que sont le G13 et le G13DE Le projet de bibliométrie Les données et l’approche utilisées Les indicateurs bibliométriques produits Quelques résultats institutionnels Considérations et conclusion

Ce qu’est le G13 Le G13: Le G13DE (G13 data exchange): Regroupe 13 universités axées sur la recherche et les études graduées; Avec faculté de médecine et hôpitaux affiliés. Le G13DE (G13 data exchange): Regroupe les bureaux de recherche institutionnelle (BRI); Échange de données pour faire des analyses comparatives (i.e., benchmarking); Partage des ressources (e.g., travaux en sous-comités, projets contractés à l’externe); Développement de méthodologies et échange d’expertise.

Financement de la recherche par les conseils fédéraux en 2005-06 85% 63% 55%

Participation aux publications Sciences naturelles et génie (2004): Canada: 27,403 publications; G13: entre 800 et 4500 publications par institution; En moyenne, chaque institution a participé à 7% des publications au Canada. Sciences sociales et humanités (2004): Canada: 4,518 G13: entre 120 et 700 publications par institution.

Le projet Analyses bibliométriques au niveau divisionnel. Comparaisons à l’interne ont une portée limitée; Les humanités et les sciences appliquées ont des pratiques de dissémination de connaissances différentes (livres vs revues); Publications par année par professeur: SNG: 2 à 3 SSH: 0.2 à 0.7 Des différences importantes peuvent exister même à l’intérieur d’un même secteur (e.g., chimie et mathématiques). Analyses comparatives inter-institutionnelles.

Approche suivie Chaque participant du G13 a fourni à l’OST : Une liste des chercheurs présents entre 2001 et 2005; De l’information sur chaque chercheur (département, année d’obtention du dernier diplôme, rang, etc.); L’OST va reconstruire le dossier de publications de chaque chercheur à partir de leur banque de données (basées sur données de ISI). L’OST générera des statistiques au niveau divisionnel.

Données utilisées Institute for Scientific Information (ISI). Science Citation Index: 3,700 revues. Social Sciences Citation Index: 1,700 revues. Arts and Humanities Citation Index: 1,130 revues.

Construire les dossiers de publications: un défi! Dans les bases de données d’ISI, les noms et adresses institutionnelles sur les publications sont dissociées. Souvent seulement la première lettre du prénom.

Construire les dossiers de publications: un défi! Dans les BD d’ISI, les noms et adresses institutionnelles sur les publications sont dissociées. Souvent seulement la première lettre du prénom. Problèmes d’homonymie: Google Scholar: 477,000 articles écrits par J Smith. Problèmes d’adresses (Montreal Neurological Institute plutôt que Université McGill). Donc nettoyage et harmonisation requis!

L’analyse comparative: un autre défi… Les départements ne sont pas directement comparables entre les universités (e.g., Génie électrique vs Génie électrique et logiciel). L’analyse comparative sera faite sur la base de regroupements de départements. En moyenne: une centaine de départements par université. Solution: créer 30-40 regroupements de 40-70 chercheurs. Basé sur les codes CIP (Classification of Instructional Programs).

Les indicateurs bibliométriques: 3 niveaux UNIVERSITÉ X Dépt A Dépt B Dépt C Dépt D Dépt E Dépt F UNIVERSITÉ Y Dépt M Dépt N Dépt O Dépt P Dépt Q Dépt R Groupe I Groupe J

Exemple de regroupement Niveau 1 Niveau 2

Exemple de regroupement Niveau 1 Niveau 2

Exemple de regroupement Niveau 2 Niveau 3

Exemple de regroupement Niveau 2 Niveau 3

Les indicateurs bibliométriques Nombre de publications (e.g., nombre de publications par professeur). Répartition disciplinaire. Collaboration intersectorielle (e.g., gouvernement, entreprise). Collaboration internationale. Moyenne des facteurs d’impact relatif: Facteur d’impact: nombre de citations par article publié. L’impact serait idéalement calculé à partir du nombre de citations effectivement reçues pour chaque publication, mais ce serait coûteux! Approche suivie: calcul à partir des facteurs d’impact des journaux dans lesquels sont publiés les articles recensés.

Quelques résultats (SNG - 2004)

Quelques résultats (SSH - 2004)

Limites de l’analyse L’étude est un ‘snap-shot’; on ne peut donc pas dégager de tendances. Analyses moins complètes pour les sciences humaines et certaines sciences sociales. Interprétation des résultats par regroupements. Les chercheurs cliniciens non-membres du personnel régulier sont exclus de l’analyse. Facteur linguistique et régional. Ne couvre pas toutes les revues.

Certains défis à relever… Les publications représentent un sous-ensemble de ce qui est produit; les départements voudront valider les statistiques produites et concluront que leur production est sous-estimée… Les dirigeants des facultés et des universités devront être bien informés pour qu’une bonne interprétation des données soit faite lors de comparaisons inter-départementales. Les bénéfices et les coûts des analyses bibliométriques devront être bien évalués.