1

2

REVUE DU PROCESSUS DEXAMEN PAR LES PAIRS DES IRSC 11 AVRIL 2006

4 DÉMARCHE DE LA CONSULTATION SONDAGE Consultation auprès des chercheurs en santé de lUniversité Laval 108 répondants (sur 408 questionnaires transmis) 2 RENCONTRES DE RÉFLEXION 16 membres de comités des pairs des IRSC ont participé à lune ou lautre des deux rencontres Production dun document résumant les commentaires et suggestions issus de ce processus de consultation

5 RECOMMENDATION GÉNÉRALE Le système dévaluation par les pairs, bien quimparfait, demeure le meilleur disponible et il doit être maintenu.

6 RECOMMANDATION #1 MARGE DE RÉVISION DE LA COTE ACCORDÉE Que la marge de révision soit revue à la baisse et soit établie à + ou – 0,2 (ou 0,1) lorsquil y a consensus (i.e. lorsque les 2 évaluateurs internes sentendent sur une cote commune), ce qui en réduirait limpact. Que la marge de révision à + ou – 0,5 soit utilisée uniquement lorsquil ny a pas consensus, cest-à dire lorsque les 2 évaluateurs internes narrivent pas à sentendre sur une cote commune ou quun écart (seuil minimal à définir) demeure entre les cotes suggérées par les 2 internes.

7 RECOMMANDATION #2 COMMENTAIRES DES ÉVALUATEURS EXTERNES Que les IRSC mettent en place un processus strict permettant que si lexpertise requise à lévaluation nest pas présente au sein du comité, on fasse appel à des évaluateurs additionnels (membres ad hoc) dont lexpertise est jugée nécessaire. Ces évaluateurs participeraient donc aux discussions du comité sur certains dossiers, au même titre que les évaluateurs internes. Leur participation pourrait se concrétiser par une présence virtuelle, par exemple, par voie de conférence téléphonique. Ils agiraient alors à titre de membre ad hoc plutôt que dévaluateurs externes.

8 RECOMMANDATION #3 ÉVALUATION RÉPÉTÉE DUNE MÊME DEMANDE Que les IRSC améliorent la gestion des resoumissions de façon à assurer une meilleure continuité dans les évaluations. Sans arriver à un consensus, le groupe considère que les propositions suivantes sont intéressantes et quelles méritent dêtre étudiées par les IRSC, soit…

9 ÉVALUATION RÉPÉTÉE DUNE MÊME DEMANDE (suite) 1.Que lon sassure que les demandes redéposées soient examinées par au moins un évaluateur ayant déjà procédé à lexamen du dossier. Dans le cas où le mandat de ces évaluateurs serait complété, ceux-ci pourraient alors agir à titre dévaluateurs externes ou à titre dévaluateurs ad hoc (voir ci-dessus) pour ces seuls dossiers. 2.Que lon isole les projets bien cotés mais non financés et quun concours spécifique leur soit dédié.

10 ÉVALUATION RÉPÉTÉE DUNE MÊME DEMANDE (suite) 3.Que lon mette en place un processus dapprobation conditionnelle où une demande pourrait faire lobjet dun questionnement spécifique auprès du demandeur avant que la cote finale ne soit attribuée. Ce processus sappliquerait aux demandes dont la cote potentielle serait légèrement inférieure à la « cote de passage », ou à un pourcentage déterminé de demandes par comité. Il est noté que ce processus est déjà utilisé avec succès dans le comité des essais cliniques.

11 ÉVALUATION RÉPÉTÉE DUNE MÊME DEMANDE (suite) 4.Que lOfficier scientifique et le président aient en mains les évaluations précédentes et que lOfficier scientifique rende compte, lors de la rencontre du comité, de lévaluation précédente de la demande.

12 RECOMMANDATION #4 FRÉQUENCE DES CONCOURS DE SUBVENTION DE FONCTIONNEMENT Maintenir deux concours par année ouverts à tous, tel que le permet le système actuel. Cette recommandation respecte lopinion émise par la majorité des répondants au sondage. La possibilité davoir un processus « accéléré » réservé aux resoumissions, sans faire consensus, mérite dêtre mieux étudiée.

13 RECOMMANDATION #5 CONSTITUTION DES COMITÉS DE PAIRS Que la participation dexperts internationaux au sein des comités soit fortement considérée particulièrement dans le cas dévaluation de demandes non standards (demandes interdiscipli- naires, multi-domaines et demandes où les principaux experts canadiens font partie de la demande de financement). Si les experts internationaux ne peuvent pas être présents à la réunion, nous recommandons quils soient considérés au même titre que les évaluateurs internes (voir recommandation 2).

14 RECOMMANDATION #5 CONSTITUTION DES COMITÉS DE PAIRS Sassurer que la représentation des francophones en tant que membres internes des comités permette une évaluation juste et équitable des demandes rédigées en français.

15 RECOMMANDATION #6 Initiatives stratégiques (appels de demandes) Examen de la pertinence des projets Que les Instituts décrivent plus clairement les priorités dans lappel de demandes. Que la pertinence du projet soit évaluée sur la base dune lettre dintention présentée à un comité de pertinence de la direction de lInstitut.

16 RECOMMANDATION #7 Représentation du public et des acteurs de la recherche en santé sur les comités dévaluation Que les représentants du public soient invités à titre dobservateurs, avec possibilité dinterventions, mais sans droit de vote. Que la représentation du public soit liée au type de demande ou au domaine dintervention et quelle ne soit pas systématique à tous les comités mais ciblée à certains comités suite à une évaluation de pertinence.

17 RECOMMANDATION #8 Valorisation et appui aux jeunes chercheurs Aucune proposition na été retenue puisque le consensus na pas été atteint quant aux propositions discutées, en partie parce que le comité ne disposait pas de donnés objectives démontrant si les jeunes chercheurs sont ou ne sont pas défavorisés par le système dévaluation actuel. Les avis sont divergents. Les membres du groupe de discussion sont sensibles à la situation et aux besoins particuliers des jeunes chercheurs mais plusieurs croient que les nouveaux chercheurs sont traités équitablement et quils ne sont nullement pénalisés par le système actuel.

18 AUTRES PISTES DE RÉFLEXION Comment réduire la charge de travail pour les évaluateurs ? La longueur des demandes devrait-elle être réduite ainsi que la quantité dannexes ? Tous ces documents (en particulier les annexes sur les projets financés) sont-ils réellement nécessaires à lévaluation ?

19 AUTRES PISTES DE RÉFLEXION (suite) Révision du budget par le comité : quelles devraient-elles être les règles de révision du budget et comment éviter que cet exercice ne devienne « aléatoire » ? La pratique varie beaucoup de comité en comité. Comment standardiser lexamen du budget par le comité ? Comment sassurer que le montant accordé, sil est réduit, nentrave pas la réalisation du projet et ne compromette pas sa faisabilité ?

20 MERCI DE VOTRE ATTENTION!

REVUE DU PROCESSUS DEXAMEN PAR LES PAIRS DES IRSC 11 AVRIL 2006

22 RÉSULTATS DU SONDAGE

23 DÉMARCHE DE LA CONSULTATION SONDAGE Consultation auprès des chercheurs en santé de lUniversité Laval 108 répondants (sur 408 questionnaires transmis) 2 RENCONTRES DE RÉFLEXION 16 membres de comités des pairs des IRSC ont participé à lune ou lautre des deux rencontres Production dun document résumant les commentaires et suggestions issus de ce processus de consultation

24 1.Selon vous, lexamen par les pairs des IRSC est un système dévaluation…

25 2. Le nombre de comités de pairs depuis 2000 est passé de 25 à 49 en La sélection dun comité de pairs pour lévaluation de votre demande est-elle...

26 3. Considérez-vous que la liste des comités de pairs actuelle satisfait les besoins de votre domaine de recherche de façon…

27 4. Les IRSC se sont engagés à améliorer la représentation du public et des acteurs de la recherche en santé sur les comités dévaluation à titre dévaluateurs sur les comités. Considérez-vous cette mesure…

28 5. Dans les concours ouverts, une nouvelle méthode de répartition des subventions (100:0) entre les comités est en vigueur depuis septembre Cette méthode consiste à (…) Estimez-vous la nouvelle méthode (100:0) …

29 6. Si vous avez présenté une demande de subvention au concours de septembre 2005, considérez-vous que la nouvelle méthode de transmission électronique de votre évaluation par le comité de pairs est …

30 7. Selon vous, les commentaires des comités de pairs transmis suite à une demande de financement sont habituellement…

31 8. Dans le cadre des initiatives stratégiques (appels de demandes), les IRSC veulent mettre en œuvre un processus transparent, simple et uniforme dexamen de la pertinence des projets…Une demande… ne recevra pas de financement, ou pourrait ne pas être admise à létape dexamen par les pairs si lon constate quelle nest pas pertinente aux intérêts stratégiques sans égard au potentiel de recherche quelle représente. Considérez-vous cette mesure…

32 9. Concernant les concours ouverts de subventions de fonctionnement, est-il judicieux de conserver 2 concours par année compte tenu du taux de succès et du temps de rédaction requis ? devrait-on revenir à un concours par année avec un taux de succès 2 fois plus élevé ?

33 RECOMMENDATION GÉNÉRALE Le système dévaluation par les pairs, bien quimparfait, demeure le meilleur disponible et il doit être maintenu.

34 REMERCIEMENTS Merci à tous les participants Michèle Clavet Louise Laperrière Marielle Morissette

35

36

37

38

39