Evaluation d'un projet de recherche

Présentation au sujet: "Evaluation d'un projet de recherche"— Transcription de la présentation:

1 Evaluation d'un projet de recherche
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Evaluation d'un projet de recherche Contexte, objectifs, méthodologie Appels à projet et politique de la recherche Pr. Jean-Pierre GESSON Professeur émérite Président honoraire de l'université de Poitiers

2 Un constat: la recherche est une activité très évaluée:*
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Un constat: la recherche est une activité très évaluée:* - les chercheurs (recrutement, promotion) - les projets de recherche (financement) - les résultats des travaux (publications, proceedings, ouvrages, …) - les équipes et les unités (accréditation, financement, ...) - l'activité globale d'un établissement (financement) Contexte pour un appel à projet : - la variabilité des objectifs, montants, durées, ... - la plus ou moins grande complexité des dossiers - disciplinaire, inter-disciplinaire, multi-disciplinaire - une évaluation “interne” ou externe - la confidentialité et/ou la diffusion des résultats *: Measuring Research: a guide to research evaluation frameworks and tools, RAND Europe (2013)

3 Les appels à projets: Séminaire AUF-USJ, 18/09/2015
Bureau Moyen-Orient Les appels à projets: Le financement de la recherche par l'intermédiaire d'appel à projets s'est beaucoup développé au détriment du financement récurrent avec des conséquences: - nombreux dossiers à rédiger (et donc à évaluer) - taux d'acceptation très variable (impacte l'évaluation) La réussite aux appels d'offre est un élément de l'évaluation d'autres volets (individuels, unités, ...) La nécessité d'une procédure transparente avec communication des résultats de l'évaluation (généralement la liste des projets retenus est publique … pas la liste des recalés!), d'un code éthique pour les experts, d'une grille d'évaluation et d'une note ou d'une appréciation globales L'évaluation de pré-projets se développe afin de faciliter le travail des chercheurs pour la préparation des dossiers définitifs

4 Exemple: grille d'évaluation pour un projet ANR
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Exemple: grille d'évaluation pour un projet ANR (comité d'évaluation, 2 experts et plus) 1- pertinence 2- qualité scientifique et technique 3- méthodologie/coordination 4- impact 5- qualité du consortium 6- moyens/faisabilité 7- questions diverses 8- plateforme (si pertinent) 10- innovation (si pertinent) 10- note globale “Les notes doivent être accompagnées d’un commentaire. Certains critères sont utilisés avec un poids supérieur en fonction de la nature du projet (recherche fondamentale : F, recherche industrielle :RI, développement expérimental : DE). L’appréciation de la rubrique 10 reflète l’avis général de l’expert. Elle ne résulte pas obligatoirement d’une moyenne pondérée des notes précédentes même si elle doit être en cohérence avec l’impression d’ensemble qui s’en dégage. Le barème est : 5 = excellent, 4 = très bon, 3 = bon, 2 = juste, 1 = médiocre, 0 = éliminatoire ou non éligible.”

5 Rapport de l'expert = réponses à des indicateurs
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Rapport de l'expert = réponses à des indicateurs 2- qualité scientifique et technique • Excellence scientifique en termes de progrès des connaissances vis-à-vis de l’état de l’art, F, RI. • Caractère innovant, en termes d’innovation technologique ou de perspectives d’innovation par rapport à l’existant, DE. • Levée de verrous technologiques, tous. • Intégration des différents champs disciplinaires. F, RI 3. Méthodologie, qualité de la construction du projet et de la coordination • Positionnement par rapport à l’état de l’art ou de l’innovation technologique, tous • Faisabilité scientifique et technique du projet, choix des méthodes, tous • Structuration du projet, rigueur de définition des résultats finaux (livrables), identification de jalons, tous • Qualité du plan de coordination (expérience, gestion financière et juridique du projet), implication du coordinateur, tous • Stratégie de valorisation des résultats du projet. F, RI -

6 Rapport de l'expert = réponses à des indicateurs
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Rapport de l'expert = réponses à des indicateurs 5. Qualité du consortium • Niveau d’excellence scientifique ou d’expertise des équipes, tous. • Adéquation entre partenariat et objectifs scientifiques et techniques, tous. • Complémentarité du partenariat, tous. • Ouverture à de nouveaux acteurs, DE, RI. • Rôle actif du (des) partenaire(s) entreprise(s) et en particulier PME, RI, DE. 6. Adéquation projet – moyens / Faisabilité du projet • Réalisme du calendrier. • Adaptation à la conduite du projet des moyens mis en oeuvre. • Adaptation et justification du montant de l’aide demandée. • Adaptation des coûts de coordination. • Justification des moyens en personnels. • Justification des moyens en personnels non permanents (stage, thèse, post-docs). • Évaluation du montant des investissements et achats d’équipement. • Évaluation des autres postes financiers (missions, soustraitance, consommables…). 10. Avis général - Proposition de classement • A (recommandé), B (acceptable), et C (rejeté) • Éventuellement, propositions de modifications • Points fort et points faibles … Conclusion et recommandations au projet

7 Réponses à des questions plus précises
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Réponses à des questions plus précises (ex: projet de recherche conjoint, secteur santé) Qualité: critère 1 (40%) - le projet est-il bien adapté à la thématique de l'appel d'offre? Le projet répond t'il à une problématique bien définie ou à une question pertinente? - le positionnement du projet est-il bien décrit vis à vis de l'état de l'art et de l'innovation technologique? - les objectifs du projet sont-ils appropriés? Les verrous technologiques sont-ils bien évalués? - le projet est-il innovant du point de vue technologique? Ambitieux? - le projet a t-il un caractère inter-, multi-, trans- disciplinaire? Impact: critère 2 (20%) - la diffusion et l'exploitation des résultats attendus sont-elles clairement précisées et réalistes? - les perspectives sont-elles originales et ont-elles un potentiel direct d'application pratique? - les perspectives peuvent elles apporter une amélioration significative à la qualité de vie, à la performance ou l'efficacité des produits, technologies ou services? - le projet est-il bien positionné en lien avec la ou les entreprises partenaires? Y a t-il une stratégie de valorisation? - la protection (et la répartition entre partenaires) de la propriété intellectuelle est-elle définie?

8 Réponses à des questions plus précises
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Réponses à des questions plus précises (ex: projet de recherche conjoint, secteur santé) Consortium: critère 3 (20%) - l'expertise et les résultats précédents du directeur du projet sont-ils adaptés au sujet? Le directeur est-il qualifié pour mener le projet vers les objectifs attendus? - les responsables des équipes partenaires sont-ils assez qualifiés pour remplir leurs activités associées? - la structure du consortium est-elle correlée aux activités en termes techniques et scientifiques? La (ou les) entreprise(s) associée(s) a t'elle (ou ont-elles) un rôle actif dans le consortium? - existe t'il des synergies ou des complémentarités entre partenaires? - la taille du consortium est-elle adaptée aux objectifs? Gestion, gouvernance, livrables, budget : critère 4 (20%) - le plan de travail est-il structuré avec des étapes et des livrables clairement identifiés? Les tâches sont-elles bien définies entre partenaires? La charge de travail des partenaires est-elle adéquate par rapport à l'expérience e l'expertise des partenaires? - la coordination du plan de travail est-elle adaptée? La répartition des tâches est-elle en accord avec les objectifs et les livrables? Est-elle réaliste? - les ressources prévues sont-elles adaptées au projet (infrastructures existantes ou futures)? Les achats prévus d'équipement sont-ils pertinents et justifiés? - les ressources humaines (homme-mois) sont-elles justifiées? Les ressources humaines non permanentes (doctorant, post-doctorant, chercheur associé, …) sont-elles justifiées? - le volet financier (consommables, missions, …) est justifié et adapté?

9 Et à la fin … une note sur 100 ! Séminaire AUF-USJ, 18/09/2015
Bureau Moyen-Orient Et à la fin … une note sur 100 ! Chaque critère est évalué de 0 à 5 (décimales possibles) 0: absent; 1: très faible; 2: faible; 3: satisfaisant; 4: bon; 5: très bon Total= somme pondérée par le pourcentage et multipliée par 20 En plus: des commentaires pour chaque critère évalué en indiquant les points forts et les points faibles par rapport aux indicateurs dans chaque critères .

10 Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Le résultat définitif est issu d'un comité ou d'une commission (de pilotage, de sélection, …) La capacité de modifier des appréciations pour une plus grande homogénéité entre rapports d'experts (qui restent confidentiels) La rédaction d'un rapport global succinct (évaluation et recommandations) Le respect des enveloppes budgétaires conduit souvent à rejeter des bons dossiers Une éventuelle procédure en 2 étapes (dossier préliminaire puis dossier définitif) Le suivi des programmes conduit à des rapports intermédiaires ou finaux dont la qualité peut impacter des dossiers ultérieurs

11 Projets de recherche et stratégie d'établissement
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Projets de recherche et stratégie d'établissement Le financement par projet impacte la politique scientifique de l'établissement: - autonomie des chercheurs dans le dépôt ou non de dossiers - priorités nationales ou internationales, locales (très souvent liées à des applications technologiques: énergie, environnement, eau, santé, ...) - ressources propres et préciputs - besoin financier supplémentaire en appui des projets - soutien aux jeunes chercheurs (moins aptes à obtenir des financements sur projets) En conséquence il est souhaitable : - d'apporter un appui technique, voire financier, au montage de projets - d'utiliser des appels d'offre propres pour asseoir une stratégie

12 Appui au montage de projet?
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Appui au montage de projet? - information ciblée sur les AO existants - méthodologique (partage d'expériences, recherche de données, ...) - rédactionnel (soutien linguistique éventuel) C'est un investissement (recherche et relations internationales), éventuellement mutualisé avec un (ou plus) autre établissement dans un champ disciplinaire Devenir expert est un plus … pour monter ses propres projets !

13 Une politique d'appels à projet dans l'université?
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Une politique d'appels à projet dans l'université? Différents objectifs sont possibles: - aider les jeunes chercheurs (ou les attirer) - renforcer la recherche pluri-, inter-, transdisciplinaire interne - encourager les partenariats avec d'autres établissements (organismes de recherche, universités, ...) - renforcer l'ouverture internationale Effet levier: projets courts (2-4 ans), montants modestes (10-20 k€ voire plus), dossiers réduits, souvent évaluation interne (commission scientifique) Veiller à l'équilibre des secteurs en fonction des forces et des faiblesses de l'établissement, tenir compte des AO en cours Sources de financement: propre, préciputs (overheads), cofinancement d'un partenaire

14 Conclusion Séminaire AUF-USJ, 18/09/2015
Bureau Moyen-Orient Conclusion Le processus d'évaluation doit être adapté à la complexité des dossiers soumis. Les critères sont connus au préalable mais pas toujours explicités pour les porteurs de projet. La méthodologie pour les dossiers importants est relativement similaire : critères adaptés selon les domaines, pondérés et déclinés en indicateurs conduisant à une note globale. Pour les dossiers plus simples les critères sont moins détaillés et conduisent à une appréciation (A+, A, B, C). Il est important de ne pas sous-estimer les aspects autres que scientifiques. La multiplicité des appels d'offre implique une organisation adaptée en interne. Questions stratégiques dans une université: - faut-il accompagner les gagnants aux appels d'offre ou aider ceux qui ont échoué (ou qui sont susceptibles de déposer des dossiers dans le futur?) ?? - jusqu'à quel point tenir compte des succès aux appels à projets dans la gestion des ressources humaines (recrutement, promotion) en sachant que certains domaines sont sur-représentés dans les tratégies nationales et internationales??

15 Merci de votre attention
Séminaire AUF-USJ, 18/09/2015 Bureau Moyen-Orient Merci de votre attention Ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne compte pas forcément Albert Einstein