QUELQUES QUESTIONS ESSENTIELLES J-F Méla Table ronde colloque Futuris (14.11.11)

Présentation au sujet: "QUELQUES QUESTIONS ESSENTIELLES J-F Méla Table ronde colloque Futuris (14.11.11)"— Transcription de la présentation:

1 QUELQUES QUESTIONS ESSENTIELLES J-F Méla Table ronde colloque Futuris (14.11.11)

2 Une agence dévaluation universelle La France sest dotée dune agence dévaluation à vocation universelle qui na déquivalent nulle part ailleurs dans le monde. La France sest dotée dune agence dévaluation à vocation universelle qui na déquivalent nulle part ailleurs dans le monde. LAERES est chargée dévaluer les établissements et organismes denseignement supérieur et de recherche, les fondations de coopération scientifique, lANR… en tenant compte de lensemble de leurs missions et de leurs activités. Elle est chargée dévaluer les activités de recherche des unités, les formations et les diplômes, les procédures dévaluation des personnels… LAERES est chargée dévaluer les établissements et organismes denseignement supérieur et de recherche, les fondations de coopération scientifique, lANR… en tenant compte de lensemble de leurs missions et de leurs activités. Elle est chargée dévaluer les activités de recherche des unités, les formations et les diplômes, les procédures dévaluation des personnels…

3 Une évaluation centralisée Sa création visait à rationaliser et à normaliser des procédures dévaluation jusque là disparates et émiettées. Sa création visait à rationaliser et à normaliser des procédures dévaluation jusque là disparates et émiettées. Mais lexistence dune seule instance nationale dévaluation est en contraste avec lautonomie des établissements, et avec la montée en puissance des financements sur programmes (ANR, investissements davenir…) qui ont leurs propres critères dévaluation. Mais lexistence dune seule instance nationale dévaluation est en contraste avec lautonomie des établissements, et avec la montée en puissance des financements sur programmes (ANR, investissements davenir…) qui ont leurs propres critères dévaluation.

4 Vocation dune telle agence ? Eclairer les décideurs pour le financement « récurrent » des structures ? Eclairer les décideurs pour le financement « récurrent » des structures ? Eclairer les « clients » (chercheurs, étudiants, entreprises…) dans une logique de palmarès ? Eclairer les « clients » (chercheurs, étudiants, entreprises…) dans une logique de palmarès ? Eclairer les acteurs pour les aider à définir leurs stratégies ? Eclairer les acteurs pour les aider à définir leurs stratégies ?

5 Evaluation nationale/Autoévaluation Aujourdhui, dans le contexte de lautonomie des universités, ne sagit-il pas de mettre les établissements en face de leurs réalités, plutôt que de leur faire des recommandations sur leur stratégie ? Aujourdhui, dans le contexte de lautonomie des universités, ne sagit-il pas de mettre les établissements en face de leurs réalités, plutôt que de leur faire des recommandations sur leur stratégie ? Ne faudrait-il pas favoriser lémergence de « lauto-évaluation » - évaluation sur un cahier des charges fixé par l'institution, avec l'aide d'instances d'évaluation externes (AERES, OST...) ? Ne faudrait-il pas favoriser lémergence de « lauto-évaluation » - évaluation sur un cahier des charges fixé par l'institution, avec l'aide d'instances d'évaluation externes (AERES, OST...) ?

6 Dans le contexte européen Ne faudrait-il pas davantage intégrer les orientations européennes en matière dévaluation, « dassurance qualité », telles que lENQA cherche à les populariser ? Ne faudrait-il pas davantage intégrer les orientations européennes en matière dévaluation, « dassurance qualité », telles que lENQA cherche à les populariser ? Dans le contexte européen, de plus en plus dagences entendent limiter leurs activités à un audit des procédures internes de qualité. Dans le contexte européen, de plus en plus dagences entendent limiter leurs activités à un audit des procédures internes de qualité. Pourquoi la France fait-elle si peu de cas de ces orientations ? Pourquoi la France fait-elle si peu de cas de ces orientations ?

7 Modalités des évaluations concernant la recherche Quelle que soit la volonté de remplacer une note unique par une pluralité de notes, le résultat de lévaluation (qui va déterminer son impact) est avant tout la note globale. Quelle que soit la volonté de remplacer une note unique par une pluralité de notes, le résultat de lévaluation (qui va déterminer son impact) est avant tout la note globale. Lidentité du mode de production des notes dun comité dexperts à lautre nest pas garantie. Les rapports dévaluation ne sont pas toujours en adéquation avec les notes. Lidentité du mode de production des notes dun comité dexperts à lautre nest pas garantie. Les rapports dévaluation ne sont pas toujours en adéquation avec les notes. Normalisation, simplification des procédures ? Normalisation, simplification des procédures ?

8 Composition des comités dexperts La tradition française des organismes ou des comités nationaux voulait que les experts soient, en majorité, élus par leurs communautés. La tradition française des organismes ou des comités nationaux voulait que les experts soient, en majorité, élus par leurs communautés. Le passage à une pratique de désignation à langlo-saxonne a suscité de nombreuses critiques. La nouvelle tradition reste à construire. On est loin des règles déontologiques que se donne, par exemple, la Grande Bretagne pour la constitution des comités dexperts. Le passage à une pratique de désignation à langlo-saxonne a suscité de nombreuses critiques. La nouvelle tradition reste à construire. On est loin des règles déontologiques que se donne, par exemple, la Grande Bretagne pour la constitution des comités dexperts.

9 Composition des comités dexperts Ne faudrait-il pas faire une place aux mécanismes électifs ? Ne faudrait-il pas faire une place aux mécanismes électifs ? Exemple : En Allemagne la DGF est une association constituée de représentants des universités, des organismes, des académies… qui élisent le « Sénat », lequel pilote la DFG avec les représentants de lEtat fédéral et des länder. Exemple : En Allemagne la DGF est une association constituée de représentants des universités, des organismes, des académies… qui élisent le « Sénat », lequel pilote la DFG avec les représentants de lEtat fédéral et des länder. Les experts sont élus.

10 Impact des évaluations sur le financement Le système SYMPA distribue les financements de lEtat à 80% sur critères dactivité et à 20% sur critères de performance. Mais ceci ne concerne que les crédits « récurrents ». Le système SYMPA distribue les financements de lEtat à 80% sur critères dactivité et à 20% sur critères de performance. Mais ceci ne concerne que les crédits « récurrents ». Or le montant de ces crédits est devenu mineur par rapport à celui des crédits contractuels (ANR, Europe…), des investissements davenir… Or le montant de ces crédits est devenu mineur par rapport à celui des crédits contractuels (ANR, Europe…), des investissements davenir…

11 Impact des évaluations sur le financement Quelle est leur importance pour les agences de recherche sur programmes, pour les jurys des Idex, des Labex… ? Quelle est leur importance pour les agences de recherche sur programmes, pour les jurys des Idex, des Labex… ? LAERES note les unités, pas les départements ou les équipes. Cest un héritage de la structuration sur le modèle des organismes. LAERES note les unités, pas les départements ou les équipes. Cest un héritage de la structuration sur le modèle des organismes. La recherche sur programmes implique des équipes, voire des individus ; ce sont eux qui sont alors évalués plutôt que des unités La recherche sur programmes implique des équipes, voire des individus ; ce sont eux qui sont alors évalués plutôt que des unités