De lefficacité des évaluations Synthèse de létude commanditée par le F3E

I Létude II Ses principales conclusions III Des axes de réflexions pour le F3E ?

Létude s Ses points de départs s La méthode s Les limites

Le point de départ de létude n Une interrogation sur « l efficacité » des évaluations face au sentiment de leur banalisation n un premier rendu attendu : un document didactique destiné aux Osi n Un deuxième rendu attendu : un document destiné aux administrateurs du F3E n Ce power point résume ce 2ème document

La méthode n Une enquête épistolaire n Deux ateliers (personnes ressources, évalués / évaluateurs) n Des contributions n Des « enquêtes rapides » d une douzaine d évaluation,et des entretiens de personnes- ressources

Les limites n Un travail sur l évaluation « made in F3E » et non « en général » n La diversité des Osi et des évaluations, diversité constatée, mais impossible à prendre complètement en compte n Pour ce 2ème document : Un point de vue particulier et incomplet pour nourrir une « vraie réflexion stratégique » n Entre questions d orientations et propositions concrètes

Les principales conclusions s Un outils apprécié, mais pas toujours adapté s L efficacité des évaluations se jouent aussi en dehors d elles s Deux moteurs : Le regard externe, lappropriation s Des exercices trop centrés au Nord s Des exercices insuffisamment valorisés

Un outil apprécié mais pas toujours adapté n Un outil globalement apprécié n Mais parfois jugé trop lourd n un jugement globalement positif sur l accompagnement du F3E (tiers-médiateurs exigeant, aide au TDR et mise en relation avec des évaluateurs n Mais des délais bien long, une procédure également jugée trop lourde n L ambiguïté de la double commande « bailleur /Osi »

Lefficacité se joue aussi en dehors delle n Une question de « culture » n La maîtrise des outils n Le contexte de l évaluation n Les dispositif de suivi-évaluation n L insertion dans des cycles d ajustement ou de changement

Premier moteur, le regard extérieur n D abord parce quil permet « une prise de recul » n Ensuite parce qu il peut suggérer des « recommandations » plus ou moins concrètes n Un exercice souvent « violent »… Mais opposition n est pas toujours synonyme dinefficacité (elle peut lêtre)

Deuxième moteur, lappropriation n Une évidence n Pour s approprier les conclusions d une évaluation : ê tre informé, être concerné, comprendre, débattre, pouvoir déformer… n Un enjeu pour un exercice interculturel en partenariat,

Les trois temps de lappropriation n Avant : l expression des attentes… et leur synthèse n Pendant : comprendre le cheminement qui aboutit aux conclusions, le comportement des évaluateurs n Après : linformation, le débat, la prise en compte des conclusions du débat

Des exercices trop centrés au Nord n Les acteurs du Sud sont peu associés à la préparation des évaluations n Les rendus des évaluations sont rarement accessibles aux acteurs du Sud n La présence d évaluateur du Sud ne suffit pas à inverser cet état de fait

Des exercices insuffisamment valorisés n Des rendus sous la forme de « gros rapports » ne sont pas accessibles à tous. n Les conclusions des évaluations sont inégalement partagées n Les Osi nont pas toujours la capacité de tirer partie de celles des conclusions des évaluations quelles valident n Question de moyens, mais aussi « daccompagnement au changement » n L accompagnement (et les exigences) du F3E sarrête à la validation du rapport final

Des axes de réflexions pour le F3E ? s Aborder plus globalement la question de qualité au sein des Osi. s 1 Diversifier la gamme des outils qualités dont le F3E assure la promotion s 2 Améliorer laccompagnement des évaluations s 3 Mieux faire vivre lespace mutuel

... La qualité au sein des Osi Une préoccupation ancienne au F3E qui propose déjà des prestations diversifiées Une approche désormais partagée par de nombreux acteurs Des enjeux réels (Cf. le processus de Palerme) Une réflexion utile qui peut être utile « sur le fond » Considérer l évaluation comme un outil et non comme un moyen Aborder plus globalement ces questions de « qualité »

... La qualité au sein des Osi Concrètement : Animer une réflexion interne - Participer aux débats sur la question - Diversifier la gamme - Elargir le rôle du « lieu mutuel » Question ? Est-ce la vocation du F3E ? Un risque de concurrence avec les autres collectifs qui se sont déjà emparés de cette question ? Risque de dispersion pour une institutions aux moyens limités»

... Diversifier la gamme des outils Pourquoi ? Répondre aux demandes mal satisfaites par le modèle actuel d évaluation (Cf reproche de lourdeur) Et éviter que lévaluation ne soit utilisée comme « bonne à tout faire ». Améliorer lefficacité des évaluations (des dispositifs plus cohérents, le développement progressif d une culture, des outils d accompagnement…) Des outils plus facile à recentrer au Sud Essayer de désaccoupler plus souvent « démarches liées aux bailleurs », démarches plus internes »

... Diversifier la gamme des outils Exemple : « appui conseil au dispositif de suivi » - « mise en débat accompagnée » - appréciation de limpact - « capitalisation d expérience »...) Promotion n est pas automatiquement « co financement »… qui restera nécessaire pour les outils les plus lourd Mais aussi : diffusion mise au point d outils, valorisation d expériences, lobbying… Une expérience : Les FEP appuyés par la Fondation de France au Mali, au Maroc et à Madagascar

… Diversifier la gamme des outils Question ? Risque de dispersion - Une évolution probable du rôle du secrétariat technique (et des compétences ?) Une démarche assez lourde, et... … La question du financement ? Une hypothèse, un financement plus systématique des évaluations par les budgets projets. Elle n est pas sans inconvénient Concrètement : Aborder cette démarche comme un projet, travailler d abord sur les objectifs et les critères de choix avant choisir les outils possibles, puis de mettre au point l accompagnement

Améliorer : … laccompagnement Améliorer la connaissance de la diversité des membres Améliorer le suivi « ex post » des évaluations et de leurs suites Mieux communiquer sur le rôle du FE3 dans le processus d évaluation Limiter les comités de pilotages trop lourd ce qui nécessite sans doute d imaginer des alternatives Les procédures actuelles peuvent-elles, doivent- elles être simplifiée, raccourcie ? Le F3E doit il se donner la possibilité daccompagner laprès évaluation ?

Améliorer : … diversifier le concept Accompagner également des auto-évaluations assistées ? Des évaluations institutionnelles (de l Osi, d un partenariat) ? Des évaluations plus étalées dans le temps ?

Améliorer : … Plus au Sud Une exigence difficile à traduire en mesure systématiques : exigences supplémentaires = plus de contraintes - Une diversité difficilement conciliable avec des normes - les centres de décision des Osi, du F3E, du MAE sont encore au Nord CF diversifier la gamme et élargir la prestation « aide à la préparation » des TDR CF des exigences sur les rendus Réfléchir à des alliances institutionnelles au Sud (exemple les FEP)

Améliorer : … La post- évaluation Ajouter des exigences en terme de communications ? Ajouter des exigence en terme dexplicitation des conclusions tirées et des décisions adoptées suite à une évaluation ? Accepter dinclure dans le budget des évaluations des actions de communication et de mise en débat ? Accepter de financer de démarches « post évaluations » destinées à optimiser leurs conclusions ? (Les quelles ? Comment ?)

Mieux faire vivre... Une question d ambition et de cohérence de positionnement : Entre la gestion dun fond mutuel ciblé sur trois outils principaux, ou un lieu mutuel de débat et d action sur la question de la qualité au sein des Osi ? (une question entre « politique et technique ») Un question d articulation entre le F3E et les autres collectifs dont CO² Sud.

Mieux faire vivre... Mieux connaître la diversité des membres pour mieux répondre à leurs attentes et favoriser les synergies Développer (plus encore) des fonctions de centre de ressources Perfectionner lapproche « capitalisation / échanges / valorisation » Mieux assurer une fonction plus « politique » de participation aux débats publics

Étapes suivantes n?n?