Agence AEF 23 novembre 2010 Séminaire thématique sur l’évaluation destiné aux porteurs de projets du programme LLP Alexia PEYSER Eliane GODELET Xavier ROSY www.bief.be Place des Peintres, 5 1348 Louvain-la-Neuve 010 / 45. 28.46

Objectifs de la journée d’évaluation Mieux définir l’évaluation dans le cadre des projets LLP et l’intérêt de sa mise en œuvre Fournir des exemples d’outils et méthodes aux porteurs de projet Initier ou valoriser un processus de culture de l’évaluation au sein des projets Moyens Présentation de bonnes pratiques provenant des porteurs de projet Echange en atelier sur les expérience de mise en œuvre d’actions d’évaluation et sur les améliorations possibles

le BIEF Equipe pluridisciplinaire de 20 personnes Bureau d ’Ingénierie en Education et en Formation Equipe pluridisciplinaire de 20 personnes 22 ans d ’expériences au service de la formation dans les administrations, entreprises et réseaux éducatifs. Formation et Accompagnement en Gestion de projet, en Gestion des compétences, Formation de formateur,… www.bief.be

Agenda de la journée PARTIE 1 : « L’évaluation d’orientation » 8h30 ACCUEIL 9h00 Introduction (Présentation du déroulé de la journée de travail) 9h10 PARTIE 1 : « L’évaluation d’orientation » Présentation des enjeux de l’évaluation  d’orientation Bonne pratique : Une ardeur d’enfance – EQUAL I et II - Sylvie Lefèbvre de Promemploi Travail en ateliers (60 minutes) 10h45 PAUSE 11h00 PARTIE 2 : « L’évaluation de régulation  » Présentation des enjeux de l’évaluation  de régulation Bonne pratique : Projet Pass’Tic – Grundtvig - Sandra Langevin du Centre communal d'action sociale de la Commune de Carvin 12h35 LUNCH 13h30 PARTIE 3 : « L’évaluation de validation  » Présentation des enjeux de l’évaluation de validation Présentation de deux bonnes pratiques : UCL Stage - Mobilité - Bart Stoffels de l’UCL «3 ponts » Comenius - Marie-France Grégoire de l’école de 3 Ponts 15h05 Conclusions de la journée 16h00 Fin de la journée

Les thématiques abordées Les 3 moments d’évaluation rencontrés au cours d’un projet: Avant de débuter le projet: l’orientation (ex ante) Que fait-on et quels sont les objectifs prioritaires? Pendant sa mise en œuvre: la régulation - suivi Que fait-on lorsque la planification est chamboulée? A la fin du projet: la validation (éval. finale, ex post) A-t-on atteint le(s) objectif(s) visé(s)?

Le cycle de l’évaluation dans un projet Nouveau projet? Orienter Avant le projet Valider Dans un tel système, ce qui est fondamental, c’est l’évaluation des compétences… car permet de tenir compte de la réalité pour l’améliorer… Mais pas évident d’évaluer les compétecnes : il y a des moyens qui sont développés, à travers des situations complexes proches de la réalité, des critères, des indicateurs… Le bilan des compétences ne peut sans doute pas se contenter d’un « entretien d’évaluation »… Il faut une évaluation en continu, en temps réel… Notre expérience montre que la préoccupation de l’évaluation n’est pas toujours présente, ou alors pas opérationnalisée ou distincte du système des compétences. Je crois personnellement qu’il faut être très prudent en matière de gestion des ressources humaines par les compétences, en termes de lien compétences-rémunération-promotion, etc. Lien aussi avec la VAE qui est très importante dans le cadre d’un système de formation professionnel public. Je ne dis pas qu’il ne faut pas aller vers cela, mais je dis qu’il faut être très prudent. En tout cas, cela ne peut se faire que s’il y a une évaluation pertinente, valide et fiable des compétences… et cela, ce n’est pas évident, même si les outils commencent à être développés, notamment par le BIEF En fin de projet Réguler Pendant le projet BIEF © 2010

Introduction

Et maintenant une définition… DE KETELE, 1989

Évaluer ? L’évaluation est un processus qui consiste à recueillir un ensemble d’informations suffisamment pertinentes, valides, fiables et à examiner le degré d’adéquation entre - cet ensemble d’informations - et un ensemble de critères et d’indicateurs qualifiant les objectifs à évaluer en vue de prendre une décision.

Les moments d’évaluation Situation désirée Valeur ajoutée et impact PROJET Situation présente Temps Validation Evaluation de l’impact ou a posteriori Validation Evaluation finale Régulation Evaluation à mi-parcours Et continue OrientationEvaluation a priori 34

Recueil d’informations Par qui: Interne, externe Responsable, N, N+1, Auprès de: Participants, clients, N; N+1,N+2, N-1,… Où et comment: Sur le terrain : entretien, groupe de parole, observation questionnaire fermé/ouvert En chambre : données, document,… Quand: A froid / à chaud Avant, au début, pendant, à la fin, après

L’enjeu de la formalisation Répond à plusieurs enjeux fondamentaux: Support de communication et d’échange interne et externe Pérennisation: Pour la suite du projet ou les projets suivants Eviter les même erreurs Facilite la décision Afin d’éviter le piège d’une formalisation lourde : Formaliser au niveau le plus proche du terrain Outils simples, cohérents, utilisables facilement Penser à l’utilisation de l’info recueillie: quelle décision prendre, quand et comment?

L’évaluation d’orientation Partie 1 L’évaluation d’orientation

1. L'évaluation d'orientation Nature de la décision à prendre Décider de l’orientation à prendre ex: objectifs à atteindre, évaluation a priori des ressources à mobiliser, des priorités ex : faisabilité, du lancement des actions ex : chance de réussite Produit Débouche sur une (ou plusieurs) direction(s) avec indication de celle(s) à suivre Objet de l’évaluation Les potentialités (ce qui pourrait bien fonctionner) et les risques (ce qui pourrait ne pas bien fonctionner) Déterminer des objectifs pertinents

2. Les étapes de l’orientation Analyse des parties prenantes Analyse de la situation actuelle Identification de la situation souhaitée Prioritisation des objectifs

Outil d’analyse des parties prenantes Élevée Actifs négatifs Actifs positifs Faible Passifs négatifs Passifs positifs Influence Position Négative Positive

2. Les étapes de l’orientation II Analyse des parties prenantes Analyse de la situation actuelle Identification de la situation souhaitée Prioritisation des objectifs

Analyse de la situation actuelle Objectifs Relever la perception des différentes parties prenantes sur la problématique actuelle Comparer les diverses perceptions afin d'aboutir à une compréhension commune Trianguler: croiser l’information afin d’en assurer la fiabilité

2. Les étapes de l’orientation III Analyse des parties prenantes Analyse de la situation actuelle Identification de la situation souhaitée Prioritisation des objectifs

L'analyse de la situation souhaitée Objectif Décrire la « situation future idéale »  à atteindre Formulation sous forme d’objectifs à atteindre: Les demandeurs d’emploi sont formés Les enfants de moins de 6 ans dans la province du Hainaut sont pris en charge durant la semaine …

2. Les étapes de l’orientation IV Analyse des parties prenantes Analyse de la situation actuelle Identification de la situation souhaitée Prioritisation des objectifs

Prioritisation des objectifs L’objectif (à long terme) retenu peut être atteint de différentes manières ou en suivant différentes stratégies. Quel sera le plus pertinent, le plus faisable et viable?

Quelques méthodes pour orienter un projet Planification des Interventions par Objectifs (PIPO) Analyse FFOM (ou SWOT) Recherche appréciative (Appreciative Inquiry) Et beaucoup d’autres méthodes…

Les facteurs de réussite d'un système d’orientation Identifier les parties prenantes et prendre en compte des besoins Favoriser une prise de décision collégiale Se baser sur les résultats des expériences passées Pour une prise de décision orientée et argumentéde Prendre en compte le contexte: potentialités et risques 24

L’évaluation de régulation - Le suivi Partie 2 L’évaluation de régulation - Le suivi

2. L'évaluation de régulation (Le suivi) Nature de la décision à prendre Réguler en continu Remédier aux lacunes constatées Décider des changements et ajustements à apporter en vue de faciliter la réalisation des actions et l’atteinte des résultats … Produit Débouche sur un diagnostic et sur une thérapeutique Objet de l’évaluation Les écarts (ce qui ne fonctionne pas) Les éléments inattendus qui bouleversent la mise en œuvre Déterminer des objectifs pertinents

Le suivi de la mise en oeuvre Composantes d’un suivi de qualité Matrices / tableaux / systèmes pour la collecte de données Basés sur les outils de la planification: chronogramme, budget, … Facile et rapide dans l’utilisation Assigner des tâches et responsabilités : Qui collectera les données? Qui prendra les décisions? Qui les mettra en oeuvre? Qui doit être informé ? Quand et comment?

Responsabilités et prise de décisions: exemple Acteur Collection de données Prise de décisions (comment / sur quoi?) Informer (qui / sur quoi / comment?) Recevoir information (comment / de qui?) Responsable sur le terrain Au niveau des activités Au niveau des activités - à moins que la décision n’affecte pas le budget ou le calendrier global Informer le responsable du projet sur le progrès du projet + changements (réunion mensuelle + rapport trimestriel) Fiches mensuelles sur le progrès des activités, préparées par les bénéficiaires Responsable du projet Au niveau des résultats Décisions importantes au niveau des activités / en concertation avec le responsable sur le terrain. Informer le directeur: rapport bi-mensuel Informer le bailleur de fonds: rapport bi-annuel Fiches mensuelles sur le progrès du projet + rapport trimestriel du responsable sur le terrain Directeur - Doivent être impliqués quand on prend des décisions importantes qui affectent le calendrier, le budget ou les objectifs Révision du rapport bi-annuel pour le bailleur de fonds Rapport bi-mensuel du responsable du projet Bailleur de fonds Rapport bi-annuel 28

Les facteurs de réussite d'une phase de suivi Prévoir un outil d’évaluation pratique Mener une collecte d'information et un rapportage simples  automatismes (formalisation) Diganostic et thérapeutique Règles et procédures de prise de décision spécifiés à l'avance Mettre en oeuvre les décisions 29

L’évaluation finale (Validation) Partie 3 L’évaluation finale (Validation)

3. L'évaluation finale Décider de la réussite ou de l’échec du projet Nature de la décision à prendre Décider de la réussite ou de l’échec du projet de la poursuite ou de l’arrêt des actions Produit Débouche sur une preuve se réfère aux indicateurs prouvant l’atteinte des objectifs et des résultats intermédiaires Objet de l’évaluation Les réussites (ce qui fonctionne bien) Éventuellement, les erreurs afin de "donner du sens" à l'évaluation. Déterminer des objectifs pertinents

Évaluation finale : Qui? Auto-évaluation: les évalués = les évaluateurs Evaluation interne: les évaluateurs  les évalués , mais appartiennent à la même structure / organisation Evaluation externe: les évalués  les évaluateurs Evaluation assistée: les évaluateurs externes appuient le processus d’évaluation interne (facilitation, proposer / concevoir des techniques et méthodologie, analyse des résultats, etc.) 32

Les conditions de réussite de la phase d’évaluation finale TdR clairs, Précis et opérationnels Sources d’information disponibles Appropriation des résultats par les parties prenantes Preuve de réussite/ échec Proposer des recommendations pour la suite 33

Termes de Référence (TdR) : outil de gestion d’une évaluation finale Ils définissent les objectifs de l’évaluation Ils seront la base pour apprécier l'exécution de la mission d’évaluation Pour les consultants, ils formeront une légitimation pour exécuter leur tâche 34

Format de base des TdR 1. Données de base: contexte général, spécifique 2. Buts du projet: résultats attendus 3. Etapes du projet 4. Modalités de mise en œuvre du projet 5. Propositions financières 35

Le déroulement des ateliers

Déroulement de l’atelier Objectif : Echanger sur vos pratiques par petits groupes Et sur les améliorations possibles: formalisation, aide à la décision, participation Quand: après chaque présentation de la phase et d’une bonne pratique Durée: 60 minutes 37

Le déroulé de chaque atelier 1 Présentation de l’étape et des consignes: présentation des 3 slides Répartition par sous-groupe Consignes et un rapporteur par groupe 5 minutes 2 Travail en 3 sous-groupes de 10 personnes 25 minutes 3 Restitution des données de chaque sous-groupe dans le groupe de 30 12 minutes 4 Discussions, conclusions: Question: Que pourriez-vous améliorer? 15 minutes 38

Déroulement de l’atelier Concrètement : 3 ateliers 30 personnes par atelier (groupe imposé par l’AEF) 1 animateur BIEF par atelier Dans chaque atelier, travail en 3 sous-groupes de 10 participants L’animateur BIEF rapporte les résultats de l’atelier en plénière en fin de journée 39