Jean-Marc CIMINO Chantal TAMBOUR Formateurs académiques EVALUER RENDRE COMPTE Jean-Marc CIMINO Chantal TAMBOUR Formateurs académiques Caen- novembre 2010

Rappel: une problématique d’évaluation un objet circonscrit = délimiter l’élément concerné par l’évaluation un projet ? un dispositif ? un phénomène ? -un éclairage particulier = focaliser sur une dimension à mettre à jour une causalité ? des effets ? une recherche de solutions ? -une question = énoncer ce que l’évaluation cherche à élucider la clarification d’une situation ? la solution d’un problème ? Caen- novembre 2010

Caen- novembre 2010

Quelles données et informations recueillir? "Audit à visée participative" - ESEN - octobre 2008 Quelles données et informations recueillir? Questions directrices : Quelle méthode ? Un questionnaire ? Des entretiens ? IPES ? Autres indicateurs ? Qu’est-ce que nous avons besoin de savoir et pourquoi ? Quel est le meilleur moyen de recueillir ce type d’information ? Quand nous aurons cette information, qu’allons-nous en faire ? REFERENT – HYPOTHESES OUTILS DE RECUEIL C’est l’élaboration du référentiel qui permet d’identifier les informations à recueillir. Il faut y associer les pistes tirées du pré-diagnostic qu’il faut explorer. C’est en fonction du type d’information que l’on décide de l’outil : observation, questionnaire… Sensibiliser les stagiaires au fait qu’il faudra traiter les questionnaires (d’où l’intérêt d’avoir des questions fermées), transcrire au moins en partie les entretiens pour pouvoir les partager entre collègues, etc. ANTICIPER Caen- novembre 2010 A. Aubert-Lotarski - angeline.aubert@fpms.ac.be 4

Que peuvent apporter les acteurs ? "Audit à visée participative" - ESEN - octobre 2008 Que peuvent apporter les acteurs ? Sources d’information sur les réalisations, les résultats, les difficultés rencontrées Beaucoup peut être su par de l’analyse de documents et rapports. Privilégier le recueil de leur interprétation, de leur explication du factuel. Indispensables pour identifier des leviers d’actions et des pistes de recommandations Que changeriez-vous si vous en aviez la possibilité ? Etc. Limiter le recours aux acteurs pour du purement descriptif. Une description du fonctionnement peut être élaborée à partir de documents (ou de questionnaires envoyés et traités avant la visite dans l’EPLE). Ce qu’il intéressante de savoir c’est l’avis des acteurs sur le fonctionnement décrit, leurs propositions de changements, leurs difficultés, leurs initiatives, etc. Caen- novembre 2010 A. Aubert-Lotarski - angeline.aubert@fpms.ac.be 5

DONNEES Communiquer Oral & Ecrit Mettre en commun PISTES DE TRAVAIL Analyse = la réponse à la question posée au regard du référent et des données : De quelle manière et dans quelle mesure le dispositif audité est-il cohérent ou efficace ou pertinent… ? Diagnostic = ce qui semble expliquer la situation :Quels types de dysfonctionnements a-t-on repérés ? Quels atouts ? solutions = idées du (des) auditeur(s) ou suggestions des acteurs Vérifier et étayer Communiquer Oral & Ecrit Caen- novembre 2010

La finalité est la recherche de solutions. ANALYSE COHERENCE INTERNE Comment ça fonctionne ? DIAGNOSTIC Pourquoi ça fonctionne comme ça ? AXES DE PROGRES PERTINENCE Comment faire pour que ça fonctionne mieux ? La finalité est la recherche de solutions. Caen- novembre 2010

Du diagnostic à la recherche de solutions Niveau / type de dysfonctionnement ? Ressources et leviers d’action ? Humains, organisationnels, matériels, politiques, etc. À développer / à créer Formulation de solutions Structurer, hiérarchiser, sélectionner 1 action plusieurs effets ? Établir des priorités ? Valider : Pertinence : problème et contexte Faisabilité Cohérence avec analyse et diagnostic Caen- novembre 2010

EVALUER RENDRE COMPTE pistes de formalisation Jean-Marc CIMINO Chantal TAMBOUR Formateurs académiques Caen- novembre 2010

La posture d’évaluation du chef d’établissement anglais (extraits du référentiel de compétences) Connaissances Qualités professionnelles Domaines d’action Edifier l’avenir Communiquer, planifier, conduire le changement Inspirer, motiver, et mobiliser les autres pour faire avancer sa vision Donner une vision à la communauté locale Conduire les apprentissages et l’enseignement Les outils pour collecter et analyser les données L’utilisation des résultats de recherche pour informer l’enseignement et les apprentissages Le pilotage et l’évaluation de la performance L’auto-évaluation de l’établissement Elever les standards pour tous dans la poursuite de l’excellence S’assurer d’une focalisation large et constante de l’établissement sur la réussite des élèves, en utilisant les données et les benchmarks pour piloter le progrès, pour chaque apprentissage des élèves Développer le soi et travailler avec les autres La relation entre le management de la performance, le développement professionnel continu, et la dynamique de changement durable de l’établissement Donner et recevoir un feedback efficace et agir pour améliorer la performance personnelle Evaluer régulièrement sa pratique, fixer des cibles personnelles et prendre des responsabilités pour son développement personnel Caen- novembre 2010 Selon Romuald Normand

La posture d’évaluation du chef d’établissement anglais (extraits du référentiel de compétences) Connaissances Qualités professionnelles Domaines d’action Manager l’organisation Principes et modèles de l’auto-évaluation Création d’une politique à travers la consultation et l’évaluation Management de la performance Usage des TIC Prendre des décisions professionnelles, managériales, et organisationnelles fondées sur des jugements informés S’assurer que l’étendue, la qualité, et l’usage de toutes les ressources disponibles sont pilotées, évaluées et régulièrement révisées pour améliorer la qualité de l’éducation pour tous les élèves et pour être rentables Sécuriser l’obligation de rendre compte Evaluation et usage des données chiffrées Evaluation et collecte de données systématique Evaluation au centre de l’établissement Selon Romuald Normand Caen- novembre 2010

Evaluer: 3 questions …..3 étapes Où en est-on? Analyse et diagnostic Vers où va-t-on? Axes de progrès Comment y va-t-on? Ressources, contraintes, actions, innovations Caen- novembre 2010

Projet et contractualisation EVALUER Formalisation du Projet Priorités stratégiques Objectifs opérationnels Modalités d’évaluation FORMALISER Élaboration du Projet Repérage des besoins de l’EPLE Évaluation du Projet d’établissement Dynamique d ’équipe Choix Conduite du Projet Mise en œuvre Suivi et évaluation Contractualisation Validation des priorités Engagement des moyens RENDRE COMPTE Caen- novembre 2010

Projet d’établissement Projet d’établissement Chronologie Diagnostic lettre de mission Contractualisation Projet d’établissement Projet d’établissement Lettre de mission adjoint Lettre de mission adjoint Caen- novembre 2010

EVALUER ET RENDRE COMPTE A L’EXTERNE A l’institution: Le diagnostic préalable à la lettre de mission Contrat d’objectifs Le projet d’établissement Au conseil d’administration: Le rapport annuel d’activité Le plan annuel d’information et d’orientation A l’environnement de l’établissement: Aux collectivités territoriales: projets, investissements, dépenses Aux usagers: information, communication…. Caen- novembre 2010

POINTS COMMUNS S’inscrivent dans une démarche de pilotage par l’évaluation Déclinent des activités des EPLE au travers de ses objectifs prioritaires à des instants « T » différents Les axes prioritaires retenus au moment du diagnostic, développés dans le projet d’établissement, éventuellement contractualisés,sont évalués périodiquement: Bilans intermédiaires: PE- CO Rapport annuel d’activités Caen- novembre 2010

Les 3 phases du processus d’évaluation en tant qu’outil de pilotage de l’EPLE Élaboration du diagnostic Suivi et évaluation de l’atteinte des objectifs Bilan ( intermédiaire ou terminal) Caen- novembre 2010

État des lieux général Hypothèses de travail Domaine à explorer Critères SWOT algorithme Recueil d’indicateurs Identification du problème, des causes, des leviers d’action Formulation de l’axe de progrès Opérationnalisation Élaboration du dispositif de suivi, d’évaluation Caen- novembre 2010 Caen- novembre 2010 18

Exemple de structure du diagnostic Constat général sur l’EPLE qui débouche sur 3 à 5 domaines d’actions Domaine d’action 1 : Énoncé de l’axe de progrès Justification de l’axe = exposé des causes et des leviers d’action Opérationnalisation Évaluation et indicateurs Domaine d’action 2 (etc.) Annexes (état des lieux) : moyens matériels, ressources humaines (communauté éducative), public scolaire, ressources externes et partenariats Caen- novembre 2010

Énoncé des axes Communication interne et externe : 1.► Créer une dynamique autour d’un collège intégré dans son environnement, par une politique de communication externe et interne Maîtrise des savoirs fondamentaux : 2.► Assurer une prise en charge adaptée des élèves en difficulté et des élèves difficiles 3.► Redynamiser et moderniser l’enseignement des langues vivantes Caen- novembre 2010

Développement par priorité  Constats et indicateurs de justification de l’axe L’établissement n’a pas de nom Absence de communication entre les différentes catégories d’acteurs  Objectifs opérationnels Favoriser la circulation de l’information Valoriser (…)  Actions à mettre en œuvre par le CE Diffuser des notes d’informations régulières (…) Faciliter la participation des parents d’élèves par (…)  Indicateurs de suivi et d’évaluation Taux de participation des personnels aux différentes instances Reconnaissance de la nouvelle dénomination de l’établissement Connaissance du contenu des notes (…) Caen- novembre 2010

A VOUS DE JOUER … Développez l’axe par priorités: Maîtrise des savoirs fondamentaux : 2.► .. 3.► Redynamiser et moderniser l’enseignement des langues vivantes Développez l’axe par priorités: Constats et indicateurs de justification de l’axe Objectifs opérationnels Actions à mettre en œuvre par le CE Indicateurs de suivi et d’évaluation Caen- novembre 2010

Développement par priorité  Constats et indicateurs de justification de l’axe .déséquilibre entre les LV2 .manque de continuité dans les dispositifs classes euro..  Objectifs opérationnels .valoriser l’italien .développer le partenariat inter établissements  Actions à mettre en œuvre par le CE .mobiliser les équipes sur l’utilisation du matériel pédagogique permettant la pratique de l‘oral .appariement avec un établissement italien  Indicateurs de suivi et d’évaluation .évolution des inscriptions en italien . Caen- novembre 2010

La rédaction de votre diagnostic permet-elle de répondre à ces questions? Quel votre point de vue sur la situation ? ≠ État des lieux général (annexes) Sur quoi comptez-vous agir ? Priorités . pilotage . « maîtrisable » Comment comptez-vous agir ? Faisabilité - opérationnel Sur quoi / comment prévoyez-vous de rendre des comptes ? Anticipation . tableaux de bords Caen- novembre 2010

L’ évaluation et auto-évaluation de l’établissement : quelques conseils ! Les objectifs et le public doivent être précisés Ne pas surévaluer les résultats quantifiables aux dépens de ceux qui le sont moins Mesurer les caractéristiques durables des établissements et identifier des tendances Les indicateurs ne sont pas exhaustifs et doivent être compréhensibles par tous L’information ne doit pas être collectée seulement parce qu’elle est disponible Les domaines évalués doivent prendre en compte des questions de qualité, d’équité et d’efficacité Avoir trop peu d’indicateurs conduit à des difficultés d’interprétation et trop d’indicateurs tuent l’information. Caen- novembre 2010 25

….Quelques conseils: Écrire pour le lecteur Qu’est-ce qu’il sait déjà ? Qu’est-ce qui est nouveau ? De combien de temps dispose-t-il pour me lire ? Qu’est-ce qui l’intéresse ? Les « Dadas » Caen- novembre 2010

Les 3 phases du processus d’évaluation en tant qu’outil de pilotage de l’EPLE Élaboration du diagnostic Suivi et évaluation de l’atteinte des objectifs Bilan ( intermédiaire ou terminal) Caen- novembre 2010

Suivi et évaluation de l’atteinte des objectifs Être en mesure de rendre compte de son action: Actions ( nbe de voyages à l’étranger organisés) + Effets attendus ( progression des compétences en langue vivante , meilleure connaissances culturelle) Conforter ou infléchir les axes de travail au vu des indicateurs renseignés: Modification d’un axe prioritaire Maintien de la stratégie( actions correctrices éventuelles) Caen- novembre 2010

Les 3 phases du processus d’évaluation en tant qu’outil de pilotage de l’EPLE Élaboration du diagnostic Suivi et évaluation de l’atteinte des objectifs Bilan ( intermédiaire ou terminal) Caen- novembre 2010

Structure du rapport annuel d’activité Rappel des axes prioritaires Analyse des résultats de l’EPLE( auto-évaluation, réajustements éventuels des actions en cours Observations diverses Annexes ( ex: extrait du tableau de bord) Caen- novembre 2010

RENDRE COMPTE à l’interne Jean-Marc CIMINO Chantal TAMBOUR Formateurs académiques Caen- novembre 2010

OBTENIR L’ADHÉSION Une analyse personnelle du chef d’établissement justifiée par les indicateurs, Une réflexion partagée avec les acteurs, Des axes de travail définis en concertation, Souci de la mobilisation des ressources et de la temporalité Des indicateurs d’actions et de résultats explicités. Caen- novembre 2010

Lors des différentes étapes de l’évaluation Aider les personnels à se poser les bonnes questions et leur articulation avec des effets attendus 1 4 La définition du problème à résoudre 2 L’élaboration du projet d’établissement La mobilisation des ressources Obtenir l’adhésion Lors des différentes étapes de l’évaluation Favoriser la contribution à l’élaboration d’outils et à la production d’une synthèse finale Nourrir la réflexion et donner des outils pour la mise en œuvre d’une évaluation 3 La mise en œuvre de l’ évaluation Opérer régulièrement un retour d’information sur les actions entreprises et faire circuler l’information Caen- novembre 2010 33

RENDRE COMPTE A L’INTERNE Pendant l’évaluation ou l’auto-évaluation: Réunions et Instances ( conseil pédagogique, d’enseignement, CA …) Production d’écrits Lors de la synthèse finale: Assemblée du personnel concerné : restitution orale Synthèse écrite Caen- novembre 2010

Rendre compte est la contrepartie nécessaire de l’autonomie et de la responsabilité. De la sorte, l’évaluation de l’EPLE ne repose plus sur une investigation hiérarchique, mais principalement sur l’engagement des acteurs Caen- novembre 2010