Audit à visée participative Présentation de l'audit à visée participative Audit à visée participative Formateurs académiques associés INAS - Université de Mons Hainaut - A. Aubert-Lotarski

AVP - Démarche

Les 7 étapes d’un « AVP »  Restitution sous forme orale et écrite  Recommandations en termes d ’actions à mettre en œuvre à courte et moyenne échéance  Diagnostic : détermination des origines et causes des dysfonctionnements ; mise en évidence des points forts et des risques  Analyse : mise en relation des données recueillies avec le référentiel, description de « l’état du système » selon la focale choisie  Recueil d’informations : observations, entretiens, questionnaires, études de documents  Référentiel: identification des objectifs visés, des exigences à respecter et des indicateurs concrets orientant le recueil de données  Demande, négociation et commande formalisées dans une lettre de mission

pistes de recommandations Expertise  nourrit la démarche "pré-diagnostic" hypothèses de travail pistes de recommandations INTUITIF FORMEL Négociation et choix de l'objet Réf Recueil de données Analyse et Diagnostic Recomman -dations Restitution orale Rapport écrit Rencontre avec le CE Méthodologie  structure la réalisation et présentation Angeline Aubert-Lotarski

(re)mise en conformité A VALUATION + Explication, interprétation du fonctionnement è Recommandations : aide à la décision et à l'action Référentialisation multi - critères A NALYSE et D IAGNOSTIC Données Signes Sens C ONTROLE + Repérage de conformité ou non - conformité Réf érent externe mono - critère è Injonction d'action : (re)mise en conformité A NALYSE Données Ecarts E TAT DES L IEUX Description de faits, d'un fonctionnement, par des in dicateurs è Connaissance, Information A NALYSE Données Faits Type de commande Utilisation du référentiel Opérations intellectuelles Consiste à… Débouche sur… Angeline Aubert-Lotarski

La finalité de l’AVP : n’est pas la description d’une situation ou la mesure de résultats n’est pas le contrôle de conformité d’un EPLE ou de ses acteurs est la compréhension des résultats/de la situation pour identifier les actions à mettre en œuvre pour leur amélioration.

La dimension participative de l’audit Le chef d’établissement est le commanditaire effectif de l’audit. Négociation de la commande Recommandations soumises au libre-arbitre des acteurs Clause de confidentialité Pour renforcer la participation des acteurs concernés par l’audit… et donc l’efficacité de la démarche, il est souhaitable : de créer un ‘comité de pilotage’ de l’audit de convier tous les acteurs à la restitution orale. d’utiliser le rapport d’audit comme un outil de communication et de travail au sein de l’établissement et avec ses partenaires.

AVP – Commande

Le travail de la commande Repérer les enjeux, attentes et besoins du commanditaire Définir l'objet de la commande : explorer et délimiter Situer la commande en termes de pertinence et faisabilité Faire un pré-diagnostic Rédiger la lettre de mission

Pré-diagnostic ou « hypothèses de travail » De quoi s’agit-il ? = réponse(s) a priori au problème posé, anticipation du résultat de l’étude = orientation que l’on va donner à l’audit = pistes à privilégier et à explorer Il ne s’agit pas de décider à l’avance mais de vérifier ses a priori de bénéficier des expériences/expertises présentes pour aller à l’essentiel

Exemples de critères Conformité Cohérence Efficacité Réalisation Comment … ? A quelles conditions … ? Pourquoi … ? Bilan et perspectives… THEME + Conformité Efficacité Pertinence Opportunité Cohérence Réalisation Efficience Faisabilité Cibler l’approche

résultats obtenus résultats attendus Efficience Conformité ‘prescrit’ réalisé Efficacité résultats obtenus résultats attendus Efficience moyens et ressources utilisés Pertinence besoins identifiés actions réalisées

Présentation de l'audit à visée participative Figure 1 Modèle d’évaluation de la qualité À-PROPOS Contraintes FLEXIBILITÉ Ajustements (Prévus) (Non-prévus) IMPACT Environnement PERTINENCE Besoins Situation initiale (temps 1) Besoins Situations intermédiaires (temps 2 ... 3 ... 4 ... n) Organisme-Service-Programme Résultats Objectifs COHÉRENCE Moyens Intervenants SYNERGIE Effets Effets Moyen et long terme Court terme EFFICACITÉ EFFICIENCE DURABILITÉ Droits réservés Plante et Bouchard, 2002 © INAS - Université de Mons Hainaut - A. Aubert-Lotarski

Lettre de mission : les sept informations nécessaires La commande négociée : objet et objectifs Le site audité Les opérateurs Les modalités du recueil de données La règle de confidentialité / transparence Les modalités des restitutions Le descriptif prévisionnel des opérations Négociation – Co-contractualisation

AVP - Référentiel

Les 7 étapes d’un « AVP »  Restitution sous forme orale et écrite  Recommandations en termes d ’actions à mettre en œuvre à courte et moyenne échéance  Diagnostic : détermination des origines et causes des dysfonctionnements ; mise en évidence des points forts et des risques  Analyse : mise en relation des données recueillies avec le référentiel, description de « l’état du système » selon la focale choisie  Recueil d’informations : observations, entretiens, questionnaires, études de documents  Référentiel: identification des objectifs visés, des exigences à respecter et des indicateurs concrets orientant le recueil de données  Demande, négociation et commande formalisées dans une lettre de mission

Référentiel Source externe : les exigences BO, circulaires, etc. REFERENT  Ce que l’EPLE doit/devrait faire  Ce que l’EPLE dit/prétend faire REFERE données : ce qui est fait par l’EPLE Source interne : les objectifs projets, culture, etc. CRITERES INDICATEURS Source experte : les principes bonnes pratiques, etc. comparaison INTERPRETATION DIAGNOSTIC

L’évaluation : les indicateurs ESULTATS ACTION(S) CONTEXTE DESTINATAIRES DISPOSITIF

Modélisation de l’objet à évaluer Présentation de l'audit à visée participative Modélisation de l’objet à évaluer Processus d’élaboration, de réalisation, stratégies de mise en œuvre… Construit Modèle ICP de Figari Déterminants Éléments du contexte (social, géographique, historique ...) Induit Les résultats, les images, les effets, les documents produits… (donnés à voir ou à utiliser) Produit INAS - Université de Mons Hainaut - A. Aubert-Lotarski

Présentation de l'audit à visée participative L’évaluation comme relation-comparaison L’évaluation est une activité de comparaison entre un objet observé et un système de référence utilisé ou construit par celui qui évalue L’évaluation d’un dispositif de formation consiste à étudier les relations entre les différents éléments qui le déterminent : Son contexte Ses stratégies Ses productions INAS - Université de Mons Hainaut - A. Aubert-Lotarski

HYPOTHESES DE PRE-DIAGNOSTIC Ajout ou sélection d’indicateurs Comment ça fonctionne ? REFERENTIEL RECUEIL DE DONNEES EXIGENCES & OBJECTIFS INDICATEURS & INDICES OUTILS de RECUEIL DONNEES OBJET & FOCALE(S) ANALYSE EPLE doit/devrait dit/prétend FAIRE Liste : Ce qui permet de constater (faits, chiffres) Quoi ? Auprès de qui ? Comment ? HYPOTHESES DE PRE-DIAGNOSTIC Ajout ou sélection d’indicateurs DIAGNOSTIC Pourquoi ça fonctionne comme ça ?

Objet : Efficacité des dispositifs d’accueil des élèves en 6ème Préparation des élèves de CM2 aux conditions d’enseignement au collège (circulaire 16-3-77) Une visite au collège est organisée en fin d’année scolaire Une journée portes ouvertes (famille) est organisée : existence + augmentation du taux de participation sur 2 ans Des rencontres entre équipe Primaires/collège sont organisées sur des thématiques pédagogiques et éducatives (vie scolaire…). Mise en œuvre des décisions. Courrier d’information aux parents (émanant du collège et remis par l’école) Questionnaire aux élèves en juin et en septembre : baisse des « peurs exprimées » Etc. L’accueil engage l’ensemble de la communauté éducative (8-6-2001 repris par le projet d’établissement) Visite au collège organisée implique différents membres de la communauté éducative. Participation des CPE, COP, documentaliste, équipe administrative… aux réunions de préparation Procédures de repérage des élèves en grande difficulté en relation avec les écoles primaires