Audit à Visée Participative "Audit à visée participative" - ESEN - octobre 2008 Audit à Visée Participative Angeline AUBERT-LOTARSKI & Formateurs académiques associés angeline.aubert@fpms.ac.be Si vous le souhaitez, ajoutez vos noms et coordonnées mail. A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

Les 7 étapes d’un « AVP »  Restitution sous forme orale et écrite  Recommandations en termes d ’actions à mettre en œuvre à courte et moyenne échéance  Diagnostic : détermination des origines et causes des dysfonctionnements ; mise en évidence des points forts et des risques  Analyse : mise en relation des données recueillies avec le référentiel, description de « l’état du système » selon la focale choisie  Recueil d’informations : observations, entretiens, questionnaires, études de documents  Référentiel: identification des objectifs visés, des exigences à respecter et des indicateurs concrets orientant le recueil de données  Demande, négociation et commande formalisées dans une lettre de mission

RAPPEL : La finalité de l’AVP "Audit à visée participative" - ESEN - octobre 2008 RAPPEL : La finalité de l’AVP n’est pas la description d’une situation ou la mesure de résultats n’est pas le contrôle de conformité d’un EPLE ou de ses acteurs est la compréhension des résultats/de la situation pour identifier les actions à mettre en œuvre pour leur amélioration. Pas la description : même si la description de la situation est une étape indispensable de la démarche (phase d’analyse) Pas le contrôle : même s’il est important de faire (re)connaître aux acteurs le cadre institutionnel et local de leur action (référentiel) Est la compréhension : importance de la phase de diagnostic Pour leur amélioration : recommandations opérationnelles A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

De la commande au référentiel

Pourquoi ça fonctionne comme ça ? Si la finalité est la recherche de solutions, alors : Le recueil et le traitement de données doivent fournir la réponse aux trois questions suivantes : Comment ça fonctionne ? Pourquoi ça fonctionne comme ça ? Comment faire pour que ça fonctionne mieux ?

"Audit à visée participative" - ESEN - octobre 2008 Comment ça fonctionne ? Est-ce un problème ? Si oui : Norme ? Idéal ? Référentiel ? Explicitation de l’enchaînement entre les questions : Comment ça fonctionne est la question évidente mais elle reste de l’ordre de l’état des lieux. Elle décrit l’existant mais seule : Ne fournit pas les informations suffisantes pour dire si ce que l’on constate est satisfaisant ou non Ne permet pas de dégager des recommandations dont on serait sûr de la pertinence et de la validité. On reviendra par la suite sur la notion de diagnostic, mais d’où la nécessité de la question « pourquoi ça fonctionne comme ça » Donc il y doit y avoir des étapes intermédiaires : 1. Se demander si ce que l’on a constaté est un problème (est insatisfaisant, non conforme…). Pour répondre à cette question, explicitement ou implicitement on se positionne par rapport à une norme (officielle, universelle…) un idéal (peut-être plus implicite et subjectif) ou un référentiel. En AVP (et dans toute méthodologie d’évaluation, cf. notamment travaux de G. Figari) on utilise un référentiel, construit et explicite qui permet de positionner l’objet par rapport à plusieurs critères et/ou plusieurs dimensions. Cf. dia suivante. Comment faire pour que ça fonctionne mieux ? A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

Référentiel : comment le construire ? Qu’est ce qui permet de définir ses axes ? Ciblage lors de la commande Ciblage par le repérage des sources pertinentes Qu’est ce qui permet de positionner l’objet ? La définition d’indicateurs

Référentiel Source externe : les exigences BO, circulaires, etc. REFERENT  Ce que le dispositif doit/devrait faire  Ce que le dispositif dit/prétend faire REFERE données : ce qui est fait par le dispositif Source interne : les objectifs projets, culture, etc. CRITERES INDICATEURS Source experte : les principes bonnes pratiques, etc. comparaison INTERPRETATION DIAGNOSTIC

L’évaluation : les indicateurs "Audit à visée participative" - ESEN - octobre 2008 L’évaluation : les indicateurs indicateurs indicateurs indicateurs R ESULTATS ACTION(S) CONTEXTE BENEFICIAIRES DISPOSITIF Un indicateur est un élément observable constituant le signe, la trace de la présence d'un phénomène, et permettant la mesure du niveau ou de l'évolution de ce phénomène. C'est donc une information factuelle et concrète (mais pas systématiquement chiffrée) qui renseigne sur un état ou une évolution.   L'erreur classique lorsque l'on recherche des indicateurs est de se limiter à des indicateurs de résultats. Les indicateurs de résultats donnent une indication sur l'atteinte d'un objectif, l'existence d'un fait. Cependant, pris isolément, ils ne permettent pas d'expliquer pourquoi un objectif n'est que partiellement atteint. http://www.esen.education.fr/conseils/recueil-de-donnees/operations/ingenierie-du-recueil-de-donnees/indicateurs-et-variables/ A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

REFERENTIEL dispositif Liste : RECUEIL DE DONNEES Efficacité des dispositifs d’accueil des élèves en 6ème (…) L’accueil engage l’ensemble de la communauté éducative (8-6-2001 repris par le projet d’établissement) Participation de toutes les catégories de personnel aux différentes étapes. CR de réunion Programmes des journées portes ouvertes OBJET & FOCALE(S) EXIGENCES & OBJECTIFS & PRINCIPES INDICATEURS & INDICES OUTILS de RECUEIL DONNEES dispositif doit/devrait dit/prétend FAIRE Quelle information ? Auprès de qui ? Comment ? Liste : Ce qui permet de constater (faits, chiffres)

Pourquoi un référentiel ? Pour les auditeurs : Outil pour l’évaluation : Prépare et cible le recueil de données Structure l’analyse Permet d’informer / former les acteurs Garant de son indépendance, de son objectivité et de sa neutralité : fin de l’arbitraire Pour les acteurs : Support de formation donne à voir le cadre de fonctionnement et les finalités dans lesquels ils s'inscrivent. Communique des critères d'évaluation connus, explicites et explicités. Pour les auditeurs et les acteurs : Objet de communication : Discussion sur les attendus et les indicateurs Entre auditeurs Avec les acteurs. DIMENSION PARTICIPATIVE EVALUATION FORMATIVE

Recueil de données

Quelles données et informations recueillir sur le terrain ? "Audit à visée participative" - ESEN - octobre 2008 Quelles données et informations recueillir sur le terrain ? Questions directrices : Quelle méthode ? Un questionnaire ? Des entretiens ? IPES ? Autres indicateurs ? Qu’est-ce que nous avons besoin de savoir et pourquoi ? Quel est le meilleur moyen de recueillir ce type d’information ? Quand nous aurons cette information, qu’allons-nous en faire ? REFERENTIEL – PRE-DIAGNOSTIC OUTILS DE RECUEIL C’est l’élaboration du référentiel qui permet d’identifier les informations à recueillir. Il faut y associer les pistes tirées du pré-diagnostic qu’il faut explorer. C’est en fonction du type d’information que l’on décide de l’outil : observation, questionnaire… Sensibiliser les stagiaires au fait qu’il faudra traiter les questionnaires (d’où l’intérêt d’avoir des questions fermées), transcrire au moins en partie les entretiens pour pouvoir les partager entre collègues, etc. ANTICIPER A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

Que peuvent apporter les acteurs ? "Audit à visée participative" - ESEN - octobre 2008 Que peuvent apporter les acteurs ? Sources d’information sur les réalisations, les résultats, les difficultés rencontrées Beaucoup peut être su par de l’analyse de documents et rapports. Privilégier le recueil de leur interprétation, de leur explication du factuel. Indispensables pour identifier des leviers d’actions et des pistes de recommandations Que changeriez-vous si vous en aviez la possibilité ? Etc. Limiter le recours aux acteurs pour du purement descriptif. Une description du fonctionnement peut être élaborée à partir de documents (ou de questionnaires envoyés et traités avant la visite dans l’EPLE). Ce qu’il intéressante de savoir c’est l’avis des acteurs sur le fonctionnement décrit, leurs propositions de changements, leurs difficultés, leurs initiatives, etc. http://www.esen.education.fr/conseils/recueil-de-donnees/operations/ingenierie-du-recueil-de-donnees/sources-et-ressources/ A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

"Audit à visée participative" - ESEN - octobre 2008 Outils de recueil Recueil de données statistiques (IPES, statistiques académiques, etc.) Questionnaire Entretiens Analyse de contenu (projets, PV, etc.) Observations GUIDE DE RECUEIL : REFERENTIEL PREOCCUPATION DU TRAITEMENT POSSIBLE : Lien avec le référentiel Techniques de traitement http://www.esen.education.fr/conseils/recueil-de-donnees/operations/construction-des-outils-de-recueil/ A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

"Audit à visée participative" - ESEN - octobre 2008 Questionnaires Recueillir des informations précises. Nombre important de participants. Données facilement quantifiables et traitables. Privilégier les questions fermées : Oui/non ; échelles d’opinions ; QCM etc. Formulation adaptée à l’acteur sollicité Peut être diffusé et traité avant votre venue. Recueillir des éléments descriptifs. Dégager des tendances de pratiques, d’opinions, etc. Le site conseils donne des exemples concrets et précis de formulations (bonnes et mauvaises) de questions, etc. A. Aubert-Lotarski - angeline.aubert@fpms.ac.be

"Audit à visée participative" - ESEN - octobre 2008 Entretiens Conversation guidée sur l'objet de l'étude. Intervieweur se doit de rester en retrait. Attention à ne pas recréer une situation d’inspection. Se constituer un guide d’entretien précis. Intervieweur et secrétaire Recueillir des éléments explicatifs. Comprendre le point de vue des acteurs. Recueillir / tester des recommandations Le site conseils donne des exemples concrets et précis de formulations (bonnes et mauvaises) de questions, de techniques de relances et de prises de notes, etc. A. Aubert-Lotarski - angeline.aubert@fpms.ac.be