Evaluation de la qualité en formation SA 14 L061.0257 Evaluation de la qualité en formation Présentation du cours Evaluation de la qualité en formation Enseignant : Djily DIAGNE jeudi  17:15-19:00 Salle: PER  F207

Evaluation de la qualité en formation SA 14 L061.0257 Evaluation de la qualité en formation Présentation du cours Evaluation de la qualité en formation Enseignant : Djily DIAGNE jeudi  17:15-19:00 Salle: PER  F207

SA 14 L061.0257 Evaluation de la qualité en formation Les différentes étapes du travail d’analyse d’un dispositif d’évaluation Analyse du mandat Il s’agit ici de questionner la situation à évaluer, de décrypter le mandat, de l’approfondir et de chercher à en percevoir les spécificités. Quels sont les enjeux qui expliquent le mandat? Quels sont les incertitudes qui l’entourent? Quels sont les éléments essentiels qu’il comporte et les contradictions qu’il peut déceler? Repérage des éléments de contexte (situations appelant une évaluation) Description des enjeux qui entourent le projet d’évaluation Quelles stratégies? Quelles productions?

SA 14 L061.0257 Evaluation de la qualité en formation Les différentes étapes du travail d’analyse d’un dispositif d’évaluation 2. Quelle est la problématique d’évaluation? L’évaluation porte rarement sur une question isolée mais elle découle en général d’une situation complexe à partir de laquelle on essaie de dégager un ensemble de questions reliées entre elles. Quelles sont les questions fondamentales auxquelles l’évaluation doit répondre? La problématique consiste en une construction de questionnements issus d’un mandat et reformulés à travers un raisonnement conceptuel.

SA 14 L061.0257 Evaluation de la qualité en formation Les différentes étapes du travail d’analyse d’un dispositif d’évaluation 3. Quel est l’objet et les éléments à évaluer? Décrire l’objet à évaluer, c’est-à-dire une situation, un apprentissage, un dispositif, etc. Il ne faut pas se contenter en une formulation générale. Il s’agit de présenter l’objet dans ses dimensions et caractéristiques observables. Par exemple, dans le cas d’un établissement scolaire à évaluer, on peut organiser la détermination des objets à évaluer en se basant sur le modèle ICP (induit/construit/produit) de Figari (1994) inspiré par Stufflebeam. Figari, G. (1994). Evaluer : Quel référentiel ? Bruxelles : De Boeck.

Décomposition de l’objet en éléments à évaluer SA 14 L061.0257 Evaluation de la qualité en formation Décomposition de l’objet en éléments à évaluer Les 3 catégories d’ICP Eléments à évaluer en tant que porteurs d’influences, d’effets, de résultats Induit Eléments facteurs d’influence (déterminants) I1: environnement I2: organisation I3: population I4: orientation institutionnelle Construit Eléments facteurs de changement C1: dispositifs C2: fonctionnement curriculaire C3: politique interne C4: stratégies et moyens Produit Eléments facteurs de résultats P1: impact sur l’environnement P2: changements de comportements P3: réalisation des missions; actions

SA 14 L061.0257 Evaluation de la qualité en formation Les 3 dimensions du modèle d’évaluation ICP présentées en haut peuvent se décomposer en «éléments à évaluer» selon Figari: au niveau de I (induit: contexte, situation, problèmes) ou facteurs d’influences: organisation, population, missions attribuées…Ces influences peuvent être attendues (espérées ou redoutées) par les acteurs et peuvent constituer des freins ou renforcements sur l’action soumise à évaluation. Au niveau de C (Construit: objectifs, projets, etc.) ou les éléments facteurs de changement (les dispositifs ou les programmes censés provoquer des changements ou des améliorations par les moyens ou les contraintes qu’ils mettent en place), le fonctionnement curriculaire, c’est-à-dire l’organisation et le suivi des parcours des apprenants, les stratégies des acteurs.

SA 14 L061.0257 Evaluation de la qualité en formation C) Au niveau de P (productions) ici on trouve les éléments porteurs de résultats (impact sur l’environnement, changements, changement de comportements). Ces éléments seront soumis à l’observation et donc ils doivent être significatifs de l’objet à évaluer.

SA 14 L061.0257 Evaluation de la qualité en formation 4. Méthodologie d’évaluation: Référents: A partir de quoi donner un sens à l’information? (loi, circulaires, normes internationales, objectifs, orientation institutionnelle, règlement interne, objectifs du dispositif, résultats espérés… Les référents permettent de justifier le sens qui sera attribué aux résultats de l’évaluation.

SA 14 L061.0257 Evaluation de la qualité en formation 4. Méthodologie d’évaluation: Critères: quels aspects représentatifs de l’objet à évaluer choisir pour porter un jugement? (pertinence de la prise en compte de l’environnement, conformité aux normes institutionnelles, cohérence entre missions et choix, pertinence des objectifs du projet, efficience…)

SA 14 L061.0257 Evaluation de la qualité en formation 4. Méthodologie d’évaluation: Indicateurs: quelles caractéristiques observables permettent la vérification du degré d’atteinte du critère? (niveau de formation, les taux d’obtention d’un diplôme, confrontation des actions avec les normes, rapport entre ressources et résultats, qualité des actions, comportement observés avant/après, visibilité du projet, etc.

SA 14 L061.0257 Evaluation de la qualité en formation 5. Analyse et interprétation des résultats: Quelles significations attribuées aux résultats? Analyse descriptive: dresser un portrait de la situation observée à partir d’une compilation des données. Par exemple, dresser les caractéristiques d’un parcours, d’un profil, d’un groupe, etc. Analyse explicative: argumenter une prise de décision en fonction de la mise à jour de liens causaux entre variables. Par exemple, le lien entre l’existence d’un dispositif et un changement de comportement. Analyse compréhensive: il s’agit par exemple d’étudier des rapports entre les résultats et les perceptions des acteurs ou des choix opérés en matière de stratégie curriculaire pour expliquer tel réussite ou échec.

SA 14 L061.0257 Evaluation de la qualité en formation 5. Analyse et interprétation des résultats: Quelles significations attribuées aux résultats? Interpréter signifie mise en relation des faits entre eux. Mettre en relation des faits de contexte avec des phénomènes de l’ordre du résultat. Effectuer des croisement d’informations…

SA 14 L061.0257 Evaluation de la qualité en formation 6. Point de vue sur la qualité de l’évaluation? Efficacité des actions? Pertinence des objectifs? Cohérence entre missions et choix?