Evaluation en formation / démarche qualité Quelques questions, pistes et brefs rappels au service des marcheurs… Quelques dénominateurs communs et pas forcément des moindres Intention modeste, en guise décembre 2004 janvier 2005 GRETA ANTIPOLIS

Evaluer : du latin VALERE valoir ATTRIBUER de la valeur à… un objet, une action, un dispositif, un phénomène, un individu… C’est-à-dire, considérer cette (ces) valeur(s) comme propre(s) à quelqu’un, quelque chose et qui permet de le, de la distinguer. (par ex. « Nul ce match !»…ou… « Super ce coup droit !»)

Valeur ??? Renvoie aussi bien au qualitatif qu’au quantitatif, et peut désigner l’absolu comme le relatif… -Qualité absolue servant de critère de jugement pour apprécier par ex. le beau, le bien, l’efficacité, le rayonnement, l’engagement… -Qualité relative propre à un objet, une action, un individu et qui fait qu’ils sont dignes d’estime par ex. « elle est efficace »…ou « cette expérience change sa valeur sur le marché du travail »… -Mesure d’une grandeur variable par ex. 100euros de l’heure-groupe,400h,3mètres, 12sur20… Valeur…pas simple… Toute l’ambiguïté de l’évaluation en tant que jugement de valeur se trouve là

Côté concept « Evaluer » est un terme polysémique : Susceptible de signifier… Rien d’étonnant à ce que le terme génère du contresens et de la confusion des esprits

Confronter, mettre en rapport… des données de fait et des données qui sont de l’ordre de l’idéal, du devoir-être, d’un projet, d’une intention… Autrement dit, dans notre jargon, cela consiste à Référer, c’est-à-dire mettre en rapport un référé (1) et un référent (2) Un référentiel ? un système, un document qui a une fonction de médiateur au service de la référence d’un référé à un référent… !!! Apprécier, juger… une réalité à la lumière d’une intention, d’un projet… C’est dire la valeur d’une réalité par référence à une exigence particulière Par ex. « le chiffre du mois n’est pas bon pour combler la situation du mois dernier » Produire de l’information éclairante… Chercher de l’information…informer…communiquer C’est construire de l’explication ou s’impliquer dans une situation, un phénomène, une relation pour le comprendre Conjug. céder. - 1559; «rapporter (une chose à une autre)», 1370; lat. referre «rapporter»Anglais to reffert .Référé: ensemble des observables à travers lesquels un réel est saisi; ce sont souvent ceux qui sont jugés représentatifs d’un objet Référent: modèle idéal articulant des intentions significatives; c’est une « grille de lecture » permettant de prendre position sur une réalité

Ensemble des observables à travers lesquels un réel est saisi (1)Référé Ensemble des observables à travers lesquels un réel est saisi Par ex. les productions écrites réalisées pour saisir la capacité à la communication écrite…; la présence, la satisfaction exprimée pour saisir l’engagement du stagiaire en formation Ensemble d’éléments jugés représentatifs d’un objet Par ex. les réponses à un questionnaire d’un échantillon de la population pour l’opinion des français (2) Référent Linguistique: « ce à quoi renvoie un signe; élément du monde qui est désigné par un signe. Modèle idéal articulant des intentions significatives Par ex. le référentiel diplôme d’un CAP, un projet… Grille de lecture permettant de prendre position sur une réalité Par ex. un référentiel de compétence, une « procédure qualité », une cartographie pour lire le territoire, une idéologie…

C’est se prononcer, c’est-à-dire prendre parti, Finalement , qu’est-ce qu’évaluer en formation ? Ce n’est pas seulement mesurer un objet, ni observer une situation, ni prononcer à l’emporte-pièce des jugements de valeur. C’est se prononcer, c’est-à-dire prendre parti, sur la façon dont des attentes sont réalisées. C’est, autrement dit, dire dans qu’elle mesure, une situation réelle correspond à une situation désirée. Cela implique… que l’on sache ce qu’il y a lieu de désirer que l’on observe le réel (quels sont les observables ? quand, comment, qui va les recueillir, comment va-t-on traiter l’info. , à qui la communiquer…?) que l’on prenne un point de vue, voire un parti (cf.logique de confrontation des points de vue, des valeurs)

Côté pratiques L’évaluation dans le champ professionnel (et de la formation) s’anime sous la forme de pratiques sociales d’évaluation qui se manifestent dans (et entre) les différentes « instances » qui composent une structure (institution, organisation, groupes, individus…) avec son histoire, ses mythes, ses idéologies, ses théories, ses contraintes, ses ressources… Un organisme de formation, une équipe pédagogique, un groupe de stagiaires sont des ensembles humains organisés c’est-à-dire un groupe social avec ses problèmes de relation, de participation au pouvoir, de coopération, de conflits… Les pratiques d’évaluation s’inscrivent dans ces « réalités complexes » Et générateur, si l’on n’y prend gare, de contre-stratégies de celui qui se sent traité en objet…qui s’identifie à l’objet de l’évaluation…

Les évaluations en formation: Au service de finalités différentes et complémentaires Diagnostique: effectuée avant une action ou une séquence d’apprentissage pour orienter le stagiaire ou ajuster la formation; peut porter sur ce qui doit être acquis mais également sur les compétences disponibles Formative: vise à faciliter l’apprentissage en guidant le stagiaire Formatrice: vise l’appropriation par le stagiaire des buts à atteindre, des critères de réalisation du produit et d’appréciation de la production Sommative: vise à faire un inventaire des compétences acquises ou un bilan après une séquence ou une activité de formation plus ou moins longue Sophistication…rétroactive, normative, interprétative (sans modèle prédéterminé, un référant), interactive,estimative,appréciative (avec modèle ou référent prédéterminé comme l’évaluation critériée) Critère de réalisation: formulation classique = en + gérondif

Evaluation critériée: évaluation dont le cadre de référence est constitué par des objectifs ou des performances cibles Critère: caractère, propriété d’un objet permettant de porter sur lui un jugement de valeur; ce grâce à quoi on pourra savoir (voir) si, l’intention est atteinte, l’objectif atteint Indicateur:caractéristique particulière témoignant de l’existence d’un phénomène déterminé; signe auquel on reconnaît la présence d’un effet escompté Voir la formulation classique : « A l’issue de la formation, le stagiaire sera capable de » + verbe d’action…+critères et indicateurs de réussite Critère: plutôt abstrait et commun ex.le confort,l’ appropriation, l’efficience, le coût, l’âge, l’empathie, la santé Indicateur: plutôt concret et singulier

Les grandes fonctions de l’évaluation Fonction contrôle qui assure la vérification d’une conformité d’une situation à une norme, un référent préexistant Fonction régulation qui assure la conduite d’une action en s’appuyant sur des informations en retour (feedback) pour ajuster (« régler ») l’action réalisée au but poursuivi (pour adapter l’action aux besoins qui se construisent; pour faciliter l’adaptation de chacun aux changements, prendre en compte la singularité…) De façon schématique, on ramène les fonctions possibles à 2 grandes fonctions…

II-Projet/démarche qualité/ et évaluation On évalue généralement avec sérieux les apprentissages des stagiaires et les résultats des actions; il est important d’évaluer les fonctionnements, les dynamiques de chacun pour tenter de les renforcer…

Les différents types d’évaluation « applicables » à un projet de formation: Cf. l’ordre classique des constituants de la démarche de projet: -Une intention, une visée -Une situation (ce sur quoi porte le projet et l’état des lieux préalable) -La problématisation (évaluation diagnostique qui prend la forme d’un inventaire structuré des questions et problèmes à propos de la situation) -Des moyens (au sens d’inventaire des contraintes et des ressources) -Des objectifs (inscrit dans l’intention, précis et faisables) -Une stratégie (un choix d’ensemble d’actions coordonnées) -Une opérationnalisation (c’est l’entrée dans la réalisation, le programme le pilotage,la régulation, le suivi, l’adaptation…) -L’évaluation (des produits, c’est-à-dire des résultats qualitatifs et quantitatifs repérables voire des effets qui sont les résultats non-attendus)

Cette évaluation par les produits est importante… Mais elle peut (doit) se compléter par des évaluations (d’inspiration systémique)du dispositif, du processus et qui ne le sont pas moins… Peuvent-elles aider à lutter contre l’atomisation dans les institutions et les phénomènes qui en résultent ? -Pertinence: porte sur la justesse de la problématique et sur sa relation avec les objectifs (adéquation objectifs-environnement, publics, besoins…) -Cohérence: adéquation des liens« moyens-objectifs- stratégie » (matériel obsolète-compétences pointues-autoformation ) -Efficacité: rapport objectifs/résultats (avec souvent rétroaction sur la précision des objectifs) // fonctionnements/résultats Evaluation de… le « chacun pour soi et dans son coin »

-Efficience: relation qualitative moyens/objectifs/résultats-effets (effets d’optimisation des moyens: comment faire mieux avec (moins) autant… et de satisfaction des acteurs) // fonctionnements /coûts -Faisabilité:comment atteindre les objectifs avec les moyens disponibles ? et quid de la stratégie en lien avec les objectifs et les moyens ? -Coûts: rendement financier dans le rapport moyens-résultat Et éventuellement… -Conformité: du prescrit au réalisé, des objectifs et actions aux normes, règles du programme, du droit, aux procédures prédéfinies…

Mais encore, et dans une approche bien moins techniciste… -Evaluation-régulation: se conduit à travers le suivi et le pilotage de la réalisation et elle comporte: la coordination des acteurs, des actions, des moyens, des étapes; l’adaptation des moyens, des objectifs, de la stratégie en fonction des modifications, des évolutions, des événements imprévus, des conflits, des dynamiques des acteurs(ajustements/avenants au projet…) -Evaluation-interprétation: en quête de sens; elle vise à irriguer de sens, à articuler le projet de l’intention à sa conclusion, de la situation de départ à la situation projetée; elle rappelle à la pertinence, à la faisabilité, à l’ inscription dans la finalité, à la singularité des phénomènes humains; elle donne place au sens dans le système de contraintes et demeure au service de la poursuite de la direction ;elle produit de la signification, traite les contradictions et divergences sans empêcher de prendre parti et d’agir dans ce qu’on croit être la direction…

Et Enfin…?! Evaluation /évolution : qui est une aide à la décision du changement, qui fait passer à un nouveau projet, une nouvelle situation, etc. /valeur : opération d’évaluation globale du fonctionnement (acteurs, facteurs, structures, processus, procédures dans leur organisation), de la dynamique des éléments pour eux-mêmes et entre-eux, du degré de finalisation des sous-systèmes par rapport à l’ensemble du dispositif pour mesurer… l’ «émergence » (E. Morin), c’est-à-dire la valeur produite par le système (différente des valeurs produites par ses parties)

En guise de conclusion… Il semble fortement que le mode d’évaluation qui s’inscrit dans une amélioration de la qualité en formation s’intéresse autant aux processus et procédures qu’aux produits de la formation Evaluation des procédures : « ce qui sert à faire exister un produit », la suite des actes, l’ensemble des facteurs qui aboutit à un produit Evaluation du processus dans sa globalité, ses finalités et ses valeurs; c’est cet ensemble beaucoup plus large que les procédures et qui les génère et leur donne sens et finalité (ex. former, apprendre…). Le processus est invisible s’il n’est pas mis en forme par les procédures, joué par des acteurs et représenté par des produits. En ce sens, l’évaluation ne peut rester une lecture « externe » mais elle doit se construire « à l’interne », être intégrée, spécifique et décalée à l’action et assumée et conduite par les acteurs du dispositif.