Suivi et évaluation de la formation Résultats, impacts et effets

Présentation au sujet: "Suivi et évaluation de la formation Résultats, impacts et effets"— Transcription de la présentation:

1 Suivi et évaluation de la formation Résultats, impacts et effets
7 mai 2015 Suivi et évaluation de la formation Résultats, impacts et effets (Training M&E) Gerardo CAPANO Consultant

2 Skill Academy - G. Capano
Programme Panorama de concepts, définitions, caractéristiques, types et instruments du M&E de programmes de formation. Approches complémentaires: niveaux, temps et objets d’évaluation (Kirkpatrick, Maisonneuve). Cas pratique : construire son outil de management de l’évaluation Options pour l’évaluation du retour sur l’investissement formation – social et économique. Skill Academy - G. Capano 08/05/2015

3 Skill Academy - G. Capano
3 séances de 90’: Cadre conceptuel Paramètres de conception d’un dispositif de M&E d’un programme de formation : début d’un cas pratique (travail en sous-groupes). Finalisation du cas pratique et conclusions. Skill Academy - G. Capano 08/05/2015

4 Skill Academy - G. Capano
Cadre conceptuel Première partie Skill Academy - G. Capano 08/05/2015

5 Fixer un cadre conceptuel
Pourquoi évaluer ? Objectifs, résultats attendus ? Quelles conséquences ? Quand évaluer ? Temps de l’évaluation Qui évalue quoi (et qui) ? Acteurs de l’évaluation Objet de l’évaluation Comment évaluer ? Définitions opératives Démarche Concertation Skill Academy - G. Capano 08/05/2015

6 Evaluer, pour quoi faire !?
Fonctions de l’évaluation: mesurer des résultats ainsi que le déroulement des processus pour: Reporter, rendre compte de l’avancement du travail, des résultats et de la manière dont ils sont obtenus. Entretenir et améliorer un système, un dispositif, une dynamique de travail et de management. Soit: assurer le présent et préparer l’avenir en identifiant les axes de progrès et d’innovation Skill Academy - G. Capano 08/05/2015

7 Principales fonctions de l’évaluation
Fonction stratégique Fonction managériale Fonction pédagogique Fonction qualité Skill Academy - G. Capano 08/05/2015

8 Skill Academy - G. Capano
Fonction stratégique Orienter l’action (buts, sens): Objetifs globaux, stratégiques Recherche d’impacts (ou effets) de la formation à moyen et long terme Définir la structure d’action: Acteurs, concertation, dimension, portée, périmètre, profondeur… Libérer les ressources nécessaires: Financières, organisationnelles, matéreilles, humaines, juridiques… Skill Academy - G. Capano 08/05/2015

9 Skill Academy - G. Capano
Fonction managériale Management ou conduite des processus internes, amélioration continue (normes NF et ISO) : Gestion et organisation de la production Techniques et technologies de production Chaine de création de valeur (fonction économique) Régulations de la fonction GRH: définition des postes / emplois, recrutement, formation, coaching, performances, conditions de travail… Régulation des styles managériaux et des changements organisationnels (notamment hiérarchiques) ROI (retour sur investissement) Skill Academy - G. Capano 08/05/2015

10 Skill Academy - G. Capano
Fonction pédagogique Evaluation initiale (plancher) Evaluation formative et suivi pédagogique Evaluation finale ou de cloture, dite sommative (synthèse des résultats) Principaux items: Réalisations (avancement du programme) Apprentissages techniques et comportamentaux Transferts (applications) Organisation du travail Skill Academy - G. Capano 08/05/2015

11 Skill Academy - G. Capano
Fonction qualité Gestion des processus Enregistrements Amélioration continue Management de la qualité Skill Academy - G. Capano 08/05/2015

12 Terminologie / Concepts (New)
Impacts Effets Résultats Nature Skill Academy - G. Capano 08/05/2015

13 Schéma des temps de l’évaluation
Ici le M&E = Suivi Ici le M&E = évaluation de l’ingénierie de formation, managériale, pédagogique et financière Bilan Conception Préparation Réalisation (Rés-Ef)  Impacts temps t0 tn ti Initiale Finale Continue Interfaces pédagogiques et de transfert t0-i t0+i Ex-ante Ex-post Skill Academy - G. Capano 08/05/2015

14 Les 5 temps de l’évaluation
Temps 1 – Évaluation ou étude préalable dite « ex-ante » (T0-i). Fixe les impacts et effets attendus, oriente le type et le niveau des résultats et objectifs à atteindre, dimensionne les ressources nécessaires... Elle aborde surtout les questions globales liées aux systèmes, dispositifs et contextes de formation et d’application des nouvelles compétences. La bonne appréciation de ces contextes garantit les bons impacts et effets. Temps 2 – Évaluation initiale ou de démarrage T0. Fixe le plancher à partir duquel on va construire un parcours de progression des connaissances et des savoir faire. Il s’agit surtout d’une évaluation technique et porte sur les contenus à développer. La bonne appréciation du niveau d’entrée conditionne l’élaboration des parcours de formation et de développement des compétences. Skill Academy - G. Capano 08/05/2015

15 Skill Academy - G. Capano
…suite Temps 3 – Évaluation continue (dite formative si elle est pédagogique ou de suivi s’il s’agit d’éléments de gestion) - Ti. Elle permet les ajustements nécessaires au cours de l’action. Mais pour qu’il y ait ajustement, les acteurs doivent disposer de l’autonomie suffisante pour pouvoir prendre les meilleures décisions. Temps 4 – Évaluation finale (Tn), qui peut être « sommative » ou « simple » (une dernière mesure). Elle constate les résultats obtenus, comparés aux objectifs initiaux et aux ressources mobilisées (« efficacité » en France, « efficience » dans le langage international). Cette évaluation finale, si elle comprend l’ensemble des IMPACTS / EFFETS de l’action est aussi considérée comme un BILAN final. Temps 5 – Évaluation « ex-post » ou BILAN à MOIS. Elle prend en compte les IMPACTS et les EFFETS. C’est à ce moment là qu’on va pouvoir mesurer l’EFFICIENCE (en France) ou EFFICACITÉ (en langage international). Skill Academy - G. Capano 08/05/2015

16 Particularités de chaque phase
Orientations et dimensionnement Conséquences Réalisation ROI Retour sur investissement CML termes Interfaces pédagogiques et de transfert t0-i t0 ti tn t0+i temps Skill Academy - G. Capano 08/05/2015

17 Interfaces pédagogiques
Acteurs principaux Parties prenantes Acteurs techniques et pédagogiques Parties concernées Interfaces pédagogiques et de transfert t0-i t0 ti tn t0+i temps Skill Academy - G. Capano 08/05/2015

18 Action et rétroaction des évaluations
En qualité les actions correctives sont en rouge et les préventives en jaune (qui deviennent vertes) t0-i t0 ti tn t0+i temps Skill Academy - G. Capano 08/05/2015

19 Résultats, effets et impacts
Proposition de définitions opérationnelles: Un résultat correspond au degré d’atteinte d’un ou plusieurs objectifs ou buts. Un impact correspond à l’effet produit par un ou plusieurs résultats sur la situation à modifier (métier), sur l’entreprise, l’équipe, la personne et son contexte socio-économique. Un effet, impact ou résultat inattendu, dit aussi « contre-intuitif » (cf. Crozier), correspond à des conséquences qui n’étaient pas considérées dans les objectifs et les buts. Skill Academy - G. Capano 08/05/2015

20 Niveaux d’impact Société / Economie
Collectifs sociaux et professionnels Familie / Groupes de travail Personne / Travailleur-se Skill Academy - G. Capano 08/05/2015

21 Exemple d’opérationnalisation des termes
Finalité Mission But Objectif Skill Academy - G. Capano 08/05/2015

22 Convention sur les définitions (usage OIT)
Résultat: augmentation ou amélioration de l’offre d’un bien ou d’un service (résultat d’un projet ou d’une activité – ex. formation). Effet: changement immédiat produit chez les bénéficiaires dudit projet ou activité. Impact: effet à long terme, positif ou négatif, primaire et secondaire, produit directement ou indirectement par ledit projet ou activité, intentionnellement ou non. Skill Academy - G. Capano 08/05/2015

23 Quel niveau d’évaluation ?
Niveaux de Maisonneuve Politique de formation (système) Dispositif de formation (famille d’actions) Transfert sur situation de travail Action / Cours Apprenant Skill Academy - G. Capano 08/05/2015

24 Sur quels objets ? Cf. Kirkpatrick
Connaissances et Comportements professionnels Satisfaction Impacts attendus et inattendus Transferts - Compétences Skill Academy - G. Capano 08/05/2015

25 Efficience et efficacité
 Pour Michel Marchesnay (France) EFFICIENCE = Résultats obtenus / Fins poursuivies EFFICACITE = Résultats obtenus / Moyens engagés Skill Academy - G. Capano 08/05/2015

26 Efficience et Efficacité (UE)
Skill Academy - G. Capano 08/05/2015

27 Skill Academy - G. Capano
Définitions Skill Academy - G. Capano 08/05/2015

28 Approches qualitatives et quantitatives
S’appuient sur des unités de mesure étalonnées. Leur valeur peut être spécifique, sectorielle, régionale, nationale ou internationale. Peuvent se référer à des éléments tangibles (nombres, poids, longueurs,…); ou intangibles (durées, climat social, risques…). Rendent compte des « performances » (décrivent « objectivement » une situation) Skill Academy - G. Capano 08/05/2015

29 Approches qualitatives et quantitatives
Peuvent s’appuyer sur des unités de mesure étalonnées ou non (appréciations). Peuvent se référer à des éléments tangibles ou intangibles. « Expliquent » les performances. Toute évaluation peut donner lieu à une exploitation (ou analyse) qualitative. Skill Academy - G. Capano 08/05/2015

30 Skill Academy - G. Capano
Exemples: Vitesse d’une voiture Rendement par poste de travail Rendement par équipe … Mais: On distingue encore les approches quantitatives (expérimentales, semi-expérimentales et non-expérimentales), …des approches qualitatives (étude de cas, analyses contextuelles, entretiens…) Skill Academy - G. Capano 08/05/2015

31 Skill Academy - G. Capano
Paramètres de conception d’un dispositif de M&E d’un programme de formation deuxième partie Skill Academy - G. Capano 08/05/2015

32 Skill Academy - G. Capano
Nos premiers pas… Pourquoi évaluer (constats, besoins…) Qu’est-ce qu’on veut mesurer (Kirkpatrick) ? A quel niveau va-t-on placer l’évaluation (Maisonneuve) ? Avec quel périmètre (amplitude) ? Et quelle profondeur (niveau de détail) ? Pour quoi faire : conséquences et bénéfices (répondre à #1) ? Quels seront donc les acteurs concernés ? Quels seront les ressources nécessaires ? Skill Academy - G. Capano 08/05/2015

33 Skill Academy - G. Capano
Activité 1 - conception d’un dispositif d’évaluation pour actions de formation Fiche-activité 1 - Consignes: 30 minutes en tout Sous-groupes jusqu’à 7 personnes Choisir parmi les membres du sous-groupe une action, ou une famille d’actions ou un dispositif de formation à évaluer. Discuter des différentes possibilités pour chaque item du canevas. Remplir les espaces avec des propositions consensuelles Affichez vos résultats sur un mur 1 seule présentation : Présenter l’action et son contexte Présenter l’institution porteuse Exposer les propositions retenues Discussion en grand groupe Skill Academy - G. Capano 08/05/2015

34 Résultats activité 1 (a)
Questions Éléments de réponse 1. Pourquoi évaluer (constats, besoins…) 2. Qu’est-ce qu’on veut mesurer (Kirkpatrick) ? 3. A quel niveau va-t-on placer l’évaluation (Maisonneuve) ? 4. Avec quel périmètre (amplitude) ? Skill Academy - G. Capano 08/05/2015

35 Résultats activité 1 (b)
Questions Éléments de réponse 5. Et quelle profondeur (niveau de détail) ? 6. Pour quoi faire : conséquences et bénéfices (répondre à #1) ? 7. Quels seront donc les acteurs concernés ? 8. Quels seront les ressources nécessaires (y compris méthodes) ? Skill Academy - G. Capano 08/05/2015

36 Document « Projet d’évaluation » Manager l’évaluation (a)
Intitulé: XXXXXX Champ: EFP industrielle Niveau (Maisonneuve) et étendue: (périmètre) Région sud-ouest, industrie métallurgique... Public cible: Personnes ayant suivi une qualification dans le système national d’EFTP Objet de l’évaluation: Insertion socio-professionnelle (revoir Kirkpatrick) Thèmes centraux: adéquation formation-emploi; progrès social des familles; progrès technique des entreprises. Skill Academy - G. Capano 08/05/2015

37 Manager l’évaluation (b)
Objectif global (But): Obtenir les éléments nécessaires à l’élaboration d’une politique publique de EFTP dans l’industrie. Par filière, déterminer les écarts entre les besoins et l’offre, à un horizon de 3 ans. Concevoir une enquête longitudinale (de type baromètre) sur le progrès social produit par l’EFP et réaliser sa première mesure (plancher). Concevoir une enquête longitudinale sur le progrès technique des entreprises (de type baromètre) et réaliser sa première mesure (plancher). Skill Academy - G. Capano 08/05/2015

38 Manager l’évaluation (c)
Acteurs et responsabilités Maitre d’ouvrage Maitre d’œuvre Partenaires Prestataires Conception technique et planification (profondeur) Organisation (y compris concertation) et lancement Calendrier (y compris des réunions des COPIL et COTECH) Réalisation et suivi Valorisation Bilan Skill Academy - G. Capano 08/05/2015

39 Document Grille « MO-MO »
Skill Academy - G. Capano 08/05/2015

40 Conception technique et nature des indicateurs
Résultats et impacts socio-économiques recherchés Résultats obtenus (y compris effets) techniques, organisationnels et pédagogiques Impacts socio-économiques produits (culturels?) Interfaces pédagogiques et de transfert t0-i t0 ti tn t0+i temps Skill Academy - G. Capano 08/05/2015

41 Activité 2 - Déterminer des indicateurs pour l’évaluation
Fiche activité 2 – consignes : Choisir l’une des propositions faites dans le point 2 de la grille de l’exercice précédent. La transformer en deux objectifs de l’évaluation (ou thèmes), l’un quantitatif, l’autre qualitatif. Discuter des différentes possibilités afin de déterminer les meilleurs critères d’évaluation. Remplir les espaces avec des propositions consensuelles Exposer le résultat sur un mur. 1 seule présentation : Rappeler l’action et son contexte (de l’exercice précédent) Exposer les propositions retenues et les expliquer. Discussion en grand groupe. 30 minutes en tout Skill Academy - G. Capano 08/05/2015

42 Qualité des indicateurs
Pertinent et significatif Fiable / Sources Stable dans le temps Comparable Skill Academy - G. Capano 08/05/2015

43 Skill Academy - G. Capano
Réflexions Quelle sera la technicité nécessaire ? Quels sont nos besoins en reporting ? Quel en sera le coût ? Quelles sont nos ressources ? Skill Academy - G. Capano 08/05/2015

44 Skill Academy - G. Capano
Finalisation du cas pratique et CONCLUSIONS troisième partie Skill Academy - G. Capano 08/05/2015

45 Structure des charges de formation (en entreprise)
Frais de formation Frais de déplacement Frais de non production ou de remplacement Management de la formation Voir coûts cachés (H. Savall – ISEOR) Skill Academy - G. Capano 08/05/2015

46 Structure des produits de formation (en entreprise)
Performances production Qualité (rebuts, retours…) Réduction des coûts RH et management Performances sociales et sociétales (env.) Skill Academy - G. Capano 08/05/2015

47 ROI – Retour sur Investissement
Si le ROI = Bénéfices - Coûts de formation pour une période donnée; Notre problème consiste à déterminer quels sont les bénéfices et les coûts qui devront être comptabilisés. Nous devons faire évoluer les pratiques de gestion du budget de formation vers l’investissement en formation Skill Academy - G. Capano 08/05/2015

48 Changement d’approche
Notions de Dépenses/Produits REMPLACÉES PAR Coûts et Bénéfices sociétaux Comptabilité Investissement Skill Academy - G. Capano 08/05/2015

49 Skill Academy - G. Capano
Globalement Optique comptable Budget à exécuter Objectifs de dépenses ou d’économies à réaliser Gestion comptable (guide) Orienté vers l’institution, vers les « chefs » Investissement Buts à atteindre Mission à accomplir Gestion de processus (la compta ne guide pas mais reflète l’action) Orientation client (bénéficiaire, citoyen, travailleur…) et service Skill Academy - G. Capano 08/05/2015

50 Conséquences du changement d’approche
Flexibilité dans la gestion budgétaire Responsabilité accrue, partagée et déléguée Décentralisation du pouvoir de décision Nouveaux styles managériaux avec de nouveaux mécanismes de contrôle Nouvelles compétences (et savoirs) Nécessité de techniciens locaux hautement qualifiés Données (data) non consolidées Skill Academy - G. Capano 08/05/2015

51 Skill Academy - G. Capano
Exemple FFP (France) 10 indicateurs (FPC) permettant de rendre compte de la politique formation – et de l’orienter Rendre compte de l’effort de formation et de sa répartition: - Nombre moyen d’heures de formation par an, par salarié (par sexe, catégorie professionnelle, zone géographique, pour les handicapés) – FPC 1 - Taux d’accès à la formation (% de salariés ayant bénéficié d’une action de formation l’année passée) FPC 2 - % des salariés n’ayant pas bénéficié d’actions de formation depuis au moins deux ans – FPC 4 - Nombre de stagiaires et d’alternants (FPC5) - Effort financier de formation (FPC 6) - Répartition des  heures de formation par thème (FPC 9) Skill Academy - G. Capano 08/05/2015

52 Skill Academy - G. Capano
Rendre compte de la qualité de l’accompagnent des salariés dans le développement de leurs compétences, le maintien de leur employabilité, et la progression de leur qualification - % de salariés bénéficiant d’entretiens d’évaluation et d’évolution de carrière périodiques intégrant une composante formation (FPC7) - Programmes de développement des compétences et de la formation tout au long de la vie destinés à assurer l’employabilité des salariés et les aider à gérer leur fin de carrière (FPC 3).  - Nombre de salariés ayant suivi une formation certifiante (FPC 8) - Programmes locaux et nationaux d’aide au développement des compétences (FPC 10) Skill Academy - G. Capano 08/05/2015

53 Skill Academy - G. Capano
08/05/2015

54 EQAVET = 10 indicateurs http://www.eqavet.eu/gns/home.aspx
Skill Academy - G. Capano 08/05/2015

55 Skill Academy - G. Capano
08/05/2015

56 Skill Academy - G. Capano
08/05/2015

57 Indicateurs économiques
Il faut d’abord définir une unité d’œuvre : coût unitaire par formation, coût par apprenant, coût par crédit, par cycle… Exemple: coût de l’heure formation On doit inclure tous les coûts liés à la formation en salle, en entreprise, à distance, aussi bien que le suivi et l’accompagnement Cela permet des comparaisons plus aisés Skill Academy - G. Capano 08/05/2015

58 Activité 4 Indicateurs économiques
Reprenez vos sous-groupes Choisissez l’un des objectifs (colonne de gauche) de la grille de l’activité 2 Calculez l’investissement formation Dimensionnez le bénéfice attendu Définissez des indicateurs économiques 20 minutes Skill Academy - G. Capano 08/05/2015

59 Document : Manager son dispositif d’évaluation
Phases QUOI? Activités / Tâches QUI? Acteurs COMMENT? Outils / Méthodo QUAND et OÙ? COMBIEN? Ressources Résultats / Livrables Faisabilité Etude et conception technique Lancement Mise en Œuvre Bilan L’évaluation ou le système de M&E, aussi devra faire l’objet d’une évaluation et d’une analyse Skill Academy - G. Capano 08/05/2015

60 Merci de votre attention et de votre participation
Merci à Alexis et a toute l’équipe pour votre travail

61 Skill Academy - G. Capano
annexes Skill Academy - G. Capano 08/05/2015

62 Aussi bien sur le plan INDIVIDUEL que COLLECTIF
Quoi évaluer ? Aussi bien sur le plan INDIVIDUEL que COLLECTIF Champs de l’éval.  Phases du projet de formation Contenus techniques et savoirs Approche pédagogique et/ou managériale Transfert de compétences Performance attendue Diagnostic (définition des besoins contextualisés) Planification / Organisation Réalisation (déroulement) Résultats attendus Impacts et effets Skill Academy - G. Capano 08/05/2015

63 Projet de formation (NF 50-755)
B e s o i n s / B u t s Faisabilité A M&E A n a l y s e Contexte - Ressources - Délais - Options Etude B C o n c e p t i o n Objectifs - Moyens P l a n i f i c a t i o n D é m a r r a g e Lancement C R é a l i s a t i o n Eval. continue et monitoring Mise en Œuvre D C l ô t u r e Résultats / objectifs et effets Bilan (E) Impacts / buts Skill Academy - G. Capano 08/05/2015

64 Démarche de mise en œuvre d'un dispositif de formation
Acteurs et méthodes ? Temps de l'évaluation Démarche de mise en œuvre d'un dispositif de formation NF et ISO Parties concernées Évaluation socio-éco-technique Évaluation technico-pédagogique Gestion de la formation et management des RH Ex-ante B e s o i n s / B u t s Faisabilité A M&E ? Efficience A n a l y s e Contexte - Ressources - Délais - Options Etude B C o n c e p t i o n Objectifs - Moyens P l a n i f i c a t i o n Initiale D é m a r r a g e Lancement C Efficacité Suivi R é a l i s a t i o n Eval. continue et monitoring Mise en Œuvre D Finale C l ô t u r e Résultats / objectifs et effets Ex-post Bilan (E) Impacts / buts Skill Academy - G. Capano 08/05/2015

65 Avantages approche qualitative
Avantage qualitative : Pensée et Cognition Un net avantage de l’approche qualitative de la recherche est sa capacité à obtenir des informations directement à partir de la source. Les méthodes de recherche qualitative tels que des entrevues et des groupes de discussion permettent aux chercheurs de comprendre les processus de la pensée des sujets. Cela leur permet d’incorporer des analyses subjectives des sujets des situations dans l’analyse de la recherche. Ces processus cognitifs sont souvent inatteignables par des méthodes quantitatives. Avantage qualitative : affectent Affect, ou à l’émotion, est une influence importante du comportement. Sociales et comportementales scientifiques intéressent souvent à l’état émotionnel des sujets de recherche. Un avantage de méthodes qualitatives, c’est qu’ils peuvent enquêter sur un individu humeur et état émotif, ce qui leur permet de comprendre le comportement dans ce contexte. Sans reconnaître l’état émotionnel de l’objet, les chercheurs peuvent être erre dans des conclusions sur les raisons de ses actions. Skill Academy - G. Capano 08/05/2015

66 Avantages approche quantitative
Avantage quantitatif : objectivité Un avantage de l’approche quantitative recherche sociologique est qu’il n’est pas affectée par l’interprétation subjective du chercheur. Les méthodes de recherche quantitative sont numériques, et donc ils ne peuvent pas être mal interprétés. Cela permet aux chercheurs enquêtant sur les mêmes phénomènes sociaux d’aborder l’enquête avec la même méthode quantitative et de comparer les résultats. Si les résultats de convergence entre les études, il devient peu au moins un fait. C’est quelque chose qui ne possèdent pas vrai avec les études qualitatives, parce que tous les résultats sont ouverts à l’interprétation. Avantage quantitatif : Méthodes statistiques Les champs en constante évolution des statistiques et des statistiques appliquées aux chercheurs en utilisant la méthode quantitative une vaste sélection de méthodes avec laquelle analyser les résultats. Ces formes d’analyse des données statistiques permettent aux chercheurs de connaître une grande quantité de caractéristiques importantes de données, relations des variables y compris à l’autre, des différences entre les groupes et même la probabilité que l’étude a donné des résultats incorrects ou non concluants. C’est en contraste direct pour les études qualitatives, qui peuvent toujours être interprétés d’avoir des résultats importants. Skill Academy - G. Capano 08/05/2015

67 Construire son dispositif d’évaluation
Phases Objectifs Facteurs stratégiques et clés de succès Faisabilité Est-ce réalisable, réaliste? En est-on capables ? Avons-nous intérêt à le faire ? Que gagnera-t-on, dans quel but ? Avons-nous les ressources ? Etude Quoi, pourquoi, qui, comment, quand, où, combien… Lancement Organisation opérationnelle des moyens et démarrage Mise en Œuvre Déroulement de l’évaluation Bilan Evaluer à partir de la conception, jusqu’aux effets et impacts Skill Academy - G. Capano 08/05/2015