L’Évaluation des acquis de formation : enjeux et défis Isabelle Nizet, Ph. D. consultante LA FORMATION, facteurs de réussite, stratégies d’avenir Centre d’expertise des grands organismes Université Laval 30 septembre 2010 Isabelle.Nizet@ccapcable.com

Plan de la présentation Clarification de termes Enjeux et défis de l’évaluation des acquis de formation en contexte d’entraînement à la tâche Examen d’une grille Discussion et questions Isabelle.Nizet@ccapcable.com

1. Clarification de termes Évaluation – objet, fonctions, modalités Objets et processus d’apprentissage Types de tâches Isabelle.Nizet@ccapcable.com

La démarche d’évaluation Planification : fonctions, objets, outils, moment Collecte d’informations : observation, consignation Analyse et interprétation : confrontation des données à un référentiel : critères et indicateurs, seuil de réussite Jugement : définitif ou temporaire Décision : actions à poser : remédiation, réussite, exclusion, reprise Isabelle.Nizet@ccapcable.com

Les fonctions de l’évaluation Diagnostique (gestionnaire-formateur) En cours d’apprentissage (formative) – (formateur) Au terme de la formation (sommative) (formateur – participant) Évaluation de la formation (participant) Isabelle.Nizet@ccapcable.com

Fonctions de l’évaluation des acquis Diagnostique En cours d’apprentissage Au terme de la formation Identifier les besoins de formation Anticiper le potentiel de réussite et réguler les apprentissages Identifier les difficultés d’apprentissage Identifier les apprentissages réels et stabilisés durant le temps de formation Anticiper la capacité de transfert Évaluer la formation Motivation et satisfaction Évaluation continue Identifier les indicateurs de performance à améliorer

Les moments de l’évaluation Avant, pendant, après la formation Ponctuelle (formelle ou informelle) Épreuve unique (formelle) Continue (formelle ou informelle) Isabelle.Nizet@ccapcable.com

Le contexte de l’évaluation Décontextualisée (examen, épreuve) Contextualisée (simulation, mise en situation, entraînement à la tâche) Mixte (en fonction des objets d’apprentissage) Isabelle.Nizet@ccapcable.com

Évaluation Besoins réels de formation Potentiel de réussite Apprentissage réels et stabilisés Capacité de transfert en situation nouvelle Indicateurs de performance à améliorer Diagnostique À certaines conditions En cours d’apprentissage Prématuré Évaluation continue Besoins ponctuels En fin de formation Inférence Épreuve de mise en situation réelle Évaluation de la formation Perception

Les objets d’apprentissage Apprentissages déclaratifs (notions, règles, processus) Apprentissages procéduraux (procédures, techniques, démarches, stratégies, actions à poser) Apprentissages dispositionnels (attitudes) Dans une « tâche complexe » ces objets sont étroitement associés sous forme de connaissances « conditionnelles ». Mobilisation en situation = manifestations de la compétence Isabelle.Nizet@ccapcable.com

Reconnaître les conditions pour… SI Notions Processus Reconnaître les conditions pour… SI Dispositions ou attitudes Règles ALORS … ACTION (simple) VS Procédure complexe poser une action = être compétent… Isabelle.Nizet@ccapcable.com

NOTRE FONCTIONNEMENT COGNITIF

Le processus d’apprentissage Environnement 3. Acquisition 1. Motivation 2. Appréhension 4. Rétention CONSTRUCTION 5.Rappel MOBILISATION Transfert 7.Performance 6.Généralisation 8.Rétroaction

Hiérarchie de tâches Simple Indications verbales sommaires Mémoriser les informations Effectuer la tâche ou restituer des informations Relativement simple Indications verbales Démonstration Mémoriser les informations Reproduire la tâche (constance) Moyennement complexe Indications verbales Démonstration Transfert Mémoriser les informations Construire des connaissances conditionnelles Accomplir la tâche en situations diverses Complexe à très complexe Indications verbales Démonstration Transfert Suivi de la stabilité Mémoriser les informations Construire des connaissances conditionnelles en situation Accomplir la tâche en situations diverses Isabelle.Nizet@ccapcable.com

2. Enjeux et défis de l’évaluation des acquis

Les défis de l’apprentissage et de l’évaluation dans le cadre de l’entraînement à la tâche Paramètres liés à l’apprentissage Paramètres liés à l’évaluation Objets d’apprentissage Nature des acquis à évaluer ? Type de tâche Dans quels types de tâches ces acquis sont-ils mobilisés ? Modes d’apprentissage Modalités de l’évaluation Fonction ? Contexte d’évaluation ? Moment d’évaluation ? Isabelle.Nizet@ccapcable.com

Objets et modes d’apprentissage Exigences pour l’apprenant Apprentissages conditionnels Transfert Performer Induction Apprendre (Induire) Performer Être évalué Apprentissages procéduraux Démonstration Apprendre et performer Apprentissages déclaratifs Informations verbales Apprendre (mémoriser) Modes d’évaluation Hors contexte En contexte Isabelle.Nizet@ccapcable.com

Objets et modes d’apprentissage Exigences pour l’apprenant Observation continue, probation Fortes Complexes Mise en situation continue Grille d’observation et d’auto observation Pronostic de transfert hors formation Autonomie progressive Mise en situation ponctuelle Grille d’observation Examen (épreuve) Auto évaluation Tests Questionnaires Quiz Choix de réponse Vrai ou faux Simples Faibles Modes d’évaluation Artificiel Réaliste Réel Isabelle.Nizet@ccapcable.com

Les défis de l’apprentissage et de l’évaluation en situation Connaissances Apprentissage du novice Évaluation Apprenant avancé ou expert Déclaratives Systématique et explicite Formative Ponctuelle (hors situation) Peut être implicite et inductif Pas toujours nécessaire Procédurales Explicite Formative formelle (en situation) Conditionnelles Résolution de problèmes simples Induction (autonomie) Inclure les connaissances déclaratives Attitudes Difficulté de changement (surcharge cognitive) Indicateurs généraux Indicateurs spécifiques (en fonction du profil) Résolution de problèmes Systématique Transfert Situations de transfert latéral ou vertical

GRILLE D’ENTRAÎNEMENT À LA TÂCHE Identification de l’employé(e) Nom & prénom de l’employé(e) : Date d’entrée en fonction : Titre de l’employé(e) : Secteur : Supérieur immédiat : Période couverte : Nom du parrain : Étapes Explication Démonstratio n Mise en pratique Transfert des apprentissage s Habileté acquise Habileté à travailler Commentai res Tâches/Rôles et responsabilité s 1.   2.

Améliorer l’outil de cueillette Distinguer Ce qui relève de la tâche (manifestations de la compétence, effets et résultats, étapes clefs - procédures et actions à poser) = liste de vérification ou grille critériée. Ce qui relève du processus d’apprentissage (capacité d’expliquer, de démontrer, de transférer) = commentaires Ce qui relève du niveau dispositionnel (attitudes, qualités, potentiel) = grille critériée ou commentaires Limiter les inférences Isabelle.Nizet@ccapcable.com

Améliorer l’outil … Liste de contrôle pour l’apprenant et pour l’observateur. La concordance des résultats permet de vérifier que l’apprenant a une juste perception de sa performance et des connaissances qu’il appliquées en cours de tâche. Isabelle.Nizet@ccapcable.com

Évaluer le transfert … Comparer deux grilles pour des tâches différentes mais comparables : Transfert latéral (mêmes connaissances et autre situation de complexité comparable) Transfert vertical (mêmes connaissances mais situation plus complexe ou vérification de création de connaissances par induction dans une situation plus complexe) Isabelle.Nizet@ccapcable.com

Période de questions