XXème Colloque de Promosciences DE L’ÉVALUATION DES CONNAISSANCES À L’ÉVALUATION DES COMPÉTENCES Quelques exemples et pistes de réflexion Jean-Claude COULET CRPCC Université Rennes 2 Lorient 19-20 Mars 2007

PRÉSENTATION DE L’INTERVENTION

Positionnement personnel Activités de recherche et centres d’intérêts Discipline : psychologie du développement cognitif Activités de résolution de problèmes Développement des compétences scolaires et professionnelles Expériences marquantes d’enseignement École élémentaire : maître formateur Université : responsable d’un master professionnel Positionnement / Michel Beney Éclairage recherche en « psychologie cognitive » pour : tenter de comprendre des constats empiriques (ex : formatage des apprentissages par les modalités d’évaluation) comme aide à la conception de pratiques alternatives

L’évaluation en formation L’évaluation n’a de sens que par rapport : à l’enseignement délivré (éléments cognitifs) : en amont de l’évaluation : explicitement implicitement (régularités diverses) en aval de l’évaluation : permettre des changements (explicites ou implicites) de l’enseignement aux apprentissages visés : en termes de : connaissances compétences mesurables (souvent / efficacité, efficience)

Organisation de l’intervention Focalisation sur le couple : évaluation / apprentissages (mais quelques remarques finales relatives à l’enseignement) Point de départ : quelques éléments / conceptions de l’apprentissage Remarques / l’évaluation des connaissances pré-supposés et conséquences sur les apprentissages Comment orienter les pratiques vers l’évaluation des compétences ? La notion de compétence Des pistes possibles, en référence à des travaux de recherche

CONCEPTIONS DE L’APPRENTISSAGE

Apprentissages : produits et processus Les processus d’apprentissage nous sont opaques… favorisant l’évaluation de performances en termes de : connaissances compétences plutôt que l’évaluation des processus qui produisent ces performances … en dépit des apports de la psychologie sur : apprentissage par l’action pédagogie active apprentissage par observation modeling apprentissage par coopération socio-constructivisme apprentissage par instruction pédagogie traditionnelle conditionnement dressage etc.

REMARQUES SUR L’ÉVALUATION DES CONNAISSANCES

Caractéristiques générales Pré-supposés : les connaissances existent sous une forme « déclarative » le sujet peut exprimer ces connaissances l’enseignant peut évaluer ce qui est exprimé illustration Principes de mise en œuvre : une tâche, censée permettre l’expression des connaissances un instrument de cotation du contenu et/ou de la forme de l’expression un résultat de cette évaluation (souvent : note) utilisable : par le prof : rangement des élèves, repérages forces et faiblesses des apprentissages réalisés, remise en cause de ses pratiques, etc. par les élèves : feed-back / apprentissages, ajustement projets (formation, professionnel), reconnaissance parentale, etc. par l’institution : % de réussite, diplômes, etc.

Conséquences Importance donnée à : … pour des apprentissages : la mémorisation (cf. activités de révision institutionnalisées) l’organisation rationnelle des connaissances (Bastien, 1997) : logique du contenu ( utilisation dans l’activité) exemple : sélection des chauffeurs de sous-marins nucléaires … pour des apprentissages : massés autour de l’évaluation (optimisation performance) produisant des connaissances : peu disponibles à moyen et long terme non fonctionnellement organisées / activités … mais toutefois avec un bon niveau de satisfaction : chez les acteurs (enseignants, élèves, etc.) : contrat respecté pour l’institution : pas de remise en cause des dispositifs

LE PASSAGE À L’ÉVALUATION DES COMPÉTENCES

La notion de compétence Diversité des définitions Mise en oeuvre, en situation professionnelle, de capacités qui permettent d'exercer convenablement une fonction ou une activité. (AFNOR) On peut convenir d’appeler compétence un ensemble de connaissances, de capacités d’action et de comportements, structuré en fonction d’un but dans un type de situations données. (GILBERT & PARLIER) Un relatif consensus (Carré & Caspar, 1999) : les compétences sont : liées à l’action et à des situations de RdP dans un contexte donné finalisées opératoires et fonctionnelles (Leplat, 1991)

Évaluer via la résolution de problèmes Pré-supposés : les connaissances existent sous une forme « procédurale » la RdP sollicite les compétences : activités finalisées, opératoires et fonctionnelles le sujet exprime ses compétences dans sa solution l’enseignant peut évaluer la solution produite illustration Principes de mise en œuvre : une tâche, censée permettre l’expression des compétences un instrument de cotation de la solution un résultat de cette évaluation (souvent : note) utilisable : par le prof par les élèves par l’institution Idem évaluation des connaissances

Conséquences Importance donnée à : … pour des apprentissages : l’organisation fonctionnelle des connaissances (Bastien, 1997) : fondée une logique de l’activité ( logique du contenu) exemple : conduite automobile (code, autres acteurs, radars, etc.) l’automatisation (cf. activités d’entraînement à la RdP) la conceptualisation (nécessaire à l’élaboration de la solution) … pour des apprentissages : élaborés sur des temps longs (trop longs ? / temps didactique) produisant des connaissances : disponibles à court, moyen et long terme fonctionnellement organisées / activités situées … avec un bon niveau de satisfaction : la note (évaluation de la performance) rassure tous les acteurs

Analyse critique de ces évaluations Les modalités de cotation généralement utilisées : hégémonie des codes : 1, 9, 0 (cf. évaluations MEN-DEP) peu de prise en compte de la nature des erreurs sinon, pas de référence aux processus exemple : codage de positions sur un quadrillage focalisation sur la bonne réponse une curieuse conception de la remédiation : exemple : « si le maître juge qu’une remédiation est nécessaire sur les aspects de repérage et de déplacement sur un quadrillage, celle-ci pourra s’effectuer à partir d’exercices papier / crayon, par des activités sur support informatique ou encore dans le cadre de l’EPS » … favorisant des apprentissages par conditionnement : stimuli variés réponses feed-back

En résumé La RdP permet le passage : Toutefois la performance peut : de l’évaluation des connaissances à l’évaluation des compétences Toutefois la performance peut : être correcte mais masquer des conceptualisations erronées exemple : les problèmes additifs être erronée mais masquer des conceptualisations correctes exemple : la lecture de l’heure … d’où la nécessité de « traquer » les processus : en construisant des tâches adaptées en s’appuyant sur un modèle explicite de la compétence

QUELQUES PISTES POUR MIEUX ÉVALUER LES COMPÉTENCES

Exemple 1 : lecture de tableaux Le nombre 7 indique qu’il y a 7 _________________________ Le nombre 35 indique qu’il y a 35 _________________________ Le nombre 13 indique qu’il y a 13 _________________________ Le nombre 66 indique qu’il y a 66 _________________________ Le nombre 12 indique qu’il y a 12 _________________________ ETC.

Exemple 1 : lecture de tableaux Procédures = ordres d’écriture des 4 propriétés Tableau 1 : 7 triangles grands bleus épais 7 grands triangles bleus épais 2 procédures différentes Tableau 2 : 12 minces rouges grands ronds 12 grands ronds rouges minces 2 procédures identiques à celles du tableau 1 Stratégies = régularités dans les choix de procédures stratégie 1 : spatiale Parcours de type : stratégie 2 : conceptuelle Ordre de type : taille - forme - couleur - épaisseur

Exemple 1 : lecture de tableaux Des évolutions stratégiques : Des formes de conceptualisation privilégiées … spatiales ou conceptuelles, en fonction du niveau … organisatrices de l’activité et devenues repérables

Exemple 2 : profils de réponses « plus » => addition des 2 nombres « moins » => soustraction grand – petit « plus » => addition 1er – 2ème « moins » => soustraction 1er – 2ème

Exemple 3 : s’appuyer sur un modèle de la compétence La compétence peut être modélisée comme : une activité productive (obtenir un résultat) via : des formes de conceptualisation des ajustements à la situation des règles d’actions des anticipations des résultats Production de performances une activité constructive via la modification : de ses façons de faire de ses façons de concevoir Acquisition d’expérience

Modèle de la compétence Invariants opératoires Mobilisation du schème (activité productive) Inférences Boucle longue Règles d’action Formes de régulation (activité constructive) Anticipations Boucle courte RÉSULTATS (feed-back) Changement de schème

Un exemple d’opérationnalisation Principes relatifs aux invariants opératoires : traquer les formes de conceptualisation erronées … ce que l’élève tient pour vrai, à tort : exemple : « il faut traiter les données numériques du problème selon leur ordre d’apparition dans l’énoncé » solution possible : évaluer sur des problèmes isomorphes dont on modifie l’ordre de présentation des données numériques ce que l’élève tient pour pertinent, à tort : exemple : « seuls les nombres écrits en chiffres sont pertinents à considérer pour élaborer la solution » solution possible : certains nombres sont écrits en lettres … en essayant d’interpréter (avec beaucoup d’imagination !) les erreurs récurrentes

D’une façon plus générale Définir des compétences visées : Exemple : compétences visées en ingénierie psychologique Diagnostiquer la situation problématique (demande) dans son contexte Concevoir un modèle pour l’action en référence, notamment, à la littérature psychologique Intervenir sur la situation en référence au modèle d’action élaboré et en utilisant des méthodes appropriées Formaliser des préconisations à destination des acteurs Concevoir des épreuves adaptées : Exemple : le DCT du master IPC Schématisation d’éléments importants du contexte Explicitation des facteurs psychologiques en jeu Élaboration de préconisations spécifiques

D’une façon plus générale encore Spécifier les compétences générales liées à l’activité : construire des modèles théoriques et des concepts permettant une représentation non triviale des situations et des tâches visées adapter ces modèles et concepts ainsi que les modalités d’action en fonction de la maîtrise de la connaissance de la variabilité de ces situations et tâches disposer de différentes formes d’action adaptées aux classes de situations et de tâches visées ainsi que leur mise en œuvre, avec ou sans outils spécifiques anticiper les résultats susceptibles d’être obtenus grâce à ces formes d’action réguler son activité en fonction des résultats produits pour accroître : l’efficience de l’action entreprise la pertinence des modèles et concepts mobilisés la pertinence du choix de l’action entreprise

RETOUR À L’ENSEIGNEMENT

Les activités d’enseignement Modélisation des interactions prof-élèves Au cours des interactions prof-élèves, les propos du prof concernent globalement : la définition (re-définition) de tâches l’activité des élèves confrontés à ces tâches les formes de régulation de cette activité que les élèves mettent éventuellement en œuvre la production de feed-back relatifs à cette activité L’activité des élèves peut être conçue comme la mobilisation de schèmes constitués : d’invariants opératoires d’inférences de règles d’action d’anticipations

Modélisation des formes d’intervention situations prof élève tâche IO I RA A feed-back

Exemple de profils de guidage

Interprétation des profils de guidage Les profils de guidage impliqueraient : pour les élèves : la sollicitation de leur activité via la définition de tâches diverses et nombreuses la présence de feed-back, positifs ou négatifs, fournis par l’enseignant (cf. tradition béhavioriste) une priorité donnée, par le prof, au guidage de leurs règles d’action (/ autres composantes de l’activité) pour les enseignants : une activité focalisée sur les réponses des élèves plutôt que sur leurs formes de conceptualisation une priorité donnée au « réussir » (/ « comprendre »), via l’importance donnée à la réponse attendue

CONCLUSION

Les modalités d’évaluation formatent les apprentissages : importance de ne pas en rester à l’évaluation des connaissances qui favorise : l’organisation rationnelle des connaissances au détriment d’une organisation fonctionnelle importance de s’orienter vers l’évaluation des compétences sans s’en tenir aux seules performances (trompeuses) en focalisant plutôt sur les processus qui les produisent L’appui sur un modèle explicite de la compétence est : un cadre utile pour comprendre les fonctionnements des élèves un outil pertinent pour concevoir : des épreuves d’évaluation alternatives des modalités de remédiation plus pertinentes

L’évaluation des connaissances : des objets à transférer (transvaser) Processus de transcription (opaques) Connaissances exprimées par l’étudiant, devenues mesurables Connaissances déclaratives stockées, inaccessibles au prof 

L’évaluation des compétences : des solutions à produire Problème Processus de résolution (a priori, opaques) Solution mesurable, produite par l’étudiant Connaissances fonctionnelles, inaccessibles au prof 

Les problèmes additifs Des conceptualisations erronées (bien connues) mais qui donnent lieu à certaines performances correctes : les conceptualisations erronées :  « plus » ou « de plus » dans l’énoncé => addition des nombres de l’énoncé  « moins » ou « de moins » dans l’énoncé => soustraction : le grand nombre – le petit nombre exemples de problèmes réussis : Paul a 5 billes. J’ai 3 billes de plus que lui. Combien ai-je de billes ? Paul a 5 billes. J’ai 3 billes de moins que lui. Combien ai-je de billes ? exemple de problème échoué : J’ai 5 billes. J’ai 3 billes de plus que Paul. Combien Paul a-t-il de billes ? 

La lecture de l’heure Des conceptualisations correctes mais qui donnent lieu à 80% de performances erronées (Bastien & Bastien-Toniazzo, 2004) : le problème : Paul part à l’école Paul arrive à l’école Paul rentre à la maison Paul part à l’école à _______ Paul arrive à l’école à _______ Paul revient de l’école à _______ 

 Codage du point Y : Codage correct : (9,d) ou (d,9) ………...code 1 Le chiffre ou la lettre est correct(e) …………code 4 Autres cas ……………code 9 Absence de réponse ….code 0  Le code de la position de départ de la personne X est : (2,c) En te servant du quadrillage, écris le code de la position de la personne Y : ____________________________________________________________