CDS 14 avril 2008 Amener l’étudiant à réfléchir à ses propres performances Métacognition D'une définition opérationnelle à des pratiques en 1° Bac en psychologie D. Leclercq D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Après avoir lu des livres, des articles, et des définitions de la métacognition, nous avons beaucoup appris … suite dia 8 D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

John Flavell (1976, p.232) : « La métacognition fait référence à la connaissance qu’on a de ses propres processus cognitifs et de leurs produits ou de ce qui leur est relié, par exemple, les propriétés différentes des informations ou des données pertinentes pour leur apprentissage. La métacognition se rapporte, entre autres choses, au contrôle actif, à la régulation et à l’orchestration de ces processus en fonction des objets cognitifs et des données sur lesquels ils portent, habituellement pour servir un objectif ou un but concret.» D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Avant ou après ? Ann Brown (Berkeley) Bernadette Noel (FUCAM) « Brown (1978) constate que, pour les jeunes enfants, il s’avère plus difficile d’estimer leur réussite à une tâche avant qu’on la leur propose, plutôt qu’après qu’ils aient tenté d’y apporter une réponse. Brown et Lawton attribuent cette difficulté …au niveau d’abstraction qu’une telle prédiction nécessite. Prédire avant de répondre repose sur la capacité d’imaginer un produit non encore réalisé…Quand on demande à des enfants d’âge préscolaire , de 2° et de 4° années, d’estimer l’étendue de leur mémorisation, on observe chez les plus jeunes une surestimation du nombre d’items dont ils pourront se rappeler….Les résultats [de Brown] indiquent que les enfants deviennent plus conscients de la difficulté d’une tâche au fur et à mesure qu’ils progressent en maturité…[…]  Les jeunes enfants éprouvent beaucoup de difficultés à apprécier s’ils connaissent assez le matériel pour le restituer intégralement si on le leur demandait.» (Noël, 1991, p. 25). JOL = Judgement Of Learning D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

« Le Feeling of Knowing (FOK) consiste à « demander au sujet un jugement après son échec en rappel sur la probabilité de reconnaître la réponse correcte » (Nhouyvanisvong & Reder, 1998). La consigne est du type : « Vous êtes dans l’impossibilité de vous rappeler du nom de….(de vous souvenir des traits du visage de..) Quelle est votre probabilité de le(s) reconnaître parmi une liste de noms (de photos) que l’on vous présenterait  ? ». Cette consigne, on le voit, fait suite à une erreur par omission. Elle pourrait aussi être appliquée, mutatis mutandis, après une erreur par commission (fournir une réponse incorrecte). Asher KORIAT (Tel Aviv)     »Le FOK est basé sur la quantité totale d’information partielle accessible à propos du contenu-cible et sur la facilité avec laquelle elle vient à l’esprit » (Koriat, 1998, p.16). Cette situation est à rapprocher très fort du phénomène du Tip Of the Tongue ou TOT (Je l’ai sur le bout de la langue) ». (Leclercq, 2007-2008, p. 224). D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

ACQUISITION MEMORISATION RAPPEL REPONSE Th. O. Nelson & L. Narens Metamemory EOL Ease of Learning Facilité à apprendre FAA JOL Judgement of Learning Jugement d’avoir appris JAA FOK Feeling of Knowing Sentiment de Savoir Reconnaître SSR DC Degree of Certainty Degré de Certitude dans la réponse rappelée Monitoring Observation ACQUISITION MEMORISATION RAPPEL REPONSE Avant pendant après Sélection du traitement (de la méthode) pour apprendre Décision de la durée d’étude Arrêt de l’étude Choix de la stratégie de recherche en mémoire Arrêt de la recherche en mémoire Control Action Jugement du degré de maîtrise nécessaire Théorie personnelle sur la rétention et l’oubli D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

La connaisance partielle : Bruno De Finetti (1965) Methods of discriminating levels of partial knowledge concerning a test item Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123. La connaissance partielle existe. La détecter est nécessaire et faisable (p. 109) Seule la probabilité subjective peut donner une signification objective à toute réponse et toute méthode de notation (p. 111) ….et de mesure des gains d’apprentissage. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

…et nous nous sommes donnés une définition qui intègre plusieurs de ces travaux. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Métacognition Définition de D. Leclercq et M. Poumay (2005, 2008) Un ensemble d’opérations (jugement, analyse, régulation) sur des objets (SES processus ou SES productions) à certains moments (PRE – PER –POST) de situations (d’apprentissage ou d’évaluation) observables via des performances (comportements ou conduites Leclercq et Poumay (2008) La métacognition. chap 6 de D. Leclercq. Psychologie éducationnelle. CIFEN. Editions de l’Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Représentation de trois opérations de la métacognition ? ? Non exprimée covert Exprimée overt Jugement Analyse Régulation D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Facettes de la métacognition PRE PER POST Jugement Analyse Régulation ? D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Facettes de la métacognition PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

On peut illustrer l’intérêt de la grille en essayant de classer diverses situations. saut à la dia 22 D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

? PRE PER POST Jugement Analyse Régulation Processus Produit Au vu de mes résultats, ma stratégie de réponse à ce test a été mauvaise. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

? PRE PER POST Jugement Analyse Régulation Processus Produit Au vu de mes résultats, ma stratégie de réponse à ce test a été mauvaise. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

? PRE PER POST Jugement Analyse Régulation Processus Produit A ma réponse de la question 4, je donne le Degré de Certitude 80%, on verra bien si j’ai raison. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

? PRE PER POST Jugement Analyse Régulation Processus Produit A ma réponse de la question 4, je donne le Degré de Certitude 80%, on verra bien si j’ai raison. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Maintenant que je connais la réponse attendue, je me rends compte que Processus Produit j’ai lu trop peu attentivement et que je n’ai pas détecté « toujours » qui excluait certaines solutions. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Maintenant que je connais la réponse attendue, je me rends compte que Processus Produit j’ai lu trop peu attentivement et que je n’ai pas détecté « toujours » qui excluait certaines solutions. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

? PRE PER POST Jugement Analyse Régulation Processus Produit Pour l’examen du mois prochain, je vais changer ……. ma méthode de travail. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

? PRE PER POST Jugement Analyse Régulation Processus Produit Pour l’examen du mois prochain, je vais changer ……. ma méthode de travail. PRE PER POST Jugement Analyse Régulation Processus Produit Processus Produit Processus Produit ? Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit Processus Produit D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Noël (1991, p.13) : « Ce n’est que lorsqu’ils sont avertis de l’existence d’un problème …que les enfants améliorent leurs résultats » D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

RESSAC 2000 En janvier 2000, les étudiants de 1° Bac psycho ont reçu pour 4 des examens -un score de CONNAISSANCES -un score de COMPREHENSION et leur positionnement par rapport à la classe. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

RESSAC Resultats d’ Epreuves Standardisées au Service de l’ Apprentissage en Candi Connaissance Compréhension D. Leclercq (Ed) (2003, p. 155-170) D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Certains étudiants ont changé (1) leur méthode de travail, d’autres NON. Les taux de réussite sont contrastés dans les deux groupes, et ce pour chacun des ‘ cours. (1) Déclarations faites aux questionnaires de juin et de septembre D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Taux de réussite ces l’examen Ont changé de méthode d’étude N’ont pas changé D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Cette opération RESSAC est décrite dans le chapitre 8 (pp Cette opération RESSAC est décrite dans le chapitre 8 (pp. 155 à 170) de Leclercq (2003) Diagnostic cognitif et métacognitif au seuil de l’université. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

RESSAC est une opération de régulation PRE examen de juin (mais POST de janvier) PER POST Jugement Analyse Régulation ? Ressac 2000 D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Une tout autre approche, plus micro Les étudiants doivent donner un degré de certitude pour chacune de leurs réponses Les degrés possibles sont : 0 20 40 60 80 100% On les y entraîne pendant l’année Après chaque test (y compris à l’examen), il y a communication immédiate des réponses, avec DEBAT. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Facettes de la métacognition PRE PER POST Jugement Analyse Régulation Degrés de Certitude Feedback 0 20 40 60 80 100% Débat ? ? D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Les Degrés de Certitude Selon Robert Ebel (1965), « C’est un mode de réponse spécial aux questions d’un test objectif et un mode spécial de cotation de ces réponses. En bref, le sujet doit indiquer non seulement ce qu’il croit être la réponse correcte à la question, mais aussi quelle est sa certitude (comment ? ) dans l’exactitude de sa réponse. Au moment de la cotation (comment ? ) , le sujet reçoit plus de points pour une réponse correcte avec certitude que pour une réponse accompagnée d’un doute. Mais a pénalisation d’une réponse incorrecte avec certitude est suffisamment lourde pour décourager les déclarations de confiance non fondées. » (cité par Leclercq, 1983, p.163). (pour quoi faire ?) D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Les qualités des réponses se répartissent sur un SPECTRE de QUALITES, Feedback possible quand les étudiants ont donné des Degrés de Certitude Les qualités des réponses se répartissent sur un SPECTRE de QUALITES, Allant de -100 (la pire des qualités) : erreur avec certitude 100 À +100 (la meilleure des qualités) : Réponse Correcte avec certitude 100 On peut facilement repérer, dans le feedback donné à chaque étudiant, ses points les plus forts et les plus faibles, les plus urgents à corriger D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Spectre des Qualités des performance On peut calculer la Confiance (Certitude moyenne avec les réponses correctes), l’Imprudence (certitude moyenne avec les incorrectes) Et la Nuance (différence entre les deux) On peut attribuer des points supplémentaires (bonus métacognitifs) pour valoriser la Confiance et la Prudence …si l’étudiant a donné un minimum de certitudes D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Aucune OK 40% FAUX 40% Manque 80% OK OK 60% 40% 60% Test spectral avec zones de notations métacognitives 40% Confiance : 60% Imprudence : Aucune OK 40% C’est le mot « data » que je n’ai pas compris ni retenu. FAUX 40% Je n’avais pas étudié cette note de bas de page. Manque 80% OK OK 60% C’est au cours oral et non dans le livre que cela a été dit. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Entraînement pour l’examen Octobre 2007 Novembre 2007 Décembre 2007 Janvier 2008 Analyse métacognitive des 3 tests formatifs D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Analyse Métacognitive par Sylvie L. (Examen du14 janvier 2008) Analyse : Donnez des exemples où votre certitude était forte alors que vous vous trompiez. Et une explication. A la Question B3, je me suis trompée avec 100% parce que j’ai mal lu la question : j’ai reconnu des mots-clés, mais ils étaient utilisés autrement que dans le livre et j’ai répondu trop vite. Pour les questions B7 et B16, je me suis trompée avec 60% car j’ avais mal étudié la théorie, que j’avais comprise de travers. J’aurais dû m’en assurer en posant des questions au cours. Analyse : Donnez des exemples où votre certitude était faible alors que vous aviez la réponse correcte. Et une explication. A la Question C9, l’absurdité était flagrante. Je n’ai pourtant émis qu’une confiance à 40% car en secondaire la question du professeur ne pouvait comporter d’erreur. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Quel impact sur votre façon d’étudier ? Je n’ai pas encore pu voir les résultats de ma nouvelle méthode d’étude, l’examen sera la preuve qu’elle fonctionne ou non. J’ai décidé de ne plus tout résumer mais plutôt d’essayer de tout lire et de tout comprendre. Il ne faut pas se baser sur le fait que l’examen est a livre ouvert car même si nous avons l’occasion de feuilleter le livre et le syllabus Durant l’interrogation, nous n’avons pas le temps de tout comprendre, il faut l’avoir fait avant. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Quel impact sur votre façon de répondre à ce genre de test ? A présent, pour éviter de me concentrer uniquement sur les propositions de réponses et de chercher la plus plausible, avant même de lire les réponses proposées je cherche ma propre solution. Cela me permet de détecter plus facilement les absurdité et les manques et de voir si toutes ou même aucune réponse n’est correcte. Ces examens blancs m’ont fait prendre conscience qu’une question doit être lue en profondeur, voir même lue plusieurs fois avant de vouloir lui donner une réponse. Et sur votre façon de gérer votre certitude ? Ces trois tests m’ont permis d’apprendre à mieux gérer mes degrés de certitude. Lorsqu’une réponse me paraît acceptable mais que je ne me souviens pas de la matière, j’ai compris que je ne dois pas mettre une confiance élevée ou celle-ci risquerait de se transformer en imprudence. D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Vue plus complète : Degrés de Certitude Feedback Evaluation formative PRE PER POST Jugement Analyse Régulation Degrés de Certitude Feedback Evaluation formative 0 20 40 60 80 100% Débat ? Ressac 2000 ? D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Quelques références Reach, G. , Zerrouki A., Leclercq , D. d’Ivernois, JF. (2005). Adjusting insulin doses : from knowledge to decision. Patient Education and Counseling., 56, 98-103. Leclercq, D. et Poumay,M. (2004) Une définition opérationnelle de la Métacognition et ses mises en œuvre, XXI° Colloque de l’AIPU, Marrakech Brutomesso, D., Gagnayre, R., Leclercq, D., Crazzola, D., Busata, E., d’Ivernois, JF., Casiglia, E, Tiengo, A. & Baritussio, A. (2003) The use of degrees of certainty to evaluate knowledge. Patient Education and Counseling, 51, 29-37. Leclercq, D. (2003) Diagnostic cognitif et métacognitif au seuil de l’université. Le projet MOHICAN mené par les 9 universités de la Communauté Française, CIUF – Editions de l’ULg. Leclerq, D. (2008) A la recherche de la triple concordance Objectifs – Méthodes - Evaluation. IFRES – ULG. Leclercq, D. & Poumay, M. (2004) Metacognitive indices of realism in self assessment. ww.labset.net/media/prod/Metacognitive_indices_of_realism_in_self_assessment.pdf D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Annexes : - le projet MOHICAN et l’auto-évaluation - exemple de feedback automatisé - le barème actuel d’attribution de points (Leclercq- Poumay, Castaigne) D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Les questions auxquelles MOHICAN a répondu D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Les Questions auxquelles MOHICAN a répondu : Les filles se surestiment-elles ? Les garçons se surestiment-ils ? Le réalisme (sur et sous-estimations) varie-t-il selon les contenus chez une même personne ? Ou y a-t-il une tendance stable caractéristique de chaque personne ? Le réalisme est-il prédictif de la réussite ou de l »’échec académique ? Certaines matières (math ? Vocabulaire ? ) entraînent-elles plus de sur ou de sous-estimations que d’autres ? Le réalisme s’apprend-il ? Le réalisme donne-t-il des informations intéressantes sur l’analyse des questions ? Le feedback externe (objectif) améliore-t-il la performance ? La métacognition interne améliore-t-elle la performance ? D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

Exemple de feedback personnalisé inspiré de MOHICAN (en 1° bac psycho) D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège

« Plus » métacognitifs Si CONFIANCE >50%, +0,5 >60%, +1 Barème Leclercq-Poumay-Castaigne « Plus » métacognitifs Score classique Par Réponse Correcte : + 1 Par Réponse Incorrecte ou par Omission : -0,25 On transforme le total Sur 20 points. Puis, si le taux d’omissions ou de certitudes 0 est <20%, alors Si CONFIANCE >50%, +0,5 >60%, +1 >70%, +1,5 Si IMPRUDENCE <50%, + 0,5 <45%, +1 <40%, +1,5 D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège