Marc Vantourout & Rémi Goasdoué Journée d’étude ADMEE – Chamalières, 22 octobre 2010 Correction de dissertations : analyse de l’activité de quelques professeurs engagés dans une approche par compétences J’ai choisi de vous présenter quelques résultats extraits d’une recherche en cours que je mène avec un collègue Rémi Goasdoué. Marc Vantourout & Rémi Goasdoué

Introduction - Contexte Injonctions institutionnelles : exercer dans le cadre d’une approche par compétences (APC) La compétence un nouvel objet pour l’évaluateur … L’opérationnalisation, un défi : évaluer des compétences dites complexes Peu de travaux centrés sur l’évaluateur, sur son activité Etudier l’activité de professeurs de sciences économiques et sociales (SES), engagés dans une APC, corrigeant des dissertations De nombreux travaux dans le domaine de l’évaluation ont porté et portent encore sur les divergences entre évaluateurs. Dans les années 20-30, le psychologue Henri Piéron fait le constat des divergences entre correcteurs. Dans les années 70, Noizet et Caverni cherchent à expliquer ces divergences. Ils identifient des effets systématiques auxquels seraient sensibles tous les évaluateurs ; par exemple, l’ordre dans lequel seraient corrigées les copies. Ces chercheurs ne se sont jamais véritablement intéressés à l’activité de l’évaluateur ou du correcteur. Pour étudier l'activité de l’évaluateur, en particulier lorsqu’il s’agit de dissertation, nous pensons qu’il faut prendre en compte la dimension lecture L'idée principale de ce travail est de considérer la correction de copies comme une activité particulière de lecture – compréhension texte. Notre cadre théorique est fait d’emprunts à la psychologie cognitive de la lecture, en particulier les travaux s’intéressant à la lecture-compréhension de texte.

Evaluer des compétences Des propositions au niveau des tâches ou situations : Rey, Carette & coll. Formation « pédagogique », innovation, bonnes pratiques : Scallon, Roegiers Des relations étroites avec l’évaluation formative et formatrice (Scallon, Roegiers, Veslin & Veslin)

Cadre théorique Docimologie, docimologie expérimentale, divergences entre évaluateurs : Prolongement et renouvellement de ces courants Remise en cause : de la place centrale accordée au processus de comparaison du « simple » prélèvement d’indices positifs ou négatifs

Cadre théorique Appréhender la correction de copies comme une tâche particulière de lecture-compréhension de texte : processus interactif impliquant un lecteur et un texte l’enjeu : comprendre comment s’élaborent les représentations (et non plus identifier ce qui pèse sur le processus de comparaison « référent/référé ») Etudier le déroulement de l’activité de l’évaluateur en s’intéressant aux connaissances et représentations de l’évaluateur

Cadre théorique : apports des modèles de compréhension texte Aborder les processus cognitifs dans l'activité de correction S’intéresser aux divergences entre correcteurs Inférences : prise en compte des caractéristiques des évaluateurs (déterminants internes : connaissances, attentes, …) : Inférences de compréhension Inférences évaluatives sur le contenu Inférences sur l’élève Inférence : toute information non explicitement présente dans le texte que le lecteur construit à partir de ses connaissances. nous adoptons la définition communément admise de la notion d’inférence : toute information non explicitement présente dans le texte que le lecteur construit à partir de ses connaissances.

Une étude empirique (en cours) pour … Actuellement : Estimer la valeur heuristique du nouveau cadre théorique Vérifier si, dans le cas présent, l’APC permet de limiter les écarts entre correcteurs (Scallon, 2004) Dépasser le constat des divergences Apporter des éléments relatifs au débat « Intérêts et limites d’une APC en évaluation »

La correction de copies type bac en SES : Etude empirique La correction de copies type bac en SES : Choix de la matière et de l'épreuve (dissertation avec étude de documents) Le sujet : « Dans quelle mesure les mutations du travail peuvent-elles expliquer la crise du syndicalisme ? » Choix des copies Les correcteurs La tâche : correction avec verbalisation concomitante L’épreuve de dissertation en SES est une épreuve très riche qu’il est très intéressante pour étudier la correction de copie dans le cadre d’une approche compréhension de texte. De plus la dissertation occupe une place particulière dans le système éducatif français, elle peut être considérée comme un exercice élitiste … Mais elle devient de moins en moins présente au lycée alors qu continue d’être largement employée en première année à l’université, en particulier dans les licences de sociologie auxquelles nous allons nous intéresser et qui dans une large mesure n’accueillent pas toujours les meilleures étudiants. Le sujet est un sujet de bac, classique, et il s’agit d’un sujet de sociologie. Il a été choisi par l’enseignant auprès duquel nous avons recueilli un lot de 25 copies de terminale. Xavière Lanéelle nous a aidé à choisir 3 copies. Elle est sociologue et responsable de la formation des profs de SES dans un IUFM. Nous avons trois copies, dont deux moyennes car ces copies sont celles qui posent le plus de difficultés aux évaluateurs. Nous voulions une copie moyenne qui se lise facilement – nous parlons ici du plan rédactionnel –, mais assez creuse conceptuellement : il s’agit de la copie A. Nous voulions une copie plus difficile à lire que la A, mais beaucoup plus aboutie sur le plan conceptuel : il s’agit de la copie B. La copie C est une « mauvaise » copie. L’ordre de correction est ABC Pour l’instant, nous avons observé 10 correcteurs. Ce sont tous des professeurs agrégés. Nous les avons répartis en trois groupes en fonction de leur ancienneté. Premier groupe 1 à 2 ans d’ancienneté, deuxième groupe autour de 10 ans, troisième groupe, plus de 20 ans. C’est en comparant l’activité de correction de ces professeurs, mais surtout en procédant à une comparaison inter groupe que nous abordons la thématique du colloque, développement et transformation des compétences professionnelles.

Correction avec verbalisation concomitante Etude empirique Correction avec verbalisation concomitante Consigne : « Vous êtes professeur en terminale ES, vous avez choisi ce sujet de type Bac pour préparer vos élèves à l’épreuve de dissertation avec document. Lors de votre correction vous faites tous les commentaires que vous jugez utiles à notre compréhension. » Entretien post-correction Faute de temps, nous n’aborderons pas la dimension analyse de la tâche de correction que nous avons mentionnée au début de la présentation. Voici la consigne donnée aux professeurs

Constat « classique » en docimologie… Peu de choses sur la note

Comparaisons APC/autres Quelques éléments supplémentaires relatifs aux apports de l’APC dans la situation d’évaluation étudiée

Correction de la copie A : étude de l’activité de 3 évaluateurs s’inscrivant dans une APC Professeurs expérimentés engagés dans une APC (2 d’entre eux ont participé à l’élaboration de la grille de compétences ; existence d’un mode d’emploi ; stage pour utiliser cette grille) Compétence Indicateur Niveau d’exigence Barè me Non Plutôt non Plutôt oui Oui Mettre en œuvre des séquences argumentati ves pour répondre au sujet Présence explicite d’une idée par séquence reliée au sujet Présence d’argument(s) pour la défendre Présence d’une illustration (il s’agit ici d’évaluer seulement la cohérence de l’argumentation) Seulemen t un des indicateu rs Idée ET illustration MAIS pas d’argument Idée ET illustration MAIS partiellement argumenté OU Idée ET argument SANS illustration (2 à 3 fois) Idée ET arguments ET illustration (3 à 4 fois) 4 Pour la notion de compétence, les concepteurs de la grille déclarent se référer à Roegiers : « une compétence, c’est la possibilité pour un individu de mobiliser de manière consciente et organisé un ensemble de ressources en vue de résoudre une famille de situations problèmes, comme « argumenter » L’élève doit planifier ses démarches en les contrôlant, en les évaluant …. Évaluation formatrice Indicateurs : relatif à chaque situation : à quoi je vois que c’est réussi …. Problème d’opérationnalisation des indicateurs … d’accord sur les catégories, mais pb sur les occurrences : à partir de quand je valide la présence d’une illustration ? L s’agit d’un ensemble d’échelles descriptives globales Pour le s concepteurs de la grille les critères sont relatif à une compétence Leur projet : Approfondi les critères d’évaluation de la dissertation en terme de compétences Critère : qualité générale de la production qui témoigne d’une compétence du sujet, du producteur. Les critères sont relatif à une compétence Les indicateurs sont des signes observables de cette qualité Les compétences sont en fait des critères d’évaluation ; savoir argumenter. Les indicateurs sont de l’ordre de l’observable en situation; il permettent d’opérationnaliser un critère Extrait de la grille de compétences élaborée et utilisées par les professeurs de SES s’inscrivant dans une APC pour évaluer Un ensemble d’échelles descriptives globales

Comparaisons APC - Copie A Correcteurs Grille Barème A B C D Introduction /2 1,5 1 0,5 Mettre en œuvre une réponse organisée Conclusion /1 Utilisation pertinente des termes du sujet pour répondre au sujet 2 Mettre en œuvre des séquences argumentatives pour …. /4 4 2,5 Mobiliser des connaissances pour … /4,5 3 3,5 Mobiliser des informations des documents pour … Présentation de la copie bonus malus   Note /20 16 12 14 11,5

Comparaisons APC - Copie B Grille Barème A B C D Introduction /2 1,5 2 Mettre en œuvre une réponse organisée 1 Conclusion /1 0,75 Utilisation pertinente des termes du sujet pour répondre au sujet Mettre en œuvre des séquences argumentatives pour … /4 3 Mobiliser des connaissances pour … /4,5 4,5 3,5 Mobiliser des informations des documents pour … Présentation de la copie Bonus malus   Note /20 13,5 12,5 15,5 16,75

Etude de l’activité : inférences, jugements évaluatifs Copie : « Les salariés n’adhèrent donc plus aux syndicats, c’est pourquoi on parle de crise du syndicalisme » Correcteur A « Fait un effort pour préciser ce qu’est la crise du syndicalisme » Jugement évaluatif positif Délimite et définit les termes du sujet, plutôt oui. Correcteur B « Effort de définition des termes du sujet » Jugement évaluatif positif Délimite et définit les termes du sujet, plutôt oui. Correcteur C « Crise du syndicalisme définie de façon acceptable » Jugement évaluatif positif Délimite et définit les termes du sujet, plutôt oui. Accord entre les correcteurs

Etude de l’activité : inférences, jugements évaluatifs Copie : Phr 3 Ce déclin puise une partie de ses causes dans les mutations du travail. Phr 4 Les mutations sont des transformations, des changements du monde du travail Correcteur A « Les mutations du travail c’est plus flou » Compétence : définir les termes du sujet Jugement évaluatif qui reste globalement positif : délimite et définit les termes du sujet, plutôt oui. Correcteur B « Il manque un exemple, définir mutations par changements est un peu facile  » Compétence : définir les termes du sujet Jugement évaluatif qui reste globalement positif : délimite et définit les termes du sujet, plutôt oui. Correcteur C « Essai de définition mais insuffisante sur le fond, extrêmement succincte. » Compétence : définir les termes du sujet Jugement évaluatif positif « A sans doute mal compris la notion de mutations. » Inf. compréhension => Inf. évaluative Compétence : mobiliser des connaissances (maîtrise des notions du programme) Intro (/2) : A : 1,5 (plutôt oui) B : 1 (sujet pas vraiment compris) C : 0,5 (plutôt non) Accords et désaccords : Inférences, compétences évaluées, jugements évaluatifs

Etude de l’activité : inférences, jugements évaluatifs Phr 24 Les syndicats sont devenus des institutions, c’est pourquoi les salariés ne se reconnaissent plus dans les syndicats et n’y adhèrent donc plus.  Phr 25 Les représentants des syndicats ne sont plus des salariés c’est pourquoi on peut se demander si les syndicats défendent leurs propres intérêts ou ceux des adhérants.  Correcteur B « Définir le terme institution ; On parle plutôt d’institutionnalisation des syndicats » Annotation : « Ne sont plus des salariés présents dans l’entreprise. Donner un exemple pour construire la démonstration » Correcteur C « Très bon mécanisme, très bonne argumentation. Chose loin d’être simple à comprendre pour des élèves de terminale. Ce n’est pas évident pour l'élève de comprendre que l'institutionnalisation provoque une sortie des délégués syndicaux trop fréquente de l'entreprise pour qu'il y ait un contact important entre les collègues Jugement évaluatif positif : valide un mécanisme (indicateur de la compétence : mobiliser des connaissances) Les correcteurs n’ont pas la même compréhension de ce passage. Corr. B : prend l’élève « au pied de la lettre » Corr. C : infère que l’élève a compris (inf. comp. => inf. éval.) ; le crédite de « la sortie des délégués syndicaux ». Jugements évaluatifs différents (contenu et orientation)

Etude de l’activité : inférences, jugements évaluatifs Phr 10 Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans les intérêts communs d’une classe. Phr 11 Ainsi les syndicats ont plus de difficulté à rassembler les actifs autour d’un intérêt commun. (doc 2). Phr 12 De plus cette fragmentation des classes sociales illustrée par la moyenisation des catégories ouvrières dans la population et un déclin du monde ouvrier dont la part diminue de 9,6 points entre 1975 et 2000 ; s’accompagne des modifications des conditions de travail dans l’entreprise. Correcteur A « Il y a un souci, je pense qu’il veut dire classe moyenne au lieu de classe sociale » Inférence de compréhension « A utilisé une information correcte et est correctement reliée au sujet » Pris en compte pour valider la compétence « Mobiliser des informations des documents pour répondre au sujet  »

Etude de l’activité : inférences, jugements évaluatifs Phr 10 Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans les intérêts communs d’une classe. Phr 11 Ainsi les syndicats ont plus de difficulté à rassembler les actifs autour d’un intérêt commun. (doc 2). Phr 12 De plus cette fragmentation des classes sociales illustrée par la moyenisation des catégories ouvrières dans la population et un déclin du monde ouvrier dont la part diminue de 9,6 points entre 1975 et 2000 ; s’accompagne des modifications des conditions de travail dans l’entreprise. Correcteur B «  A-t-elle vraiment repris l'un des éléments du doc 2 ou le fait-elle pour faire plaisir au correcteur ? Faire mieux référence au doc 2 et le lien avec son point de vue  » Inférence sur l’élève (Corr. B utilise ses connaissances sur les élèves) « Expression qui n'existe pas : moyennisation des catégories ouvrières ; on parle de moyennisation de l'ensemble de la société. »

Etude de l’activité : inférences, jugements évaluatifs Phr 10 Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans les intérêts communs d’une classe. Phr 11 Ainsi les syndicats ont plus de difficulté à rassembler les actifs autour d’un intérêt commun. (doc 2). Phr 12 De plus cette fragmentation des classes sociales illustrée par la moyenisation des catégories ouvrières dans la population et un déclin du monde ouvrier dont la part diminue de 9,6 points entre 1975 et 2000 ; s’accompagne des modifications des conditions de travail dans l’entreprise. Correcteur C « Utilisation valable du document 2 ». « Moyennisation, notion non prévue dans le corrigé, tout à fait valable, qui sera validée »

Accords et désaccords entre évaluateurs Résumer les accords et désaccords, les convergences et les divergences Phrase Intérêt Relève   Inférences (verbalisées) Compréhension Evaluatives Elève Totaux Conv Div Eva A Eva B A22 1 A23 A24 A25 … ... 38 9 21 15 13 8 6 3 2 22 23

Accords et désaccords entre évaluateurs Phrase Jugements   Positif Négatif Autre Totaux Eva A Eva B accord désaccord désacc désac Accord Désac. A22 1 2 A23 A24 A25 … ... 26 16 14 17 13 36 11 27 4 5 3 28 47

Accords entre évaluateurs Eva A (16) et Eva B (12) Intérêt : Accord EVA A et EVA B (Phrases de la copie sur lesquelles les évaluateurs verbalisent) 80,85% INFERENCES EVA A EVA B Conv Div Inf Comp 21 15 13 Inf Eva 8 6 Inf Elève 1 3 2 Accord EVA A et EVA B (conv/conv+div) 48,89% JUGEMENTS Accord Désaccord Positifs 26 16 14 17 Négatifs 36 11 27 Autres 4 5 Accord EVA A et EVA B (accord/accord+désaccord) 37,33%

Accords entre évaluateurs Comparaison entre Correcteurs A et B Correcteurs A et C Correcteurs A et D Correcteurs B et C Correcteurs B et D Correcteurs C et D Taux de convergence de "l'intérêt/désintérêt" 81% 77% 89% 83% 78% 90% Taux de convergence des inférences 49% 29% 18% 37% 31% 26% Taux d'accord des jugements évaluatifs 25% 27% 45%

Accords entre évaluateurs Eva A (16) et Eva C (14) Intérêt : Accord EVA A et EVA C 76,60% INFERENCES EVA A EVA C Conv Div Inf Comp 21 22 11 20 Inf Eva 13 12 4 15 Inf Elève 1 2 Accord EVA A et EVA C (conv/conv+div) 28,85% JUGEMENTS Accord Désaccord Positifs 26 28 Négatifs 17 7 16 Autres 5 Accord EVA A et EVA C (accord/accord+désaccord) 28,99%

Les sources de divergences Exercice et référent(s) : connaissances, mécanismes attendus … mais quid de l’organisation précise de l’argumentation, de la présentation des mécanismes Lecture : Voir diapo précédente Utilisation de la grille : Opérationnalisation : indicateurs « généraux »  indicateurs « spécifiques » (indices) Correspondance entre éléments de la copies pris en compte et compétence évaluée Niveaux d’exigence et combinaisons d’indicateurs spécifiques Niveaux d’exigence  points attribués (appropriation du barème) Appropriation générale de la grille : § argumentatif bien écrit, mais mal placé (mauvaise partie / plan)

Intérêts et limites de l’APC pour évaluer des dissertations en SES Garde-fou (notes), check-list Suscite une lecture approfondie Outil pédagogique : explicitation des critères, retour d’information (favorise évaluation formative, formatrice) Ce qui est acquis est acquis (effet cumulatif, pas de points négatifs) Articulation certificatif et formatif Limites : Ce qui échappe à la grille (cohérence globale) Effet formatant de la grille (« Enseigner la grille ou la dissertation ? » )

Merci

Perspectives Compréhension de l’effet de la grille : par ex., l’effet cumulatif Etudier les phénomènes de compréhension / divergences

Compétence(s) – critère(s) – qualité(s) de la production Apports et limites de l’évaluation dans une l’APC : divergences entre correcteurs Copie : Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans … Compétence(s) – critère(s) – qualité(s) de la production Mettre en œuvre des séquences argumentatives pour répondre au sujet Evaluateur /Lecteur - Opérationnalisation des indicateurs « généraux » - Attentes => DIVERGENCES Lecteur/Evaluateur -Inférence(s) Compréhension (oui, non) => DIVERGENCES Indicateurs « généraux » (opérationnalisation du critère, de la compétence) 1) Présence explicite d’une idée par séquence reliée au sujet 2) Argument(s) pour la défendre 3) Illustration Evaluateur Accepte, n’accepte pas, … Valide, ne valide pas, … Infère, n’infère pas (crédite) => DIVERGENCES 4 Niveaux d’exigence précis Pourtant source de divergences - Non : Seulement un des indicateurs - Plutôt non : …. Barème : 4 points Répartition des points « convenue »  mais part d’autonomie source de divergences Non => 0, 0+, 1 - Plutôt non => 1, 1+, 2, …

Opérationnalisation des indic. « généraux » en « spécifiques » Compétence(s) – critère(s) – qualité(s) de la production : Mettre en œuvre des séquences argumentatives Indicateurs « généraux » (opérationnalisation du critère) 1) Présence explicite d’une idée par séquence reliée au sujet 2) Argument(s) pour la défendre 3) Illustration 4 Niveaux d’exigence précis Pourtant source de divergences - Non : Seulement un des indicateurs - Plutôt non : …. Barème : 4 points Répartition des points « convenue »  mais d’autonomie source de divergences EVALUATION Opérationnalisation des indic. « généraux » en « spécifiques » => DIVERGENCES EVALUATION Accepte, n’accepte pas, … Valide, ne valide pas, … Infère, n’infère pas => DIVERGENCES LECTURE -Inférence(s) Compréhension (oui, non) => DIVERGENCES Copie : Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans …

Quelques mots de conclusion Malgré un important travail méthodologique, existence de divergences importantes Information en retour diversifiée, mais aspect formatif Enseigner la dissertation / enseigner la grille (cohérence globale de la copie) Dimension formative : évaluation certificative et formative Stratégie de lecture ; pas de traitement heuristique Et la notion de compétence : -

Illustrations des types d’inférences Inférences de compréhension Inférences qui aboutissent d’autres non ou que le lecteur abandonne ou refuse (rapport coût / bénéfice) Les inférences sont verbalisées quand elles contredisent les attentes de l’évaluateur (les autres sont tues) Il a lu sur la copie : « les syndicats sont devenus des institutions » et il va parler de la notion « d’institutionnalisation » … en fait le processus de compréhension, la réalisation d’une inférence le conduit à remplacer le mot institution par le concept d’institutionnalisation. A ce moment là; pour le correcteur le mot institutionnalisation figure dans la copie Il cherche à voir si institutionnalisation est une connaissance apportée par l’élève ou si ce mot figure dans le doc 3. En fait le mot institutionnalisation n’est ni dans le document, ni dans la copie. Comme on l’adit, à ce moment là le professeur finit par prêter à l’élève le terme d’institutionnalisation … Des inférences, comme celle-ci, à des endroits particuliers de la copie sont produites par certains professeurs et pas par d’autres. On peut penser que la production d’inférences influent sur les notes, ait quelque chose à voir avec les divergences entre correcteurs.

Illustrations des types d’inférences Inférences d’évaluation sur le contenu Le correcteur réalise une série d’inférence et met derrière le terme institution peut-être davantage de choses que ce que met l’élève. Il lui prête des connaissances, comme l’idée d’organisation. Vient ensuite une inférence d’évaluation sur le contenu. Cette inférence sert à évaluer ; il y a d’abord une inférence de compréhension. Des inférences, comme celle-ci et la précédente, à des endroits particuliers de la copie sont produites par certains professeurs et pas par d’autres. On peut penser que la production de telles inférences influent sur les notes, ait quelque chose à voir avec les divergences entre correcteurs.

Illustrations des types d’inférences Inférences sur l’élève Elle ne juge pas le produit, mais à travers le produit elle juge l’élève. Elle se construit une représentation de l’auteur de la copie.

Pistes d’interprétations Stratégies de lecture - compréhension Valorisation de traits de surface : prélèvement d’indice (phrase à phrase) Compréhension plus approfondie : intégration dans une représentation cohérente Élaboration de couples attentes - confirmations (construction de la cohérence) Cependant, on peut dégager quelques idées ou pistes d’interprétation. Stratégie de lecture ; deux tâches différentes, variabilité de leur place chez les correcteurs. Elaboration attente confirmation ; les correcteurs cherchent à valiser les jugement : éléments présentés de manière trop abrupte.

Perspectives Mise en relation entre : analyse de la tâche d'évaluation, analyse de l'activité, analyse des entretiens, appréciations et notes Travailler sur des copies construites Entretiens croisés sur les copies Limites de la tâche de verbalisation concomitante (validité écologique) Place de la formation à l’évaluation / développement professionnel Mise en relation de l’ensemble des données dont nous disposons. Par exemple, mise en relation de l’analyse propositionnelle qui nous permettra en particulier de détecter des problèmes de cohérence locale avec les difficulté de compréhension des correcteurs amenés dans ce cas à produire des inférences (absence de recoupement dans les arguments)

Analyse de la tâche d’évaluation Phrase extraite de l’introduction la copie B Analyse formelle Analyse conceptuelle Phrase de transition entre cette diapo et la suivante : parler de l’activité est devenu courant ici c’est pris au sens fort du terme, comme on fait l’hypothèse que le processus (comme ça été fait en compréhension de texte) a une influence sur le produit, on est contraint de s’intéresser précisément à ces processus. Analyse propositionnelle