La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Correction de dissertations : analyse de lactivité de quelques professeurs engagés dans une approche par compétences Marc Vantourout & Rémi Goasdoué Journée.

Présentations similaires


Présentation au sujet: "Correction de dissertations : analyse de lactivité de quelques professeurs engagés dans une approche par compétences Marc Vantourout & Rémi Goasdoué Journée."— Transcription de la présentation:

1 Correction de dissertations : analyse de lactivité de quelques professeurs engagés dans une approche par compétences Marc Vantourout & Rémi Goasdoué Journée détude ADMEE – Chamalières, 22 octobre 2010

2 Introduction - Contexte Injonctions institutionnelles : exercer dans le cadre dune approche par compétences (APC) La compétence un nouvel objet pour lévaluateur … Lopérationnalisation, un défi : évaluer des compétences dites complexes Peu de travaux centrés sur lévaluateur, sur son activité Etudier lactivité de professeurs de sciences économiques et sociales (SES), engagés dans une APC, corrigeant des dissertations

3 Evaluer des compétences Des propositions au niveau des tâches ou situations : -Rey, Carette & coll. -Formation « pédagogique », innovation, bonnes pratiques : Scallon, Roegiers Des relations étroites avec lévaluation formative et formatrice (Scallon, Roegiers, Veslin & Veslin)

4 Cadre théorique Docimologie, docimologie expérimentale, divergences entre évaluateurs : -Prolongement et renouvellement de ces courants -Remise en cause : o de la place centrale accordée au processus de comparaison o du « simple » prélèvement dindices positifs ou négatifs

5 Cadre théorique Appréhender la correction de copies comme une tâche particulière de lecture-compréhension de texte : -processus interactif impliquant un lecteur et un texte -lenjeu : comprendre comment sélaborent les représentations (et non plus identifier ce qui pèse sur le processus de comparaison « référent/référé ») -Etudier le déroulement de lactivité de lévaluateur en sintéressant aux connaissances et représentations de lévaluateur

6 Cadre théorique : apports des modèles de compréhension texte Aborder les processus cognitifs dans l'activité de correction Sintéresser aux divergences entre correcteurs Inférences : prise en compte des caractéristiques des évaluateurs (déterminants internes : connaissances, attentes, …) : o Inférences de compréhension o Inférences évaluatives sur le contenu o Inférences sur lélève Inférence : toute information non explicitement présente dans le texte que le lecteur construit à partir de ses connaissances.

7 Une étude empirique (en cours) pour … Actuellement : -Estimer la valeur heuristique du nouveau cadre théorique -Vérifier si, dans le cas présent, lAPC permet de limiter les écarts entre correcteurs (Scallon, 2004) -Dépasser le constat des divergences -Apporter des éléments relatifs au débat « Intérêts et limites dune APC en évaluation »

8 Etude empirique La correction de copies type bac en SES : –Choix de la matière et de l'épreuve (dissertation avec étude de documents) –Le sujet : « Dans quelle mesure les mutations du travail peuvent-elles expliquer la crise du syndicalisme ? » –Choix des copies –Les correcteurs –La tâche : correction avec verbalisation concomitante

9 Etude empirique Correction avec verbalisation concomitante Consigne : « Vous êtes professeur en terminale ES, vous avez choisi ce sujet de type Bac pour préparer vos élèves à lépreuve de dissertation avec document. Lors de votre correction vous faites tous les commentaires que vous jugez utiles à notre compréhension. » Entretien post-correction

10 Constat « classique » en docimologie…

11 Comparaisons APC/autres Quelques éléments supplémentaires relatifs aux apports de lAPC dans la situation dévaluation étudiée

12 Correction de la copie A : étude de lactivité de 3 évaluateurs sinscrivant dans une APC Professeurs expérimentés engagés dans une APC (2 dentre eux ont participé à lélaboration de la grille de compétences ; existence dun mode demploi ; stage pour utiliser cette grille) CompétenceIndicateur Niveau dexigence Barè me NonPlutôt nonPlutôt ouiOui Mettre en œuvre des séquences argumentati ves pour répondre au sujet Présence explicite dune idée par séquence reliée au sujet Présence dargument(s) pour la défendre Présence dune illustration (il sagit ici dévaluer seulement la cohérence de largumentation) Seulemen t un des indicateu rs Idée ET illustration MAIS pas dargument Idée ET illustration MAIS partiellement argumenté OU Idée ET argument SANS illustration (2 à 3 fois) Idée ET arguments ET illustratio n (3 à 4 fois) 4 Extrait de la grille de compétences élaborée et utilisées par les professeurs de SES sinscrivant dans une APC pour évaluer Un ensemble déchelles descriptives globales

13 Comparaisons APC - Copie A Correcteurs Grille BarèmeABCD Introduction /21,510,5 Mettre en œuvre une réponse organisée /21,5 1 Conclusion/10,510 Utilisation pertinente des termes du sujet pour répondre au sujet /221,52 Mettre en œuvre des séquences argumentatives pour …. /442,542 Mobiliser des connaissances pour …/4,532,53,52,5 Mobiliser des informations des documents pour … /4,53,523 Présentation de la copie bonus malus 0,5 Note/ ,5

14 Comparaisons APC - Copie B Grille BarèmeABCD Introduction /21,522 Mettre en œuvre une réponse organisée /21,512 Conclusion/11110,75 Utilisation pertinente des termes du sujet pour répondre au sujet /221,5 2 Mettre en œuvre des séquences argumentatives pour … /43333 Mobiliser des connaissances pour … /4,5334,53,5 Mobiliser des informations des documents pour … /4,51,51 4,5 Présentation de la copie Bonus malus Note/2013,512,515,516,75

15 Etude de lactivité : inférences, jugements évaluatifs Copie : « Les salariés nadhèrent donc plus aux syndicats, cest pourquoi on parle de crise du syndicalisme » Correcteur A « Fait un effort pour préciser ce quest la crise du syndicalisme » Jugement évaluatif positif Délimite et définit les termes du sujet, plutôt oui. Correcteur B « Effort de définition des termes du sujet » Jugement évaluatif positif Délimite et définit les termes du sujet, plutôt oui. Correcteur C « Crise du syndicalisme définie de façon acceptable » Jugement évaluatif positif Délimite et définit les termes du sujet, plutôt oui. Accord entre les correcteurs

16 Etude de lactivité : inférences, jugements évaluatifs Copie : Phr 3 Ce déclin puise une partie de ses causes dans les mutations du travail. Phr 4 Les mutations sont des transformations, des changements du monde du travail Correcteur A « Les mutations du travail cest plus flou » Compétence : définir les termes du sujet Jugement évaluatif qui reste globalement positif : délimite et définit les termes du sujet, plutôt oui. Correcteur B « Il manque un exemple, définir mutations par changements est un peu facile » Compétence : définir les termes du sujet Jugement évaluatif qui reste globalement positif : délimite et définit les termes du sujet, plutôt oui. Correcteur C « Essai de définition mais insuffisante sur le fond, extrêmement succincte. » Compétence : définir les termes du sujet Jugement évaluatif positif « A sans doute mal compris la notion de mutations. » Inf. compréhension => Inf. évaluative Compétence : mobiliser des connaissances (maîtrise des notions du programme) Intro (/2) : A : 1,5 (plutôt oui)B : 1 (sujet pas vraiment compris)C : 0,5 (plutôt non) Accords et désaccords : Inférences, compétences évaluées, jugements évaluatifs

17 Etude de lactivité : inférences, jugements évaluatifs Phr 24 Les syndicats sont devenus des institutions, cest pourquoi les salariés ne se reconnaissent plus dans les syndicats et ny adhèrent donc plus. Phr 25 Les représentants des syndicats ne sont plus des salariés cest pourquoi on peut se demander si les syndicats défendent leurs propres intérêts ou ceux des adhérants. Correcteur B « Définir le terme institution ; On parle plutôt dinstitutionnalisation des syndicats » Annotation : « Ne sont plus des salariés présents dans lentreprise. Donner un exemple pour construire la démonstration » Correcteur C « Très bon mécanisme, très bonne argumentation. Chose loin dêtre simple à comprendre pour des élèves de terminale. Ce nest pas évident pour l'élève de comprendre que l'institutionnalisation provoque une sortie des délégués syndicaux trop fréquente de l'entreprise pour qu'il y ait un contact important entre les collègues Jugement évaluatif positif : valide un mécanisme (indicateur de la compétence : mobiliser des connaissances) Les correcteurs nont pas la même compréhension de ce passage. Corr. B : prend lélève « au pied de la lettre » Corr. C : infère que lélève a compris (inf. comp. => inf. éval.) ; le crédite de « la sortie des délégués syndicaux ». Jugements évaluatifs différents (contenu et orientation)

18 Etude de lactivité : inférences, jugements évaluatifs Phr 10 Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans les intérêts communs dune classe. Phr 11 Ainsi les syndicats ont plus de difficulté à rassembler les actifs autour dun intérêt commun. (doc 2). Phr 12 De plus cette fragmentation des classes sociales illustrée par la moyenisation des catégories ouvrières dans la population et un déclin du monde ouvrier dont la part diminue de 9,6 points entre 1975 et 2000 ; saccompagne des modifications des conditions de travail dans lentreprise. Correcteur A « Il y a un souci, je pense quil veut dire classe moyenne au lieu de classe sociale » Inférence de compréhension « A utilisé une information correcte et est correctement reliée au sujet » Pris en compte pour valider la compétence « Mobiliser des informations des documents pour répondre au sujet »

19 Etude de lactivité : inférences, jugements évaluatifs Phr 10 Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans les intérêts communs dune classe. Phr 11 Ainsi les syndicats ont plus de difficulté à rassembler les actifs autour dun intérêt commun. (doc 2). Phr 12 De plus cette fragmentation des classes sociales illustrée par la moyenisation des catégories ouvrières dans la population et un déclin du monde ouvrier dont la part diminue de 9,6 points entre 1975 et 2000 ; saccompagne des modifications des conditions de travail dans lentreprise. Correcteur B « A-t-elle vraiment repris l'un des éléments du doc 2 ou le fait-elle pour faire plaisir au correcteur ? Faire mieux référence au doc 2 et le lien avec son point de vue » Inférence sur lélève (Corr. B utilise ses connaissances sur les élèves) « Expression qui n'existe pas : moyennisation des catégories ouvrières ; on parle de moyennisation de l'ensemble de la société. »

20 Etude de lactivité : inférences, jugements évaluatifs Phr 10 Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans les intérêts communs dune classe. Phr 11 Ainsi les syndicats ont plus de difficulté à rassembler les actifs autour dun intérêt commun. (doc 2). Phr 12 De plus cette fragmentation des classes sociales illustrée par la moyenisation des catégories ouvrières dans la population et un déclin du monde ouvrier dont la part diminue de 9,6 points entre 1975 et 2000 ; saccompagne des modifications des conditions de travail dans lentreprise. Correcteur C « Utilisation valable du document 2 ». « Moyennisation, notion non prévue dans le corrigé, tout à fait valable, qui sera validée »

21 Accords et désaccords entre évaluateurs Résumer les accords et désaccords, les convergences et les divergences Phrase Intérêt Relève Inférences (verbalisées) CompréhensionEvaluativesElèveTotaux ConvDiv Eva AEva BConvDivEva AEva BConvDivEva AEva BConvDivConvDiv A A A A … ……

22 Accords et désaccords entre évaluateurs PhraseJugements PositifNégatifAutreTotaux Eva AEva Baccord désa ccordEva AEva B accor ddésaccEva AEva BaccorddésacAccordDésac. A A A A …

23 Accords entre évaluateurs Eva A (16) et Eva B (12) Intérêt : Accord EVA A et EVA B (Phrases de la copie sur lesquelles les évaluateurs verbalisent) 80,85% INFERENCESEVA AEVA B ConvDiv Inf Comp Inf Eva Inf Elève13 12 Accord EVA A et EVA B (conv/conv+div) 48,89% JUGEMENTSEVA AEVA B AccordDésaccord Positifs Négatifs Autres45 33 Accord EVA A et EVA B (accord/accord+désaccord) 37,33%

24 Accords entre évaluateurs Comparaison entre Correcteurs A et B Correcteurs A et C Correcteurs A et D Correcteurs B et C Correcteurs B et D Correcteurs C et D Taux de convergence de "l'intérêt/désintérêt" 81%77%89%83%78%90% Taux de convergence des inférences 49%29%18%37%31%26% Taux d'accord des jugements évaluatifs 37%29%25%27%29%45%

25 Accords entre évaluateurs Eva A (16) et Eva C (14) Intérêt : Accord EVA A et EVA C76,60% INFERENCESEVA AEVA C ConvDiv Inf Comp Inf Eva Inf Elève12 02 Accord EVA A et EVA C (conv/conv+div) 28,85% JUGEMENTSEVA AEVA C AccordDésaccord Positifs Négatifs Autres44 05 Accord EVA A et EVA C (accord/accord+désaccord) 28,99%

26 Les sources de divergences 1.Exercice et référent(s) : connaissances, mécanismes attendus … mais quid de lorganisation précise de largumentation, de la présentation des mécanismes 2.Lecture : Voir diapo précédente 1.Utilisation de la grille : Opérationnalisation : indicateurs « généraux » indicateurs « spécifiques » (indices) Correspondance entre éléments de la copies pris en compte et compétence évaluée Niveaux dexigence et combinaisons dindicateurs spécifiques Niveaux dexigence points attribués (appropriation du barème) Appropriation générale de la grille : § argumentatif bien écrit, mais mal placé (mauvaise partie / plan)

27 Intérêts et limites de lAPC pour évaluer des dissertations en SES Intérêts : - Garde-fou (notes), check-list - Suscite une lecture approfondie - Outil pédagogique : explicitation des critères, retour dinformation (favorise évaluation formative, formatrice) - Ce qui est acquis est acquis (effet cumulatif, pas de points négatifs) - Articulation certificatif et formatif Limites : - Ce qui échappe à la grille (cohérence globale) - Effet formatant de la grille (« Enseigner la grille ou la dissertation ? » ) - Ce qui est acquis est acquis (effet cumulatif, pas de points négatifs)

28 Merci

29 Perspectives Compréhension de leffet de la grille : par ex., leffet cumulatif Etudier les phénomènes de compréhension / divergences

30 Apports et limites de lévaluation dans une lAPC : divergences entre correcteurs Compétence(s) – critère(s) – qualité(s) de la production Mettre en œuvre des séquences argumentatives pour répondre au sujet Indicateurs « généraux » (opérationnalisation du critère, de la compétence) 1) Présence explicite dune idée par séquence reliée au sujet 2) Argument(s) pour la défendre 3) Illustration 4 Niveaux dexigence précis Pourtant source de divergences - Non : Seulement un des indicateurs - Plutôt non : …. Barème : 4 points Répartition des points « convenue » mais part dautonomie source de divergences Non => 0, 0+, 1 - Plutôt non => 1, 1+, 2, … Copie : Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans … Evaluateur /Lecteur - Opérationnalisation des indicateurs « généraux » - Attentes => DIVERGENCES Lecteur/Evaluateur -Inférence(s) -Compréhension (oui, non) -=> DIVERGENCES Evaluateur Accepte, naccepte pas, … Valide, ne valide pas, … Infère, ninfère pas (crédite) => DIVERGENCES

31 Compétence(s) – critère(s) – qualité(s) de la production : Mettre en œuvre des séquences argumentatives Indicateurs « généraux » (opérationnalisation du critère) 1) Présence explicite dune idée par séquence reliée au sujet 2) Argument(s) pour la défendre 3) Illustration 4 Niveaux dexigence précis Pourtant source de divergences - Non : Seulement un des indicateurs - Plutôt non : …. Barème : 4 points Répartition des points « convenue » mais dautonomie source de divergences Copie : Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans … EVALUATION -Opérationnalisation des indic. « généraux » en « spécifiques » -=> DIVERGENCES LECTURE -Inférence(s) -Compréhension (oui, non) -=> DIVERGENCES EVALUATION Accepte, naccepte pas, … Valide, ne valide pas, … Infère, ninfère pas => DIVERGENCES

32 Quelques mots de conclusion Malgré un important travail méthodologique, existence de divergences importantes Information en retour diversifiée, mais aspect formatif Enseigner la dissertation / enseigner la grille (cohérence globale de la copie) Dimension formative : évaluation certificative et formative Stratégie de lecture ; pas de traitement heuristique Et la notion de compétence : -

33 Illustrations des types dinférences Inférences de compréhension –Inférences qui aboutissent dautres non ou que le lecteur abandonne ou refuse (rapport coût / bénéfice) –Les inférences sont verbalisées quand elles contredisent les attentes de lévaluateur (les autres sont tues)

34 Illustrations des types dinférences Inférences dévaluation sur le contenu

35 Illustrations des types dinférences Inférences sur lélève

36 Pistes dinterprétations Stratégies de lecture - compréhension – Valorisation de traits de surface : prélèvement dindice (phrase à phrase) – Compréhension plus approfondie : intégration dans une représentation cohérente Élaboration de couples attentes - confirmations (construction de la cohérence)

37 Perspectives Mise en relation entre : analyse de la tâche d'évaluation, analyse de l'activité, analyse des entretiens, appréciations et notes Travailler sur des copies construites Entretiens croisés sur les copies Limites de la tâche de verbalisation concomitante (validité écologique) Place de la formation à lévaluation / développement professionnel

38 Analyse de la tâche dévaluation Phrase extraite de lintroduction la copie B Analyse propositionnelle Analyse conceptuelle Analyse formelle


Télécharger ppt "Correction de dissertations : analyse de lactivité de quelques professeurs engagés dans une approche par compétences Marc Vantourout & Rémi Goasdoué Journée."

Présentations similaires


Annonces Google