Assurer la cohérence entre l’évaluation et les objectifs Philippe Gagné Sabine Brunet Geneviève Boucher Laurence Dumont Colloque de l’AQPC Le 5 juin 2013

et activités d’apprentissage Objectifs/Standards Évaluations/Tests Alignement curriculaire Matériel pédagogique et activités d’apprentissage Jusqu’à quel point le test mesure-t-il les objectifs du programme? Validité de contenu: Understand how assessment methods reflect a teacher's eductional philosophy and values. Understand that the knowledge, intellectual abilities and skills students acquire and/or develop in a course are directly related to how student learning is evaluated. Examine the assumptions underlying the belief that meaningful assessment can result in improved learning. Recognize that a competency-based curriculum is supported through the use of performance-based/authentic assessments. Understand that effective assessment methods are designed to connect with what we know about how a person learns. Contenu: Ce que nous enseignons est-il testé? Opportunité d’apprentissage: Enseignons-nous ce qui est testé? Anderson, 2001

Le département et l’équipe de recherche Sollicitation des enseignants Description des évaluations et de leur contenu Traitement statistique des données L’équipe de recherche Collecte du contenu du cours Analyse et intégration des résultats Présentation aux enseignants et au département Plan d’action développé par: Le département Les enseignants Vision commune et engagement envers les conclusions de la démarche Les experts codeurs Vérification de la validité et de la fiabilité des données Résultats synthétisant le contenu des évaluations Discussion sur l’évaluation des objectifs du cours, nourrie par l’interprétation des résultats Optimisation de l’équité entre les cours Équivalence des opportunités d’apprentissage Développement professionnel des enseignants Le statisticien Processus d’accord inter-juges Processus d’une analyse d’alignement curriculaire

Sondage avant l’atelier. 8 participants ont répondu.

Commentaires Une initiation pour ma part! Une définition de « alignement curriculaire d'un programme ou d'un département » aiderait à se positionner - si on parle d'une cohérence entre objectifs et évaluations - alors je connais bien mais pas nécessairement toutes les méthodes. Je n'y connais rien. J'ai une connaissance théorique de l'évaluation de programme de formation pour l'avoir abordée dans un cours à la maitrise. Mais je ne connais pas les spécificités de la démarche d’évaluation lorsqu’elle est menée dans le contexte collégial. Sondage avant l’atelier. 8 participants ont répondu.

Quelles sont vos attentes par rapport à cet atelier? Des outils pour évaluer le mieux possible les compétences visées par le programme. Je compare mes attentes a une sorte de défrichage du sujet. Obtenir des informations de base et pouvoir expérimenter afin de pouvoir investir les connaissances développées dans mon milieu. Connaître l'application du processus dont il est question dans la description de l'atelier m'intéresse vivement. En tant que conseillère pédagogique, pouvoir utiliser les outils et trucs qu'on me fournira pour mieux accompagner les enseignants. À titre de conseiller pédagogique, en savoir plus pour aider les professeurs. (J'ai aussi le mandat des évaluations de programme). Tout simplement développer une meilleure connaissance de ce qu'est l'évaluation de programme au collégial. Apprendre ! Sondage avant l’atelier. 8 participants ont répondu.

Lexique Alignement curriculaire: Webb (2007): une méthode permettant de mesurer « le degré de concordance entre les attentes [les standards] et les évaluations et jusqu’à quel point elles se complètent pour faire en sorte que les étudiants apprennent ce que l’on s’attend qu’ils sachent et fassent » (citée par Martone & Sireci, 2009, nous traduisons). Taxonomie: « La taxonomie en éducation est une classification organisée et hiérarchisée de phénomènes d'apprentissage ou de développement. » Dictionnaire actuel de l'éducation (Legendre, 2005).

Plan de l’atelier L’annonce faite au département…; La collecte des données; L’« itémisation »; Les outils de traitement des données; Description des évaluations (codage); PAUSE; Accords interjuges et fréquences croisées; Démarche à Vanier; Autres taxonomies; Évaluation.

La pertinence de l’alignement curriculaire Extraits du rapport de la Commission d’évaluation de l’enseignement collégial (CEEC) à Vanier (2011): « La Commission a observé que [l’évaluation finale] ne correspond pas toujours au niveau taxonomique des objectifs visés » : Validité « La Commission suggère au Collège de s’assurer de l’équivalence de l’évaluation dans le cas d’un même cours donné par plus d’un professeur » : Cohérence et équité

La simulation Alignés ou pas?

Saisie et base de données

VOTRE ÉQUIPE

Accords interjuges Tendre vers l’objectivité Démarche itérative Expertise de base; Encodage « instinctif »; Comparaison et création d’une compréhension commune; Résultat final visé: ≈ 85% et +;

Accords interjuges (suite) Comparaison et création d’une compréhension commune Résultat final visé: ≈ 85% et +

La démarche au cégep Vanier Ici 56% Baliser la liberté

Mise en contexte Des cours communs à la conception de cours particularisés; La volonté de mesurer le degré de cohérence et d’équité; L’obtention d’une subvention du Academic Success Projects; Hiver 2012: 7 cours 102 (niveau intermédiaire).

Méthodologie Collecte des données; Numérotation des items; Codage des items; Traitement des données; Analyse des résultats; Diffusion aux volontaires, puis au département.

Numérotation des items

Résultats Nombre d’items; Objectifs ministériels; Relation-question-réponse (RQR); Processus en lecture.

Nombre d’items Professeur Nombre d'évaluations Nombre minimum d’items Nombre maximum d’items Nombre total d’items pour l’ensemble des évaluations P1 13 1 65 171 P2 12 64 192 P3 8 252 P4 20 166 P5 261 319 P6 248 303 P7 9 43 132

Objectifs ministériels Pourcentage de points par objectif ministériel selon le professeur

Objectifs ministériels (suite) Répartition du pourcentage et du nombre d’items en fonction des objectifs ministériels selon le professeur

RQR (Wixson, 1983) Explicite et textuel : La relation est explicite et textuelle si la question et la réponse découlent toutes deux du texte et que la relation entre la question et la réponse est clairement indiquée par des indices dans le texte même. Implicite et textuel : La relation est implicite et textuelle si la question et la réponse découlent toutes deux du texte, mais qu’il n’y a pas dans le texte d’indice grammatical qui relie la question à la réponse. Cette catégorie demande l’utilisation d’au moins une inférence par le lecteur. Relation implicite et faisant référence aux schémas du lecteur : La relation est implicite et fondée sur les schémas du lecteur si la question seule découle du texte et que le lecteur utilise ses propres connaissances pour répondre à la question. Lire les exemples de Giasson.

RQR Pourcentage du cours dédié à chaque catégorie du RQR par professeur

Processus en lecture (Giasson, 1990, 2011; Irwin, 1986) Microprocessus : Les microprocessus permettent de comprendre l’information contenue dans une phrase : reconnaissance de mots; regroupement des mots en unités significatives; sélection des éléments de la phrase importants à retenir. Processus d’intégration : Les processus d’intégration permettent d’effectuer des liens entre les propositions ou entre les phrases. Macroprocessus : Les macroprocessus sont orientés vers la compréhension du texte dans son entier. Processus d’élaboration : Il y en a cinq : faire des prédictions, se former une image mentale, réagir émotivement, raisonner sur le texte, intégrer l’information nouvelle à ses connaissances antérieures. Processus métacognitifs : Les processus métacognitifs font référence aux connaissances du lecteur sur le processus de lecture en soi ; ils visent aussi sa capacité à se rendre compte d’une perte de compréhension, prise de conscience qui l’amènera à utiliser des stratégies appropriées pour remédier au problème. Il est important de noter que les processus en lecture décrivent les étapes par lesquelles peut passer un lecteur au moment où il lit un texte. Nous ne pouvons vérifier si nos étudiants utilisent ces processus au cours de la lecture, mais nous pouvons déterminer si les questions de compréhension que nous rédigeons pour les évaluations leur permettent de les «activer», de les mettre en œuvre dans leur lecture. C'est pourquoi une question codée «Processus d'élaboration» ne signifie pas que les étudiants arrivent à effectuer un tel processus, mais plutôt qu'elle en offre la possibilité. A contrario, une évaluation qui n'en contiendrait pas n'offrirait pas aux étudiants la possibilité de démontrer leur compréhension d'un texte à ce niveau. Il serait intéressant, lors d'une prochaine étude, d'analyser le taux de succès des étudiants pour chaque processus.

Processus en lecture Prévoir de lire LA question métacognitive de P5. Valeur du cours en pourcentage accordé aux différents processus en lecture

Activité métacognitive « Elle englobe toutes les pratiques réflexives qui explicitent, en miroir, le fonctionnement intellectuel de l’individu, en particulier en situation d’apprentissage, et permettent ainsi au sujet de réguler cette activité dans ses différentes composantes. » (Cuq, 2003) « Processus qui conduit à l’autogestion des activités de cognition. » (Caron, 1991)

Questions ou activités métacognitives Nommez cinq concepts qui vous aident à interpréter ce film. Pour chaque concept, expliquez comment votre compréhension façonne votre interprétation du film. Faites deux listes. L’une avec les points de vue de trois personnages du roman et l’autre avec trois de vos positions en tant que lecteur. Expliquez comment vos positions vous amènent à interpréter les événements du roman différemment des personnages. Ce cours commence à me faire sentir que je devrais remettre en question toute l’information qu’on me présente. Vrai Faux Le port-folio: identifier ses propres erreurs typiques au début du cours.

Guide de conception d’évaluations en compréhension écrite Regroupement de questions typiques pour chaque catégorie RQR/Processus; Source d’inspiration lors de la conception d’une évaluation; Document évolutif par niveau; (Annexe D de notre rapport; voir bibliographie).

Extrait du Guide Explicite et textuel Microprocessus   Microprocessus Info textuelle dans une phrase Demander de repérer une information précise dans une phrase : mots de vocabulaire, date, noms, etc. Demander de compléter une phrase lacunaire par des informations apparaissant textuellement dans une phrase. Poser une question reprenant quasi textuellement une phrase du texte à laquelle il suffit de répondre par un ou deux mots apparaissant dans la phrase de départ. Exemple, phrase du texte : L’agriculture est en fait la plus importante source de pollution des milieux aquatiques au Canada; question posée : L’agriculture est la source de pollution la plus importante de quel type de milieu? Processus d'intégration Info = lien explicite entre proposition ou phrases Poser une question sur l’idée directrice apparaissant clairement dans le titre, dans le sujet posé de l’introduction et dans la fermeture de la conclusion. Demander un exemple concret sur un point donné : Donnez un exemple concret (des risques des OGM pour l’agriculture). Poser des questions ouvertes reprenant quasi textuellement une information facilement repérable dans une portion du texte; un exemple, une date, un nom d’organisme, etc. Lire un passage et poser une question d’inférence. Faire émettre une hypothèse. Identifier des mots clés. Formuler des questions de type oui-non.

Bloom, Anderson, Marzano, Webb, Alouette! Autres taxonomies Bloom, Anderson, Marzano, Webb, Alouette!

Bloom (1956) est mort… (de même que Anderson, 2001) Brennan, R. L. (2006). Educational measurement. (R. L. Brennan, Ed.) (4th ed., Vol. 4th ed.). American Council on Education and Praeger Publishers.

Vive Marzano!

Marzano (2007)

Les résultats des élèves (Bateman, 2007)

Les résultats des élèves (suite)

Les résultats des élèves (fin)

Bibliographie sélective Anderson, L., & Krathwohl, D. (2001). A Taxonomy for Learning, Teaching, and Assessing. Longman New York. Longman. Bateman, D., Taylor, S., Janik, E., & Logan, A. (2009). Curriculum coherence and student success. Pédagogie collégiale, 22(5), 8–18. Version française à paraître dans le numéro d’automne 2013. Beach, R. W. (2011). Issues in Analyzing Alignment of Language Arts Common Core Standards With State Standards. Educational Researcher, 40(4), 179–182. doi:10.3102/0013189X11410055 Biggs, J. (1996). Enhancing Teaching Through Constructive Alignment. Higher Education, 32, 1–18. Brennan, R. L. (2006). Educational measurement. (R. L. Brennan, Ed.) (4th ed., Vol. 4th ed.). American Council on Education and Praeger Publishers. Tiré de http://www.loc.gov/catdir/toc/ecip0614/2006015706.html Cohen, S. A. (1987). Instructional alignment: Searching for a magic bullet. Educational Researcher, 16(8), 16–20. Tiré de http://edr.sagepub.com/cgi/content/abstract/16/8/16 Cuq, J.-P. (2003). Dictionnaire de didactique du français langue étrangère et seconde. Paris: CLE International. Gagné, P., Brunet, S., Boucher, G., & Dumont, L. (2012). Alignement curriculaire en français langue seconde au cégep Vanier. Cours de niveau 3. Montréal: Vanier College Press. Tiré de http://www.cdc.qc.ca/pdf/788353-gagne-et-al-alignement-curriculaire-FLS-vanier-2012.pdf Gauthier, C., Mellouki, M., Bissonnette, S., & Richard, M. (2005). Écoles efficaces et réussite scolaire des élèves à risque. Un état de la recherche. Québec: Université Laval. Giasson, J. (2011). La compréhension en lecture (3e édition.). Bruxelles: De Boeck. Hammerness, K. (2006). From Coherence in Theory to Coherence in Practice. Teachers College Record, 108(7), 1241–1265. doi:10.1111/j.1467-9620.2006.00692.x Irwin, J. (1986). Teaching Reading Comprehension Processes. Englewood, New Jersey: Prentice-Hall. Martone, A., & Sireci, S. G. (2009). Evaluating Alignment Between Curriculum, Assessment, and Instruction. Review of Educational Research, 79(4), 1332–1361. doi:10.3102/0034654309341375 Marzano, R. J., & Kendall, J. S. (2007). The New Taxonomy of Educational Objectives. (J. S. Kendall, Ed.) The new taxonomy of educational objectives 2nd Ed. Corwin Press. Tiré de http://www.amazon.com/New-Taxonomy-Educational-Objectives/dp/1412936292 Pellegrino, J. (2006). Rethinking and redesigning curriculum, instruction and assessment: What contemporary research and theory suggests. National Center on Education and the Economy. Consulté le 5 février 2013: http://teacherlearner.com/activelearning_media/Pellegrino-Redesigning.pdf Porter, a., McMaken, J., Hwang, J., & Yang, R. (2011). Assessing the Common Core Standards: Opportunities for Improving Measures of Instruction. Educational Researcher, 40(4), 186–188. doi:10.3102/0013189X11410232 Squires, D. A. (2009). Curriculum Alignment. Research-Based Strategies for Increasing Student Achievement. Thousand Oaks: Corwin Press. Tardif, J. (1997). Pour un enseignement stratégique. L’apport de la psychologie cognitive. Montréal: Les éditions Logiques. Webb, N. (2007). Aligning Assessments and Standards. Consulté le 5 décembre 2011, http://www.wcer.wisc.edu/news/coverstories/aligning_assessments_and_standards.php Wixson, K. (1983). Questions About a Text: What You Ask About Is What Children Learn. The Reading Teacher, 37(3), 287–295.