Université de Sherbrooke

Présentation au sujet: "Université de Sherbrooke"— Transcription de la présentation:

1 Université de Sherbrooke
L’évaluation des compétences en stage, conception et expérimentation d’échelles à énoncés descriptifs en éducation à l’enfance Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke Colloque de l'ACFAS Mai 2004

2 Colloque de l'ACFAS Mai 2004

3 Le profil de sortie de l’éducatrice professionnelle
Contexte de travail coopératif Développement global de l’enfant de 0-12 ans autonomie respect confiance Non-discrimination coopération En concertation avec les parents, l’équipe de travail et les communautés; En contribuant à l’organisation pédagogique et administrative du service de garde Colloque de l'ACFAS Mai 2004

4 Techniques d’éducation à l’enfance (322
Techniques d’éducation à l’enfance (322.AO) liste des compétences 4 axes L’intervention:observer l’enfant pour intervenir Travail en équipe et créativité Le programme éducatif: la planification, l’animation et l’évaluation Les routines: santé, sécurité, alimentation Colloque de l'ACFAS Mai 2004

5 Les stages Stage d’implication (1-5-1) 90 heures
1e année (2e trimestre) Stage d’animation (1-11-1) 180 heures 2e année (4e trimestre) Stage d’intervention (1-15-1) 240 heures 3e année (5e trimestre) Colloque de l'ACFAS Mai 2004

6 Paradigme d’évaluation
Passage d’un paradigme traditionnel centré sur l’enseignement vers un paradigme centré sur l’apprentissage. Huba et Freed (2000) Colloque de l'ACFAS Mai 2004

7 les pratiques évaluatives ?
Quels sont les changements sur les pratiques évaluatives ? Colloque de l'ACFAS Mai 2004

8 Comparaison des pratiques d’évaluation. Scallon (2004)
Perspective traditionnelle L’élève répond à des questions à réponse brève ou à choix multiples Les questions ou les problèmes ont un caractère artificiel , abstrait ou scolaire Les conditions s’observation sont absolument identiques et uniformes pour tous les individus.Il y a peu de communication entre l’enseignant et l’élève. En matière de rendement, on considère une seule dimension à la fois, et plus particulièrement la dimension cognitive. Perspective nouvelle Les tâches ou les problèmes exigent que l’élève construise une réponse élaborée Les problèmes sont réalistes c’est-à-dire liés è ceux de la vie courante L’élève évalué peut formuler des commentaires et l’enseignant peut poser des sous-questions. L’observation est contextualisée, c’est-à dire qu’elle repose sur des situations permettant d’observer l’individu sous plusieurs aspects. Colloque de l'ACFAS Mai 2004

9 Comparaison des pratiques d’évaluation. Scallon (2004)
Perspective traditionnelle L’interprétation se fonde habituellement sur la comparaison entre les élèves. Ce qui doit être réussi par l’élève n’est pas décrit de façon précise. La mesure est privilégiée dans la perspective traditionnelle (tests, examens objectifs) L’observation porte sur le produit L’évaluation et l’apprentissage ont lieu à des moments distincts. L’élève n’évalue pas ses productions Perspective nouvelle L’individu est de plus en plus souvent évalué au regard de standards de performance, c’est-à-dire d’ exigences qui ne sont pas liés au rang qu’il occupe dans un groupe. La mesure demeure mais doit débouché sur un jugement explicite. On s’intéresse à ce que l’élève sait faire et comment il le fait. L’évaluation est intégrée à l’apprentissage L’évaluation de tous les jours se démarque de l’évaluation certificative. L’élève peut,à divers degrés, participer à l’évaluation de ses apprentissages. Colloque de l'ACFAS Mai 2004

10 nos pratiques évaluatives
Comment adapter nos pratiques évaluatives dans une approche par compétences ? Colloque de l'ACFAS Mai 2004

11 Mise en place d’une pratique évaluative
qui s’appuie sur le jugement expert qui propose des tâches complexes et des problèmes réalistes de la vie courante qui conçoit des échelles descriptives pour observer en contexte réel. qui fait participer l’élève à l’évaluation des apprentissages.(autoévaluation, autocorrection) qui propose un algorithme décisionnel précisant le niveau de performance et les seuils de réussite pour chaque critère. Colloque de l'ACFAS Mai 2004

12 Processus de conception
Première étape: Les objets d’évaluation et le choix des tâches complexes Deuxième étape: La conception des échelles descriptives Troisième étape: L’algorithme de décision Quatrième étape: L’expérimentation et la validation Colloque de l'ACFAS Mai 2004

13 L’identification des compétences Le regroupement des compétences
Première étape: Les objets d’évaluation et le choix des tâches complexes Le profil de sortie L’identification des compétences Le regroupement des compétences L’identification de ou des tâches complexes La sélection des objets d’évaluation et conception d’un schéma intégrateur Colloque de l'ACFAS Mai 2004

14 Schéma intégrateur Colloque de l'ACFAS Mai 2004

15 Deuxième étape : La conception des échelles descriptives Tableau 5
Deuxième étape : La conception des échelles descriptives Tableau 5.1 La grille à échelle descriptive à quatre niveaux (Leroux, 1999) Le critère Seuils de performance Incompétence Compétence Une échelle des descriptions qualitatives des éléments de la compétence (les objets d’évaluation) à l’aide des critères de performance. Les seuils de performance sont précisés d’un niveau supérieur vers un niveau inférieur (ex. : compétence supérieure vers la compétence insuffisante). Notes explicatives[1] Compétence insuffisante Compétence minimale Compétence moyenne Compétence supérieure [1] Les notes explicatives sont des précisions quant aux termes utilisés, aux références (modèles, structure, processus, grille de vérification) inférées afin d’alléger le texte et de situer les utilisateurs de l’échelle. Colloque de l'ACFAS Mai 2004

16 Deuxième étape : La conception des échelles descriptives
Questions à se poser : 1- Quels critères sont à considérer ou quels éléments essentiels doivent être présents dans les travaux, les productions ou les tâches exécutées par des étudiants, garants d’une production de grande qualité ? 2- Combien de niveaux de compétence ou de réussite choisissons-nous de présenter aux étudiants ? 3- Est-ce qu’il y a un contexte ou un délai de réalisation spécifique à l’exécution de la tâche ? 4- Pour chaque critère ou élément qualitatif, quelle description claire énonce-t-on des performances propres à chaque niveau de compétence ? Colloque de l'ACFAS Mai 2004

17 Deuxième étape : La conception des échelles descriptives
Questions à se poser- suite 5- Quels concepts ou termes-clés devrons-nous préciser? 6- Dans le contexte d’une évaluation sommative ou certificative, quel type ou modèle de notation allons-nous utiliser pour produire un résultat ? 7- Lorsque j’utilise une échelle à énoncés descriptifs, quels aspects fonctionnent bien et lesquels doivent être améliorés ? Colloque de l'ACFAS Mai 2004

18 Échelle à énoncés descriptifs 4 niveaux
Colloque de l'ACFAS Mai 2004

19 Notes explicatives Colloque de l'ACFAS Mai 2004

20 Échelle à énoncés descriptifs 2 niveaux- dichotomique
Colloque de l'ACFAS Mai 2004

21 Notes explicatives Colloque de l'ACFAS Mai 2004

22 Grille d’autoobservation des activités de routine et des soins d’hygiène Routine 2: changement de couche Colloque de l'ACFAS Mai 2004

23 Grille d’autoobservation des activités de routine et des soins d’hygiène Routine 2: changement de couche Colloque de l'ACFAS Mai 2004

24 Grille d’autoanalyse de mes interventions sur-le-champ
Colloque de l'ACFAS Mai 2004

25 Troisième étape : l’algorithme de décision
Qu’est-ce qu’un algorithme de décision ? L’algorithme de décision est un processus. Selon Legendre (1993), il s ’agit d’une « procédure structurée en un nombre fini d’opérations » ayant pour but de définir le niveau d’atteinte des compétences exigé de l’étudiant. Pourquoi un algorithme de décision ? Parce que la mesure de la maîtrise d’une compétence s’accorde mal avec les pratiques actuelles de comptabilisation des notes qui ont cours au collégial. L’ensemble des opérations constituant ce processus, plutôt que l’addition de résultats, nous permet de construire l’algorithme décisionnel qui précise les seuils de réussite à atteindre pour chacun des critères que comporte l’instrument d’évaluation. Colloque de l'ACFAS Mai 2004

26 d’un algorithme de décision
Trois étapes dans la construction d’un algorithme de décision Colloque de l'ACFAS Mai 2004

27 Procédures d’établissement de standards pour l’évaluation des performances: le jugement du profil dominant Leroux, J.L.(2001) adapté de Jaeger, Hambleton et Plake (1997) Colloque de l'ACFAS Mai 2004

28 Profil de réussite minimal-Moyen- 70% Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

29 Feuille de notation Cahier des résultats sommatifs de la stagiaire
Feuille de notation Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

30 Profil du niveau de réussite minimal-moyen notation 70% Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

31 Sommaire des résultats sommatifs au stage d’implication Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

32 Quatrième partie : l’expérimentation et la validation
Validité interne : Validité de construit Validité de contenu Fidélité: Consistance interne Colloque de l'ACFAS Mai 2004

33 La validité interne Validité de construit* Validité de contenu**
* réfère aux qualités de la structure de l’instrument ** réfère au respect des critères à mesurer Colloque de l'ACFAS Mai 2004

34 La validité interne Validité de construit*
Connaissance théorique de l’évaluation en situation authentique Méthodologie s’appuyant sur des écrits Processus structuré et schématisé Rétroaction fréquente et critique sur le processus de conception de l’instrument Consignes précises et écrites Vérification de la compréhension à chacune des étapes Encadrement par tutorat Validité de construit* Colloque de l'ACFAS Mai 2004

35 La validité interne Validité de contenu
Conception des compétences par des groupes d’experts Analyse rigoureuse des objets d’évaluation Identification de la tâche Conception et présentation d’un schéma intégrateur en lien avec la tâche Partage d’expertise entre les experts (coenseignement) Critères en lien avec les compétences ciblées Rétroaction fréquente et critique de tous les enseignants impliqués quant au choix des critères retenus Validité de contenu Colloque de l'ACFAS Mai 2004

36 La fidélité Réfère à la tendance de différents
items à évoquer la même réponse, d’un répondant à l’autre, lors de la même administration de l’instrument (Martella, Nelson, Marchand-Martella,1999). C’est la constance de l’interprétation(de deux personnes) face aux items de la mesure (Louis,1999). Consistance Interne Colloque de l'ACFAS Mai 2004

37 Consistance Interne Consistance Interne
Rencontres de clarification des énoncés entre les enseignantes avant, pendant et après l’utilisation des nouveaux instruments. Présentation aux étudiants, en début de session, de la signification des énoncés descriptifs. Rétroaction fréquente et critique de tous les enseignants impliqués dans l’utilisation des nouveaux instruments d’évaluation des compétences. Consistance Interne Colloque de l'ACFAS Mai 2004

38 Constats préliminaires
Trois niveaux d’analyse qualitative : 1- Conception des outils 2- Expérimentation des outils 3- Pertinence des caractéristiques des énoncés descriptifs Colloque de l'ACFAS Mai 2004

39 Constats préliminaires concernant la Conception des outils :
Forces : Nécessité du travail en équipe avec ses pairs Nécessité du retour au devis ministériel - Travail en petites équipes d’experts Difficultés : - La direction d’une telle démarche par des pairs d’un même département peut être difficile dans certains cas. - L’importance du changement de paradigme nécessite une formation préparatoire plus longue en évaluation. - Le caractère novateur d ’une telle pratique évaluative provoque incertitude et scepticisme quant à l’utilisation des grilles. Colloque de l'ACFAS Mai 2004

40 Constats préliminaires : Expérimentation des outils
Forces : - Total alignement de l’enseignant sur ses objectifs. - Le milieu de travail se reconnaît davantage dans les critères évalués. - Prise de conscience par les étudiants et les enseignants de la nature complexe d’une compétence. - Une fois rédigés, les savoirs être sont plus faciles à observer. Difficultés : - Grande insécurité des étudiants face à ce nouveau mode d’évaluation. - Désintéressement des étudiants face aux contenus de cours plus généraux. - Irréalisme de certaines grilles. - Étudiants soumis sans préavis ni préparation à un paradigme d’évaluation non connu. Colloque de l'ACFAS Mai 2004

41 Constats préliminaires : Pertinence des caractéristiques des énoncés
Forces : - Très en lien avec la situation authentique, les critères annoncés, les caractéristiques des tâches complexes et les niveaux de performance. - Permettent de mieux mesurer une compétence dans sa globalité - Plus en lien avec ce qui a été enseigné dans le nouveau programme. Difficultés : - Certains énoncés sont incomplets. - Attentes imprécises. - Vocabulaire mal défini. - Seuil de réussite ou standards parfois trop élevés. - Algorithme décisionnel à retravailler Colloque de l'ACFAS Mai 2004

42 Conclusion - Cette expérience favorise la concertation et oblige les
intervenants d’une équipe départementale à échanger au niveau des contenus mais aussi au niveau des pratiques d’évaluation. - Mettre l’accent sur la validation du processus de conception plutôt que sur l’instrument. - Ce nouveau paradigme d’évaluation nécessite des changements de pratiques importants. Il est urgent de documenter ces pratiques dans le milieu collégial. Colloque de l'ACFAS Mai 2004

43 «En terminant, nous croyons que cette pratique évaluative est un pas de plus afin de soutenir le développement des compétences de l’éducatrice professionnelle «en formation» qui sera engagée quotidiennement dans le développement et le maintien d’un service de garde de qualité.» Leroux,J.L. (2004) Colloque de l'ACFAS Mai 2004