La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Colloque de l'ACFAS Mai 2004 Lévaluation des compétences en stage, conception et expérimentation déchelles à énoncés descriptifs en éducation à lenfance.

Présentations similaires


Présentation au sujet: "Colloque de l'ACFAS Mai 2004 Lévaluation des compétences en stage, conception et expérimentation déchelles à énoncés descriptifs en éducation à lenfance."— Transcription de la présentation:

1 Colloque de l'ACFAS Mai 2004 Lévaluation des compétences en stage, conception et expérimentation déchelles à énoncés descriptifs en éducation à lenfance Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke

2 Colloque de l'ACFAS Mai 2004

3 Le profil de sortie de léducatrice professionnelle Développement global de lenfant de 0-12 ans Développement global de lenfant de 0-12 ans Contexte de travail coopératif respect confiance autonomie Non-discrimination coopération En concertation avec les parents, léquipe de travail et les communautés; En contribuant à lorganisation pédagogique et administrative du service de garde En concertation avec les parents, léquipe de travail et les communautés; En contribuant à lorganisation pédagogique et administrative du service de garde

4 Colloque de l'ACFAS Mai 2004 Techniques déducation à lenfance (322.AO) liste des compétences 4 axes Lintervention:observer lenfant pour intervenir Travail en équipe et créativité Les routines: santé, sécurité, alimentation Le programme éducatif: la planification, lanimation et lévaluation

5 Colloque de l'ACFAS Mai 2004 Les stages Stage dimplication (1-5-1) 90 heures 1e année (2e trimestre) Stage dimplication (1-5-1) 90 heures 1e année (2e trimestre) Stage danimation (1-11-1) 180 heures 2e année (4e trimestre) Stage danimation (1-11-1) 180 heures 2e année (4e trimestre) Stage dintervention (1-15-1) 240 heures 3e année (5e trimestre) Stage dintervention (1-15-1) 240 heures 3e année (5e trimestre)

6 Colloque de l'ACFAS Mai 2004 Paradigme dévaluation Passage dun paradigme traditionnel centré sur lenseignement vers un paradigme centré sur lapprentissage. Huba et Freed (2000) Passage dun paradigme traditionnel centré sur lenseignement vers un paradigme centré sur lapprentissage. Huba et Freed (2000)

7 Colloque de l'ACFAS Mai 2004 Quels sont les changements sur les pratiques évaluatives ? Quels sont les changements sur les pratiques évaluatives ?

8 Colloque de l'ACFAS Mai 2004 Comparaison des pratiques dévaluation. Scallon (2004) Perspective traditionnelle Lélève répond à des questions à réponse brève ou à choix multiples Les questions ou les problèmes ont un caractère artificiel, abstrait ou scolaire Les conditions sobservation sont absolument identiques et uniformes pour tous les individus.Il y a peu de communication entre lenseignant et lélève. En matière de rendement, on considère une seule dimension à la fois, et plus particulièrement la dimension cognitive. Perspective traditionnelle Lélève répond à des questions à réponse brève ou à choix multiples Les questions ou les problèmes ont un caractère artificiel, abstrait ou scolaire Les conditions sobservation sont absolument identiques et uniformes pour tous les individus.Il y a peu de communication entre lenseignant et lélève. En matière de rendement, on considère une seule dimension à la fois, et plus particulièrement la dimension cognitive. Perspective nouvelle Les tâches ou les problèmes exigent que lélève construise une réponse élaborée Les problèmes sont réalistes cest-à- dire liés è ceux de la vie courante Lélève évalué peut formuler des commentaires et lenseignant peut poser des sous-questions. Lobservation est contextualisée, cest-à dire quelle repose sur des situations permettant dobserver lindividu sous plusieurs aspects. Perspective nouvelle Les tâches ou les problèmes exigent que lélève construise une réponse élaborée Les problèmes sont réalistes cest-à- dire liés è ceux de la vie courante Lélève évalué peut formuler des commentaires et lenseignant peut poser des sous-questions. Lobservation est contextualisée, cest-à dire quelle repose sur des situations permettant dobserver lindividu sous plusieurs aspects.

9 Colloque de l'ACFAS Mai 2004 Perspective traditionnelle Linterprétation se fonde habituellement sur la comparaison entre les élèves. Ce qui doit être réussi par lélève nest pas décrit de façon précise. La mesure est privilégiée dans la perspective traditionnelle (tests, examens objectifs) Lobservation porte sur le produit Lévaluation et lapprentissage ont lieu à des moments distincts. Lélève névalue pas ses productions Perspective traditionnelle Linterprétation se fonde habituellement sur la comparaison entre les élèves. Ce qui doit être réussi par lélève nest pas décrit de façon précise. La mesure est privilégiée dans la perspective traditionnelle (tests, examens objectifs) Lobservation porte sur le produit Lévaluation et lapprentissage ont lieu à des moments distincts. Lélève névalue pas ses productions Perspective nouvelle Lindividu est de plus en plus souvent évalué au regard de standards de performance, cest-à- dire d exigences qui ne sont pas liés au rang quil occupe dans un groupe. La mesure demeure mais doit débouché sur un jugement explicite. On sintéresse à ce que lélève sait faire et comment il le fait. Lévaluation est intégrée à lapprentissage Lévaluation de tous les jours se démarque de lévaluation certificative. Lélève peut,à divers degrés, participer à lévaluation de ses apprentissages. Perspective nouvelle Lindividu est de plus en plus souvent évalué au regard de standards de performance, cest-à- dire d exigences qui ne sont pas liés au rang quil occupe dans un groupe. La mesure demeure mais doit débouché sur un jugement explicite. On sintéresse à ce que lélève sait faire et comment il le fait. Lévaluation est intégrée à lapprentissage Lévaluation de tous les jours se démarque de lévaluation certificative. Lélève peut,à divers degrés, participer à lévaluation de ses apprentissages. Comparaison des pratiques dévaluation. Scallon (2004)

10 Colloque de l'ACFAS Mai 2004 Comment adapter nos pratiques évaluatives dans une approche par compétences ? Comment adapter nos pratiques évaluatives dans une approche par compétences ?

11 Colloque de l'ACFAS Mai 2004 qui sappuie sur le jugement expert qui propose des tâches complexes et des problèmes réalistes de la vie courante qui conçoit des échelles descriptives pour observer en contexte réel. qui fait participer lélève à lévaluation des apprentissages.(autoévaluation, autocorrection) qui propose un algorithme décisionnel précisant le niveau de performance et les seuils de réussite pour chaque critère. qui sappuie sur le jugement expert qui propose des tâches complexes et des problèmes réalistes de la vie courante qui conçoit des échelles descriptives pour observer en contexte réel. qui fait participer lélève à lévaluation des apprentissages.(autoévaluation, autocorrection) qui propose un algorithme décisionnel précisant le niveau de performance et les seuils de réussite pour chaque critère. Mise en place dune pratique évaluative

12 Colloque de l'ACFAS Mai 2004 Processus de conception Première étape: Les objets dévaluation et le choix des tâches complexes Première étape: Les objets dévaluation et le choix des tâches complexes Deuxième étape: La conception des échelles descriptives Deuxième étape: La conception des échelles descriptives Troisième étape: Lalgorithme de décision Troisième étape: Lalgorithme de décision Quatrième étape: Lexpérimentation et la validation Quatrième étape: Lexpérimentation et la validation

13 Colloque de l'ACFAS Mai 2004 Première étape: Les objets dévaluation et le choix des tâches complexes 1.Le profil de sortie 2.Lidentification des compétences 3.Le regroupement des compétences 4.Lidentification de ou des tâches complexes 5.La sélection des objets dévaluation et conception dun schéma intégrateur 1.Le profil de sortie 2.Lidentification des compétences 3.Le regroupement des compétences 4.Lidentification de ou des tâches complexes 5.La sélection des objets dévaluation et conception dun schéma intégrateur

14 Colloque de l'ACFAS Mai 2004 Schéma intégrateur

15 Colloque de l'ACFAS Mai 2004 Deuxième étape : La conception des échelles descriptives Tableau 5.1 La grille à échelle descriptive à quatre niveaux (Leroux, 1999) [1][1] Les notes explicatives sont des précisions quant aux termes utilisés, aux références (modèles, structure, processus, grille de vérification) inférées afin dalléger le texte et de situer les utilisateurs de léchelle. Le critère Seuils de performance Incompétence Compétence Une échelle des descriptions qualitatives des éléments de la compétence (les objets dévaluation) à laide des critères de performance. Les seuils de performance sont précisés dun niveau supérieur vers un niveau inférieur (ex. : compétence supérieure vers la compétence insuffisante). Notes explicatives[1][1] Compétence insuffisanteCompétence minimaleCompétence moyenneCompétence supérieure

16 Colloque de l'ACFAS Mai 2004 Deuxième étape : La conception des échelles descriptives Questions à se poser : 1- Quels critères sont à considérer ou quels éléments essentiels doivent être présents dans les travaux, les productions ou les tâches exécutées par des étudiants, garants dune production de grande qualité ? 2- Combien de niveaux de compétence ou de réussite choisissons-nous de présenter aux étudiants ? 3- Est-ce quil y a un contexte ou un délai de réalisation spécifique à lexécution de la tâche ? 4- Pour chaque critère ou élément qualitatif, quelle description claire énonce-t-on des performances propres à chaque niveau de compétence ? Questions à se poser : 1- Quels critères sont à considérer ou quels éléments essentiels doivent être présents dans les travaux, les productions ou les tâches exécutées par des étudiants, garants dune production de grande qualité ? 2- Combien de niveaux de compétence ou de réussite choisissons-nous de présenter aux étudiants ? 3- Est-ce quil y a un contexte ou un délai de réalisation spécifique à lexécution de la tâche ? 4- Pour chaque critère ou élément qualitatif, quelle description claire énonce-t-on des performances propres à chaque niveau de compétence ?

17 Colloque de l'ACFAS Mai 2004 Questions à se poser- suite 5- Quels concepts ou termes-clés devrons-nous préciser? 6- Dans le contexte dune évaluation sommative ou certificative, quel type ou modèle de notation allons-nous utiliser pour produire un résultat ? 7- Lorsque jutilise une échelle à énoncés descriptifs, quels aspects fonctionnent bien et lesquels doivent être améliorés ? Questions à se poser- suite 5- Quels concepts ou termes-clés devrons-nous préciser? 6- Dans le contexte dune évaluation sommative ou certificative, quel type ou modèle de notation allons-nous utiliser pour produire un résultat ? 7- Lorsque jutilise une échelle à énoncés descriptifs, quels aspects fonctionnent bien et lesquels doivent être améliorés ? Deuxième étape : La conception des échelles descriptives

18 Colloque de l'ACFAS Mai 2004 Échelle à énoncés descriptifs 4 niveaux

19 Colloque de l'ACFAS Mai 2004 Notes explicatives

20 Colloque de l'ACFAS Mai 2004 Échelle à énoncés descriptifs 2 niveaux- dichotomique

21 Colloque de l'ACFAS Mai 2004 Notes explicatives

22 Colloque de l'ACFAS Mai 2004 Grille dautoobservation des activités de routine et des soins dhygiène Routine 2: changement de couche

23 Colloque de l'ACFAS Mai 2004 Grille dautoobservation des activités de routine et des soins dhygiène Routine 2: changement de couche

24 Colloque de l'ACFAS Mai 2004 Grille dautoanalyse de mes interventions sur-le-champ

25 Colloque de l'ACFAS Mai 2004 Troisième étape : lalgorithme de décision Quest-ce quun algorithme de décision ? Lalgorithme de décision est un processus. Selon Legendre (1993), il s agit dune « procédure structurée en un nombre fini dopérations » ayant pour but de définir le niveau datteinte des compétences exigé de létudiant. Pourquoi un algorithme de décision ? Parce que la mesure de la maîtrise dune compétence saccorde mal avec les pratiques actuelles de comptabilisation des notes qui ont cours au collégial. Lensemble des opérations constituant ce processus, plutôt que laddition de résultats, nous permet de construire lalgorithme décisionnel qui précise les seuils de réussite à atteindre pour chacun des critères que comporte linstrument dévaluation. Quest-ce quun algorithme de décision ? Lalgorithme de décision est un processus. Selon Legendre (1993), il s agit dune « procédure structurée en un nombre fini dopérations » ayant pour but de définir le niveau datteinte des compétences exigé de létudiant. Pourquoi un algorithme de décision ? Parce que la mesure de la maîtrise dune compétence saccorde mal avec les pratiques actuelles de comptabilisation des notes qui ont cours au collégial. Lensemble des opérations constituant ce processus, plutôt que laddition de résultats, nous permet de construire lalgorithme décisionnel qui précise les seuils de réussite à atteindre pour chacun des critères que comporte linstrument dévaluation.

26 Colloque de l'ACFAS Mai 2004 Trois étapes dans la construction dun algorithme de décision

27 Colloque de l'ACFAS Mai 2004 Procédures détablissement de standards pour lévaluation des performances: le jugement du profil dominant Leroux, J.L.(2001) adapté de Jaeger, Hambleton et Plake (1997)

28 Colloque de l'ACFAS Mai 2004 Profil de réussite minimal-Moyen- 70% Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

29 Colloque de l'ACFAS Mai 2004 Feuille de notation Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

30 Colloque de l'ACFAS Mai 2004 Profil du niveau de réussite minimal-moyen notation 70% Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

31 Colloque de l'ACFAS Mai 2004 Sommaire des résultats sommatifs au stage dimplication Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001)

32 Colloque de l'ACFAS Mai 2004 Validité interne : Validité de construit Validité de contenuFidélité: Consistance interne Validité interne : Validité de construit Validité de contenuFidélité: Consistance interne Quatrième partie : lexpérimentation et la validation

33 Colloque de l'ACFAS Mai 2004 La validité interne Validité de contenu** Validité de contenu** **réfère au respect des critères à mesurer * réfère aux qualités de la structure de linstrument * réfère aux qualités de la structure de linstrument Validité de construit* Validité de construit*

34 Colloque de l'ACFAS Mai 2004 Connaissance théorique de lévaluation en situation authentique Méthodologie sappuyant sur des écrits Processus structuré et schématisé Rétroaction fréquente et critique sur le processus de conception de linstrument Consignes précises et écrites Vérification de la compréhension à chacune des étapes Encadrement par tutorat Connaissance théorique de lévaluation en situation authentique Méthodologie sappuyant sur des écrits Processus structuré et schématisé Rétroaction fréquente et critique sur le processus de conception de linstrument Consignes précises et écrites Vérification de la compréhension à chacune des étapes Encadrement par tutorat Validité de construit* Validité de construit* La validité interne

35 Colloque de l'ACFAS Mai 2004 Conception des compétences par des groupes dexperts Analyse rigoureuse des objets dévaluation Identification de la tâche Conception et présentation dun schéma intégrateur en lien avec la tâche Partage dexpertise entre les experts (coenseignement) Critères en lien avec les compétences ciblées Rétroaction fréquente et critique de tous les enseignants impliqués quant au choix des critères retenus Conception des compétences par des groupes dexperts Analyse rigoureuse des objets dévaluation Identification de la tâche Conception et présentation dun schéma intégrateur en lien avec la tâche Partage dexpertise entre les experts (coenseignement) Critères en lien avec les compétences ciblées Rétroaction fréquente et critique de tous les enseignants impliqués quant au choix des critères retenus Validité de contenu Validité de contenu La validité interne

36 Colloque de l'ACFAS Mai 2004 Réfère à la tendance de différents items à évoquer la même réponse, dun répondant à lautre, lors de la même administration de linstrument (Martella, Nelson, Marchand- Martella,1999). Cest la constance de linterprétation(de deux personnes) face aux items de la mesure (Louis,1999). Réfère à la tendance de différents items à évoquer la même réponse, dun répondant à lautre, lors de la même administration de linstrument (Martella, Nelson, Marchand- Martella,1999). Cest la constance de linterprétation(de deux personnes) face aux items de la mesure (Louis,1999). Consistance Interne Consistance Interne La fidélité

37 Colloque de l'ACFAS Mai 2004 Rencontres de clarification des énoncés entre les enseignantes avant, pendant et après lutilisation des nouveaux instruments. Présentation aux étudiants, en début de session, de la signification des énoncés descriptifs. Rétroaction fréquente et critique de tous les enseignants impliqués dans lutilisation des nouveaux instruments dévaluation des compétences. Rencontres de clarification des énoncés entre les enseignantes avant, pendant et après lutilisation des nouveaux instruments. Présentation aux étudiants, en début de session, de la signification des énoncés descriptifs. Rétroaction fréquente et critique de tous les enseignants impliqués dans lutilisation des nouveaux instruments dévaluation des compétences. Consistance Interne Consistance Interne Consistance Interne

38 Colloque de l'ACFAS Mai 2004 Trois niveaux danalyse qualitative : 1- Conception des outils 2- Expérimentation des outils 3- Pertinence des caractéristiques des énoncés descriptifs Trois niveaux danalyse qualitative : 1- Conception des outils 2- Expérimentation des outils 3- Pertinence des caractéristiques des énoncés descriptifs Constats préliminaires

39 Colloque de l'ACFAS Mai 2004 Difficultés : - La direction dune telle démarche par des pairs dun même département peut être difficile dans certains cas. - Limportance du changement de paradigme nécessite une formation préparatoire plus longue en évaluation. - Le caractère novateur d une telle pratique évaluative provoque incertitude et scepticisme quant à lutilisation des grilles. Difficultés : - La direction dune telle démarche par des pairs dun même département peut être difficile dans certains cas. - Limportance du changement de paradigme nécessite une formation préparatoire plus longue en évaluation. - Le caractère novateur d une telle pratique évaluative provoque incertitude et scepticisme quant à lutilisation des grilles. Forces : -Nécessité du travail en équipe avec ses pairs -Nécessité du retour au devis ministériel - Travail en petites équipes dexperts Forces : -Nécessité du travail en équipe avec ses pairs -Nécessité du retour au devis ministériel - Travail en petites équipes dexperts Constats préliminaires concernant la Conception des outils :

40 Colloque de l'ACFAS Mai 2004 Forces : -Total alignement de lenseignant sur ses objectifs. -Le milieu de travail se reconnaît davantage dans les critères évalués. -Prise de conscience par les étudiants et les enseignants de la nature complexe dune compétence. -Une fois rédigés, les savoirs être sont plus faciles à observer. Forces : -Total alignement de lenseignant sur ses objectifs. -Le milieu de travail se reconnaît davantage dans les critères évalués. -Prise de conscience par les étudiants et les enseignants de la nature complexe dune compétence. -Une fois rédigés, les savoirs être sont plus faciles à observer. Difficultés : -Grande insécurité des étudiants face à ce nouveau mode dévaluation. -Désintéressement des étudiants face aux contenus de cours plus généraux. -Irréalisme de certaines grilles. -Étudiants soumis sans préavis ni préparation à un paradigme dévaluation non connu. Difficultés : -Grande insécurité des étudiants face à ce nouveau mode dévaluation. -Désintéressement des étudiants face aux contenus de cours plus généraux. -Irréalisme de certaines grilles. -Étudiants soumis sans préavis ni préparation à un paradigme dévaluation non connu. Constats préliminaires : Expérimentation des outils

41 Colloque de l'ACFAS Mai 2004 Forces : -Très en lien avec la situation authentique, les critères annoncés, les caractéristiques des tâches complexes et les niveaux de performance. -Permettent de mieux mesurer une compétence dans sa globalité -Plus en lien avec ce qui a été enseigné dans le nouveau programme. Forces : -Très en lien avec la situation authentique, les critères annoncés, les caractéristiques des tâches complexes et les niveaux de performance. -Permettent de mieux mesurer une compétence dans sa globalité -Plus en lien avec ce qui a été enseigné dans le nouveau programme. Difficultés : -Certains énoncés sont incomplets. -Attentes imprécises. -Vocabulaire mal défini. -Seuil de réussite ou standards parfois trop élevés. -Algorithme décisionnel à retravailler Difficultés : -Certains énoncés sont incomplets. -Attentes imprécises. -Vocabulaire mal défini. -Seuil de réussite ou standards parfois trop élevés. -Algorithme décisionnel à retravailler Constats préliminaires : Pertinence des caractéristiques des énoncés

42 Colloque de l'ACFAS Mai Cette expérience favorise la concertation et oblige les intervenants dune équipe départementale à échanger au niveau des contenus mais aussi au niveau des pratiques dévaluation. -Mettre laccent sur la validation du processus de conception plutôt que sur linstrument. -Ce nouveau paradigme dévaluation nécessite des changements de pratiques importants. Il est urgent de documenter ces pratiques dans le milieu collégial. - Cette expérience favorise la concertation et oblige les intervenants dune équipe départementale à échanger au niveau des contenus mais aussi au niveau des pratiques dévaluation. -Mettre laccent sur la validation du processus de conception plutôt que sur linstrument. -Ce nouveau paradigme dévaluation nécessite des changements de pratiques importants. Il est urgent de documenter ces pratiques dans le milieu collégial. Conclusion

43 Colloque de l'ACFAS Mai 2004 «En terminant, nous croyons que cette pratique évaluative est un pas de plus afin de soutenir le développement des compétences de léducatrice professionnelle «en formation» qui sera engagée quotidiennement dans le développement et le maintien dun service de garde de qualité.» Leroux,J.L. (2004) «En terminant, nous croyons que cette pratique évaluative est un pas de plus afin de soutenir le développement des compétences de léducatrice professionnelle «en formation» qui sera engagée quotidiennement dans le développement et le maintien dun service de garde de qualité.» Leroux,J.L. (2004)


Télécharger ppt "Colloque de l'ACFAS Mai 2004 Lévaluation des compétences en stage, conception et expérimentation déchelles à énoncés descriptifs en éducation à lenfance."

Présentations similaires


Annonces Google