Comment évaluer limpact dun dispositif dapprentissage par projet/problème sur lapprentissage des étudiants ? Chaire de pédagogie universitaire B. Galand,

Présentation au sujet: "Comment évaluer limpact dun dispositif dapprentissage par projet/problème sur lapprentissage des étudiants ? Chaire de pédagogie universitaire B. Galand,"— Transcription de la présentation:

1 Comment évaluer limpact dun dispositif dapprentissage par projet/problème sur lapprentissage des étudiants ? Chaire de pédagogie universitaire B. Galand, E. Bourgeois, M. Frenay, K. Bentein Avec la collaboration du groupe impact L. Bolle, C. Jacqmot, A. Laloux, E. Milgrom, B. Raucent, C. Vander Borght, P. Wouters, délégués BdE

2 www.cpu.psp.ucl.ac.be2 Limites des recherches existantes Centration sur des variables individuelles (vs. situationnelles) Définition rudimentaire des variables dépendantes (apprentissage) Peu dapproches globales du rôle des variables indépendantes Flou des construits théoriques et de leur opérationnalisation Peu détudes longitudinales des effets Peu détudes en contexte européen, francophone

3 www.cpu.psp.ucl.ac.be3 Faculté des sciences appliquées UCL Examen dentrée Deux premières années communes (candidatures), sauf architecture. Trois années de spécialisation (techniques). Depuis septembre 2000, nouveau programme.

4 www.cpu.psp.ucl.ac.be4 Volets de létude Volet étudiants Contrôles : sexe, âge, examen dentrée, résultats Enquête par questionnaire Epreuve de connaissance (1° techn) Volet enseignants Enquête par questionnaire

5 www.cpu.psp.ucl.ac.be5 Présentation 1. Candis 2000, le point de vue des enseignants. 2. Evaluation de limpact de Candis 2000 sur les étudiants.

6 www.cpu.psp.ucl.ac.be6 Statistiques Tous les effets rapportés sont hautement significatifs… … et obtenus au moyen des procédures standard utilisées dans ce type détudes.

7 Candis 2000, le point de vue des enseignants Résultats préliminaires Chaire de pédagogie universitaire – Groupe impact

8 ENSEIGNANTSwww.cpu.psp.ucl.ac.be8 Questionnaire enseignants Contexte institutionnel Implication dans lenseignement Pratiques denseignement Perceptions relatives aux étudiants Satisfaction professionnelle Impact de la réforme

9 ENSEIGNANTSwww.cpu.psp.ucl.ac.be9 Méthode Enquête « postale », questionnaire anonyme, en avril 2002. A toute personne assurant tâche dencadrement ou denseignement en candis ou 1° technique. 101 réponses sur 253 envois, soit 40%. Réponses très diversifiées (variance).

10 ENSEIGNANTSwww.cpu.psp.ucl.ac.be10 Implication dans lenseignement Les enseignants qui ont vécu la transition ont davantage modifié leurs pratiques travaillent plus en équipe. Plus un enseignant participe à Candis 2000 depuis longtemps, plus il évalue ses « cours » plus il se forme.

11 ENSEIGNANTSwww.cpu.psp.ucl.ac.be11 Comparaison candis/1° techn. Pratiques pédagogiques plus de pratiques aidantes en candis. plus de pratiques coopératives en candis. Perceptions à propos des étudiants plus participatifs en candis. moins motivés par des éléments « externes » (ex.: diplôme, salaire, …) en candis.

12 ENSEIGNANTSwww.cpu.psp.ucl.ac.be12 Impact perçu de la réforme Relations enseignants- étudiants Relations entre collègues Passage du 1er au 2ème cycle Investissement Rôle denseignant Plaisir denseigner Image de la FSA

13 ENSEIGNANTSwww.cpu.psp.ucl.ac.be13 Impact perçu de la réforme Compétences des étudiants Ethique Travail en groupe Modélisation Transfert Analyse

14 ENSEIGNANTSwww.cpu.psp.ucl.ac.be14 Commentaires reçus Sur 101 réponses, 17 commentaires. Les problèmes les plus cités sont: Problèmes organisationnels: coût en temps, gestion chaotique, moyens en personnel et formation (7). Evaluations : fréquence, forme (5). Gestion des travaux de groupe (4). On ne met plus assez laccent sur certaines notions théoriques de base (3).

15 ENSEIGNANTSwww.cpu.psp.ucl.ac.be15 Contexte facultaire (1) Plus un enseignant estime bénéficier dun accompagnement pédagogique adéquat (ex.: IPM), plus il se sent efficace. Plus un enseignant se sent efficace, plus il simplique dans son enseignement; plus il rapporte des pratiques centrées sur lapprenant.

16 ENSEIGNANTSwww.cpu.psp.ucl.ac.be16 Contexte facultaire (2) Plus un enseignant perçoit que lenseignement est valorisé dans sa faculté, plus il est satisfait dexercer son métier; plus il a une vision + de limpact de la réforme. Par rapport au personnel académique, le personnel scientifique a une vision moins positive du contexte facultaire; simplique moins dans lenseignement.

17 ENSEIGNANTSwww.cpu.psp.ucl.ac.be17 Discussion des résultats La réforme est liée à des changements de pratiques conformes aux recommandations de la littérature scientifique. Limpact perçu de la réforme est globalement positif. Des problèmes de régulation sont signalés. Importance du contexte facultaire pour limplication des enseignants.

18 Evaluation de limpact de Candis 2000 sur les étudiants Résultats des deux premiers recueils de données Chaire de pédagogie universitaire – Groupe impact

19 ETUDIANTSwww.cpu.psp.ucl.ac.be19 Objectif de cette évaluation Caractériser de la manière la plus précise et objective possible limpact de lintroduction de Candis 2000 sur les étudiants, par rapport aux objectifs fixés.

20 ETUDIANTSwww.cpu.psp.ucl.ac.be20 Plan de recherche 3° technA 2° technAB 1° technABC 2° candiBCE 1° candiCE 200120022003

21 ETUDIANTSwww.cpu.psp.ucl.ac.be21 Variables de létude Motivations (buts, self-efficacy) Perceptions du dispositif Méthodes de travail (auto-régulation) Stratégies détude Travail en groupe Quantité de travail Satisfaction

22 ETUDIANTSwww.cpu.psp.ucl.ac.be22 Méthode Choix des variables Théories Objectifs de formation Revue de la littérature Groupe dexperts Enseignants Prétest Analyses psychométriques

23 ETUDIANTSwww.cpu.psp.ucl.ac.be23 Cadres théoriques pour lanalyse des pratiques pédagogiques Centrés sur lapprentissage et le transfert : Travaux sur la « cognition située » (Greeno, 1994; Brown, Collins & Duguid, 1989) Centrés sur la motivation et lengagement : Travaux de Deci & Ryan (Ryan, Sheldon, Kasser & Deci, 1996 )

24 ETUDIANTSwww.cpu.psp.ucl.ac.be24 Construction de loutil (1) Compilation ditems: Ames et Archer (1988) ; Anderman et Young (1994) ; CUTL McGill, 1997 ; Frenay & Bedard, 2002 ; Galand, 2001 ; Meece, 1991 ; Ramsden, 1988 ; Roeser et al. (1996) ; … Sélection par groupe dexperts Formulation avec enseignants Prétest (individuel + collectif)

25 ETUDIANTSwww.cpu.psp.ucl.ac.be25 Construction de loutil (2) AFE par cadre théorique AFE sur tous les items restants + cohérence interne Réplication sur un autre échantillon AFC Validité convergente et divergente

26 ETUDIANTSwww.cpu.psp.ucl.ac.be26 Taux de réponse 2001-2002 2002-2003 inscritsréponsesinscritsréponses 1° candi376292391262 2° candi309296314229 1° techn297170253133 Non précisé 17 26 TOTAL982775 (79%)958650 (68%)

27 ETUDIANTSwww.cpu.psp.ucl.ac.be27 Pratiques denseignement Transfert (6 items) Ex.: … les enseignants nous montrent les applications pratiques possibles de notre formation ; … les enseignants utilisent des exemples concrets pour expliquer les concepts. Evaluation (5 items) Ex.: … les notes que lon obtient correspondent bien à linvestissement fourni par les étudiants ; … le contenu des examens ou des interrogations est cohérent par rapport aux objectifs des enseignements.

28 ETUDIANTSwww.cpu.psp.ucl.ac.be28 Méthode de travail Sources dinformation (4 items) Ex.: Si je ne comprends pas bien un texte à étudier, jessaie de trouver dautres références sur le sujet. Planification de létude (4 items) Ex.: Jétablis un horaire de manière à répartir adéquatement mon temps détude.

29 ETUDIANTSwww.cpu.psp.ucl.ac.be29 Stratégie détude Esprit critique (4 items) Ex.: Je tire mes propres conclusions à partir des données présentées dans les enseignements. Répétition (3 items) Ex.: Jessaie dapprendre mot à mot le contenu des cours.

30 ETUDIANTSwww.cpu.psp.ucl.ac.be30 Précision satistique Dans les analyses qui suivent, les échelles obtenues ont été regroupées au moyen danalyses factorielles de second ordre.

31 ETUDIANTSwww.cpu.psp.ucl.ac.be31 Comparaison en 1° technique Comparaison entre: les étudiants de lancien programme; les étudiants du nouveau programme. Enchantillons équivalents en termes de: Taux de participation. Motivations.

32 ETUDIANTSwww.cpu.psp.ucl.ac.be32 Perceptions de la formation en candis Soutien académique Les étudiants issus du nouveau programme disent avoir été beaucoup plus soutenus dans leur apprentissage (plus de liens entre théorie et applications, plus découte et déchanges). Structure organisationnelle Les étudiants issus du nouveau programme rapportent davantage de problèmes organisationnels (surcharge de travail, manque de cohérence).

33 ETUDIANTSwww.cpu.psp.ucl.ac.be33 Méthodes de travail en 1° techn Autonomie Les étudiants issus du nouveau programme rapportent utiliser davantage de méthodes demandant un niveau élevé dautonomie (surtout recherche dinfos et vérification). Cette différence sexplique par leur perception du soutien académique en candis (+). Concentration et persévérance Pas de différence

34 ETUDIANTSwww.cpu.psp.ucl.ac.be34 ProgrammeAutonomie Perception ProgrammeAutonomie Perception

35 ETUDIANTSwww.cpu.psp.ucl.ac.be35 Stratégies détude en 1° techn Traitement en profondeur Les étudiants issus du nouveau programme disent faire plus appel à des stratégies de traitement en profondeur (surtout esprit critique). Cette différence sexplique par leur perception du soutien académique en candis (+). Traitement en surface Les étudiants issus du nouveau programme disent faire moins appel à des stratégies de traitement en surface (surtout étude par cœur).

36 ETUDIANTSwww.cpu.psp.ucl.ac.be36 Travail en groupe et Satisfaction Travail en groupe en 1° techn Pas de différence concernant: support social entre étudiants, attitude face au travail en groupe, demande daide. Satisfaction vis-à-vis de la formation en général Les étudiants du nouveau programme sont légèrement moins satisfaits. Cette différence sexplique par leur perception de la structure organisationnelle en candis (-).

37 ETUDIANTSwww.cpu.psp.ucl.ac.be37 Quantité de travail en 1° techn Heures de travail en dehors des séances encadrées. Les étudiants du nouveau programme rapportent plus dheures de travail. Cette différence sexplique par leur perception du soutien académique en candis (+). Fréquentations des activités académiques. Les étudiants du nouveau programme rapportent une fréquentation plus élevée. Cette différence sexplique par leur autonomie (+).

38 ETUDIANTSwww.cpu.psp.ucl.ac.be38 Et par rapport aux autres années? Les différences entre les deux recueils de létude sont systématiquement plus grandes entre les deux techniques quentre les candis.

39 ETUDIANTSwww.cpu.psp.ucl.ac.be39 Exemples (1)

40 ETUDIANTSwww.cpu.psp.ucl.ac.be40 Exemples (2)

41 ETUDIANTSwww.cpu.psp.ucl.ac.be41 Et par rapport aux autres années? Les différences entre les deux recueils de létude sont systématiquement plus grandes entre les deux techniques quentre les candis. Ceci soutient lidée dun effet de la réforme plutôt que dune simple fluctuation annuelle.

42 ETUDIANTSwww.cpu.psp.ucl.ac.be42 A qui profite la réforme? Etudiants divisés en 4 sous-groupes suivant leur profil motivationnel: A risque; Compétition; Apprendre; Mixte Ce sont les étudiants qui ont le profil le plus faible qui bénéficient le plus du nouveau programme. Aucun sous-groupe nest pénalisé.

43 www.cpu.psp.ucl.ac.be43 Epreuve de connaissances Construction de lépreuve par des groupes denseignants de la FSA Passation sur base volontaire (2h), chaque année Correction des épreuves pour début 2004 avec une grille de correction élaborée lors de la rédaction des questions avec des enseignants FSA

44 www.cpu.psp.ucl.ac.be44 Discussion des résultats (1) Sur une série de variables documentées comme étant déterminantes pour la qualité des apprentissages, les étudiants du nouveau programme obtiennent des résultats supérieurs à ceux des étudiants de lancien programme.

45 www.cpu.psp.ucl.ac.be45 Discussion des résultats (2) Ces différences se manifestent de manière spécifique entre les groupes détudiants ayant suivi des programmes différents. Ces différences sont attribuables à des changements dans la perception du dispositif de formation. Ces changements vont dans le même sens que les pratiques rapportées par les enseignants.

46 www.cpu.psp.ucl.ac.be46 Discussion des résultats (3) MAIS les étudiants du nouveau programme soulignent une surcharge de travail et un problème de cohérence. Ces problèmes ont des répercussions sur le niveau de satisfaction des étudiants. Ces problèmes rejoignent ceux soulevés dans les commentaires des enseignants.

47 www.cpu.psp.ucl.ac.be47 Discussion des résultats (4) Les aspects relatifs au travail en groupe rapportés pas les étudiants ne paraissent pas avoir été affectés par la réforme. La réforme a principalement bénéficié aux étudiants les plus vulnérables dun point de vue motivationnel, et ce sans pénaliser dautres types détudiants.

48 www.cpu.psp.ucl.ac.be48 Implications pédagogiques (1) Renforcer les pratiques qui permettent de faire des liens entre théorie et applications. Renforcer les pratiques qui permettent une grande disponibilité des enseignants et des échanges soutenus avec les étudiants.

49 www.cpu.psp.ucl.ac.be49 Implications pédagogiques (2) Améliorer la cohérence du programme, entre autres dans le but de réduire la surcharge de travail des étudiants et des enseignants. Améliorer la cohérence des évaluations. Sinterroger sur les modalités du travail en groupe ?

50 www.cpu.psp.ucl.ac.be50 En guise de conclusion… Les résultats sont nets et convergents. La portée des résultats de cette recherche sera encore plus grande quand nous disposerons de lensemble des données. Ces résultats ne constituent quun critère parmi dautres pour évaluer une réforme.

51 www.cpu.psp.ucl.ac.be51 Perspectives Prise en compte des variables de contrôle, de lépreuve critériée et du questionnaire enseignants Analyses par clusters Etude qualitative Transition secondaire / APP Analyses longitudinales Extansion à dautres facultés