Consortium de recherche et d'information sur la réussite étudiante dans l'enseignement supérieur Lévaluation de programmes de prévention de léchec scolaire au secondaire: leçons et défis Michel Janosz - CRIRES Université de Montréal 14 Février 2003

Léquipe dévaluation Des chercheurs experts (M. Janosz, P. Abrahmi, J. Bélanger, R. Bertrand, F. Bowen, S. Cartier, M.-A. Deniger, R. Deslandes, M. Perron) provenant de différents champs de spécialisation Des coordonnatrices (M. Lacroix, C. Quiéroga, G.Roy, G. Légaré, C. Gendron, A. Larose) Des étudiantes apprenant leur métier (assistantes de recherche)

Prévention de léchec scolaire en milieux défavorisés : de récentes expériences dévaluation de programmes Programme dAction Concertée sur labandon scolaire (FCAR) Évaluation de la Stratégie dIntervention Agir Autrement (SIAA) (MEQ)

Objectifs communs Évaluer la qualité dimplantation des interventions Évaluer les effets : atteinte des objectifs et ampleur des effets Identifier les processus (facteurs médiateurs et modérateurs) responsables des effets observés

Des méthodologies similaires Étude dimplantation : –Méthodologies quantitatives (questionnaires) et qualitatives (entrevue de groupe, analyse documentaire, observations directes ?) Étude des effets : –Méthodologies quantitatives (devis quasi- expérimental, longitudinal, analyses à mesure répétée) et qualitatives (analyse de contenu et histoires de cas)

Opérationnalisation de la réussite scolaire Perspective multidimensionnelle : –Instruction /Qualification : rendement, persévérance, décrochage, stratégies dapprentissage… –Socialisation : motivation, attitudes face à la scolarisation, indiscipline, adaptation psychosociale (conduites déviantes, problèmes intériorisés) –Variables médiatrices/modératrices : Qualité de la relation avec les enseignants, qualité des pratiques pédagogiques, influence des pairs déviants, engagement et soutien parental, climat scolaire..

Caractéristiques individuelles Sexe Âge Expérience scolaire passée Intégration scolaire et sociale de lélève Performance Stratégies dapprentissage Motivation Relations sociales (pairs, personnel enseignant, autres adultes) Habiletés sociales Adaptation psychosociale Environnements socioéducatifs Communauté École Famille Réussite scolaire Passage dun cycle à lautre Intégration socioprofessionnelle ? Persévérance Performance Diplômation Contexte sociodémographique et culturel Urbanicité / ruralité Conditions sociales et économiques Structure familiale Diversité ethnique et culturelle Figure synthèse des dimensions considérées pour lévaluation de la Stratégie dIntervention Agir Autrement Dimensions déterminantes mais qui échappent à linfluence des écoles secondaires Dimensions prédictives de la réussite scolaire susceptibles dêtre modifiées par les interventions ou dexpliquer les résultats observés Résultats attendus 18/09/02DOCUMENT DE TRAVAIL Unité de coordination / Équipe de recherche évaluative SIAA Michel Janosz ? ? ?

Action concertée - rappel des résultats Résultats immédiats (court terme 6 mois) Un impact saisissable dès lentrée au programme (meilleur rendement, meilleure motivation, apaisement si entrée en situation de crise) Une capacité dhéberger et de protéger les élèves particulièrement observable chez les jeunes soutenus par leurs parents

Action concertée - Quelques leçons méthodologiques Intégrité des programmes (implantation), objectifs clairs et contrôle des chercheurs. Grosseur de léchantillon, puissance statistique, mesure de lampleur des effets (effect size) Importance des mesures répétées et longitudinales (puissance stat., et pérennité des effets Coût-bénéfice de la triangulation des mesures (le problème de mesures observationnelles; autorévélées)

SIAA Présentation La Stratégie dintervention Agir Autrement vise à financer, sur 5 ans et jusquà concurrence de 125 $, 191 écoles secondaires de milieux défavorisés Le groupe dévaluation de la SIAA est chargé de conduire deux grands volets denquête, un portant sur la qualité dimplantation de la Stratégie, lautre sur les effets de lintervention Le groupe dévaluation est également chargé de contribuer à différents moments de limplantation de la Stratégie (état de situation, diffusion des pratiques efficaces, etc.)

SIAA Échantillon 70 écoles ciblées et 20 écoles de comparaison Plus de élèves et plus de 5000 membres du personnel 2 temps de mesures de 2 heures à chaque fois pendant 4 ans + Opération relance auprès des décrocheurs. Composition dune cohorte de 1400 élèves faisant lobjet dune attention toute particulière : mesures supplémentaires, entretiens qualitatifs auprès des élèves et de leurs parents (une centaine au total), observations en classe, etc.

SIAA Défis de lévaluation de limplantation La SIAA est plus prescriptive que directive Emphase mise sur laction locale et sur le contrôle local Absence de contrôle de lintervention et ses impacts sur lévaluation de limplantation Opposition entre une «logique de diffusion» et une «logique de traduction»

SIAA Défis de lévaluation des effets Absence de contrôle sur les programmes et les objectifs dintervention (effets) Devis de recherche : quasi-expérimental faible (groupe de comparaison non équivalent ou absence de contrôle de leffet historique) Lobtention des consentements des parents des mineurs et la mobilisation des écoles Problème de standardisation des mesures du rendement scolaire Absence de neutralité des chercheurs (engagement à offrir des rétroactions annuelles sur un ensemble dindicateurs)

SIAA Défis de lévaluation des effets Gestion de la collecte de données à travers la province Retour rapide de résultats aux écoles

SIAA Conclusion La bonne nouvelle, cest quon a eu le contrat dévaluation (capacité de fonder les pratiques efficaces; de mesurer de près leffet des programmes sur les différents types de jeunes, échantillon unique, etc.) La mauvaise nouvelle, cest quon a eu le contrat (démesure des attentes, des possibles, de la gestion, de la synthèse, etc.)