L’aide aux devoirs en ligne en milieu scolaire, c’est possible ? Bilan de deux années d’expérimentation CRIFPE 26 mars 2008 Carole Raby, Ph.D., UQAM

Plan de la communication An 1 du projet Contexte entourant le projet d’aide aux devoirs Contexte entourant l’évaluation du projet Méthodologie Résultats et recommandations An 2 du projet Contexte entourant le projet d’aide aux devoirs Méthodologie Résultats et recommandations Suite au projet - an 3

Contexte entourant le projet d’aide aux devoirs Financement ministériel (MELS) Programme lancé en mai millions en (répartis aux CS, selon le nombre d’écoles primaires et le nombre d’élèves inscrits) Aide aux devoirs au primaire augmenter la motivation des élèves dans la réalisation de leurs travaux scolaires améliorer la qualité des rapports entre les parents et l’école intéresser davantage la communauté à la réussite des jeunes Projet institutionnel de la CSDM Partenariat CSDM/Allô prof

BUTS Accroître, chez les élèves: la motivation à faire leurs devoirs l’autonomie à faire leurs devoirs leur compétence à exploiter les TIC Associer les parents à la réussite scolaire de leur enfant Établir un partenariat avec un organisme de la communauté Contexte entourant le projet d’aide aux devoirs - An 1

Modalités du projet Mise en place de cyberclasses Laboratoire ou classe de l’école Animateur de la communauté (sur place) Cyberprof (en ligne) Contexte entourant le projet d’aide aux devoirs - An 1

Organisme québécois qui offre, depuis 1995, de l’aide aux devoirs ( du lundi au jeudi 17h00-20h00) Qu’est-ce qu’Allô prof ? « Espace de clavardage privé entre l’enseignant et l’élève » « Réponses validées dans un délai de 24 heures » « Plus de explications dynamiques et sites Internet donnés en référence » Par des enseignants qualifiés

Salle d’attente

Cyberclasse

Modalités du projet 20 semaines (décembre 2005-mai 2006) Deux périodes d’une heure / semaine Six écoles de la CSDM 144 élèves (24 élèves/école)* 2e et 3e cycles Difficultés d’apprentissage Cyberprofs en ligne Animateur d’un organisme communautaire dans chaque école Contexte entourant le projet d’aide aux devoirs - An 1 * 153 élèves ont pris part au projet, en partie ou en totalité

Contexte entourant l’évaluation du projet - An 1 Demande d’évaluation du projet institutionnel par la CSDM au début 2006 Projet d’aide aux devoirs - en cours Rencontre avec les partenaires (CSDM/Allô prof/UQAM) Élaboration du devis* de l’évaluation Objectif Question Indicateurs Méthodologie * Gaudreau, L. (2001). Évaluer pour évoluer. Les étapes d'une évaluation de programme ou de projet. Outremont : Éditions logiques

Devis de l’évaluation - An 1 Objectif Vérifier l’impact du projet sur les élèves Pour décider de sa reconduction ou non et formuler des recommandations, le cas échéant Question Quels sont les effets du projet institutionnel d’aide aux devoirs sur : la motivation des élèves à faire leurs devoirs, l’autonomie des élèves à faire leurs devoirs, la compétence des élèves à utiliser les TIC ?

Devis de l’évaluation - An 1 Indicateurs Perception des divers partenaires* quant à l’augmentation de: la motivation des élèves à faire leurs devoirs l’autonomie des élèves à faire leurs devoirs la compétence des élèves à exploiter les TIC Perception des divers partenaires* quant aux: modes de fonctionnement du projet * Élèves, parents, enseignants, directions d’école, animateurs

Devis de l’évaluation - An 1 Méthodologie - Échantillon et cueillette des données

Devis de l’évaluation - An 1 Méthodologie - Questionnaires Trois versions: Élèves, parents et enseignants Validation théorique* du questionnaire aux élèves Quatre sections (renseignements généraux, motivation, autonomie, compétence TIC, commentaires) Questions de type fermé à données auto-rapportées Échelles de type Likert (4 ou 5 échelons) Certains items au passé (1er temps de mesure) et items au présent (2e temps de mesure)* * Limites qui demandent d’interpréter les résultats avec précaution

Devis de l’évaluation - An 1 Méthodologie - Entrevues Individuelles Directions d’école (n = 6) Animateur (n = 1) Entrevue téléphonique semi-structurée (durée: minutes) De groupe Animateurs (n = 5, durée: 80 min.)

Devis de l’évaluation - An 1 Méthodologie - Analyses des données Quantitatives (SPSS) Descriptives Analyse de variance à mesures répétées (MANOVA) Qualitatives (Hyperresearch) Analyse de contenu (Van der Maren, 1995)

Fréquentation des services Allô prof Interventions auprès de 153 élèves différents Résultats - An 1 dont 5% plus de 30 fois Entre 104 et 538 interventions par école (moyenne: 243)

Résultats - An 1 Motivation à faire les devoirs Perception des élèves Aucun changement statistiquement significatif « Je trouve ça plus encourageant pour faire mes devoirs » Perception des parents 0,23 des scores moyens (de 2,77 à 3,00*): 5,9% « [enfant] plus stimulé » ; « [enfant démontre] un enthousiasme inhabituel (…) pour les devoirs » ; « une bonne motivation pour les devoirs » * 1: « jamais » ; 2 « parfois » ; 3 : « souvent » ; 4 : « toujours » * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Résultats - An 1 Motivation à faire les devoirs Perception des parents Enfant plus motivé à faire ses devoirs avec l’ordinateur 70% rapportent « parfois « (26%), « souvent » (29%) et « toujours » (15%) Intérêt à faire ses devoirs 56% rapportent augmentation « faible » (22%) ou « importante » (35%) Qualité des devoirs 58% rapportent augmentation « faible » (27%) ou « importante » (31%)

Résultats - An 1 Motivation à faire les devoirs Perception des enseignants Compléter tous les devoirs assignés 0.36 des scores moyens (de 3,00 à 3,36*): 8,8% « devoirs complets » Intérêt à faire les devoirs 47% : « faible » (37%) et « importante » (10%) augmentation Qualité des devoirs 60% : « faible » (40%) et « importante » (20%) augmentation * 1: « jamais » ; 2 « parfois » ; 3 : « souvent » ; 4 : « toujours » * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Résultats - An 1 Motivation à faire les devoirs Perception des directions d’école « l’aspect le plus positif [du projet], c’était la motivation des élèves. Le média de l’informatique, si je peux dire, de l’ordinateur, ça stimule beaucoup les enfants »

Résultats - An 1 Motivation à faire les devoirs Perception des animateurs « Et j’ai eu des élèves, vraiment très concrètement, qui au début, ne faisaient jamais leurs devoirs. Ils rentraient. Ils parlaient. Ils se couraient après. Ils jouaient, surtout chez les plus jeunes. Et rendus à la fin d’Allô prof, ils faisaient leurs devoirs » Impact particulier sur la motivation des élèves « qui n’ont pas le goût de faire leurs devoirs ou qui sont découragés parce qu’ils n’ont pas leurs parents à la maison pour les aider »

Résultats - An 1 Autonomie à faire les devoirs Perception des élèves Aucun changement statistiquement significatif Perception des parents 0.45 des scores moyens (de 2,20 à 2,65*) : 11,4% « Mes enfants sont devenus plus responsables » « L’an dernier, elle voulait toujours mon aide. Cette année, c’est différent; je vois un grand changement chez elle » * 1: « jamais » ; 2 « parfois » ; 3 : « souvent » ; 4 : « toujours » * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Résultats - An 1 Autonomie à faire les devoirs Perception des enseignants Autonomie à compléter les tâches assignées en classe 26% : « faible » (23%) et « importante » (3%) augmentation Capacité à respecter les échéanciers 34%: « faible » (27%) et « importante » (7%) augmentation « devoirs remis à temps »

Résultats - An 1 Autonomie à faire les devoirs Perception des directions d’école « D’abord, les enfants qui ont participé, ça les a aidés justement, qu’ils aient plus d’autonomie par rapport à leurs devoirs (…) La personne qui était là ne les aidait pas à réaliser leurs devoirs, c’était eux qui devaient les faire et ça veut dire les difficultés et poser les questions à Allô prof »

Résultats - An 1 Autonomie à faire les devoirs Perception des animateurs [la projet a eu un impact sur l’autonomie de] « certains seulement », « pas pour la majorité » Certains élèves pouvaient aller sur le site d’Allô prof tout seul, d’autres pas.

Résultats - An 1 Compétence à utiliser les TIC Perception des élèves 0,52 des scores moyens (de 3,04 à 3.56*) : 13% * 1: « faible » ; 2 « moyenne » ; 3 : « bonne » ; 4 : « très bonne » * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Résultats - An 1 Compétence à utiliser les TIC Perception des élèves * 1: « jamais » ; 2 « parfois » ; 3 : « souvent » ; 4 : « toujours » Ouvrir et fermer l’ordinateur (3,99) Utiliser le clavier (3,83) Aller sur le site d’Allô prof (3,67) Utiliser le casque d’écoute (3,63) Entrer dans une cyberclasse (3,36) Consulter la bibliothèque virtuelle (3,34) Utiliser la tablette graphique (3,21) Régler des problèmes techniques (3,15)

Résultats - An 1 Compétence à utiliser les TIC Perception des parents 55% : rapportent « faible » (15%) ou « importante » (40%) augmentation [le projet a permis à mon enfant] d’être plus habile avec l’ordinateur » Perception des enseignants 30% rapportent une « faible » (23%) et « importante » (7%) augmentation

Résultats - An 1 Compétence à utiliser les TIC Perception des animateurs « pour eux, c’est comme une manette de télé, ce n’est pas compliqué » (un animateur) Trois animateurs notent des progrès significatifs

Autres résultats - An 1 Impact sur les résultats scolaires Perception des parents 89% : remarquent « un peu » (60%) à « beaucoup » (29%) d’amélioration « amélioration en maths » Perception des enseignants 53% rapportent « un peu » (50%) et « beaucoup » (3)% d’amélioration

ElèvesParentsEnseignants Motivation 6% des scores moyens* 9% des scores moyens* Autonomie 11% des scores moyens* Compétence TIC 13% des scores moyens* 55% « faible » et « importante » Résultats scolaires 89% « un peu » et « beaucoup » 50% « un peu » et « beaucoup » Résultats - An 1 - Synthèse n.d. * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Autres résultats - An 1 Appréciation du projet Perception des élèves « Je suis contente que quelqu’un soit toujours là pour m’aider » « Ça m’a aidé » Perception des parents 78% : recommanderaient le projet à un autre parent

Autres résultats - An 1 Appréciation du projet Perception des enseignants 55% : référeraient à nouveau des élèves à un projet similaire « bon projet »; « belle initiative » (Peu impliqués, particulièrement critiques dans certaines écoles face aux animateurs, projet imposé dans une école) Perception des directions d’école « Donc, on se rend compte qu’Allô prof (…) est un outil drôlement intéressant pour supporter les enfants » « Donc, l’effet positif, cela a été plus l’enthousiasme des parents et des enfants »

Recommandations - An 1 Mieux coordonner heure de l’aide aux devoirs avec la fin de classe Fournir l’aide aux devoirs dans la classe, plutôt que dans laboratoire S’assurer de la fonctionnalité des équipements et d’un suivi technique régulier Former des groupes plus petits Revoir les critères de sélection des élèves Augmenter l’accessibilité (rotation des élèves) S’assurer de la stabilité et de la compétence des animateurs (gestion des comportements) Etc.

Recommandations - An 1 « C’est sûr que ça serait bien, dans un service d’aide aux devoirs, et dans chaque groupe: il y a un ordinateur sur lequel Allô prof est là. Et puis, quand l’intervenant est occupé, parce qu’à l’aide aux devoirs, qu’on soit cinq ou qu’il y en ait quinze, l’intervenant est pris avec un enfant et l’autre, il attend. Donc, il a la possibilité d’aller poser la question à un enseignant de l’autre côté » (animateur)

Modalités du projet 24 semaines (4 sessions x 6 semaines) Deux périodes d’une heure / semaine Aide aux devoirs Défis (exploration des dispositifs du site Allô prof) Six écoles de la CSDM 96 élèves (16 élèves/école)* 2e et 3e cycles Difficultés d’organisation et autonomie Cyberprofs en ligne Animateur Allô prof dans chaque école Contexte entourant le projet d’aide aux devoirs - An 2

Devis de l’évaluation - An 2 Méthodologie - Échantillon et cueillette des données

Devis de l’évaluation - An 2 Méthodologie - Questionnaires Trois versions: Élèves (3 passations: avant, une semaine après, un mois après) Parents et enseignants (1 passation: après) Quatre sections (renseignements généraux, motivation, autonomie, compétence TIC, commentaires) Questions de type fermé à données auto-rapportées Échelles de type Likert (4 ou 5 échelons)

Fréquentation des services Allô prof Résultats - An 2 CyberclassesForums Session Session Session Session Total En moyenne 29 interventions par élève

Résultats - An 2 Motivation à faire les devoirs Perception des élèves Hausse de motivation peu durable dans le temps* * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Résultats - An 2 Motivation à faire les devoirs Perception des élèves « Je trouve ce projet amusant pour faire nos devoirs » 58% 14%19%

Résultats - An 2 Motivation à faire les devoirs Perception des parents 47% 30% 38% 35% 44% 27%

Résultats - An 2 Motivation à faire les devoirs Perception des parents « il aime plus faire ses devoirs qu’avant » « C’est une façon positive et amusante de faire travailler les élèves après l’école » « Je trouve mon enfant moins déprimé de faire les devoirs à l’école avec ses camarades et de l’aide » « Étudier en petits groupes les motive »

Résultats - An 2 Motivation à faire les devoirs Perception des enseignants « C’est un projet motivateur » « Tous les élèves ont un intérêt marqu é pour les TIC, c ’ est donc un plus pour les é l è ves » 39% 35% 42% 12% 15%

Résultats - An 2 Motivation à faire les devoirs Perception des directions d’école « ils n’ont pas fait plus de devoirs; ils les ont faits mieux, avec plus de plaisir » « il y a eu un plus par rapport à la motivation »

Résultats - An 2 Motivation à faire les devoirs Perception des animateurs « Tout à coup, le devoir de maths devenait l’fun, parce que… ils avaient de l’aide, mais aussi parce qu’ils avaient un support informatique attirant » « Il ne faut quand même pas qu’ils soient trop démotivés [au départ], les élèves. (…) Allô prof, ce n’était pas assez… pour les récupérer (…). Il faut qu’ils soient un peu allumés »

Résultats - An 2 Autonomie à faire les devoirs Perception des élèves Hausse, stable dans le temps* * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence « Par rapport à moi, le projet Allô prof m ’ a beaucoup aid é dans mes devoirs et dans mon organisation »

Résultats - An 2 Autonomie à faire les devoirs Perception des parents 40% 27% 28% 23%

Résultats - An 2 Autonomie à faire les devoirs Perception des parents « Moi, j’ai remarqué que [nom de l’enfant] était plus autonome et il m’a demandé moins d’assistance » « Ça a beaucoup aidé ma fille avec ses devoirs et aussi son implication à faire ses devoirs sans le demander » « Plus attentif à ce qu’il fait et aussi plus discipliné à les faire tous les soirs »

Résultats - An 2 Autonomie à faire les devoirs Perception des enseignants « Ils s’organisent mieux » « Ils ont besoin d’un encadrement ou d’accompagnement serré (…) Allô prof n ’ a pas r é ussi à changer ou même am é liorer ce comportement » 42% 35% 46% 27% 46% 39% 8% 15% 8%

Résultats - An 2 Autonomie à faire les devoirs Perception des directions d’école « Ça apportait beaucoup d’autonomie aux élèves. (…) On avait quand même choisi des enfants qui avaient quelques problèmes du point de vue de l’autonomie, d’organisation en classe ou à l’école » « Les devoirs sont faits en un rien de temps puisqu’ils savent qu’ils peuvent aller chercher de l’aide »

Résultats - An 2 Compétence à utiliser les TIC Perception des élèves Hausse, stable dans le temps* * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Résultats - An 2 Compétence à utiliser les TIC Perception des élèves Les élèves qui possèdent un ordinateur à la maison rapportent, en tout temps, une meilleure compétence à utiliser les TIC que ceux qui ne possèdent pas d’ordinateur à la maison

Résultats - An 2 Compétence à utiliser les TIC Perception des parents 30% 26% 32%

Résultats - An 2 Compétence à utiliser les TIC Perception des enseignants « Ils savaient [déjà] bien utiliser les TIC » « On n’a pas beaucoup de temps à consacrer à l’ordinateur et ce programme peut donner un coup de pouce » 20%

Résultats - An 2 Compétence à utiliser les TIC Perception des directions d’école Ils ont fait des apprentissages très ciblés, mais dans l’ensemble, « ça fait partie de l’outil de travail, on le connaît déjà à la maison » Les jeunes sont « déjà habitués », « vite là- dessus »

Résultats - An 2 Compétence à utiliser les TIC Perception des animateurs « Ils ont quand même grandi avec l’ordinateur et souvent ils ont l’ordinateur à la maison aussi. De façon générale, ils arrivent avec des connaissances et une espèce de… « Je sais comment ça fonctionne », mais tout à coup pour les forums… « comment on fait ? » (…) Dès qu’on arrive dans un contexte différent, là ce n’est pas pareil … (…) Pour le forum, copier-coller, recherche d’images (…), mais ils apprennent vite »

Autres résultats - An 2 Impact sur les résultats scolaires Perception des élèves « J’ai été heureuse, je me suis améliorée » « de meilleurs résultats » 40% 52% 56% 32%

Autres résultats - An 2 Impact sur les résultats scolaires Perception des parents « Amélioration au point de vue académique » « Cela permettait à mon enfant d’améliorer ses résultats en classe » 6% 67% 27%

Autres résultats - An 2 Impact sur les résultats scolaires Perception des enseignants « Les devoirs font partie d’un tout dans l’apprentissage scolaire. Je ne crois pas qu’Allô prof puisse changer à ce point les r é sultats scolaires d ’ un é l è ve si ailleurs il ne s ’ investit pas » 42% 54% 4%

ElèvesParentsEnseignants Motivation Hausse peu durable dans le temps* 77% intérêt 73% qualité 71% faire tous devoirs 51% intérêt 57% qualité Autonomie Hausse stable dans le temps* 67% « s’installer seul » 51%« besoin d’aide » Compétence TIC Hausse stable dans le temps* 56% « un peu » à « beaucoup » Résultats scolaires ~ 90% « un peu » à « beaucoup » 94% « un peu » à « beaucoup » 58% « un peu » à « beaucoup » Résultats - An 2 - Synthèse * sous-échelles non validées scientifiquement, interpréter les résultats avec prudence

Autres résultats - An 2 Appréciation du projet Perception des élèves « J’ai beaucoup aimé ce projet et j’encourage les autres élèves à y participer » « J’ai moins de problèmes avec mes devoirs » « Ça m’a aidé parce qu’on peut demander de l’aide si on en a besoin! Ça m’aide dans la classe aussi » « Je trouve ça très bien. Ça peut nous être très utile pour le secondaire. Puis, j’ai adoré y participer »

Autres résultats - An 2 Appréciation du projet Perception des parents « C’est rassurant de savoir que quelqu’un peut aider l’enfant quand cela dépasse les compétences des parents, avec tous les changements apportés à l’éducation… » 8% 79% 13%

Autres résultats - An 2 Appréciation du projet Perception des enseignants « stimulant » « idée géniale » « beau complément à l’école » « système d’aide intéressant et accessible » 23% 77%

Autres résultats - An 2 Appréciation du projet Perception des directions d’école « Tout s’est bien passé du début à la fin » « Ça l’a fait la une de tout le monde »

Recommandations - An 2 1) Conserver même fréquence et durée, mais augmenter nombre de semaines 2) Augmenter et mieux encadrer temps consacré aux devoirs 3) Favoriser implication des parents et enseignants 4) Valoriser stabilité des groupes et assiduité des élèves 5) Élargir bassin d’élèves participant au projet

Suite au projet - An 3 Nouvelle visée Appropriation du projet par les écoles pour favoriser progressivement un délaissement du soutien institutionnel Services de garde

Suite au projet - An 3 Modalités du projet Dix services de garde Six semaines de formation - pas de devoirs (élèves multiplicateurs : 6/école) Poursuite jusqu’en mai devoirs (élèves multiplicateurs et utilisateurs) « Borne Allô prof » disponible

Suite au projet - An 3 Modalités de l’évaluation SUJETINSTRUMENTNOMBRE Élèves multiplicateurs (3 e cycle)Questionnaire (4 mesures)50 Élèves utilisateurs (2 e et 3 e cycles inscrits au service de garde) Questionnaire (2 mesures)70 ParentsQuestionnaire (2 mesures)42 EnseignantsQuestionnaire (2 mesures)22 DirectionsEntrevue téléphonique10 Responsable des services de gardeEntrevue téléphonique10 Animateurs et responsables Allo profDocuments électroniques3

Merci! Un merci particulier à : Marie-Noëlle Jean, analyste, CSDM Sandrine Faust, directrice, Allô prof Isabelle Plante, étudiante, UdM Marie-Ève Brunet, étudiante, UQAM Christèle Charbonneau, étudiante, UQAM Gilles Thibert, professeur, UQAM