Carole Dion, professeure UQAC ACFAS 2006 La mesure de l’efficacité d’un programme d’aide à la réussite en enseignement supérieur : L’évaluation du processus et de l’effet du programme « Opération réussite » de l’UQAC Carole Dion, professeure UQAC ACFAS 2006

Problématique Plusieurs stratégies et programmes visant la réussite en enseignement supérieur universitaire sont mis de l’avant au Québec. Très peu ont fait l’objet d’une évaluation rigoureuse de leurs réels effets.

Conséquences: Il est hasardeux d’attribuer les changements perçus au programme. Il est délicat de distinguer les effets modulateurs des mesures sur les objectifs. Il devient impossible de bonifier le programme.

Buts de l’évaluation de programme Évaluation double : - Évaluation du processus : comprendre le fonctionnement du programme - Évaluation de l’effet : connaître quels sont les effets du programme. - Formuler des recommandations.

Évaluation du processus et de l‘effet fondée sur le modèle théorique du programme. - La théorie du problème - La théorie du processus - La théorie du changement

Le modèle théorique du programme « Opération réussite » de l’UQAC Le modèle théorique du programme provient de l’analyse des documents relatifs au programme mis à la disposition de l’évaluateur.

La théorie du problème permet de répondre aux questions suivantes : La théorie du problème ayant mené à la création du programme est-elle pertinente et dans quelle mesure l’est-elle encore aujourd'hui ? Quelle est la structure, et quelle est la procédure et le fonctionnement du programme en relation avec la littérature scientifique ?

Théorie du problème ayant mené à la création du programme « Opération réussite » de l’UQAC Identification du problème Écart entre le nombre d’étudiants admis dans des programmes et le nombre d’étudiants obtenant un diplôme Identification de solution : Création du comité OR et développement du programme OR Identification du besoin d’agir Écart Facteurs retenus : Intégration à l’université Programme d’étude Relation prof-étudiant Étudiant lui-même Engagement Motivation Identification des facteurs de réussite selon la littérature scientifique

La théorie du processus permet de répondre aux questions suivantes: Quels sont les fondements théoriques sur lesquels repose le processus du programme ? Quelles sont les stratégies employées de la théorie du processus ?

Théorie du processus du programme « Opération réussite » de l’UQAC Conscientiser la communauté universitaire Participation des directeurs Participation des étudiants Développement de stratégies et de procédures Création de projet selon quatre types d’intervention Pour Intégration à l’université Programme d’étude Relation prof-étudiant Étudiant lui-même Engagement Motivation Agiront sur les facteurs de réussite des études

La théorie du changement permet de répondre aux questions suivantes: Quels sont les objectifs de changement du programme ? Dans quelle mesure le programme a-t-il atteint ses objectifs ?

Théorie du changement du programme « Opération réussite » de l’UQAC Taux d’abandon des études Conscientisation Facteurs de réussite Taux de rétention Taux de persévérance Participation des directeurs Participation des étudiants Taux de diplomation Changements distaux Changements proximaux

Le modèle théorique du programme permet de : Définir l’hypothèse du programme. Définir les variables à évaluer. Définir la méthode à utiliser. Définir les sources de données nécessaires.

Méthode d’évaluation du programme Plan de recherche mixte - Méthode quantitative - Méthode qualitative Sources de données multiples - Données quantitatives - Données qualitatives

Méthode quantitative Évaluation de l’effet du programme sur les variables distales. Modèle quasi expérimental avec groupe témoin. Source de données unique. Analyse statistique des données. Méthode qualitative Évaluation du processus et de l’effet du programme sur les variables proximales. Modèle d’analyse qualitative. Sources de données multiples. Analyse de contenu.

Les résultats en provenance des deux méthodes et des différentes sources de données permettent de : Mettre en évidence la présence où non de changements sur les variables. Mettre en évidence des caractéristiques modulant les changements. Établir un lien de causalité entre les changements observés et le programme. Faire des recommandations

Merci. Questions ?