RUFDATA : une méthode pour construire notre propre évaluation "Quelle est la portée de nos actions de conseillers et conseillères pédagogiques?" RUFDATA : une méthode pour construire notre propre évaluation Sources : M. Saunders et Ann-Marie Houghton

Pour une évaluation pour la connaissance et formative Cette approche a initialement été utilisée par son auteur (M. Saunders) pour construire une compréhension approfondie d’un projet innovant ou d’une nouvelle stratégie politique. Elle a par la suite été appliquée pour l'évaluation des dispositifs d'apprentissage à distance (Bonamy, J, Charlier, B. et Saunders, M, 2001). Ses caractéristiques essentielles sont les suivantes : Une attention est portée à la compréhension profonde de deux dimensions principales du dispositif d’apprentissage : l'apprentissage individuel aussi bien que celui du groupe. Tenant compte de ces données au sujet de l'expérience d'apprentissage, une régulation et une évaluation du dispositif peuvent être effectuées. Une approche d'évaluation qui emploie des données invoquées produites par le dispositif et des données qualitatives provoquées. Les données en ligne (forum et communications synchrones, carnets de bord) sont recueillies et analysées. Les résultats des analyses sont communiqués et discutés au cours des réunions en face à face. Le contenu des discussions est alors investi dans l'élaboration d'un cadre commun (description des objectifs, définition des chartes, définition des critères d'évaluation, identification d’outils communs) qui évolue suite aux régulations du dispositif. Dans certains cas, des interviews sont organisées.

Construire un cahier des charges d’une évaluation, pour...

Guide pour RUFDATA Reasons Uses Foci Data Audience Timescale Agency

Principes Trois principes clés guident cette démarche : La collaboration: les buts, méthodes et cadres de référence de l’évaluation sont négociés avec tous les acteurs, incluant les étudiant-e-s ; L’intégration : l’évaluation est intégrée aux étapes principales de la mise en place du dispositif ou du projet ; L’orientation formative: des retours d’information permettant une régulation du dispositif ou du projet sont générés tout au long de son histoire.

Reasons and purposes Quelles sont les raisons de l’évaluation ? Pourquoi décide t-on de l’évaluation ? Quels sont les enjeux ? Apprentissage, connaissance, découverte Contrôle de son action Améliorer son action Rendre compte de son action Faire connaître, reconnaître

Uses Quels seront les usages de l’évaluation Fournir des exemples de bonnes pratiques Prendre des décisions pour améliorer le dispositif, le projet Rendre compte, élaborer un rapport …

Connecter avec les buts de l’évaluation Foci Quel sera, seront les points d’attention centraux ? Quels indicateurs ? Quand les observer ? (EPO) Connecter avec les buts de l’évaluation

Focus : indicateur de type 1 Compris comme un domaine d’activité au sein duquel des données peuvent être collectées. [Indicators as a focus] Exemple: le domaine dans lequel les étudiant-e-s développent des compétences (stages,...) Exemple : l’enseignement (les cours donnés par un groupe d’enseignant-e-s)

Focus : indicateur de type 2 La preuve elle-même [Indicators as the evidence] Exemple: les résultats des étudiant-e-s décidés à posteriori comme faisant la preuve de leurs progrès Exemple: les résultats aux évaluations de l’enseignement

Focus : indicateur de type 3 Preuves prédéfinies en fonction du cahier des charges, du contrat, des objectifs annoncés. [Indicators as prescriptions of good performance] Exemple: par exemple, la note 4 sur une échelle de 1 à 6 Exemple : les critères des accréditations de programme définis par l’OAQ (Organe d’accréditation et d’assurance qualité des hautes écoles suisses)

Type 1 Avantages Concerne des effets inattendus Potentiellement participative Collaborative Evite des objets arbitraires Désavantages Ne contrôle pas les objectifs attendus Peut inclure la collection de données inutiles Cher

Type 2 Avantages Peut être focalisée Va prendre en compte des effets inattendus Peut être sommative et formative Désavantages Faible sur l’”accountability” Faible usage pour la gestion du projet

Type 3 Avantages Peut préciser l’évaluation Peut être collaborative Permet une planification Désavantages Peut être trop restrictive Externe et centrée sur le contrôle

Focus : quand ? Enabling- Entrée Processus Outcome- Résultats Ressources nécessaires ou disponibles Ce que l’on fait pour atteindre les résultats, ce qui se passe Les résultats attendus par les acteurs The EPO approach (Saunders, 2001) distributes weight between outcomes, processes and enabling factors and sees them all as valid, separate indicators of impact. For example EPO accepts changes in the strategies, systems and practices in and around teaching as evidence of educational impact; assuming that these ultimately will lead to impact on the student experience and approaches to learning and student achievement. This is useful as it is widely accepted that impact on student learning is particularly difficult to evidence. (Paragraph from: Self-Evaluation – Reading CE-AURS – 2007) Enabling indicators are concerned with the structures and support which need to be set up or provided to produce the desired outcomes, it might include some capital expenditure or resource implications. Process indicators are concerned with what needs to happen in order to achieve the desired outcomes. Outcome indicators are concerned with the intermediate or longer-term outcomes of a programme and are tied to impact goals.

Focusing evaluations: Enabling Process Outcome Ressources nécessaires ou disponibles Ce que l’on fait pour atteindre les résultats, ce qui se passe Les résultats attendus par les acteurs Compétences Ressources Support de l’institution Mission Réglements Actions Stratégies Attitudes Obstacles Supports Objectifs Changements de pratiques Nombres The EPO approach (Saunders,2001) distributes weight between outcomes, processes and enabling factors and sees them all as valid, separate indicators of impact. For example EPO accepts changes in the strategies, systems and practices in and around teaching as evidence of educational impact; assuming that these ultimately will lead to impact on the student experience and approaches to learning and student achievement. This is useful as it is widely accepted that impact on student learning is particularly difficult to evidence. (Paragraph from: Self-Evaluation – Reading CE-AURS – 2007) Enabling indicators are concerned with the structures and support which need to be set up or provided to produce the desired outcomes, it might include some capital expenditure or resource implications. Process indicators are concerned with what needs to happen in order to achieve the desired outcomes. Outcome indicators are concerned with the intermediate or longer-term outcomes of a programme and are tied to impact goals.

Data, données Quelles données seront utilisées ? Invoquées Provoquées Suscitées Numériques Entretiens, Focus groupes Observations

Audience A qui est adressée l’évaluation ? Vous-même ? L’institution Des pourvoyeurs de fonds La communauté des CP (BSQF) Autre ? Dans quelle mesure les destinataires influencent-ils/elles l’évaluation ?

Veiller à commencer dés le début du projet Timing Calendrier Quel sera l’agenda ? Quel lien avec les étapes du projet ? Veiller à commencer dés le début du projet

Agency Qui va conduire l’évaluation ? Vous Des évaluateur-trice-s externes ? Une combinaison ? Range of people we have spoken to – complements the HEIST target and is wide ranging in coverage – channels of communication which we can build on in the future.

A vous ..

Références .. Saunders, M. (2000). "Beginning an evaluation with RUFDATA: theorizing a practical approach to evaluation planning, Evaluation, 6(1). 7-21." Evaluation 6: 7-21. http://www.lancs.ac.uk/fss/centres/cset/eval-blank/docs.htm http://www.actiononaccess.org/download.php?f=987