Brad Cousins University of Ottawa October 2010

Options de conception dévaluation Assurance de qualité de donné – validité/crédibilité – fiabilité développement et validation des instruments Stratégies pour le collection de donné

Groupes de comparaison? – Oui, non, hybride – Boîte noir, boîte gris, boîte verre Donné longitudinal collecté? – Oui, non, hybride Méthodes mélangé Quant., qual., simultanées, séquentiel

One shot, post only – X O1 Comparative post only – X O1 – O2 Randomized control trial – R X O1 – R O2

Time series design – O1 O2 O3 O4 X O5 O6 O7 O8 Pre-post comparative group design – O1 X O3 – O2 O4 Delayed treatment group design – O1 X O3 O5 – O2 O4 X O6

Concepts majeur VALIDITÉ/CREDIBILITÉ Pointes clés – Dégrées sur un continuum; – Décrive les résultats ou inférences; PAS linstrument; – Dépendent sur linstrument et le processus; – Implique évidence et jugement; Validité interne /crédibilité – Attribution: On est confiant que les résultats observé sont attribuable au intervention?

Changements chez participants actuel mais pas relaté à la programme – Maturation – Historie Changements apparent dépendent ce qui était observé – Sélection – Attrition – Régression Changements relaté au méthodes dobtenir les observations – Testing – Instrumentation

Principes générale – Commence avec instruments existant – Assure validité: face, contenu, construit (construct) – Assure fiabilité (éliminât ambigüité) – Considère exigences des taches – Mesures extrusive contra intrusive – Soit guidé par un cadre conceptuel – Demande information démographique au bout de linstrument – Fasse un teste pilot

Échelles: Nominal, ordinal, intervalle Réponse sélecté – Choisis multiple (tests) – Option Fixé : Coche tout qui sapplique Coche UNE seule option – Type Likert échelles indice (rating) Fréquence (observation): N R S F A Accordement (opinion): SD D A SA

Réponse sélecté (cont.) – Préférences à classer en ordre (éviter) – Comparaison de pares Réponse construit – Commentaires ouverte Structuré Pas structuré – Si autre (spécifié)

Formats de collection de donné – Hardcopy – data entry format – Hardcopy – scan-able format – Internet format Sur spécifie (over specify) des instructions Utilisation judicieuse de gras / italiques et variation des caractères Options de réponse au côté droit Agrafant : brochure > en haute gauche > margine gauche Détermination judicieuse de longueur (8 p. max)

Considération des buts/ les attentes Fasse lespace pour les questions à permettre réponse écrivant Questions vs prompts Utilisation de quantification

Considérations déontologiques – Conseil de révisions déontologiques procédures et normes – Lettres de consent informé But de recherche Comment. Pourquoi sélecté Demandes / Droits de refuser Confidentiel vs. anonyme Information de contact chez évaluateur – Questions et tensions

Tuyau dentrevue – Small talk – déterminer le tonalité – Enregistrement audio – permission – Field notes: Développe les habilités short-hand ou utilisation de symbolisme – Permette quelque déviation mais garde le piste. – Minimise redondance

Quantitative pour le représentation – proportionnâtes au population – Au hasard Qualitative à maximiser variation – Léchantillon purposive: bas sue le connaissance disponible de cas

Colton, D. & Covert, R. W. (2007). Designing and constructing instruments for social research and evaluation. San Fransisco: John Wiley and Sons, Inc. Cresswell, J. W. & Miller, D. L. (2000). Determining validity in qualtitative inquiry. Theory into practice, 39(3), Fraekel, J.R. & Wallen, N.E. (2003). How to Design and Evaluate Research in Education. New York: McGraw-Hill. McMillan, J. H. (2004). 4th Ed. Educational Research. Toronto: Pearson, Bacon and Allen, pp Shultz, K.S. & Whitney, D.J. (2005). Measurement Theory in Action: Case Studies and Exercises. Thousand Oaks, CA: SAGE Publications.