Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
Publié parAnge Martinet Modifié depuis plus de 9 années
1
Les mesures sont-elles à la hauteur?
2
Le Centre, qu’est-ce que c’est? Savoir Il rassemble les gens et les connaissances pour promouvoir la meilleure santé mentale et le meilleur bien-être possibles pour chaque enfant et adolescent CapacitéPartenariats Continuum complet de services efficaces et accessibles de santé mentale pour les enfants et les adolescents.
3
Quelques présentations Nom et affiliation Programme à évaluer Un résultat recherché
4
Objectifs Fournir une vue d’ensemble des concepts reliés à la mesure Fournir des lignes directrices pour l’évaluation et le choix des mesures Réduire la crainte associée au sujet des mesures et des indicateurs
5
Vue d’ensemble A.Qu’est-ce que la mesure? B.Quelles sont les différentes sources de données et les différents types de mesures? C.Qu’est-ce qui affecte la qualité des mesures? D.Comment pouvons-nous choisir des mesures appropriées à notre évaluation?
6
A. Qu’est-ce que la mesure?
7
On se prépare à l’évaluation Paradis de l’évaluation! Élaboration d’un modèle logique Identification des résultats prioritaires Révision et choix des mesures On élabore des procédures de collecte des données
8
Qu’est-ce que la mesure? La mesure se réfère au processus d’« opérationnalisation » de la question d’évaluation Question d’évaluation Information nécessaire Sources d’information Types de données Mesure de l’évaluation
9
Exemple de question d’évaluation : Quelles sont les perceptions de nos services chez nos clients? La satisfaction des clients face à nos services s’est-elle améliorée? Quels domaines du programme devons-nous améliorer? Question d’évaluation Information nécessaire Sources d’information Types de données Mesure de l’évaluation
10
Information provenant des parents et(ou) des adolescents sur : la satisfaction concernant le lieu la facilité d’accès aux services les perceptions des résultats comme résultats du service caractère approprié des services perceptions de l’alliance ou de la relation thérapeutique Mesure de l’évaluation Question d’évaluation Information nécessaire Sources d’information Types de données
11
B. Quelles sont les différentes sources de données et types de mesures?
12
Niveaux de mesure Nominale Ordinale Intervalle Ratio La façon dont je me sens, c’est difficile à quantifier! Mais sur une échelle de 1 à 10 n’est pas si difficile?
13
Sources d’information Questionnaires Entrevues ou groupes de consultation Observation Données administratives et(ou) dossiers de santé
14
Sources d'information auprès des parents et(ou) des adolescents sur la manière dont ils font l’expérience de nos services : Entrevue Groupes de consultation Données administratives : nombre et type de plaintes Sondage auto-administré Questionnaire standardisé Mesure de l’évaluation Question d’évaluation Information nécessaire Sources d’information Types de données
15
Données qualitatives : verbales et en image Scores numériques : Unités de base comme fréquence, durée, longueur Scores provenant des échelles de cotes Scores standardisés (scores z) Scores équivalant à l’âge ou à l’année ou scores ajustés Critères pour l’évaluation des scores : Standardisation : comparabilité procédurale Caractéristiques psychométriques Les types de données
16
Type de données sur la satisfaction des clients ou leur perception des soins Scores à une mesure standardisée de la perception des soins par le client : Moyenne des cotes à tous les items Changements de cotes moyennes tous les six mois Question d'évaluation Information nécessaire Sources d'information Types de données Mesure de l'évaluation
17
C. Qu’est-ce qui affecte la qualité des mesures?
18
Contexte culturel et historique Utilisation des tests et des mesures comme « outil culturel » Caractère approprié sur le plan culturel des mesures Révisions ou mises à jour des mesures pour refléter les changements dans la population au niveau des scores
19
Caractéristiques psychométriques : validité La mesure mesure-t-elle VRAIMENT ce qu’elle est censée mesurer? Validité apparente Validité du contenu Construction, critères et facteur Prédictive Concurrente Discriminante ou divergente
20
Les caractéristiques psychométriques : fiabilité = Fiable = Crédible = Toujours la même chose
21
Coût et disponibilité Temps pour l’administration, l’établissement des scores et l’analyse Participation du personnel Gestion des informations Les caractéristiques psychométriques : faisabilité
22
Utilité clinique Appropriée sur le plan culturel Utilisations administratives pour la prise de décision Utilité pour l’amélioration des programmes Utilité pour l’information sur les rapports publics Les caractéristiques psychométriques : pertinence
23
Autres considérations concernant les mesures impliquant des enfants Niveau de développement Niveau d’éducation État de santé Famille
24
D. Comment pouvons-nous choisir des mesures appropriées à l’évaluation?
25
Critères de choix des mesures Fondées sur la preuve Faisables Pertinentes et significatives
26
Fondées sur la preuve Caractéristiques psychométriques saines : valides et fiables Utilisées dans des milieux semblables Recommandées par des experts, si la bibliographie n’existe pas
27
Tableaux récapitulatifs des échantillons
28
Sample Summary Table Name of Measure Reference or Developer Areas measured Evidence on reliability and validity Feasibility (cost, training, who administers) RelevanceComments
30
Evaluation Measure General Information Developer/ AuthorsChildren’s Indicator Workgroup of Sixteen State Study, Centre for Mental Health Services. Date of publication, versions available 2001. Separate forms for parents and youth. Constructs measuredThe YSS is used as a measure of youth service usage and satisfaction with services. The YSSF is used as a measure of parent report of youth service usage and satisfaction with services. Population for which designed Adolescents ages 13 and up. Method of administration Self-report questionnaire, paper or telephone interview. Subscales and number of items 25 items. Five scores based on a factor analysis can be obtained: Good access to services Participation in treatment Cultural sensitivity of staff Appropriateness of services Positive outcome of service Estimated time to administer Not mentioned. Costs, availability and permission to use In public domain. See online resources below. Examiner qualifications and training requirements Information not available at this time. Youth Services Surveys (YSS, YSSF) Evaluation question Information needed Sources of information Types of data
31
Technical Information Sample for development of norms The YSS was created as part of the Mental health Statistics Improvement Program for the Sixteen State Study. To date 430 youth have completed the survey. ReliabilityReliability indices for the 5 factors of the survey are good: Access =.713, Participation in Treatment =.776, Cultural Sensitivity =.863, Appropriateness =.863, Outcome =.893 (Brunk et al 2000) ValidityThis indicator was developed by the U.S. Substance Abuse and Mental Health Services Administration (SAMHSA) for the National Mental Health Performance Measures, and feasibility was assessed across 16 states (Lutterman et al, 2003). The Virginia Department of Mental Health, Mental Retardation, and Substance Abuse Services coordinated the development of the surveys for children and youth (Brunk et al 2000). The survey is widely used in the U.S. and reports by various states are available in the grey literature. UsesThe YSS may be used for the following: (1) As a data collection method for the following: Client perception of care, consumers linked to physical health services, children in family-like arrangements and other 24- hour residential care programs. (2) As a clarification method for findings from other indicators. (3) As a measure of penetration (when providers serve a higher than average percentage of youth with a particular problem than occurs in the general population. Review and Comments Applicability for Ontario Information not available at this time. Other considerations Information not available at this time. Resources Key ReferencesBrunk, M. (2001). Youth Services surveys Guidelines for administration. [Power Point presentation]. Brunk, M., Koch, J.R., McCall, B. (2002). Report on Parent satisfaction with Services at Community Services Boards. Virginia Department of Mental Health, Mental Retardation and Substance Abuse Services. Online Resourceshttp://www.mhsip.org Contact information E-mail : rbottger@odmhsas.org. rbottger@odmhsas.org Youth Services Surveys (YSS, YSSF) http://www.mhsip.org http://www.mhsip.org
32
Question d'évaluation Information nécessaire Sources d'information Types de données Mesure de l'évaluation Mesures d’alliance thérapeutique Blatt et Zuroff 2005 : L’importance d’inclure l’alliance thérapeutique comme facteur modérant les résultats du traitement science direct link science direct link Elvins et Green 2008 : Révision des concepts et des mesures de l’alliance thérapeutique science direct link2 science direct link2 Green 2006 : Mesures de l’alliance thérapeutique en santé mentale des enfants et des adolescents interscience link interscience link
33
Question d'évaluation Information nécessaire Sources d'information Types de données Mesure de l'évaluation Les mesures de la compétence culturelle Questionnaire d’auto-évaluation de la compétence culturelle friends link friends link
34
Quelques questions communes Traduire ou non Choisir des items de différents outils de mesure Donner un sens aux données : indicateurs, points de repère et normes
35
Le processus de prise de décision pour l’identification, le choix et l’utilisation des mesures Spécifier le sujet étudié IdentificationChoixUtilisation Effectuer une étude bibliographique Identifier les mesures existantes Identifier les lacunes : pas de mesures existantes Examiner les preuves, la faisabilité et la pertinence Utiliser la mesure Réviser la mesure Développer de nouvelles mesures Collecter et analyser les données (comme développées) Collecter de nouvelles preuves sur la validité et la fiabilité
36
Les étapes pour traduire les mesures Traduire dans la langue seconde Retraduire dans la langue première Effectuer un test pilote avec des experts et des utilisateurs Collecter de nouvelles preuves sur la validité et la fiabilité Comparer les résultats à la version originelle
37
Matrice des résultats Question d'évaluation Résultats ou variables du processus Indicateurs ou mesures D’où proviennent les données Comment les données sont collectées et à quelle fréquence? Qui collecte les données? Quand les données sont collectées? Comment les données seront analysées
38
Exemple de matrice de données Question d'évaluationLes clients perçoivent-ils les résultats comme résultant des soins/services qu’ils reçoivent? Processus ou variable des résultats Perception des soins par le client Indicateurs/ mesuresSondage sur les services aux adolescents Source de donnéesLes jeunes de 16 à 18 ans et les parents des enfants et adolescents de moins de 16 ans Comment les données sont collectées Questionnaire auto-administré, en personne et par la poste Qui collecte les données?Réceptionniste Quand les données sont collectées À la fin du programme, au moins 3 mois après le début du programme Plan d’analyseComparer la moyenne des scores totaux pour les personnes du programme A avec ceux du programme B
39
Des questions? Des remarques clés?
40
Résumé La mesure implique spécifier ou « opérationnaliser » la question d’évaluation. Le processus ou les variables des résultats peuvent être évalués à l’aide de données numériques ou qualitatives. Les sources d'information incluent les questionnaires, les entrevues, les groupes de consultation et les données administratives.
41
Résumé (suite) Les tableaux sommaires aident à organiser les informations au sujet des différentes mesures et aident à prendre des décisions éclairées concernant la mesure la plus appropriée pour l’évaluation. Une matrice des indicateurs et des mesures à utiliser dans l’évaluation résume comment, où et quand les données doivent être collectées.
42
Les prochaines étapes Passer en revue le modèle logique et identifier les questions d’évaluation Spécifier le processus et les variables des résultats Résumer l’étude bibliographique Réviser et choisir des mesures Créer des indicateurs et mesurer la matrice Développer le protocole de collecte des données Développer un plan pour l’analyse des données
43
Les webinaires à venir? Février 2009 : l’utilisation d’Excel et de SPSS pour les statistiques fondamentales OU l’évaluation des processus Mars 2009 : La rédaction du rapport final
44
Pour obtenir de plus amples informations Évangéline Danseco, PhD Chef, Évaluation et recherche edanseco@cheo.on.ca 613.737.7600, poste 3319 www.onthepoint.ca
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.