Les mesures sont-elles à la hauteur?

Le Centre, qu’est-ce que c’est? Savoir Il rassemble les gens et les connaissances pour promouvoir la meilleure santé mentale et le meilleur bien-être possibles pour chaque enfant et adolescent CapacitéPartenariats Continuum complet de services efficaces et accessibles de santé mentale pour les enfants et les adolescents.

Quelques présentations  Nom et affiliation  Programme à évaluer  Un résultat recherché

Objectifs  Fournir une vue d’ensemble des concepts reliés à la mesure  Fournir des lignes directrices pour l’évaluation et le choix des mesures  Réduire la crainte associée au sujet des mesures et des indicateurs

Vue d’ensemble A.Qu’est-ce que la mesure? B.Quelles sont les différentes sources de données et les différents types de mesures? C.Qu’est-ce qui affecte la qualité des mesures? D.Comment pouvons-nous choisir des mesures appropriées à notre évaluation?

A. Qu’est-ce que la mesure?

On se prépare à l’évaluation Paradis de l’évaluation! Élaboration d’un modèle logique Identification des résultats prioritaires Révision et choix des mesures On élabore des procédures de collecte des données

Qu’est-ce que la mesure? La mesure se réfère au processus d’« opérationnalisation » de la question d’évaluation Question d’évaluation Information nécessaire Sources d’information Types de données Mesure de l’évaluation

Exemple de question d’évaluation :  Quelles sont les perceptions de nos services chez nos clients?  La satisfaction des clients face à nos services s’est-elle améliorée?  Quels domaines du programme devons-nous améliorer? Question d’évaluation Information nécessaire Sources d’information Types de données Mesure de l’évaluation

Information provenant des parents et(ou) des adolescents sur :  la satisfaction concernant le lieu  la facilité d’accès aux services  les perceptions des résultats comme résultats du service  caractère approprié des services  perceptions de l’alliance ou de la relation thérapeutique Mesure de l’évaluation Question d’évaluation Information nécessaire Sources d’information Types de données

B. Quelles sont les différentes sources de données et types de mesures?

Niveaux de mesure  Nominale  Ordinale  Intervalle  Ratio La façon dont je me sens, c’est difficile à quantifier! Mais sur une échelle de 1 à 10 n’est pas si difficile?

Sources d’information  Questionnaires  Entrevues ou groupes de consultation  Observation  Données administratives et(ou) dossiers de santé

Sources d'information auprès des parents et(ou) des adolescents sur la manière dont ils font l’expérience de nos services :  Entrevue  Groupes de consultation  Données administratives : nombre et type de plaintes  Sondage auto-administré  Questionnaire standardisé Mesure de l’évaluation Question d’évaluation Information nécessaire Sources d’information Types de données

 Données qualitatives : verbales et en image  Scores numériques : Unités de base comme fréquence, durée, longueur Scores provenant des échelles de cotes Scores standardisés (scores z) Scores équivalant à l’âge ou à l’année ou scores ajustés  Critères pour l’évaluation des scores : Standardisation : comparabilité procédurale Caractéristiques psychométriques Les types de données

Type de données sur la satisfaction des clients ou leur perception des soins  Scores à une mesure standardisée de la perception des soins par le client : Moyenne des cotes à tous les items Changements de cotes moyennes tous les six mois Question d'évaluation Information nécessaire Sources d'information Types de données Mesure de l'évaluation

C. Qu’est-ce qui affecte la qualité des mesures?

Contexte culturel et historique  Utilisation des tests et des mesures comme « outil culturel »  Caractère approprié sur le plan culturel des mesures  Révisions ou mises à jour des mesures pour refléter les changements dans la population au niveau des scores

Caractéristiques psychométriques : validité La mesure mesure-t-elle VRAIMENT ce qu’elle est censée mesurer? Validité apparente Validité du contenu Construction, critères et facteur Prédictive Concurrente Discriminante ou divergente

Les caractéristiques psychométriques : fiabilité = Fiable = Crédible = Toujours la même chose

 Coût et disponibilité  Temps pour l’administration, l’établissement des scores et l’analyse  Participation du personnel  Gestion des informations Les caractéristiques psychométriques : faisabilité

 Utilité clinique  Appropriée sur le plan culturel  Utilisations administratives pour la prise de décision  Utilité pour l’amélioration des programmes  Utilité pour l’information sur les rapports publics Les caractéristiques psychométriques : pertinence

Autres considérations concernant les mesures impliquant des enfants  Niveau de développement  Niveau d’éducation  État de santé  Famille

D. Comment pouvons-nous choisir des mesures appropriées à l’évaluation?

Critères de choix des mesures  Fondées sur la preuve  Faisables  Pertinentes et significatives

Fondées sur la preuve  Caractéristiques psychométriques saines : valides et fiables  Utilisées dans des milieux semblables  Recommandées par des experts, si la bibliographie n’existe pas

Tableaux récapitulatifs des échantillons

Sample Summary Table Name of Measure Reference or Developer Areas measured Evidence on reliability and validity Feasibility (cost, training, who administers) RelevanceComments

Evaluation Measure General Information Developer/ AuthorsChildren’s Indicator Workgroup of Sixteen State Study, Centre for Mental Health Services. Date of publication, versions available Separate forms for parents and youth. Constructs measuredThe YSS is used as a measure of youth service usage and satisfaction with services. The YSSF is used as a measure of parent report of youth service usage and satisfaction with services. Population for which designed Adolescents ages 13 and up. Method of administration Self-report questionnaire, paper or telephone interview. Subscales and number of items 25 items. Five scores based on a factor analysis can be obtained:  Good access to services  Participation in treatment  Cultural sensitivity of staff  Appropriateness of services  Positive outcome of service Estimated time to administer Not mentioned. Costs, availability and permission to use In public domain. See online resources below. Examiner qualifications and training requirements Information not available at this time. Youth Services Surveys (YSS, YSSF) Evaluation question Information needed Sources of information Types of data

Technical Information Sample for development of norms The YSS was created as part of the Mental health Statistics Improvement Program for the Sixteen State Study. To date 430 youth have completed the survey. ReliabilityReliability indices for the 5 factors of the survey are good: Access =.713, Participation in Treatment =.776, Cultural Sensitivity =.863, Appropriateness =.863, Outcome =.893 (Brunk et al 2000) ValidityThis indicator was developed by the U.S. Substance Abuse and Mental Health Services Administration (SAMHSA) for the National Mental Health Performance Measures, and feasibility was assessed across 16 states (Lutterman et al, 2003). The Virginia Department of Mental Health, Mental Retardation, and Substance Abuse Services coordinated the development of the surveys for children and youth (Brunk et al 2000). The survey is widely used in the U.S. and reports by various states are available in the grey literature. UsesThe YSS may be used for the following: (1) As a data collection method for the following: Client perception of care, consumers linked to physical health services, children in family-like arrangements and other 24- hour residential care programs. (2) As a clarification method for findings from other indicators. (3) As a measure of penetration (when providers serve a higher than average percentage of youth with a particular problem than occurs in the general population. Review and Comments Applicability for Ontario Information not available at this time. Other considerations Information not available at this time. Resources Key ReferencesBrunk, M. (2001). Youth Services surveys Guidelines for administration. [Power Point presentation]. Brunk, M., Koch, J.R., McCall, B. (2002). Report on Parent satisfaction with Services at Community Services Boards. Virginia Department of Mental Health, Mental Retardation and Substance Abuse Services. Online Resourceshttp:// Contact information Youth Services Surveys (YSS, YSSF)

Question d'évaluation Information nécessaire Sources d'information Types de données Mesure de l'évaluation Mesures d’alliance thérapeutique Blatt et Zuroff 2005 : L’importance d’inclure l’alliance thérapeutique comme facteur modérant les résultats du traitement science direct link science direct link Elvins et Green 2008 : Révision des concepts et des mesures de l’alliance thérapeutique science direct link2 science direct link2 Green 2006 : Mesures de l’alliance thérapeutique en santé mentale des enfants et des adolescents interscience link interscience link

Question d'évaluation Information nécessaire Sources d'information Types de données Mesure de l'évaluation Les mesures de la compétence culturelle Questionnaire d’auto-évaluation de la compétence culturelle friends link friends link

Quelques questions communes  Traduire ou non  Choisir des items de différents outils de mesure  Donner un sens aux données : indicateurs, points de repère et normes

Le processus de prise de décision pour l’identification, le choix et l’utilisation des mesures Spécifier le sujet étudié IdentificationChoixUtilisation Effectuer une étude bibliographique Identifier les mesures existantes Identifier les lacunes : pas de mesures existantes Examiner les preuves, la faisabilité et la pertinence Utiliser la mesure Réviser la mesure Développer de nouvelles mesures Collecter et analyser les données (comme développées) Collecter de nouvelles preuves sur la validité et la fiabilité

Les étapes pour traduire les mesures Traduire dans la langue seconde Retraduire dans la langue première Effectuer un test pilote avec des experts et des utilisateurs Collecter de nouvelles preuves sur la validité et la fiabilité Comparer les résultats à la version originelle

Matrice des résultats  Question d'évaluation  Résultats ou variables du processus  Indicateurs ou mesures  D’où proviennent les données  Comment les données sont collectées et à quelle fréquence?  Qui collecte les données?  Quand les données sont collectées?  Comment les données seront analysées

Exemple de matrice de données Question d'évaluationLes clients perçoivent-ils les résultats comme résultant des soins/services qu’ils reçoivent? Processus ou variable des résultats Perception des soins par le client Indicateurs/ mesuresSondage sur les services aux adolescents Source de donnéesLes jeunes de 16 à 18 ans et les parents des enfants et adolescents de moins de 16 ans Comment les données sont collectées Questionnaire auto-administré, en personne et par la poste Qui collecte les données?Réceptionniste Quand les données sont collectées À la fin du programme, au moins 3 mois après le début du programme Plan d’analyseComparer la moyenne des scores totaux pour les personnes du programme A avec ceux du programme B

Des questions? Des remarques clés?

Résumé  La mesure implique spécifier ou « opérationnaliser » la question d’évaluation.  Le processus ou les variables des résultats peuvent être évalués à l’aide de données numériques ou qualitatives.  Les sources d'information incluent les questionnaires, les entrevues, les groupes de consultation et les données administratives.

Résumé (suite)  Les tableaux sommaires aident à organiser les informations au sujet des différentes mesures et aident à prendre des décisions éclairées concernant la mesure la plus appropriée pour l’évaluation.  Une matrice des indicateurs et des mesures à utiliser dans l’évaluation résume comment, où et quand les données doivent être collectées.

Les prochaines étapes  Passer en revue le modèle logique et identifier les questions d’évaluation  Spécifier le processus et les variables des résultats  Résumer l’étude bibliographique  Réviser et choisir des mesures  Créer des indicateurs et mesurer la matrice  Développer le protocole de collecte des données  Développer un plan pour l’analyse des données

Les webinaires à venir?  Février 2009 : l’utilisation d’Excel et de SPSS pour les statistiques fondamentales OU l’évaluation des processus  Mars 2009 : La rédaction du rapport final

Pour obtenir de plus amples informations Évangéline Danseco, PhD Chef, Évaluation et recherche , poste