Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh Étude de cas Titre : Vue d'ensemble des outils d'évaluation d'impact Sous-titre : Mesurer la qualité des services à l'aide de données qualitatives Pays : Népal Thème spécifique : La rééducation physique Présentée par : Reena SHAKYA Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh Contexte du projet : Titre du projet : « Permettre aux partenaires locaux de fournir des services de réadaptation physique pérennes et de qualité aux personnes en situation de handicap» Jan 2010 – déc 2013 Objectif global : Améliorer les capacités fonctionnelles et l'autonomie des personnes en situation de handicap au Népal. Encourager leur participation pleine et effective dans tous les secteurs de la société et dans la réconciliation du pays suite au conflit. Objectif spécifique : Garantir et optimiser des services de rééducation fonctionnelle et de réadaptation de qualité au Népal, accessibles à tous (notamment aux personnes handicapées isolées et vulnérables), durables et s'appuyant sur des acteurs locaux formés et renforcés. Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh Indicateurs du projet Indicateurs clés du projet Services proposés : Des services de rééducation fonctionnelle et de réadaptation de qualité (y compris séances de soins et appareils et accessoires fonctionnels) sont offerts à des personnes en situation de handicap Satisfaction client : La première année, 70 % des patients se sont dits satisfaits des services fournis ; ce pourcentage atteint 80 % la deuxième année Établissement d'objectifs axés sur les clients : Le personnel technique est capable d'établir et de fixer des objectifs de réadaptation conjointement avec les clients et les accompagnants. 60 % des clients atteignent les objectifs fixés l'année 2, 70 % l'année 3 et 80 % l'année 4 Pérennité : 4 structures de rééducation physique, gérées localement, fonctionnent de manière autonome (du point de vue institutionnel, financier et technique) Accessibilité aux régions reculées grâce à des camps mobiles de proximité et à des actions de mobilisation de travailleurs communautaires Jusqu'en 2009, seules des données quantitatives étaient recueillies et analysées. Depuis 2010 sont également recueillies et analysées des données qualitatives, qui offrent une vue d'ensemble de l'impact et des résultats du projet. Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Outils d'évaluation d'impact utilisés : Questionnaire de satisfaction des clients : pour mesurer la satisfaction des clients au sujet des services fournis - Conseiller Études de cas : pour documenter les résultats du projet sur la vie des clients - Personnel de réadaptation Évaluation des compétences du personnel technique : pour renforcer les compétences techniques de l'équipe de réadaptation - Personnel de réadaptation Établissement d'objectifs axés sur les clients : établir des objectifs SMART (spécifiques, mesurables, ambitieux, réalistes, temporels) et mettre en place un processus de réadaptation en douceur - Personnel de réadaptation Système de gestion de la réadaptation : pour mesurer la qualité des services - Équipe de gestion Base de données du projet : pour mettre à jour le système de recueil systématique de données - Personne chargée de la saisie des données Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Outil ou étude mis en place Quoi Comment Mesures Méthodologie Questionnaire de satisfaction des clients Formulaire « Questionnaire de satisfaction des clients » structuré - Clients Satisfaction des clients : qualité et rapidité du service, accessibilité physique et attitude des prestataires de services Les clients du centre remplissent le formulaire « Questionnaire de satisfaction des clients » au cours de leur visite de suivi. Le formulaire est analysé et utilisé par les prestataires de services pour améliorer les services. Études de cas Modèle standard - Personnel technique Résultats des activités du projet sur la vie du bénéficiaire Clients identifiés selon des critères définis, enregistrement au cours du suivi régulier et résumé de l'étude de cas Évaluation des compétences du personnel technique Évaluation des compétences des kinésithérapeutes et des ortho-prothésistes en fonction des compétences et responsabilités nécessaires pour leur travail - Personnel technique expérimenté Renforcement des connaissances et compétences techniques du personnel de réadaptation Le personnel technique expérimenté de HI évalue les compétences du personnel technique des partenaires une fois par an pour les kinésithérapeutes et deux fois par an pour les ortho-prothésistes. Cette évaluation est suivie d'un plan de tutorat personnalisé Établissement d'objectifs Établissement d'objectifs conjointement avec les clients et les accompagnants - Personnel technique Amélioration fonctionnelle du client Approche axée sur le client : les clients et les membres de leur famille sont consultés et participent à l'établissement des objectifs à atteindre au cours du processus de réadaptation - Établissement d'objectifs SMART Système de gestion de la réadaptation Liste de contrôle de cinq domaines essentiels de la gestion d'un centre - Prestataires de services Mesure la qualité de services dans cinq domaines essentiels (utilisateurs, résultats du service, budget, personnel et gestion interne) Le personnel du centre mesure de façon participative la performance dans cinq domaines essentiels de la gestion par rapport à une norme. Cette évaluation permet de prévoir des améliorations dans les domaines prioritaires. Questionnaire de satisfaction des clients : mesure/contrôle la qualité des services en se basant sur les services dispensés en kinésithérapie et en orthoprothésie et sur le comportement du personnel en réadaptation. Le conseiller au centre complète le formulaire avec chaque client se présentant à la 3ème visite de suivi pour minimiser les informations biaisées. Études de cas : utilisées pour mesurer les résultats et l'effet des activités du projet sur la vie des bénéficiaires. Les études de cas mesurent l'impact sur les bénéficiaires en termes d'effet clinique et de participation sociale. Études de cas à court terme, s'appuyant sur une période de service de 3 à 5 mois. Évaluation des compétences du personnel technique des partenaires : utilisée pour mesurer et surveiller les résultats du projet sur les ressources humaines. Compte tenu de l'évaluation initiale (informations de base), le personnel technique expérimenté de HI a apporté un soutien au personnel technique des partenaires : accompagnement au cours de visites terrain, soutien à distance et orientation vers des associations professionnelles. Il est prévu que l'évaluation des compétences soit vérifiée une fois par an pour les kinésithérapeutes des partenaires et deux fois par an pour les ortho-prothésites des partenaires. Le plan de renforcement des capacités sera modifié en fonction de cette évaluation Établissement d'objectifs axés sur les clients : utilisés pour améliorer la qualité des services offerts en encourageant une approche axée sur les clients. Il ne s'agit plus de charité mais d'une approche éclairée par les droits : les clients et les membres de leur famille ont été consultés et ont participé à l'établissement des objectifs à atteindre au cours du processus de réadaptation. La disponibilité et le temps limité du client ont été pris en compte lors de l'établissement des objectifs, afin de mettre en place des objectifs SMART. Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Résultats ou impact mis en lumière par l'outil ou l'étude Questionnaire de satisfaction des clients : satisfaction des bénéficiaires = 88 % de l'ensemble des bénéficiaires paraissaient satisfaits des services fournis Étude de cas : évolution importante de la qualité de vie de l'individu Évaluation des compétences du personnel technique : mesure le niveau de compétence technique du personnel de réadaptation Établissement d'objectifs : efficacité et bien-fondé des interventions dans un délai donné pour chaque client, qualité des services Base de données du projet : vue d'ensemble des services fournis, notamment la couverture géographique, l'équité et l'efficacité, le taux d'utilisation, la prévalence de la déficience par rapport au groupe d'âge, le délai d'intervention, etc. Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Base de données du projet L'analyse de la base de données indique que 25 % des enfants ont intégré des centres de réadaptation fonctionnelle avant l'âge d'un an. Une intervention précoce aide au bon rétablissement des enfants atteints de pied bot Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Questionnaire de satisfaction des clients Analyse du questionnaire de satisfaction des clients Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Résultats ou impact mis en lumière par l'outil ou l'étude Photos avant/après de l'étude de cas Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Facilitateurs et obstacles Outils Facilitateurs Obstacles / Défis Questionnaire de satisfaction des clients Présence d'un conseiller Biais (réponses positives) Faible alphabétisation des bénéficiaires Étude de cas Modèle d'étude de cas Visites à domicile et présence de travailleurs communautaires spécialisés dans le handicap La langue est un obstacle pour le personnel local Perte de temps (2 à 3 heures pour remplir un questionnaire) Processus long (3 à 6 mois) Établissement d'objectifs Ressources techniques au sein des centres de réadaptation fonctionnelle Approche axée sur le client Gestion du temps (pour ceux qui viennent de zones reculées) Négociation avec les membres de la famille, qui ont toujours de grandes attentes Le suivi n'est pas toujours possible Évaluation des compétences Présence de kinésithérapeutes et d'ortho-prothésistes expérimentés Processus interne, non institutionnalisé. Il faut du temps pour mesurer les résultats et les effets Base de données du projet Personnel qualifié de HI Faibles compétences informatiques du personnel des partenaires Corruption des fichiers et coupures de courant Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh Comment reproduire ? Pour utiliser ces outils de manière efficace, une visibilité à long terme du projet est essentielle, car il faut créer l'outil, le tester sur le terrain, l'utiliser, examiner et enfin analyser les résultats. Il faut du personnel qualifié et renforcer les capacités du personnel au niveau de HI et des partenaires Outils Recommandations Questionnaire de satisfaction des clients : Faire participer des acteurs externes à l'évaluation et utiliser des forums de discussion afin d'avoir une enquête globale Étude de cas : Choisir le cas à un stade précoce de la période du projet, afin d'avoir assez de temps pour le suivre et voir les résultats Utiliser des critères définis pour choisir les cas Évaluation des compétences : Se référer à une norme internationale pour être plus précis Établissement d'objectifs : Promouvoir une approche axée sur le client Garantir de solides compétences cliniques du personnel technique Base de données : Ventiler autant que possible les données par type de handicap, itinéraire du client, catégorie socio-économique, groupe ethnique, groupe d'âge... Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh

Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh Récapitulatif : Plusieurs outils nous permettent de vérifier l'impact. Cependant, il reste encore des perspectives d'amélioration dans la collecte de données qualitatives. Limite : la qualité de la mesure de l'impact dépend des capacités des partenaires (ressources humaines, outils, compétences cliniques, compétences en gestion). S'appuyer sur des définitions et un outil normalisés au niveau international dans le secteur de la réadaptation aidera à améliorer les outils d'évaluation d'impact. Il faudra cependant les adapter au contexte local. Séminaire Évaluation d'impact du 2 au 6 décembre, Phnom Penh