Épidémiologie et évaluation cliniques CEC Inserm CHU Nancy Détermination d’une dose d’intervention reçue dans les essais non médicamenteux Détermination d’une dose d’intervention reçue dans les essais non médicamenteux K. Legrand, C. Latarche, E. Bonsergent, F. Empereur, JF. Collin, N.Thilly, S.Briançon 5ème conférence EPICLIN : Marseille 5 et 6 mai 2011

Contexte  Importante variabilité de réalisation de l’intervention susceptible de survenir dans les essais cliniques non médicamenteux, ou dans les essais de prévention, de promotion de la santé  Pourtant, l’analyse des résultats est fréquemment conduite sans tenir compte de cette variabilité, pouvant mener à conclure qu’une intervention est apparemment inefficace alors que, dans la réalité, elle n’a pas été mise en œuvre comme prévu. (Erreur de type III)  Dans ces essais, nécessité après l’analyse en ITT, de  Disposer d’une évaluation du processus, étude d’implantation  Estimer une dose d’intervention effectivement reçue par la population cible  Réaliser une analyse per protocole  Surmonter l’effet « boite noire »

Objectif  Construire une démarche et un instrument permettant de mesurer la quantité et la qualité de mise en œuvre d’activités, prévues ou non, dans les essais en cluster  Appliquer la démarche à l’essai PRALIMAP (PRomotion de l’ALIMentation et de l’Activité Physique)

Application au programme PRALIMAP  Objectif de PRALIMAP: évaluer l’efficacité de trois stratégies de prévention du surpoids et de l’obésité, proposées isolément ou en association à des adolescents en milieu scolaire  Essai contrôlé randomisé en grappes (24 lycées), stratifié, selon plan factoriel 2*2*2, de l’entrée de la seconde à l’entrée en terminale  3 stratégies  Éducation:  Éducation: Cours et travaux de groupes sur la nutrition, et fête nutritionnelle  Dépistage:  Dépistage: repérage des adolescents en surpoids ou obèses et proposition d’une prise en charge adaptée  Environnement:  Environnement: amélioration de l’environnement nutritionnel du lycée et fête nutritionnelle

Démarche  Concepts  Identification des grappes homogènes d’intervention (GHI)  Identification de la temporalité  Catégorisation des acteurs  Catégorisation des activités  Recueil de données  Exploitation des données et valorisation des indicateurs  Attribution de notes à chaque GHI pour chaque domaine (réalisation et participation) dans ses 2 déclinaisons (quantité et qualité)  Calcul des doses d’intervention prévue (spécifique) et non prévue (générale)

Concepts : domaines Réalisation effective Participation des acteurs prévue/ non prévue La réalisation des activitésLa participation Doses d’intervention

des déclinaisons La réalisation des activitésLa participation Doses d’intervention La quantitéLa qualitéLa quantitéLa qualité Integrity, fidelity, adherence, dosage, exposure, quality of delivery, participant responsiveness, program reach

Identification des grappes homogènes d’intervention (GHI)  GHI = unité au sein de laquelle  les intervenants ont, pour une intervention dont l’investigateur veut mesurer l’effet, des pratiques spécifiques susceptibles d’introduire une variabilité dans la mise en œuvre des activités prévues par les référentiels de l’intervention,  peuvent être réalisées des activités dans la même thématique, non prévues par les référentiels de l’intervention.  GHI identifiée par l’investigateur dès la conception du programme  GHI = Toutes les combinaisons possibles entre les structures (par exemple, hôpitaux, services, écoles, classes, villes, quartiers….) et les interventions définies (par exemple éducation, soins, prévention…) dans l’essai.

Identification des GHI PRALIMAP Exemple Lycée n°1 Exemple Lycée n°2 Total pour les 24 lycées Stratégie Éducation GHI - TémoinGHI Stratégie Éducation 12 GHI Stratégie Éducation 12 GHI Témoin Stratégie Dépistage GHI - TémoinGHI Stratégie Dépistage 12 GHI Stratégie Dépistage 12 GHI Témoin Stratégie Environnement GHI - TémoinGHI – Témoin12 GHI Stratégie Environnement 12 GHI Témoin TOTAL3 GHI (dont 3 Témoin) 3 GHI (dont 1 Témoin) 72 GHI (dont 36 Témoin)

Identification de la temporalité dans PRALIMAP  Si essai sur une longue durée = découpage en périodes :  pour prendre en compte des phénomènes de lassitude ou d’apprentissage, des changements d’acteurs  Cohérence avec le calendrier de mesure de résultats  PRALIMAP : Activités réalisées sur 2 années  Classe de 2 nde  Classe de 1 ère 2 années  Temporalité = 2 années

Catégorisation des acteurs  3 catégories d’acteurs :  Facilitateurs  Facilitateurs Fournissent, informent et forment les relayeurs  référents PRALIMAP* chargés du suivi des activités dans chaque établissement  Relayeurs  Relayeurs : ont en charge la réalisation de l’intervention sur le terrain; ils sont receveurs et fournisseurs  professionnels des lycées et professionnels de santé pour la prise en charge des élèves en surpoids ou obèses  Personnes cibles :  Personnes cibles : bénéficient in fine de l’intervention  les élèves bénéficiaires des interventions * Professionnels d’éducation pour la santé (réseau CRES/CODES maintenant IREPS)

La réalisation des activitésLa participation Dose d’intervention PRALIMAP La quantitéLa qualité La quantitéLa qualité Facilitateurs : Référent PRALIMAP Relayeurs : - Professionnels des lycées « fournisseurs » de l’intervention - Professionnels des lycées « receveurs » de l’intervention - Professionnels des réseaux de prise en charge Personnes cibles : -Élèves visés par le programme Facilitateurs : Référent PRALIMAP Relayeurs : - Professionnels des lycées « fournisseurs » de l’intervention - Professionnels des lycées « receveurs » de l’intervention - Professionnels des réseaux de prise en charge Relayeurs : - Professionnels des lycées « fournisseurs » de l’intervention - Professionnels des lycées « receveurs » de l’intervention - Professionnels des réseaux de prise en charge Relayeurs : - Professionnels des lycées « fournisseurs » de l’intervention - Professionnels des lycées « receveurs » de l’intervention - Professionnels des réseaux de prise en charge Personnes cibles : -Élèves visés par le programme Personnes cibles : -Élèves visés par le programme Personnes cibles : -Élèves visés par le programme

Catégorisation des activités  2 catégories d’activité:  Activités spécifiques  Activités spécifiques dans les 36 GHIs « Intervention » portant sur les activités PRALIMAP prévues par le référentiel  Pour les 12 GHI « Education » : réalisation et participation aux cours de nutrition, aux travaux de groupe et aux fêtes nutritionnelles  Pour les 12 GHI « Dépistage » : réalisation des mesures anthropométriques et de la proposition de prise en charge et participation à cette prise en charge  Pour les 12 GHI « Environnement » : réalisation d’amélioration de l’environnement dans le lycée (offre alimentaire, d’activité physique…) et participation aux fêtes nutritionnelles  Activités générales  Activités générales dans les 72 GHIs portant sur les activités nutritionnelles éducatives, de dépistage et d’environnement réalisées non identifiées comme appartenant au programme PRALIMAP

Recueil de données  Permet de valoriser les indicateurs élaborés, s’appuie sur d es recueils  sources multiples,  approches quantitative et qualitative  au début, en cours et fin de programme  Dans PRALIMAP,  Enquête d’environnement (observation),  Bilans d’activité,  Questionnaire d’appréciation du programme par les élèves  Questionnaire de satisfaction pour certaines activités (fêtes nutritionnelles, ateliers de prise en charge…)  Focus group auprès des professionnels des lycées  Entretiens semi-directifs auprès des référents

 Les indicateurs sont regroupés au sein de fiches  Pour chaque GHI : 2 fiches construites :  l’une pour les activités spécifiques  l’autre pour les activités générales.  Les indicateurs sont ordonnés hiérarchiquement par domaine, déclinaison et sources d’information (1 par ligne) et leurs valeurs présentées pour chacune des périodes (1 par colonne). Exploitation des données et valorisation des indicateurs

 En fonction du nombre de stratégies allouées au lycée le nombre de fiches varie de 4 à 7 fiches :  GHI – Stratégie Education : 1 fiche avec des indicateurs généraux et 1 fiche avec des indicateurs spécifiques  GHI – Témoin « stratégie éducationnelle » : 1 fiche avec des indicateurs généraux  GHI – Stratégie dépistage : 1 fiche avec des indicateurs généraux et 1 fiche avec des indicateurs spécifiques  GHI – Témoin « stratégie dépistage » : 1 fiche avec des indicateurs généraux  GHI – Stratégie environnementale : 1 fiche avec des indicateurs généraux et 1 fiche avec des indicateurs spécifiques  GHI – Témoin « stratégie environnementale » : 1 fiche avec des indicateurs généraux

Attribution de notes par GHI- temps/catégorie d’activité  Une note = attribuée pour chaque déclinaison et à chaque temps d’intervention, à partir de l’ensemble des indicateurs correspondants  Expertise collective : multidisciplinaire, décideurs, professionnels, chercheurs spécialistes de la thématique et/ou de l’évaluation, indépendant du programme à évaluer  Confrontation et concertation  Mise en œuvre avant l’analyse des résultats  PRALIMAP :  3 groupes de 6 experts, 1 animateur / groupe et 2 observateurs  Intervalle unique de notation compris entre 0 (pire note) et 20 (meilleure note)  24 lycées répartis anonymement et équitablement  Chaque groupe a analysé :  3 fiches générales de 8 lycées  de 1 à 3 fiches spécifiques de 7 autres lycées.  Un lycée fictif créé et noté par les 3 groupes, permettant de comparer les notations.

Calcul des doses d’intervention  Principe : la quantité de réalisation est pondérée par le degré de sa qualité et des qualité et quantité de la participation auxquelles le même poids est attribué Dose = RQt x (moyenne (RQl, PQt, PQl)/nm) Pour chaque GHI/temps/catégorie d’activité  RQt = note de réalisation quantité  RQl = note de réalisation qualité  PQt = note de participation quantité  PQl= note de participation qualité  nm : note maximale attribuable identique pour toutes les déclinaisons

Contribution des déclinaisons à la note finale Notes spécifiques; lycées avec stratégies éducation 1ere année

Résultats : Description des doses obtenues par stratégie

Doses d’intervention reçues en éducation nutritionnelle lors de la 1ère année

Interaction entre les stratégies éducation et environnement - dose environnement année 1

Discussion  Théorie :  Affinement des concepts et constructions de la mesure des interventions  Prise en compte de toutes les activités réellement délivrées (aussi chez les témoins, problème de la contamination)  Faisabilité :  Doit être prévue dès le début de l’essai  Difficultés :  De disposer d’indicateurs pour tous les acteurs, pour toutes les déclinaisons de tous les domaines  d’identifier ce qui relève de l’intervention de ce qui ne l’est pas (ex: cours de nutrition PRALIMAP)  Utilisation :  Démarche réutilisable  Valider les qualités de la mesure  Analyse per-protocole (considérée à l’échelle du cluster) du programme PRALIMAP

 ARH Lorraine  Conseil Régional de Lorraine  DRASS de Lorraine +GRSP  Ministère de l’enseignement supérieur et de la recherche  Fondation Cœurs et Artères  Fondation Wyeth  Inca  IRESP  Régime local d’assurance maladie d’Alsace Lorraine  Urcam de Lorraine Remerciements Aux innombrables participants de Pralimap Aux experts de la journée du 26 mars 2010

Doses d’intervention reçues en éducation nutritionnelle lors de la 2ème année

Doses d’intervention reçues en dépistage lors de la 1ère année

Doses d’intervention reçues en dépistage lors de la 2ème année

Doses d’intervention reçues en environnement lors de la 1ère année

Doses d’intervention reçues en environnement lors de la 2ème année