Journée B&S - 17/11/2011 Vers davantage d’hétérogénéité dans les études précliniques ? L. Baschet 1, L. Cousseins 2, A. de Montfort 3, K. Florin 2, C.

Présentation au sujet: "Journée B&S - 17/11/2011 Vers davantage d’hétérogénéité dans les études précliniques ? L. Baschet 1, L. Cousseins 2, A. de Montfort 3, K. Florin 2, C."— Transcription de la présentation:

1 Journée B&S - 17/11/2011 Vers davantage d’hétérogénéité dans les études précliniques ? L. Baschet 1, L. Cousseins 2, A. de Montfort 3, K. Florin 2, C. Hessler 3, S. Leuillet 4, L. Maïofiss 1, P. Rondeau 5 SFdS – B&S – Bonnes Pratiques Statistiques en Préclinique 1 Institut de Recherches Servier, 2 Sanofi, 3 Sanofi Pasteur, 4 CIToxLAB, 5 Danone Research

2 Journée B&S - 17/11/2011 Plan  Le groupe de travail  Le contexte des expériences in-vivo  Vers une nouvelle approche ?  Focus sur un cas concret : critiques d’un article  Conclusions  Perspectives

3 Journée B&S - 17/11/2011 Le groupe de travail BPS Préclinique Ce groupe est justifié par notre domaine d’activité qui fait que :  Les équipes de statisticiens sont réduites (statisticien isolé !)  Besoin de travailler ensemble sur des méthodes puis réfléchir à leur mise en œuvre  Le domaine préclinique est à la fois large et spécifique  Besoin de partager / Confronter nos expériences et "façons de faire"  Nous avons peu de contraintes réglementaires, avec pas/peu de guidelines  Besoin de présenter / publier à l’extérieur et dans nos labos afin de sensibiliser nos interlocuteurs en recherche

4 Journée B&S - 17/11/2011 Nos activités de statisticien en préclinique  Conseil / support /Formation auprès des chercheurs  Aide à la mise en place de protocoles expérimentaux (choix du design, calcul d’effectif, randomisation, choix de la méthodologie d’analyse), avec des considérations éthiques grandissantes  protocoles dont les expériences sont réitérées un grand nombre de fois (screening, confirmation)  Mise à disposition d’outils statistiques pour les chercheurs (développements spécifiques ou conseils sur des outils du marché)  Analyses statistiques (études spécifiques à fort besoin d’expertise stat)  Veille (amélioration des modèles, méthodes …)

5 Journée B&S - 17/11/2011 Le contexte des expériences in-vivo  Les conclusions des protocoles de routine doivent être : fiables (puissantes et reproductibles) pour pouvoir comparer et sélectionner les produits prédictives de l’effet d’un produit dans le modèle animal étudié  Aujourd’hui, les protocoles in-vivo sont très standardisés (âge/poids des animaux, fournisseur, conditions d’hébergement…) pour : réduire la variabilité intra-expérience et limiter le nombre d’animaux utilisés (règle de 3 R : reduce) assurer la reproductibilité des conclusions en fixant certaines conditions expérimentales

6 Journée B&S - 17/11/2011 Constat  Fiabilité des conclusions ? Puissantes ? Oui Reproductibles ? Pas toujours  Prédictives de l’effet d’un produit dans le modèle animal étudié ? Non : conclusions valables uniquement dans un microenvironnement (souris BalbC femelles de 4 semaines du labo 3…)  Remise en question de la standardisation

7  Plusieurs articles proposent de rendre plus hétérogènes les expériences pour améliorer la reproductibilité des résultats inter-expériences tout en élargissant le périmètre des conclusions  Quelques références Journée B&S - 17/11/2011 Vers une nouvelle approche ?

8 Journée B&S - 17/11/2011 Focus sur un cas concret Un article a particulièrement retenu notre attention : Systematic variation improves reproducibility of animal experiments – Würbel et al. – Nature methods, vol 7 n°3 (2010)

9 Journée B&S - 17/11/2011 Présentation de l’article : l’étude  Objectif Comparer la reproductibilité d’un effet ‘souche de souris’ entre une série d’expériences standardisées et une série d’expériences hétérogènes (âge des souris, enrichissement du milieu, lumière, niveau sonore, expérimentateur…)  Paramètres mesurés 36 paramètres issus de 3 tests comportementaux classiques  Free Exploration Test  Open Field Test  Novel Object Test

10 Journée B&S - 17/11/2011 Présentation de l’article : le design Condition : 2 modalités Bloc : 4 par expérience Expérience : 8 au total Réplicat : 4 par condition Total : 256 souris femelles N=4 par cage

11 Journée B&S - 17/11/2011 Présentation de l’article : les conclusions  Les expériences hétérogènes diminuent la variabilité inter-expériences, rendant ainsi les résultats des expériences plus stables.  Les expériences standardisées peuvent générer des résultats ‘erronés’ et limitent l’inférence aux conditions spécifiques testées.

12 Journée B&S - 17/11/2011 Les analyses statistiques de l’article  1 analyse par expérience 8 ANOVAs * 36 paramètres  1 analyse par condition (HET ou STAN) pour évaluer l’interaction (souche*expérience) 2 ANOVA * 36 paramètres Analyses complémentaires sur les F-ratios de l’interaction et construction d’un autre F-ratio …  Multiplication des analyses statistiques  Tous les paramètres sont analysés même s’ils sont redondants ou peu pertinents

13 Journée B&S - 17/11/2011 Nos objectifs  Vérifier les conclusions de l’article en construisant un modèle global sur une sélection de paramètres Le design HET a-t-il bien créé de l’hétérogénéité intra- expérience (4 blocs / expérience) ? Les conclusions d’une expérience à l’autre sont-elles effectivement moins stables en condition STAN qu’en condition HET ?  Répondre aux auteurs

14 Journée B&S - 17/11/2011 La sélection des paramètres  Etude de normalité +/- transformation  Classification Ascendante Hiérarchique (distance corr Spearman, agrégation Ward)  création de 7 clusters  Sélection de 7 critères (un par cluster): a priori les plus pertinents d’un point de vue comportemental distribution normale exemplifiés dans l’article répartis sur les 3 tests pharmacologiques

15 Journée B&S - 17/11/2011 Le modèle utilisé  Modèle mixte (proc Mixed) Y = Condition|Réplicat|Souche  random bloc(expérience) : l a variance introduite par les blocs est prise en compte dans le modèle  group=Condition : une variance inter-bloc est définie spécifiquement pour chaque condition (STAN et HET), tout en conservant la même résiduelle  Les résultats plus particulièrement regardés :  La variance inter-blocs pour chaque condition  Le contraste (Souche*Replicat) pour chaque condition STAN et HET  Interaction d’ordre 3 (Condition*Souche*Replicat)

16 Journée B&S - 17/11/2011 Les résultats obtenus (1)  Le design HET a-t-il bien créé de l’hétérogénéité ? variableVar HETVar STAN FET_Entries_Garden2.43970.5491 FET_bolus1.23990.3255 FET_path_length8092936223 FET_time_Garden46.56320 FET_Entries_House12.85653.5199 NOT_approach_to_object_10cm1.32679.0558 NOT_corner_time440.461177.54 NOT_explo_time_total_10064.7249 NOT_explo_time_total_5555.47386.16 NOT_path_length_object_13194.851652.35 NOT_path_length_object_200 NOT_path_length_total3687259601 NOT_time_spent544.090 NOT_velocity0.10250.1657 OFT_Velocity0.10980.0486 OFT_bolus0.67951.1238 OFT_entries_centre55.655536.9794 OFT_path_length_WZ_2_10cm4137.383705.78 OFT_path_length_WZ_3_18cm4257.29569.33 OFT_path_length_centre243244163.82 OFT_path_length_corner041.2683 OFT_path_length_total3949217333 OFT_path_length_zone_43948.80 OFT_time_WZ_2_10cm2.63388.4938 OFT_time_WZ_3_18cm00 OFT_time_corner_total56.063585.2239 OFT_time_in_centre130.8569.8879 OFT_time_zone_4388.0729.2859 variableVar HETVar STAN FET_Velocity0.22790.1028 FET_time_House_total1654.890 NOT_bolus0.77840.7423 OFT_path_length_WZ_1_5cm3539.511758.9 OFT_time_WZ_1_5cm130.9165.3946 OFT_duration_movement520.47381.36 NOT_explo_freq11.99080.3745  Variance HET > Var STAN pour 6/7 des paramètres sélectionnés  ~2/3 des 36 paramètres avec hétérogénéisation OK  Le design HET a globalement introduit de l’hétérogénéité Tableau des variabilités inter-blocs par condition

17  Les conclusions d’une expérience à l’autre sont-elles moins stables en condition STAN qu’en condition HET ? Interactions de niveau 3 NS (manque puissance ?) Mais interactions de niveau 2 conformes aux résultats attendus Remarque: ces 3 paramètres sont issus du test OFT Les résultats obtenus (2) Condition*souche*replicat Souche*replicat p=0.301 STANp=0.009HETp=0.436 p=0.668 STANp=0.084HETp=0.822 p=0.298 STANp=0.028HETp=0.939 Journée B&S - 17/11/2011

18 Les résultats obtenus (3)  Les conclusions d’une expérience à l’autre sont-elles moins stables en condition STAN qu’en condition HET ? HET instable ! p=0.233 STANp=0.001HETp=0.006 p=0.838 STANp=0.512HETp=0.230 p=0.014 STANp<0.001HETp=0.005 p=0.519 STANp=0.409HETp=0.804 STAN stable !

19 Journée B&S - 17/11/2011 Conclusion  Les résultats ne permettent pas de répondre sans ambigüité à l’objectif Mais :  Les facteurs d’hétérogénéisation ne sont pas forcément adaptés à ces tests comportementaux  Les critères de jugement ne sont pas optimisés (trop nombreux et pas tous intéressants)

20 Journée B&S - 17/11/2011 Perspectives  Impliquer chercheurs et comités d’éthique  Eprouver ce concept d’hétérogénéisation des expériences dans nos laboratoires Identifier les protocoles les moins stables Sélectionner les facteurs d’hétérogénéisation Proposer des protocoles ad-hoc

21 Journée B&S - 17/11/2011 Back-up

22 Journée B&S - 17/11/2011

23  Plusieurs articles proposent de rendre plus hétérogènes les expériences pour améliorer la reproductibilité des résultats inter-expériences tout en élargissant le périmètre des conclusions  Quelques références Journée B&S - 17/11/2011 Vers une nouvelle approche ?

24  Quelques références Journée B&S - 17/11/2011 Vers une nouvelle approche ?

25 Journée B&S - 17/11/2011 Vers une nouvelle approche ?  Quelques références

26 Journée B&S - 17/11/2011 Vers une nouvelle approche ?  Quelques références

27 Journée B&S - 17/11/2011 Critique du design de l’étude  Les facteurs d’hétérogénéisation ne sont pas forcément signifiants pour ces tests comportementaux  Le design proposé ne permet pas de répondre sans ambigüité à l’objectif STAN versus HET

28 Journée B&S - 17/11/2011 Résultats souche*experience @ cond

29 Journée B&S - 17/11/2011 Les résultats obtenus (2)  Les conclusions d’une expérience à l’autre sont-elles moins stables en condition STAN qu’en condition HET ? ClusterVariable (rep*strain) @ cond (STAN) (rep*strain) @ cond (HET) 1 OFT_time_WZ_1_5cm 0.02820.9391 2 NOT_explo_freq 0.4090.8037 3 NOT_bolus0.00010.0052 4 OFT_duration_movement0.0092 0.4357 5 FET_Velocity0.00140.0064 6 FET_time_House_total 0.5120.2296 7 OFT_path_length_WZ_1_5cm 0.08430.8217 Tableau des probabilités de l’interaction (Strain x Replicat) à condition fixée

30 Journée B&S - 17/11/2011 Résultats souche*experience @ cond  OFT_time_WZ_1_5cm a remplacé OFT time corner total initialement choisi. Les 2 critères sont en rang mais au moins l’heterog est OK en HET pour OFT_time_WZ_1_5cm