Journée B&S - 17/11/2011 Vers davantage d’hétérogénéité dans les études précliniques ? L. Baschet 1, L. Cousseins 2, A. de Montfort 3, K. Florin 2, C. Hessler 3, S. Leuillet 4, L. Maïofiss 1, P. Rondeau 5 SFdS – B&S – Bonnes Pratiques Statistiques en Préclinique 1 Institut de Recherches Servier, 2 Sanofi, 3 Sanofi Pasteur, 4 CIToxLAB, 5 Danone Research

Journée B&S - 17/11/2011 Plan  Le groupe de travail  Le contexte des expériences in-vivo  Vers une nouvelle approche ?  Focus sur un cas concret : critiques d’un article  Conclusions  Perspectives

Journée B&S - 17/11/2011 Le groupe de travail BPS Préclinique Ce groupe est justifié par notre domaine d’activité qui fait que :  Les équipes de statisticiens sont réduites (statisticien isolé !)  Besoin de travailler ensemble sur des méthodes puis réfléchir à leur mise en œuvre  Le domaine préclinique est à la fois large et spécifique  Besoin de partager / Confronter nos expériences et "façons de faire"  Nous avons peu de contraintes réglementaires, avec pas/peu de guidelines  Besoin de présenter / publier à l’extérieur et dans nos labos afin de sensibiliser nos interlocuteurs en recherche

Journée B&S - 17/11/2011 Nos activités de statisticien en préclinique  Conseil / support /Formation auprès des chercheurs  Aide à la mise en place de protocoles expérimentaux (choix du design, calcul d’effectif, randomisation, choix de la méthodologie d’analyse), avec des considérations éthiques grandissantes  protocoles dont les expériences sont réitérées un grand nombre de fois (screening, confirmation)  Mise à disposition d’outils statistiques pour les chercheurs (développements spécifiques ou conseils sur des outils du marché)  Analyses statistiques (études spécifiques à fort besoin d’expertise stat)  Veille (amélioration des modèles, méthodes …)

Journée B&S - 17/11/2011 Le contexte des expériences in-vivo  Les conclusions des protocoles de routine doivent être : fiables (puissantes et reproductibles) pour pouvoir comparer et sélectionner les produits prédictives de l’effet d’un produit dans le modèle animal étudié  Aujourd’hui, les protocoles in-vivo sont très standardisés (âge/poids des animaux, fournisseur, conditions d’hébergement…) pour : réduire la variabilité intra-expérience et limiter le nombre d’animaux utilisés (règle de 3 R : reduce) assurer la reproductibilité des conclusions en fixant certaines conditions expérimentales

Journée B&S - 17/11/2011 Constat  Fiabilité des conclusions ? Puissantes ? Oui Reproductibles ? Pas toujours  Prédictives de l’effet d’un produit dans le modèle animal étudié ? Non : conclusions valables uniquement dans un microenvironnement (souris BalbC femelles de 4 semaines du labo 3…)  Remise en question de la standardisation

 Plusieurs articles proposent de rendre plus hétérogènes les expériences pour améliorer la reproductibilité des résultats inter-expériences tout en élargissant le périmètre des conclusions  Quelques références Journée B&S - 17/11/2011 Vers une nouvelle approche ?

Journée B&S - 17/11/2011 Focus sur un cas concret Un article a particulièrement retenu notre attention : Systematic variation improves reproducibility of animal experiments – Würbel et al. – Nature methods, vol 7 n°3 (2010)

Journée B&S - 17/11/2011 Présentation de l’article : l’étude  Objectif Comparer la reproductibilité d’un effet ‘souche de souris’ entre une série d’expériences standardisées et une série d’expériences hétérogènes (âge des souris, enrichissement du milieu, lumière, niveau sonore, expérimentateur…)  Paramètres mesurés 36 paramètres issus de 3 tests comportementaux classiques  Free Exploration Test  Open Field Test  Novel Object Test

Journée B&S - 17/11/2011 Présentation de l’article : le design Condition : 2 modalités Bloc : 4 par expérience Expérience : 8 au total Réplicat : 4 par condition Total : 256 souris femelles N=4 par cage

Journée B&S - 17/11/2011 Présentation de l’article : les conclusions  Les expériences hétérogènes diminuent la variabilité inter-expériences, rendant ainsi les résultats des expériences plus stables.  Les expériences standardisées peuvent générer des résultats ‘erronés’ et limitent l’inférence aux conditions spécifiques testées.

Journée B&S - 17/11/2011 Les analyses statistiques de l’article  1 analyse par expérience 8 ANOVAs * 36 paramètres  1 analyse par condition (HET ou STAN) pour évaluer l’interaction (souche*expérience) 2 ANOVA * 36 paramètres Analyses complémentaires sur les F-ratios de l’interaction et construction d’un autre F-ratio …  Multiplication des analyses statistiques  Tous les paramètres sont analysés même s’ils sont redondants ou peu pertinents

Journée B&S - 17/11/2011 Nos objectifs  Vérifier les conclusions de l’article en construisant un modèle global sur une sélection de paramètres Le design HET a-t-il bien créé de l’hétérogénéité intra- expérience (4 blocs / expérience) ? Les conclusions d’une expérience à l’autre sont-elles effectivement moins stables en condition STAN qu’en condition HET ?  Répondre aux auteurs

Journée B&S - 17/11/2011 La sélection des paramètres  Etude de normalité +/- transformation  Classification Ascendante Hiérarchique (distance corr Spearman, agrégation Ward)  création de 7 clusters  Sélection de 7 critères (un par cluster): a priori les plus pertinents d’un point de vue comportemental distribution normale exemplifiés dans l’article répartis sur les 3 tests pharmacologiques

Journée B&S - 17/11/2011 Le modèle utilisé  Modèle mixte (proc Mixed) Y = Condition|Réplicat|Souche  random bloc(expérience) : l a variance introduite par les blocs est prise en compte dans le modèle  group=Condition : une variance inter-bloc est définie spécifiquement pour chaque condition (STAN et HET), tout en conservant la même résiduelle  Les résultats plus particulièrement regardés :  La variance inter-blocs pour chaque condition  Le contraste (Souche*Replicat) pour chaque condition STAN et HET  Interaction d’ordre 3 (Condition*Souche*Replicat)

Journée B&S - 17/11/2011 Les résultats obtenus (1)  Le design HET a-t-il bien créé de l’hétérogénéité ? variableVar HETVar STAN FET_Entries_Garden FET_bolus FET_path_length FET_time_Garden FET_Entries_House NOT_approach_to_object_10cm NOT_corner_time NOT_explo_time_total_ NOT_explo_time_total_ NOT_path_length_object_ NOT_path_length_object_200 NOT_path_length_total NOT_time_spent NOT_velocity OFT_Velocity OFT_bolus OFT_entries_centre OFT_path_length_WZ_2_10cm OFT_path_length_WZ_3_18cm OFT_path_length_centre OFT_path_length_corner OFT_path_length_total OFT_path_length_zone_ OFT_time_WZ_2_10cm OFT_time_WZ_3_18cm00 OFT_time_corner_total OFT_time_in_centre OFT_time_zone_ variableVar HETVar STAN FET_Velocity FET_time_House_total NOT_bolus OFT_path_length_WZ_1_5cm OFT_time_WZ_1_5cm OFT_duration_movement NOT_explo_freq  Variance HET > Var STAN pour 6/7 des paramètres sélectionnés  ~2/3 des 36 paramètres avec hétérogénéisation OK  Le design HET a globalement introduit de l’hétérogénéité Tableau des variabilités inter-blocs par condition

 Les conclusions d’une expérience à l’autre sont-elles moins stables en condition STAN qu’en condition HET ? Interactions de niveau 3 NS (manque puissance ?) Mais interactions de niveau 2 conformes aux résultats attendus Remarque: ces 3 paramètres sont issus du test OFT Les résultats obtenus (2) Condition*souche*replicat Souche*replicat p=0.301 STANp=0.009HETp=0.436 p=0.668 STANp=0.084HETp=0.822 p=0.298 STANp=0.028HETp=0.939 Journée B&S - 17/11/2011

Les résultats obtenus (3)  Les conclusions d’une expérience à l’autre sont-elles moins stables en condition STAN qu’en condition HET ? HET instable ! p=0.233 STANp=0.001HETp=0.006 p=0.838 STANp=0.512HETp=0.230 p=0.014 STANp<0.001HETp=0.005 p=0.519 STANp=0.409HETp=0.804 STAN stable !

Journée B&S - 17/11/2011 Conclusion  Les résultats ne permettent pas de répondre sans ambigüité à l’objectif Mais :  Les facteurs d’hétérogénéisation ne sont pas forcément adaptés à ces tests comportementaux  Les critères de jugement ne sont pas optimisés (trop nombreux et pas tous intéressants)

Journée B&S - 17/11/2011 Perspectives  Impliquer chercheurs et comités d’éthique  Eprouver ce concept d’hétérogénéisation des expériences dans nos laboratoires Identifier les protocoles les moins stables Sélectionner les facteurs d’hétérogénéisation Proposer des protocoles ad-hoc

Journée B&S - 17/11/2011 Back-up

Journée B&S - 17/11/2011

 Plusieurs articles proposent de rendre plus hétérogènes les expériences pour améliorer la reproductibilité des résultats inter-expériences tout en élargissant le périmètre des conclusions  Quelques références Journée B&S - 17/11/2011 Vers une nouvelle approche ?

 Quelques références Journée B&S - 17/11/2011 Vers une nouvelle approche ?

Journée B&S - 17/11/2011 Vers une nouvelle approche ?  Quelques références

Journée B&S - 17/11/2011 Vers une nouvelle approche ?  Quelques références

Journée B&S - 17/11/2011 Critique du design de l’étude  Les facteurs d’hétérogénéisation ne sont pas forcément signifiants pour ces tests comportementaux  Le design proposé ne permet pas de répondre sans ambigüité à l’objectif STAN versus HET

Journée B&S - 17/11/2011 Résultats cond

Journée B&S - 17/11/2011 Les résultats obtenus (2)  Les conclusions d’une expérience à l’autre sont-elles moins stables en condition STAN qu’en condition HET ? ClusterVariable cond (STAN) cond (HET) 1 OFT_time_WZ_1_5cm NOT_explo_freq NOT_bolus OFT_duration_movement FET_Velocity FET_time_House_total OFT_path_length_WZ_1_5cm Tableau des probabilités de l’interaction (Strain x Replicat) à condition fixée

Journée B&S - 17/11/2011 Résultats cond  OFT_time_WZ_1_5cm a remplacé OFT time corner total initialement choisi. Les 2 critères sont en rang mais au moins l’heterog est OK en HET pour OFT_time_WZ_1_5cm