D.Gile statscrit1 LUTILISATION DES STATISTIQUES INFERENTIELLES DANS LA RECHERCHE : REFLEXIONS CRITIQUES

D.Gile statscrit2 SIGNIFICATIVITE : UN NIVEAU DE RISQUE (1) LE TEST DE SIGNIFICATION : (Cas simple, mais extrapolable dans son raisonnement) On COMPARE deux ECHANTILLONS REPRESENTATIFS de la population concernée (les malades, les apprenants, les cobayes…) A lun, on a fait subir un certain traitement (médicamenteux, formation, etc.) A lautre, on na fait subir aucun traitement La question : ce traitement a-t-il un effet sur une variable mesurable ?

D.Gile statscrit3 SIGNIFICATIVITE : UN NIVEAU DE RISQUE (2) Si les valeurs que lon mesure sont identiques dans les deux échantillons, on aura tendance à dire que non Si les valeurs dans lun des échantillons sont systématiquement plus grandes qua dans lautre, on aura tendance à dire que oui En réalité, il y a la plupart du temps une variabilité des valeurs mesurées à lintérieur de chaque échantillon On prendra pour représenter cet échantillon la moyenne de ses valeurs Et on comparera les deux moyennes A première vue, si elles sont identiques, on aurait tendance à dire quil ny a pas deffet du traitement Si elles sont différentes, on aurait tendance à dire le contraire

D.Gile statscrit4 SIGNIFICATIVITE : UN NIVEAU DE RISQUE (3) Mais si la différence entre les moyennes est très faible, Nest-il pas possible quelle soit due au hasard ? Surtout sil y a beaucoup de variabilité à lintérieur des échantillons Ce qui influera beaucoup sur notre avis sur lexistence ou non dun effet du traitement, Ce seront lampleur de la différence entre les moyennes Et lampleur de la variabilité à lintérieur des échantillons, Qui nous aidera à déterminer dans quelle mesure une différence de tant entre les moyennes des échantillons Est à considérer comme représentant une différence réelle entre les échantillons, par opposition à une différence due au hasard

D.Gile statscrit5 SIGNIFICATIVITE : UN NIVEAU DE RISQUE (4) NB: Ce qui nous intéresse en réalité, ce sont les populations que représentent ces échantillons Quelles soient fictives ou réelles Ces populations sont-elles « identiques » (pas deffet) ou différentes (existence dun effet) « fictives » : la population de malades qui recevront éventuellement tel médicament si les tests sur son efficacité et sa relative inocuité sont concluants Les moyennes des échantillons sont une estimation des moyennes pour les populations

D.Gile statscrit6 SIGNIFICATIVITE : UN NIVEAU DE RISQUE (5) Tests de signif. choisis en fonction de certaines hypothèses (sur la forme de la distribution des populations, sur la variance…) Partent de lhypothèse H 0 Selon laquelle les deux populations sont identiques Répondent à la question suivante : « Si les deux populations sont identiques Et si je procédais à un échantillonnage pour les sujets traités et les sujets non traités Puis à un nouvel échantillonnage et ainsi de suite, Dans quel pourcentage de cas pourrais-je mattendre à trouver des différences aussi grandes entre les moyennes des deux échantillons que celle que jai trouvées ? »

D.Gile statscrit7 SIGNIFICATIVITE : UN NIVEAU DE RISQUE (6) Un résultat « significatif » à 5% voudrait dire que Je ne trouverais probablement des différences aussi grandes que celles que jai trouvées dans lexpérience pas plus de 5 fois sur 100 échantillonnages, ou une fois sur 20 Sur cette base, je peux décider de conclure, avec un certain risque, que les populations ne sont pas identiques Un résultat « significatif » à 1% voudrait dire que Je ne trouverais probablement des différences aussi grandes que celles que jai trouvées dans lexpérience pas plus de 1 fois sur 100 échantillonnages Sur cette base, je peux décider de conclure, avec un risque inférieur, que les populations ne sont pas identiques

D.Gile statscrit8 RESERVES THEORIQUES (1) Un résultat « significatif » ne dit pas dans quelle mesure les deux populations diffèrent. Elles diffèrent peut-être de si peu que sur le plan pratique, cela nau aucune importance Le résultat significatif donne une indication sur la probabilité de vérité de lhypothèse nulle, les calculs probabilistes étant faits sur cette base. Il ne me donne pas dindications sur la probabilité de vérité de lhypothèse alternative. Or, en général, cest elle qui intéresse les chercheurs. Pour des raisons mathématiques, la significativité des résultats dépend de la taille des échantillons. Plus les échantillons sont grands, plus on a de chances davoir des résultats significatifs.

D.Gile statscrit9 RESERVES THEORIQUES (2) Le résultat « significatif » est utile pour préserver des « faux positifs », c.a.d. trouver une différence alors quil ny en a pas. Il ne préserve pas des « faux négatifs », où lon ne détecter pas une différence réelle. Or, cest bien la différence qui intéresse en général le chercheur. Les seuils de signification sont arbitraires. Pourquoi 0,05 plutôt que 0,04 ou 0,06 ? Est-il raisonnable de passer de « oui » à « non » à un point ou à une fraction de point près ?

D.Gile statscrit10 RESERVES PRATIQUES (1) Les calculs tiennent seulement si les échantillons sont représentatifs. Tout biais les invalide par rapport à la population. Trop souvent, léchantillonnage nest pas rigoureusement représentatif, et il est difficile de savoir à quel point on peut généraliser quels que soient les résultats du test Les calculs tiennent seulement si certaines conditions, notamment sur la forme de la distribution, légalité des variances etc. sont réunies. Si elles ne le sont pas, les calculs sont inexacts. Trop souvent, on applique des tests sans vérifier les conditions.

D.Gile statscrit11 RESERVES PRATIQUES (2) Le principe même de lemploi des statistiques est la prudence On rejette au niveau de 5% ou 1% Mais la chaîne de la prudence est aussi faible que son maillon le plus faible Des approximations dans léchantillonnage Dans la vérifications de lapplicabilité des tests Dans les inférences Sont contradictoires par rapport à cette prudence Que fait-on des valeurs aberrantes ? Lissage ? Passage à las ? Prise en compte ? Laquelle des solutions est la moins insatisfaisante ?

D.Gile statscrit12 RESERVES PRATIQUES (3) Les statistiques sont souvent employées sous forme de boîte noire Sans compréhension de leur fonctionnement Sans compréhension de leurs conditions dutilisation appropriées Sans compréhension de leur signification Par ailleurs, Quand les statistiques sont imposées, Il faut trouver des variables mesurables Parfois contre nature Si échelles mal conçues pour discrétiser une variable continue ou qualitative, sommes-nous encore dans la prudence ?

D.Gile statscrit13 CONCLUSIONS Les calculs statistiques sont une indication Ils ne prouvent rien définitivement Ils calculent des risques Les décisions sont humaines Les normes applicables peuvent vous imposer des statistiques Mais votre raisonnement vous les impose-t-il aussi ? On peut les utiliser à titre auxiliaire Mais il faut y réfléchir à deux fois avant den faire le critère principel dune décision