sur la « philosophie » des tests et des modèles en statistiques

Présentation au sujet: "sur la « philosophie » des tests et des modèles en statistiques"— Transcription de la présentation:

1 sur la « philosophie » des tests et des modèles en statistiques
I. Remarques sur la « philosophie » des tests et des modèles en statistiques

2 1. Tests statistiques compléments

3 Le dilemme statistique
Les tests peuvent se concevoir de deux manières, dont aucune n’est satisfaisante pour les sciences humaines : Un test est une méthode de décision. C’est la vision économique des statistiques telles qu’elles sont enseignées par exemple à l’ENSAE, école de l’INSEE. Un test est une méthode de démonstration risquée. C’est la vision implicite utilisée par les chercheurs en sciences humaines. Il faudrait alors découvrir « la logique » sous-tendue par cette approche. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

4 Le dilemme statistique
De toute évidence, ça n’est pas la logique classique… Ni la logique floue, car le « risque » n’est pas la bonne mesure, et en particulier ça n’est pas la probabilité d’avoir tort, que ce soit a priori ou a posteriori. La puissance intervient fortement dans le caractère plus ou moins convaincant d’un test. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

5 Compléments sur le risque
et la probabilité d’erreur

6 Université de Metz | Licence de psychologie
On aimerait que le risque soit une mesure du risque de se tromper. Soit a priori, soit a posteriori. Mais voyons ce qui se passe. conclu vérité H0 H1 1- a a b 1-b mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

7 Université de Metz | Licence de psychologie
a priori En général, on maîtrise a, mais non b. Or, ce dernier vaut, selon le cas (inconnu), entre 0 (cas très favorable où H1 empêche de « conclure » H0 et 1- a (cas très peu favorable où on est très proche de H0). Si la vérité correspond à H0, la probabilité de se tromper est a. Si la vérité correspond à H1, elle est de 1-a. En tout état de cause, si le risque est de 1%, on ne peut rien dire de plus que : mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

8 Université de Metz | Licence de psychologie
a posteriori Mais ce qui serait encore mieux serait une interprétation en terme de probabilité a posteriori. Autrement dit : en proportion de choses conclues qui soient vraies. Si nous ne concluons pas H0 par prudence, ET si toutes les variables sont indépendantes, le pourcentage de résultats faux est de 100% Si nous concluons H0 quand un test échoue, et si les effets sont minuscules, le nombre de résultats faux de la forme hypothèse nulle est de 99% en supposant un risque de 1%… Dans les deux cas, le nombre d’erreurs est énorme. Et nous ne pouvons rien faire… mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

9 À propos de la validité des modèles

10 Modèles mathématiques
Un modèle mathématique est une construction mathématique, qui doit coller à la vérité. Une vision simplifiée du monde. Un modèle est bon s’il est prédictif. Un bon modèle n’est pas nécessairement explicatif. (ex : acupuncture) Une trop grande confiance dans le caractère « réel » des modèles amène à des confusions qui peuvent se révéler graves. Certaines méthodes sont des modèles construits sur des a priori implicites forts (anova, ACP,…). Il sont douteux d’un certain point de vue. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

11 Université de Metz | Licence de psychologie
Exemples La mécanique quantique ne prouve pas que le hasard existe. L’acupuncture efficace ne prouve rien sur les lignes d’énergie vitale. De grandes réussites de la psychanalyse ne prouveraient pas ses fondements. La théorie des « humeurs » donnait parfois de bons résultats. L’intelligence avec facteur g ou bi-factorielle sont également défendables. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

12 Université de Metz | Licence de psychologie
Exemples: ANOVA Dans le cas de l’anova croisée, nous concluons que les deux VI sont en interaction si les courbes des effets simples ne sont pas parallèles. Cela revient à considérer que l’absence d’interaction se traduit par le caractère additif des effets absolus (pour les médicaments: +2°+1° donne +3°). Donc que les effets sont eux-même additifs (+1°, +10 de QI, -2 de stress, etc.) Si les effets sont multiplicatif, tout ce qu’on raconte est faux (il faut alors utiliser autre chose que l’anova): voilà pourquoi comprendre les principes de l’anova est important… mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

13 Quelques questions traitées par ordinateur (avec SPSS)
II. Exemples Quelques questions traitées par ordinateur (avec SPSS)

14 1. Need for cognition Cacioppo, J. T., & Petty, R. E. (1982). The need for cognition. Journal of Personality and Social Psychology, 42,

15 Université de Metz | Licence de psychologie
Position du problème On mesure par une grandeur NFC (need for cognition) le plaisir que les sujets éprouvent à apprendre de nouvelles choses. On mesure par une grandeur, numérique également, la tendance des sujets à éviter d’avoir à résoudre des problèmes logiques. On notera cette grandeur CA (cognitive avoidance). On imagine que CA et NFC doivent être liée négativement. D’un autre côté, on peut rechercher de nouvelles connaissance sans aimer chercher à résoudre des problèmes. Alors ? CA et NFC sont-elles liées ? Nous sommes typiquement dans le cas où une régression linéaire paraît raisonnable. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

16 On a considéré CA comme la VD, mais cela est arbitraire.
Le diagramme de dispersion n’est pas très convaincant si l’on souhaite conclure à un lien… On a considéré CA comme la VD, mais cela est arbitraire. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

17 le signe est conforme à nos prédictions
coefficient r r(x,x)=1 le signe est conforme à nos prédictions L’échantillon est de taille 91 Le coefficient qui nous intéresse n’est pas significatif mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

18 Université de Metz | Licence de psychologie
Le désir de cognition explique 1,3% des variations observées d’évitement (CA) Si l’on corrige le coefficient r² qui n’est pas une bon estimateur du « vrai » r², on trouve 0,2%… NFC explique seulement 0,2% des variations de CA. Si on utilise l’équation de régression pour estimer CA connaissant NFC, l’erreur à laquelle on peut s’attendre est de 23 points. valeur absolue de r mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

19 Université de Metz | Licence de psychologie
Au fond, ANOVA et régression sont similaires. On raisonne en termes de variations dans les deux cas. F semble proche de 1… La régression (estimation de CA) explique 635 de variations (SC), sur un total de 48984 taille de l’échantillon 91. Il y a deux coefficients dans la régression F n’est pas significatif (bilatéral). Cette signification est celle de r. On ne peut pas conclure à un lien linéaire. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

20 L’équation de régression est CA=24+0,09NFC
La constante est significativement non nulle (donc la moyenne de CA n’est pas nulle). Le coefficient directeur ne l’est pas (lien non significatif) On retrouve r, qui est égale à a si les variables sont standardisées Erreur à laquelle on peut s’attendre sur les deux coefficients. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

21 Liens entre les valeurs D,A et S d’après nos observations
2. DASS Liens entre les valeurs D,A et S d’après nos observations

22 matrice de diagrammes de dispersion
En abscisse D (colonne); en ordonnée A (ligne). S en fonction de D Tout semble lié positivement… mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

23 Université de Metz | Licence de psychologie
Matrice de corrélation. Les variables sont liées deux à deux positivement et significativement. La corrélation la plus forte est observée entre D et S (0,64). mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

24 On veut savoir maintenant s’il y aurait un lien entre A et S
même si D n’intervenait pas (corrélation partielle) mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

25 Université de Metz | Licence de psychologie
La corrélation est toujours positive (0,34) et, quoique plus faible, toujours significative. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

26 La voiture rend agressif
3. En route La voiture rend agressif

27 Université de Metz | Licence de psychologie
Position du problème On étudie l’agressivité au volant d’automobilistes. Les automobilistes sont observés en situation de conduite en ville, et on mesure par un score A l’agressivité de chaque sujet. On souhaite étudier les variations de A en fonction de la fluidité de la circulation, et de la consommation de café. On utilise deux facteurs inter-sujets dans un plan croisé. Le facteur « fluidité » a trois valeurs possibles (0: bouchon; 1: ralentissement; 2: circulation fluide). Le facteur « café » n’a que deux modalité (sans/avec), selon que le sujet a consommé ou non du café avant l’expérience. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

28 Les variances pourraient poser problème…
L’effet simple de la fluidité pour café=avec est net. L’autre effet simple moins. On voit l’effet principal du café en comparant l’altitude des courbes Il semble que la fluidité n’ait pas le même effet sur l’agressivité selon café… mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

29 L’hypothèse d’égalité des variances est raisonnable.
mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

30 Croisement des facteurs
facteur de correction Croisement des facteurs Total Total plus facteur de correction. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

31 III. Complément Méthodes avancées

32 Université de Metz | Licence de psychologie
La question On voudrait savoir si la probabilité de dire « non » dans la tâche de simulation de hasard dépend du score d’humeur dépressive DASS_D. Le problème est que la VD est dichotomique, alors que la VI est numérique. D’autre part, on ne cherche pas vraiment une estimation de la réponse OUINON en fonction de DASS_D, mais plutôt une estimation de la probabilité d’obtenir NON en fonction de DASS_D. Logiquement, on devrait avoir une courbe « en S »… mais comment déterminer la meilleure courbe en S sur le même principe que la régression? Réponse: par la régression logistique. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

33 58 réponses « non » étaient prédictibles par le score D.
La prédiction de réponse fournit par la régression logistique est correcte dans 70% des cas. 58 réponses « non » étaient prédictibles par le score D. Et 6 ne l’étaient pas. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

34 D a un effet significatif sur la réponse à la question OUINON
La réponse n’est pas uniforme: la constante (probabilité générale) n’est pas 0,5. L’équation qui permet de déterminer la probabilité (estimée) de la réponse NON en fonction de D est de la forme log(p/(1-p))=0,05.D-1,3 Où p est la probabilité cherchée. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie

35 Université de Metz | Licence de psychologie
Les taux les plus élevés pour D correspondent à des probabilités de presque 70% de Non. C’est avec un score de dépression de 23 que l’on est le plus susceptible de répondre uniformément. mercredi 21 novembre 2018 Université de Metz | Licence de psychologie