La variabilité et ses incidences dans la recherche empirique Daniel Gile daniel.gile@yahoo.com www.cirinandgile.com D.Gile Variabilité et incidences

Sources de variabilité La variabilité dans un phénomène observé peut être due à trois types de raisons : 1. Variabilité intrinsèque du phénomène étudié Notamment si le phénomène en question est complexe et déterminé par des variables qui prennent des valeurs très différentes ou dont l’interaction conduit à une grande variabilité 2. Contrôle insuffisant de variables parasites 3. Manque de rigueur dans mise en œuvre de méth. de rech. (Par exemple manque de rigueur dans les grilles d’observation, dans l’interprétation des résultats, dans des questions posées ou instructions données aux participants) D.Gile Variabilité et incidences

Variabilité comme caractéristique / comme obstacle Si étude d’un phénomène à titre exploratoire, variabilité constatée et éventuellement mesurée est une caractéristique, pas un problème Mais souvent, on cherche à cerner l’influence éventuelle d’un facteur quelconque (la variable « indépendante ») sur le phénomène, et plus précisément sur une variable « dépendante » (effet d’un traitement sur une pathologie, d’une méthode de formation sur l’apprentissage…) Variable indépendante Variable dépendante C’est là qu’un problème risque de se poser du fait de la variabilité D.Gile Variabilité et incidences

Sensibilisation aux effets de la variabilité A travers exemple fictif de la progression d’un savoir-faire au fil de l’expérience Par exemple, traduction, pilotage, sport… Ecran suivant montre niveau de savoir-faire ‘réel’ acquis au fil des ans, avec apprentissage initial rapide, puis de moins en moins rapide, mais qui continue avec l’expérience Ce savoir-faire ‘réel’ est supposé, mais pas mesuré directement Ce qui va être mesuré, c’est un indicateur de ce savoir-faire (à travers une mesure de temps de réaction, de proportion de bonnes réponses, etc.) En abscisse, les années d’expérience En ordonnée, une mesure de l’indicateur de savoir-faire D.Gile Variabilité et incidences

D.Gile Variabilité et incidences Apprentissage « réel » Savoir-faire en fonction de l’expérience en années (exemple fictif) * D.Gile Variabilité et incidences

Influence d’une variable : la motivation Deux scénarios : influence forte, influence faible (rapport de 1 à 10 entre les deux) Expérience 1-5 ans 6-10 ans 11-15 ans 16-20 ans 21-25 ans De base 5 8 9 9,5 9,8 Faible influ + 0,3 - 0,1 + 0,2 Résultat 5,3 7,9 8,9 9,7 Forte influ + 3 -1 - 1 + 2 7 11,5 D.Gile Variabilité et incidences

Effets de petite variabilité Variabilité maximale ici : 6 % * D.Gile Variabilité et incidences

Effet de grande variabilité * Variabilité maximale ici : 60 % D.Gile Variabilité et incidences

Effets de la variabilité sur la recherche L’effet réel d’une variable indépendante donnée peut être masqué par le « bruit » produit par la variabilité 2. Une différence significative produite par une variable indépendante peut n’avoir aucune pertinence réelle : - Parce que son amplitude est trop faible (voir discussion de la signification statistique ailleurs) - Parce que l’effet étudié est intéressant dans une occurrence individuelle, pas dans la masse (l’apprentissage d’une langue par une personne donnée, la traduction d’un texte donné par une personne donnée dans des circonstances données, par opposition la fabrication d’un objet en des centaines de milliers d’exemplaires, où une différence statistique de faible amplitude peut avoir une importance pratique) D.Gile Variabilité et incidences

Incidences pour les projets de recherche Si l’on cherche à isoler des effets particuliers, se renseigner d’abord sur la variabilité Si dans la littérature, on voit une variabilité élevée, déterminer s’il est important de trouver une différence significative ou si l’incertitude est elle-même un résultat potentiellement utile Dans le premier cas, chercher à réduire la variabilité par le contrôle de variables pertinentes (sachant que cela réduira la généralisabilité des résultats) S’assurer que l’on dispose d’échantillons de taille suffisante pour pouvoir espérer trouver des résultats significatifs Envisager des méthodes qualitatives en complément, voir comme démarche de substitution à des méthodes quantitatives D.Gile Variabilité et incidences

D.Gile Variabilité et incidences Incidence de la variabilité sur l’utilité relative des théories et modèles dans la recherche empirique Des modèles très détaillés avec des listes toujours plus longues de facteurs affectant le phénomène étudié ne sont pas toujours utiles, car ils seront difficile à vérifier Il est en revanche intéressant de théoriser sur le poids relatif de différentes variables indépendantes pour pouvoir vérifier l’effet qu’ont celles supposées être les plus importantes D.Gile Variabilité et incidences

D.Gile Variabilité et incidences Variabilité et utilisation de la recherche pour défendre des « causes » Dans la mesure où la variabilité risque de masquer des effets réels, il peut être risqué de compter sur des études quantitatives pour défendre une « cause », En essayant de démontrer par exemple l’effet d’un traitement donné sur la santé, sur l’apprentissage, sur la qualité d’un comportement Exemples : La réchauffement climatique, Les conditions de travail en interprétation simultanée… D.Gile Variabilité et incidences