daniel.gile@yahoo.com www.cirinandgile.com La recherche expérimentale Premières explications Limites et interrogations Daniel Gile daniel.gile@yahoo.com www.cirinandgile.com D.Gile Rech expérim.

Pourquoi la recherche expérimentale ? Le principe Dans la nature, les phénomènes auxquels s’intéresse la recherche sont en général influencés par de nombreux facteurs Il est donc difficile d’identifier l’influence d’un facteur spécifique Dans environnement « contrôlé », On facilite cette recherche En « contrôlant » d’autres facteurs pertinents : en s’assurant qu’ils ont tous la même valeur ou que leur valeur est la même dans les différents échantillons qui sont comparés (Même proportion d’hommes et de femmes, de droitiers et de gauchers, de participants du même âge etc.) D.Gile Rech expérim.

Le « contrôle dans la recherche expérimentale Dans la nature : influences autres que celle qui nous intéresse (en noir ; résultat en rouge). La résultat est-il engendré par l’influence qui nous intéresse ? Ou par toutes les influences à la fois ? Deux possibilités de « contrôle » expérimental : « Eliminer les influences parasites » dans un environnement artificiel (en bas à gauche) - Donner aux influences parasites les mêmes valeurs – seule la variable indépendante change (en bas à droite), ou s’assurer que dans des échantillons que l’on compare, ces influences parasites sont similaires. Elimination des influences parasites D.Gile Rech expérim.

Un méthode de formation à la traduction est-elle efficace ? Exemple Un méthode de formation à la traduction est-elle efficace ? Si l’on se contente de comparer les traductions de 40 traducteurs, dont 20 ont été formés et 20 ne l’ont pas été, Les différences mesurées dans la qualité des traductions peuvent être attribuables à la formation, mais aussi : À l’âge des traducteurs, à leur expérience, à leur motivation, aux conditions de travail etc. Si l’on réunit deux groupes de traducteurs ayant les mêmes caractéristiques (à part la méthode de formation en question) pour leur faire traduire le même texte, D’éventuelles différences sont plus facilement attribuable à la formation ou à son absence D.Gile Rech expérim.

Tests d’hypothèses à travers une expérience Il s’agit du prototype de la recherche expérimentale aux yeux de nombreux chercheurs Le comportement de 2 ou plusieurs groupes est observé Ces groupes sont constitués de manière à être comparables sauf pour ce qui est de la variable dont l’influence doit être examinée On comparaisons les résultats mesurés sur chaque groupe pour déterminer si des différences entre les groupes sont être faibles et probablement dues au seul effet du hasard – ou non Dans le deuxième cas, on parle de différences « significatives » D.Gile Rech expérim.

Expériences exploratoires Les expériences tests d’hypothèses sont les plus connues Mais ce ne sont pas les seules Expériences exploratoires : Et si…? (Sans hypothèse particulière) Si je donnais aux traducteur tel type de document de référence ? Si je laissais l’apprenant de langue étrangère la possibilité de lire des romans pour l’acquisition du vocabulaire ? … D.Gile Rech expérim.

Exemples Séjour dans grotte et changement de rythme biologique (Comment ce rythme va-t-il évoluer si l’homme ne sait pas s’il fait jour ou s’il fait nuit dehors ?) Groupe de volontaires pour vivre en isolement plusieurs mois (Comment les relations humaines vont-elles évoluer ?) Expérience agronomiques avec sol, exposition, arrosage, mélanges… Expérimentation avec combinaison de médicaments pour traiter une pathologie particulière Parfois sur la base d’hypothèses ou théories formalisées Parfois sans D.Gile Rech expérim.

Avantages de l’expérimentation 1. Eliminer l’influence des variable parasites qui empêchent d’identifier l’influence du facteur étudié 2. Par là, détecter et mesurer cette influence avec une masse de données bien moins importante que celle nécessaire pour la détecter et la mesurer in vivo (la chose est possible sur une grande masse de données en faisant des comparaisons multiples et en isolant un ou plusieurs facteurs chaque fois) 3. Souvent, mesurer ce qu’il y a à mesurer avec plus de précision que ‘dans la nature’ (L’environnement créé pour l’expérience permet de le faire) 4. Créer des situations/conditions intéressantes qui ne se produisent que rarement ou pas du tout dans la nature D.Gile Rech expérim.

Pourquoi l’expérimentation a-t-elle un statut scientifique si élevé ? - En raison de ces avantages - Parce qu’elle sert souvent à vérifier des théories, et se situe donc à une étape avancée de l’investigation - Parce qu’elle fait souvent appel à des montages complexes (donc plus « intelligents » ?) - Parce qu’elle fait souvent intervenir les statistiques, qui sont un outil ‘sophistiqué’ Mais tout cela la rend-il plus ‘scientifique’ que la recherche naturaliste ? D.Gile Rech expérim.

Limites de l’expérimentation : la validité écologique Dans les sciences sociales, c’est le souci majeur : La tâche et les mesures correspondent-elles à la vie réelle ? Les comportements observés et mesurés en laboratoire Reflètent-ils les comportements que l’on trouve dans la vie réelle ? Si la réponse est négative ou incertaine, en tirant des expériences des conclusions pour la vie réelle, Ne viole-t-on l’importante norme de prudence dans la recherche scientifique ? D.Gile Rech expérim.

L’expérience est une étude de cas En ‘contrôlant’ les variables et paramètres pertinents, Par exemple, tous les sujets ont le même âge, ou sont droitiers, etc. L’expérimentateur opère dans une constellation particulière de valeurs et exclut une certaine variabilité naturelle Il est donc difficile de savoir si les résultats seraient les mêmes avec d’autres constellations de valeurs S’il y a de nombreuses réplications de l’expérience avec des constellations différentes, à terme, on peut tirer des conclusions, Mais s’il y a peu de réplications ? D.Gile Rech expérim.

Les différences statistiquement significatives (1) Dans un cas très simple, pour voir si un facteur donné représenté par une variable indépendante (un médicament, une méthode de formation…) a une véritable influence sur quelque chose (représenté par un indicateur nommé variable dépendante) (par exemple l’état du malade, les notes de l’apprenant) On compare les valeurs de cette variable dépendante dans deux échantillons, l’un étant soumis à ce facteur, l’autre non (un échantillon de malades traités par le médicament, l’autre ne recevant que du placébo, l’un formé par telle méthode, l’autre non) D.Gile Rech expérim.

Les différences statistiquement significatives (2) Si la variable dépendante dans les deux échantillons ne semble pas avoir la même distribution (ce qui est inféré à partir de la moyenne et de l’écart type mesurés sur les deux échantillons), on considère que les populations représentées par les deux échantillons sont « différentes », donc que le facteur en question a une véritable influence Si elle a la même distribution, on considère que les deux populations représentées par les deux échantillons sont la même, autrement dit que le facteur dont on étudie l’influence n’en a pas D.Gile Rech expérim.

Les différences statistiquement significatives (3) Comment le test statistique permet-il de le vérifier ? Il y aura toujours une différence entre les moyennes des deux échantillons mais cette différence peut être plus ou moins grande plus ou moins compatible avec l’idée qu’elle est due au seul hasard Le test indique la probabilité d’une compatibilité de cette différence mesurée avec l’idée que les deux populations ont en réalité la même distribution pour la variable en question Si cette probabilité est faible, on dit que la différence est ‘significative’ D.Gile Rech expérim.

Les différences statistiquement significatives (4) Plus concrètement, le test déterminera, sur la base des moyennes et écarts-type mesurés sur les échantillons, une entité mathématique correspondant à l’hypothèse de l’identité des deux populations Cette entité aura une certaine distribution Une proportion donnée de ses valeurs (p. ex. 95% d’entre elles) se situeront entre un minimum et un maximum qui seront également connus Les mesures sur les échantillons déterminent une valeur de l’entité Si elle se situe au-dessus du maximum ou en dessous du minimum elle est marginale, et on peut dire qu’elle accrédite l’idée d’une différence réelle entre les deux populations D.Gile Rech expérim.

Les différences statistiquement significatives (5) D.Gile Rech expérim.

Limites et interrogations (1) Différences ‘significatives’ sont déterminées à un certain niveau : l’expérimentateur s’autorise une certaine probabilité de ‘faux positif’ (de conclure que les différences constatées ne sont pas le fruit du hasard – alors qu’elles le sont) S’il détermine ce seuil à 5% (p < 0,05), il s’autorise une telle erreur une fois sur vingt ! Si vous deviez décidez que quelque chose est vrai ou non, voudriez-vous le faire en prenant une chance sur 20 de vous tromper ? (A 1%, avec une chance sur 100 de vous tromper ?) D.Gile Rech expérim.

Limites et interrogations (2) Les tests déterminent la décision sur la base de mesures sur les échantillons avec un seuil donné Par exemple, avec 5,63, le test indique des différences significative, et avec 5,62, elles ne le sont pas. Cette transition brutale de ‘oui’ à ‘non’ est-elle raisonnable ? D.Gile Rech expérim.

Limites et interrogations (3) Le concept de signification statistique Ne permet de se prononcer que sur la probabilité de la nature aléatoire ou non de différences mesurées sur des échantillons Il ne dit rien sur l’ampleur de la différence Une différence significative de très faible ampleur peut n’avoir aucune incidence pratique En traductologie et dans les sciences sociales, une telle différence nous intéresse-t-elle toujours ? D.Gile Rech expérim.

Attention aux malentendus Il ne s’agit pas dénier toute valeur à la recherche expérimentale Elle est souvent très utile pour exclure l’influence de facteurs parasites Elle permet bien d’étudier des situations qui ne se produisent que rarement in vivo Elle permet souvent des mesures précises impossibles in vivo parce que l’environnement du « laboratoire » peut être rendu plus stable, plus ‘propre’ Elle permet de surmonter souvent l’obstacle de la variabilité Mais elle n’est pas la panacée. Elle est efficace sous certaines conditions D.Gile Rech expérim.

Conditions pour une efficacité maximale 1. Un bon montage expérimental 2. Un échantillonnage bien conçu et réalisé 3. Une étape pilote 4. Des inférences prudentes 5. Une bonne utilisation des statistiques (vérifier les conditions et le test applicable plutôt que de se contenter d’appliquer des ‘recettes’) 6. De nombreuses réplications (pour réduire la probabilité de résultats aléatoires et couvrir plus de constellations de valeurs des paramètres pertinents) 7. Une variabilité limitée du phénomène et des tailles d’échantillons suffisantes D.Gile Rech expérim.

Si ces conditions ne sont pas réunies La recherche expérimentale reste utile, mais surtout à titre provisoire, pour dégager des résultats d’étape Ses résultats ne peuvent pas être considérés comme le ‘résultat scientifique ultime ’ pour la prise de décisions Des résultats de recherche naturaliste peuvent être plus puissants Surtout quand on utilise des corpus massifs Qui permettent d’exploiter une grande masse de données authentiques Et de vérifier des hypothèses sur ces données, avec plus d’efficacité que l’expérimentation Par exemple en épidémiologie, dans travail sur corpus D.Gile Rech expérim.

La science est dans l’esprit humain, pas dans les techniques Conclusion L’expérimentation est un outil puissant – sous certaines conditions Mais peu efficace si elles ne sont pas réunies Elle n’est pas « ce qu’il y a de mieux » dans l’absolu sur le plan scientifique Ne pas se laisser berner par des « symboles de statut scientifique » La science est dans l’esprit humain, pas dans les techniques Quand vous explorez la réalité dans un esprit rigoureux, systématique, sceptique, prudent, vous faites de la recherche scientifique, quels que soient les outils D.Gile Rech expérim.