DONNEES ET INDICATEURS DANS LA RECHERCHE EMPIRIQUE Séminaire doctoral

Présentation au sujet: "DONNEES ET INDICATEURS DANS LA RECHERCHE EMPIRIQUE Séminaire doctoral"— Transcription de la présentation:

1 DONNEES ET INDICATEURS DANS LA RECHERCHE EMPIRIQUE Séminaire doctoral
D Gile donnees et indicateurs 1

2 RAPPEL SUR RECH EMPIRIQUE Fortement axée sur données recueillies
Recherche empirique est par définition Fortement axée sur données recueillies Les règles du jeu ne vous permettent de tirer des conclusions que sur cette base Avec des règles inférentielles fortement réglementées (Contrairement à autres domaines de la vie, y compris recherche marketing et autres – où on généralise allègrement avec ou sans prudence) Exemple analyses prévisionnelles Gartner D Gile donnees et indicateurs 2

3 AVANTAGES ET INCONVENIENTS
→ certaine fiabilité des inférences (Pas nécessairement du recueil des données) Associée à réduction de la subjectivité Mais aussi inconvénients, avec tendances suivantes : Seules données considérées comme fiables prises en compte Seules données analysables par voie prévue au départ prises en compte Exclues si incomplètes ou format incompatible avec méthode choisie Préférence pour données quantitatives (pas absolue) D Gile donnees et indicateurs 3

4 D Gile donnees et indicateurs
INCIDENCES Souvent, sous-exploitation des informations disponibles ou potentiellement disponibles (par exemple, on n’inclura pas dans l’échantillon une personne qui ne se conforme pas strictement aux critères de sélection déterminés) - Biais possible en raison du fait que les données exploitables relèvent peut-être d’un même volet du phénomène étudié, et laissent d’autres aspects dans l’ombre D Gile donnees et indicateurs 4

5 STRATEGIES D’AMELIORATION POSSIBLES
- Triangulation, avec méthodes différentes, y compris qualitatives - Méthodes non-conventionnelles, modulables (ex. questionnaires modifiés au fil de l’étude, expérimentations cumulées opportunistes) - Méta-analyses (analyse et synthèse d’études multiples) Les « purs et durs » n’aiment pas nécessairement: l’on n’est pas dans les normes… Mais à mon avis, on y gagne quand même sans sacrifier à la rigueur… à condition d’être prudent dans les inférences D Gile donnees et indicateurs 5

6 LES INDICATEURS La recherche empirique s’articule autour des données
mais Questions de recherche portent parfois sur les données : Quelle est la structure démographique d’une population? Quel sont les variétés lexicales ou grammaticales d’une langue dans un secteur donné de la population?... Mais souvent, elles portent sur autre chose que les données proprement dites : - Notamment sur des processus (p.ex. d’acquisition de compétences) - Sur des relations (corrélationnelles, causales…) Les données ne sont qu’une indication sur l’objet de la recherche D Gile donnees et indicateurs 6

7 LES INDICATEURS : QUE SONT-ILS ? (1)
Des éléments factuels (ou « valeurs » quantitatives liées à des éléments factuels) - Ayant un rapport avec le phénomène qui est l’objet de l’investigation - Et permettant d’en apprendre plus sur ledit phénomène Choisis par le chercheur pour représenter le phénomène (indicateurs au sens étroit) Par opposition au cas où la question de recherche porte directement sur des caractéristiques « observables » et éventuellement mesurables d’éléments factuels (cas où les indicateurs ne sont pas nécessaires) D Gile donnees et indicateurs 7

8 LES INDICATEURS : QUE SONT-ILS ? (2)
Quasi-totalité de recherche scientifique passe par indicateurs En fait, toute notre perception de la réalité passe par des indicateurs : Ce que nous voyons ou entendons, y compris les écrits et discours scientifiques, = manifestations de ce que nous supposons refléter la réalité (notamment des rapports sur des opinions, sur des données qualitatives et quantitatives…) En fait, il s’agit de notre interprétation de ce que nous percevons par voie sensorielle Nous nous interrogeons parfois sur la qualité de ces indicateurs Dans la recherche ASC, cette interrogation est systématique D Gile donnees et indicateurs 8

9 LES INDICATEURS : QUE SONT-ILS ? (3)
On peut donc parler d’« indicateurs » au sens large Et d’indicateurs au sens étroit Dans la recherche empirique, on va toujours s’interroger sur les « indicateurs » au sens large (que représente, que signifie ce que l’on observe sur le terrain ?) Mais on va choisir délibérément, Voire construire, des indicateurs au sens étroit Pour identifier et/ou mesurer des éléments de réalité de manière plus précise D Gile donnees et indicateurs 9

10 EXEMPLES D’INDICATEURS
Pour la santé humaine : Température, rythme cardiaque, parfois couleur de la peau, aspect des yeux, présence de certaines substances dans le sang, dans les urines Pour la santé économique d’un pays, d’une entreprise : PNB, PIB,… Différents indices et ratios dans les états financiers D Gile donnees et indicateurs 10

11 CARACTERISTIQUES RECHERCHÉES
- Valide (Représente ce qu’il est censé représenter et non pas autre chose) - Sélectif/Spécifique - Facile à identifier - De préférence énumérable ou mesurable facilement - Facile à traiter - Peu coûteux (en temps, en travail, en argent) à déceler, à mesurer et à traiter - Sensible (suffisamment pour détecter ce que l’on cherche) D Gile donnees et indicateurs 11

12 VALIDITE/SPECIFICITE DES INDICATEURS
Soit indicateurs connus et validés dans la recherche (mais méritent quand même réflexion critique) Soit indicateurs nouveaux Bien réfléchir sur la base du bon sens et de votre connaissance du domaine: - L’indicateur envisagé est-il fortement corrélé à ce que l’on cherche à mesurer directement ou indirectement? - Est-il aussi potentiellement corrélé à une variable parasite ? La prudence est essentielle D Gile donnees et indicateurs 12

13 SENSIBILITE La courbe est ce que l’on observe, ce que l’on mesure
Le signal est l’effet ou la variation qui nous intéresse Le bruit est l’effet ou la variation produits par des « parasites » (instabilité de l’instrument, influence de facteurs parasites) Trois niveaux de sensibilité : Pas assez, OK, trop Signal recherché Niveau de sensibilité Bruit D Gile donnees et indicateurs 13

14 SENSIBILITE DES INDICATEURS (1)
Dans quelle mesure réagissent-ils à la présence ou à l’amplitude du signal généré par l’objet de l’étude ? Exemple : Prévalence de la violence contre les enfants Indicateur : nombre de plaintes déposées en justice Indicateur : Déclaration d’enfants qui disent que leurs parents les ont frappés (Trop sensible, validité incertaine) D Gile donnees et indicateurs 14

15 SENSIBILITE DES INDICATEURS (2)
Souvent, grande sensibilité réduit la ‘fiabilité’ parce qu’influencée par variables parasites Mais souvent, mieux que sensibilité insuffisante Parce que l’on a détecté quelque chose, Et dans un deuxième temps, on peut essayer d’éliminer le bruit (sensibilité aux écarts de langue, Gile 1985) OBS. 28 9 23 5 10 12 7 D Gile donnees et indicateurs 15

16 SI L’ON ETUDIE LA QUALITE DU TRAVAIL D’UN CHERCHEUR
Indicateur proposé : Nombre de citations dont il fait l’objet Sensible ? Sélectif/Spécifique ? Identifiable ? Facile à traiter ? Coût ? Valide ? D Gile donnees et indicateurs 16

17 DANS UNE THESE EMPIRIQUE
Il va falloir réfléchir aux phénomènes que vous allez étudier Aux indicateurs que vous allez choisir Sur quelle base ? Votre propre idée, ou reprise d’indicateurs choisir par d’autres ? Avez-vous réfléchi de manière critique à ces indicateurs ? Sont-ils les meilleurs ? Voulez-vous les combiner à d’autres ? D Gile donnees et indicateurs 17

18 INDICATEURS PARFAITS N’EXISTENT PAS
Une réflexion critique aboutit souvent à la conclusion qu’un indicateur utilisé n’est pas très fiable Une telle situation n’est pas idéale, Et il vaut mieux disposer d’un indicateur de meilleure qualité Mais ce n’est pas rédhibitoire Si l’indicateur/les indicateurs en question est/sont quand même utile(s) Et surtout si le chercheur tient compte de ses/leurs limites dans ses inférences D Gile donnees et indicateurs 18

19 DONNEES QUALITATIVES ET QUANTITATIVES (1)
Certaines questions de recherche ont dimension quantitative : - Quelle est l’efficacité de l’immersion linguistique dans l’amélioration de la maîtrise linguistique d’un apprenant ? - Quels sont les effets sur la santé de tel régime alimentaire ? D’autres n’en ont pas : - Y a-t-il eu au Moyen Âge des contacts entre telle population et telle autre population ? - Quelles sont les caractéristiques linguistiques de telle langue océanienne ? Recherche empirique pas nécessairement quantitative, pas plus scientifique parce que quantitative D Gile donnees et indicateurs 19

20 DONNEES QUALITAT. ET QUANTITAT. (2)
Souvent, pour répondre à une question qualitative, on passe par des analyses quantitatives : Une méthode d’enseignement/un traitement médical est-elle/il efficace ? - Est-il vrai que les interprètes de conférence oublient les mots du discours original quand ils l’interprètent et n’en retiennent que le sens? Pourquoi faut-il des analyses quantitatives ? - En raison d’une grande variabilité des résultats, qui ne permet qu’une réponse à valeur statistique - Parce que l’on utilise un indicateur quantitatif (ex. indicateurs physiologiques, comptage d’erreurs) D Gile donnees et indicateurs 20

21 DONNEES QUALITAT. ET QUANTITAT. (3)
Parfois, à une question qualitative on répond par des éléments quantitatifs, non pas parce qu’on l’a voulu, mais parce que c’est la réponse la plus précise : - L’efficacité de tel traitement est de tant, sur telle proportion d’élèves/de malades, etc. Parfois en aval de la question qualitative se posent des questions quantitatives - « Combien «  d’efficacité, sur quel pourcentage d’élèves, de patients D Gile donnees et indicateurs 21

22 DONNEES QUALITAT. ET QUANTITAT. (4)
Plus fondamentalement, la différence entre recherche qualitative et recherche quantitative n’est pas toujours très nette – ni d’une réelle importance Si l’on part de données observationnelles sur la langue d’une tribu indienne du Mexique Puis on les catégorise (unités lexicales, structures grammaticales, règles pragmatiques, données sociolinguistiques…) Puis on les compte, et on observe la fréquence relative de leur usage dans différentes situations L’étude est partiellement qualitative, partiellement quantitative. Est-ce un problème ? D Gile donnees et indicateurs 22

23 DONNEES QUALITAT. ET QUANTITAT. (5)
Que pensent les femmes de leur rôle dans la société du 21ème siècle ? - Etude à travers entretiens avec 3 femmes qui expriment leurs sentiments : plutôt qualitatif - Questionnaire sur le statut des femmes avec analyse de 500 réponses : plutôt quantitatif D Gile donnees et indicateurs 23

24 Des convergences réduisent l’incertitude… Des divergences…
TRIANGULATION (1) Pour améliorer les résultats, les chercheurs utilisent souvent plusieurs indicateurs à la fois et comparent les résultats. Des convergences réduisent l’incertitude… Des divergences… D Gile donnees et indicateurs 24

25 TRIANGULATION (2) La triangulation peut impliquer une méthode quantitative et une méthode qualitative Par exemple, l’étude quantitative des maladresses, erreurs et omissions d’un traducteur à travers l’analyse de sa traduction…. Mais aussi, à travers une procédure de rétrospection, une étude sur son ressenti par rapport à ces maladresses, erreurs et omissions : en a-t-il conscience ? A quoi pense-t-il qu’elles sont dues ?... Chaque méthode a ses avantages et ses inconvénients Les mettre ensemble apporte en général quelque chose d’utile D Gile donnees et indicateurs 25

26 SYNTHESE La recherche empirique tente de trouver des réponses
à des questions complexes à travers le recueil de données qui reflètent plus ou moins bien la réalité et des analyses dont la sensibilité, la spécificité et la fiabilité ne sont pas parfaites Les résultats ne peuvent être que provisoires Ils doivent être vérifiés par réplication, par triangulation, par extension des études Même cela ne garantit pas que l’on accèdera à « la vérité »… Mais sur certaines parties de la réalité, on aura à terme des résultats plus fiables que par toute autre démarche humaine D Gile donnees et indicateurs 26