Les analyses statistiques de données textuelles 7. Validation des résultats Ludovic Lebart CNRS - ENST.

Présentation au sujet: "Les analyses statistiques de données textuelles 7. Validation des résultats Ludovic Lebart CNRS - ENST."— Transcription de la présentation:

1 Les analyses statistiques de données textuelles 7. Validation des résultats Ludovic Lebart CNRS - ENST

2 Validation interne : Bootstrap, opportunité de la méthode Raisons d’utiliser le “bootstrap” : –Complexité de l’approche analytique –Se libérer des hypothèses sur les distributions –S’adapter à toutes les situations

3 Cas des analyses des correspondances simples et mumtiples Gifi (1981), Meulman (1982), Greenacre (1984) furent les premiers à proposer l’approche bootstrap dans ce cadre. Il reste cependant très difficile de procéder à des tests sur les valeurs propres. Il existe également plusieurs modalités d ’applications selon les contextes.

4 Rappel sur le Bootstrap Exemple : Zones de confiances sur les visualisations. Exemple de table de contingence (CESP Multi-Media Survey, 1993). Dans chaque case: nombre de medias contactés la veille. Colonnes : Media [Radio, TV, National & Regional Daily N., Magazines]. Lignes : Catégories socio-professionnelles. Radio Tele Nat. Reg. Maga TV_Mag Farmer 96. 118. 2. 71. 50. 17. Small Business 122. 136. 11. 76. 49. 41. Executive 193. 184. 74. 63. 103. 79. Intermediate 360. 365. 63. 145. 141. 184. Employee 511. 593. 57. 217. 172. 306. Skilled worker 385. 457. 42. 174. 104. 220. Unskilled worker 156. 185. 8. 69. 42. 85. Housewives, Ret. 1474. 1931. 181. 852. 642. 782.

5 Visualisation des associations entre profession et contacts medias [ A. des correspondances]

6 (Rappel sur le Bootstrap) Exemple : Zones de confiances sur les visualisations Exemple de table répliquée Radio Tele Nat. Reg. Maga TV_M Farmer 109. 120. 1. 78. 48. 20. Small Business 126. 142. 8. 76. 53. 30. Executive 196. 181. 80. 77. 109. 72. Intermediate 384. 365. 60. 133. 138. 203. Employee 514. 596. 59. 228. 172. 316. Skilled worker 378. 467. 33. 171. 100. 223. Unskilled worker 169. 188. 8. 79. 38. 81. Housewives, Ret. 1519. 1961. 158. 893. 632. 764.

7 Zones de confiance Bootstrap : “ellipses de replications”

8 Zones de confiance Bootstrap : “enveloppess convexes de replications”

9 exemple (textes anglais) Question ouverte : "What is the single most important thing in life for you?" Suivie par la relance : "What other things are very important to you?". Question incluses dans une enquête internationale auprès de sept pays (Japon, France, Allemagne, Italie, Hollande, U K, USA) vers 1990 (Hayashi et al., 1992). L ’exemple concerne le volet anglais de l ’enquête (taille d ’échantillon : 1043).

10 Le bilan de la première phase de codage numérique est : Pour 1043 réponses, il y a 13 669 occurrences (tokens), avec 1 413 mots distincts (types). Si l ’on ne retient que les mots apparaissant au moins 16 fois, il reste 10 357 occurrences de ces mots (tokens), avec 135 mots distincts (types). Exemple 1, suite

11 Exemple d ’une table lexicale

12 Les deux diapositives suivantes montrent le plan principal de l ’analyse des correspondances de la table lexicale précédente. La proximité entre 2 points- categorie (colonnes) signifie similarité des profils lexicaux des 2 catégories. La proximité entre 2 points- mots (lignes) signifie similarité des profils lexicaux de ces mots. Ellipses et enveloppes convexes décrivent l ’incertitude. 9 points categories, en rouge (toutes les categories, en fait) 6 points mots, en bleu.

13 Zones de confiance pour 4 catégories (en rouge) et 3 mots (en bleu)

14 Zones de confiance pour 4 catégories (en rouge)

15 Zones de confiance pour 3 mots (en bleu)

16 Zones de confiance pour 4 catégories (en rouge) et 3 mots (en bleu)

17 Zones de confiance pour 4 catégories (en rouge) et 3 mots (en bleu)

18 Fin de la section 7 Application DTM:  Petit exemple dit pédagogique  Shakespeare  Poèmes sur l ’automne

19 Both example data and software (DTM) can be freely downloaded from www.lebart.org