INF L14 Initiation aux statistiques

Présentation au sujet: "INF L14 Initiation aux statistiques"— Transcription de la présentation:

1 INF L14 Initiation aux statistiques
4 – Classement et cumul

2 Classement des modalités
CAT EFFECTIF ADJ 307 ADV 349 CONJ 305 DET 792 INTERJ 4 NOM 1093 NUM 16 PREP 539 PRO 632 VERBE 896 Total 4933 Non classées : pas très lisible...

3 Classement des modalités
CAT EFFECTIF NOM 1093 VERBE 896 DET 792 PRO 632 PREP 539 ADV 349 ADJ 307 CONJ 305 NUM 16 INTERJ 4 Total 4933 Classement par fréquences décroissantes

4 Classement des modalités
CAT EFFECTIF NOM 1093 VERBE 896 DET 792 PRO 632 PREP 539 ADV 349 ADJ 307 CONJ 305 NUM 16 INTERJ 4 Total 4933 Polygone de fréquences

5 Classement des modalités
CAT EFFECTIF NOM 1093 VERBE 896 DET 792 PRO 632 PREP 539 ADV 349 ADJ 307 CONJ 305 NUM 16 INTERJ 4 Total 4933 Diagramme en secteurs

6 Rangs RANG CAT EFFECTIF 1 NOM 1093 2 VERBE 896 3 DET 792 4 PRO 632 5
PREP 539 6 ADV 349 7 ADJ 307 8 CONJ 305 9 NUM 16 10 INTERJ

7 Rangs Rang Forme Fréq. 1 de 239 2 le 153 3 l' 125 4 la 119 5 et 95 6 est 88 7 que 83 8 d' 82 9 les 79 10 il 62 11 un 61 12 a 58 13 qui 53 14 du 52 15 une 51 16 des 48 17 en 47 18 à 46 19 qu' 20 ne 43 21 dans 40 22 on 37 23 plus 34 ... Quand les modalités sont très nombreuses, on utilise plutôt les rangs sur l’axe des abscisses (X), par exemple de 10 en 10, 100 en 100, etc.

8 Changement d’échelle Lorsque les modalités sont très nombreuses et les fréquences très inégales on peut utiliser un changement d’échelle des axes (coordonnées logarithmiques).

9 rang x fréquence = constante
Loi de Zipf George Zipf (1935) s’est aperçu que cette relation rang-fréquence était une propriété de tous les textes. Approximativement : rang x fréquence = constante

10 Exemples

11 Fréquences cumulées Etape 1 : Classement par fréquences décroissantes
CAT EFFECTIF NOM 1093 VERBE 896 DET 792 PRO 632 PREP 539 ADV 349 ADJ 307 CONJ 305 NUM 16 INTERJ 4 Total 4933 Etape 1 : Classement par fréquences décroissantes

12 Fréquences cumulées CAT EFFECTIF CUMUL NOM 1093 VERBE 896 1989 DET 792
2781 PRO 632 3413 PREP 539 3952 ADV 349 4301 ADJ 307 4608 CONJ 305 4913 NUM 16 4929 INTERJ 4 4933 Total

13 Fréquences cumulées Idem, expression en pourcentages CAT EFFECTIF
NOM 1093 22,2% VERBE 896 1989 40,3% DET 792 2781 56,4% PRO 632 3413 69,2% PREP 539 3952 80,1% ADV 349 4301 87,2% ADJ 307 4608 93,4% CONJ 305 4913 99,6% NUM 16 4929 99,9% INTERJ 4 4933 100,0% Total 100,0¨% Idem, expression en pourcentages

14 Exemple Petit Prince Rappel : loi de Zipf 15351 occurrences
2414 formes Rappel : loi de Zipf

15 Vocabulaire fondamental
Fréquences cumulée Environ 50 mots = 50% 1000 mots = 90% Vocabulaire fondamental

16 Agrandissement

17 Mots les plus fréquents
Rang Forme Cumul 1 LE 3,0% 27 EN 37,4% 2 DE 5,7% 28 QU' 38,1% 3 IL 8,2% 29 ME 38,8% 4 JE 10,4% 30 QUI 39,5% 5 ET 12,3% 31 POUR 40,1% 6 UN 14,2% 32 BIEN 40,8% 7 EST 16,0% 33 AI 41,4% 8 LES 17,7% 34 SE 41,9% 9 LA 19,1% 35 A 42,5% 10 PETIT 20,4% 36 S' 43,0% 11 PAS 21,6% 37 COMME 43,5% 12 À 22,8% 38 MOI 44,0% 13 NE 24,0% 39 SI 44,5% 14 PRINCE 25,1% 40 DU 45,0% 15 L' 26,2% 41 ON 45,5% 16 QUE 27,3% 42 SUR 45,9% 17 D' 28,3% 43 ELLE 46,4% 18 TU 29,3% 44 ÉTAIT 46,8% 19 J' 30,3% 45 VOUS 47,2% 20 C' 31,3% 46 DANS 47,7% 21 UNE 32,3% 47 LUI 48,1% 22 DIT 33,3% 48 PLANÈTE 48,5% 23 N' 34,2% 49 PLUS 48,9% 24 MAIS 35,1% 50 MON 49,3% 25 DES 36,0% 51 ÇA 49,6% 26 CE 36,8% 52 TOUT 50,0%

18 Antidictionnaire Mots outils Mots grammaticaux
Présents dans tous les textes Parmi les plus fréquents

19 Exemple $ £ a A à afin ah ai aie aient aies ailleurs ainsi ait
alentour alias allais allaient allait allons allez alors Ap. Apr. après après-demain arrière as assez attendu au aucun aucune au-dedans au-dehors au-delà au-dessous au-dessus au-devant ... Exemple

20 Programme Dico

21 Tous les mots

22 On voit apparaître les mots-clés du texte
Filtré On voit apparaître les mots-clés du texte

23 Termes à retenir Rang Coordonnées logarithmiques Loi de Zipf
Fréquences cumulées