Sémantique lexicale et TALN Vecteur conceptuels et apprentissage

Présentation au sujet: "Sémantique lexicale et TALN Vecteur conceptuels et apprentissage"— Transcription de la présentation:

1 Sémantique lexicale et TALN Vecteur conceptuels et apprentissage
Mathieu Lafourcade LIRMM - France 1

2 Objectifs Analyse sémantique Modèle de Vecteurs Conceptuels (MVC)
Désambiguïsation de Sens Indexation de Textes en RI Transfert Lexical en TA Modèle de Vecteurs Conceptuels (MVC) Réminiscences Modèles vectoriels lexicaux (Salton) Modèles conceptuels (Sowa) Concepts (et non des termes) Ensemble E choisi a priori (petit) / par émergence (grand) Concepts interdépendants Propagation sur arbre d’analyse morpho-syntaxique (pas d’analyse de surface) 2

3 Comment choisir les concepts ?
Vecteurs conceptuels Une idée = combinaison linéaire de concepts = un vecteur L’espace des idées = espace vectoriel (que l’on ne connaît pas a priori - dont on se moque a posteriori --> pas de réduction de dimension) Un concept = une idée = un vecteur = combinaison de lui-même + voisinage Comment choisir les concepts ? 27

4 Vecteurs conceptuels Ensemble de k concepts
Thesaurus Larousse = 873 concepts --> Un vecteur = 873 uplet Thesaurus Rodget = 1047 concepts --> Un vecteur = 1047 uplet EDR (Japon) --> concepts Espace des sens = espace vectoriel + ensemble de vecteurs 28

5 Vecteurs conceptuels Exemple : ‘chat’
Noyau dont l’indexation est manuelle c:mammifère, c:caresse <… mammifère … caresse …> <… 0,8 … 0,8 … > Augmenté c: mammifère, c:caresse, c:zoologie, c:amour … <… zoologie … mammifère… caresse … amour …> <… 0,5 … 0,75 … 0,75 … 0,5 … > itération --> affinage des vecteurs selon le voisinage Vecteurs sans aucun zéro --> danger ! Avoir des vecteurs trop plats 29

6 Ne sont pas indépendants
Espace vectoriel Les concepts Ne sont pas indépendants Espace des sens = Espace générateur d’un espace V de dim k’ (inconnue) = k’ <= k Suffisant Position relative des points  V V’ 34

7 Expérience TH873 Thesaurus Larousse
H : hiérarchie des concepts — K concepts feuilles (K = 873) C0 = racine , c1, c2 , c3, c4 = feuilles V(Ci) : <a1, …, ai, … , a873> aj = 1/ (2 ^ Dum(H, i, j)) Dum= distance ultramétrique 1/16 1/16 1/4 1 1/4 1/4 1/64 1/64 4 2 6 93

8 Vecteurs conceptuels TH873 Concept c4:PAIX
C3:‘Relations de conflit’ C2:’Relation hiérarchiques’ C1:‘La Société’ C1:‘Le Monde’ , C1:‘L’Homme’

9 Vecteurs conceptuels TH873 Terme ‘Paix’
c4:Paix

10 échange profit finance

11 Distance entre VC angulaire (ou encore dite de magnitude)
Distance Angulaire DA(x, y) = angle (x, y) 0 <= DA(x, y) <=  si 0 alors colinéaire - même idée si /2 alors rien en commun si  alors DA(x, -x) avec -x (anti-idée de x) x’ x  y 36

12 Distance entre VC angulaire (ou encore dite de magnitude)
DA(x, x) = 0 DA(x, y) = DA(y, x) DA(x, y) + DA(y, z)  DA(x, z) DA(0, 0) = 0 and DA(x, 0) = /2 par def. DA(x, y) = DA(x, y) avec .  0 DA(x, y) =  - DA(x, y) avec . < 0 DA(x+x, x+y) = DA(x, x+y)  DA(x, y) 37

13 Conceptual vector distance
Example DA(sparrow, sparrow) = 0 DA(sparrow, passerine) = 0.4 DA(sparrow, bird) = 0.7 DA(sparrow, train) = 1.14 DA(sparrow, insect) = 0.62 sparrow = kind of insectivorous passerine … 43

14 Distance entre VC Exemple DA(moineau, moineau) = 0
DA(moineau, passereau) = 0.4 DA(moineau, oiseau) = 0.7 DA(moineau, train) = 1.14 DA(moineau, insecte) = 0.62 moineau = espèce de passereau insectivore … 43

15 T définitions du noyau (clous) - vecteurs invariants
définitions de dictionnaires - vecteurs modifiés lors des révisions plante.1K scarabéeD plante.1D insecteK plante.2D insecteD plante.2K T

16 Lexique de vecteurs conceptuels
Ensemble de (terme, vecteur) = (w, )* Terme monosème ? Terme monodéfini --> 1 sens (acception) --> 1 vecteur (w, ) moineau 45

17 Lexique de vecteurs conceptuels Construction pour les polysèmes
Terme polysème ? Terme polydéfini --> n sens (acceptions) --> n vecteurs {(w, ), (w.1, 1) … (w.n, n) } bâtiment exploitation fermage élément de charpente Ferme (NF) 46

18 Lexique de vecteurs conceptuels Construction pour les polysèmes
(w) =  (w.i) ferme bâtiment (agricole) exploitation (agricole) fermage élément de charpente Danger : les sens minoritaires sont trop affaiblis 49

19 Lexique de vecteurs conceptuels Construction pour les polysèmes
(w) = classification(w.i) aggregation ascendante binaire ferme 1:DA(3,4) & (3+2) 2:(ferme4) 7:(ferme2) 6:(ferme1) 4:(ferme3) 5: DA(6,7)& (6+7) 3: DA(4,5) & (4+5) 51

20 Portée du champ sémantique
LS(w) = LSt((w)) LSt((w)) = 1 si  est une feuille LSt((w)) = (LS(1) + LS(2)) /(2-sin2(D((w))) sinon (w) = t((w)) t((w)) = (w) si  est une feuille t((w)) = LS(1)t(1) + LS(2)t(2) (w) = 1:D(3,4), (3+2) 2:4 7:2 6:1 4:3 5:D(6,7), (6+7) 3:D(4,5), (4+5) Permet de gérer les définitions multiples (redondantes) 51

21 Pondération / Sélection
Descente récursive sur t(w) comme arbre de décision DA(’, i) Arrêt sur une feuille Arrêt sur un nœud interne 1:D(3,4) & (3+2) 2:(ferme4) 7:(ferme2) 6:(ferme1) 4:(ferme3) 5:D(6,7)& (6+7) 3:D(4,5) & (4+5) 78

22 Stats sur les vecteurs Norm () Intensity () Écart type (ET)
Norme / C Généralement  = 1 (sauf pour les fonctions syntaxiques) Écart type (ET) ET2 = variance variance = 1/n * (xi - moy)2 52

23 Stats sur les vecteurs Coefficient de variation (CV) CV = ET / moy
Pas d’unité - indépendant de la norme Force conceptuelle (pour les concepts sous l’horizon) si A Hyperonyme B  CV(A) > CV(B) (on a pas  ) vector « jus de fruit » (N) --> Moy = 527, ET = CV = 1.88 vector « boisson » (N) --> Moy = 443, ET = CV = 2.28 Pour les concepts au-dessus de l’horizon, si A Hyperonyme B  CV(A) < CV(B) (on a pas  ) 54

24 Opérations sur les vecteurs
Somme V = X  Y  vi = xi + yi Element neutre : 0 X  0 = X Généralisation à n termes : V =  Vi Normalisation de la somme : vi /|V|* c Sorte de moyenne - barycentre - centroïde 59

25 Opérations sur les vecteurs
Produit terme à terme normé (pttn) V = X  Y --> vi = xi * yi Element neutre : X  1 = X Généralisation à n termes V =  Vi Intersection 60

26 Opérations sur les vecteurs
Amplification V = X ^ n --> vi = signe(vi) * |vi|^ n  V = V ^ 1/2 et n V = V ^ 1/n V  V = V ^ 2 si  vi  0 Normalisation du ptt à n termes V = n  Vi 62

27 Opérations sur les vecteurs
Contextualisation : somme + ppt (non normée) (A, B) = A(AB) Utilisée pour le calcul (simple) de vecteurs requête en RI (A, A) = A(AA) = AA = A (A, 0) = A(A0) = A0 = A (A, 1) = A(A1) = AA = A Ex : (frégate, frégate) bof ! (frégate, oiseau) ah oui ! 63

28 Opérations sur les vecteurs
Soustraction V = X - Y --> vi = xi - yi Soustraction pointée V = X  Y --> vi = max (xi - yi, 0) Complémentaire V = C(X) --> vi = (1 - xi/c) * c … Opérations ensemblistes 65

29 Autres distances Distance d’intensité
Intensité (norme) du ptt non normé 0  ( (X  Y))  1 si |x| = |y| = 1 DI(X, Y) = acos(( X  Y)) DI(X, X) = 0 et DI(X, 0) = /2 DI(moineau, moineau) = 0 (DA = 0) DI(moineau, passereau) = (DA = 0.4) DI(moineau, oiseau) = (DA = 0.7) DI(moineau, train) = (DA = 1.14) DI(moineau, insecte) = (DA = 0.62) 65

30 Autres distances Distance de profil et généralisation
Profil Dp : Comparaison de la forme des vecteurs (sans tenir compte de la magnitude) Généralisation DG : magnitude + profil V ’ V Dp(V,V ’) = 0 DG(X,Y) = DA(X,Y) + ( -1)DP(X,Y) 65

31 Fonction Lexicale vectorielle Synonymie relative
SynR(A, B, C) — C est l’axe de projection Rappel : (A, B) = A(AB) SynR(A, B, C) = DA((A, C) , (B, C)) DA(charbon,nuit) = 0.9 SynR(charbon, nuit, couleur) = 0.4 SynR(charbon, nuit, noir) = 0.35 66

32 Synonymie relative SynR(A, B, C) = SynR(B, A, C)
SynR(A, A, C) = DA(A(AC), A(AC)) = 0 SynR(A, B, 0) = DA(A, B) SynR(A, B, 1) = DA(A, B) SynR(A, 0, C) =  /2 SynR(A, B, A) = DA(A(AA), B(BA)) = DA(A, B(BA)) 67

33 Les termites attaquent les fermes du toit rapidement
Analyse « sémantique » Propagation de vecteurs sur l’arbre (d’analyse morpho-syntaxique — Application SYGMART — J. Chauché) P GN GVA Les termites GV rapidement GNP attaquent les fermes GN du toit Les termites attaquent les fermes du toit rapidement 68 68

34 Analyse sémantique P GN GVA Les termites GV rapidement GNP attaquent
fermes GN agresser commencer critiquer du toit Exploitation agricole bâtiment Élément de charpente (d’une) maison Terme d ’anatomie au-dessus 69

35 Analyse sémantique Initialisation
les vecteurs sont attachés aux cerises puis propagés aux termes P GN GVA Les termites GV rapidement 1 5 GNP attaquent 2 les fermes GN 3 du toit poids 1 1 4 1 1 1 1 1 1 1 70

36 Analyse sémantique Propagation vers le haut (montée)
(Ni ) = (Ni 1)  …  (Ni k) P GN GVA Les termites GV rapidement GNP attaquent les fermes GN du toit 71

37 Analyse sémantique Descente = contextualisation faible
(Ni j) = (Ni j, Ni ) = (Ni j)  ((Ni j)  (Ni)) P GN GVA Les termites GV rapidement 1’ 5’ GNP attaquent 2’ les fermes GN 3’ du toit 0.1 0.8 0.1 4’ Contextualisation forte 0.5 0.3 0.2 0.2 0.1 0.7 76

38 Analyse sémantique Pondération/sélection de sens P GN GVA Les termites
rapidement GNP attaquent les fermes GN commencer  attaquer critiquer du toit exploitation bâtiment  élément de charpente  d ’une maison anatomie au-dessus 77

39 Schémas syntaxiques S: NP(ART,N) S: NP1(NP2,N)  (NP) = V(N)
(bateau à voile) = (bateau)  1/2 (voile) (voile de bateau) = (voile)  1/2 (bateau) Où est la tête (gouverneur) ? 78

40 Iteration et convergence
(ou nb de cycles max) Local D(i, i+1)   pour  racine Global D(i, i+1)   pour tout  Local : Bons résultats et rapide Global : Meilleurs résultats mais coûteux et converge rarement (oscillations) 87

41 Construction et affinage de la base de VC
Définitions Dico à usage humain (multisources) Base de Vecteurs Conceptuels SYGMART Analyse morphosyntaxique (Sygmart)

42 Construction et affinage de la base de VC
Noyau manuel (nécessaire pour l’amorçage) Analyses de définitions (dico, encyclo, etc. en ligne et hors ligne) Boucle infinie --> apprentissage permanent Supervision --> ajustements manuels (nouvelles def, plus précises, moins ambiguës, etc.) synonymes Mots inconnus des définitions itérations noyau 93

43 charançon : n (un) petit insecte qui détruit les grains .
PH VPH NP REL PUNCT V=VREL (VREL ,VPH ) V=V1 2V2 ART ANP VP PR GN ADJ N V ART N GOV un petit insecte qui détruit les grains . V1 V2= V2,1  V2.2 V3 V4

44 charançon : n (un) petit insecte qui détruit le grain .
PH VPH NP REL PUNCT V=VREL (VREL ,VPH ) Analyse partielle V=V1 2V2 ART ANP VP PR GN ADJ N V ART N GOV un petit insecte qui détruit les grains . Mot inconnu V1 V2= V2,1  V2.2 V3 V4 = 0

45 Mot inconnu V4 = 0

46 Émergence Expérience EMER873
Pas de thésaurus - pas de noyau On fixe juste la dimension de E (la taille des vecteurs) Mot inconnu On tire le vecteur au hasard V4 = 0 On révisera au moment de l’apprentissage de ce mot Amplification pour éviter une convergence globale vers le vecteur 1 (effet bouillie)

47 Maille fixe - densité lexicale variable
Espace T T Maille fixe - densité lexicale variable

48 Maille variable - densité lexicale plus ou moins constante
Espace E E Maille variable - densité lexicale plus ou moins constante

49 Points de test 1/2 E Écart type de la densité lexicale (test 1)
Les n vecteurs booléens (dans TH873 et EMER873 on a n = 873) E Écart type de la densité lexicale (test 1) ET(DL(E)) < ET(DL(T))

50 Points de test 2/2 E Écart type de la densité lexicale (test 2)
Les p premiers termes en fréquence d’usage (dans TH873 et EMER873 on a p = 1000) E Écart type de la densité lexicale (test 2) ET(DL(E)) < ET(DL(T))

51 Construction de taxonomies
Fonctions lexicales Hyperonymes/hyponymes (is-a) Holonymes/méronymes (part-of) Synonymes - Antonymes (agents à apprentissage D. Schwab) Cause/effet ??? Combinaison Extractions lexicales (classique) Vecteurs conceptuels (pour la sélection des acceptions des termes) Jouer à la fois : au niveau des termes - du sens - des relations Problématique de fond : distinguer des sens par affinage successifs 107

52 … … Plus proche vecteur Pierre précieuse Gemme/pierre précieuse
Gemme/bourgeon Gemme/résine v v v … béryl Plus proche vecteur Émeraude/pierre précieuse Émeraude/béryl Émeraude/gemme v v v Pierre précieuse Gemme/pierre précieuse Gemme/bourgeon Gemme/résine v v v … béryl Émeraude/pierre précieuse Émeraude/béryl Émeraude/gemme v v v

53 … … … Pierre précieuse 0.9 Gemme/pierre précieuse Gemme/bourgeon
Gemme/résine 0.81 … 0.7 béryl 0.85 Émeraude/pierre précieuse Émeraude/béryl Émeraude/vert Émeraude/couleur Pierre précieuse … Couleur/sensation Couleur/matière 0.9 Gemme/pierre précieuse Vert/couleur Vert/couleur des signaux … 0.81 béryl 0.85 Émeraude/béryl Émeraude/vert

54 hypo hypo hypo artefact Moyen de transport aliment animal
véhicule/Moyen de transport véhicule/vecteur nourriture wagon automobile Cheval/moyen de transport Viande/nourriture Voiture/wagon hypo mammifère hypo Voiture/automobile Cheval/viande Cheval/mammifère Cheval/unité de puissance

55 Comparaison entre les deux approches
Émergence + discrimination + utilisation des ressources - évaluation par voisinage uniquement ++ pas besoin de thésaurus ? Reconstitution du (d’un) thésaurus ? au moins partiellement Thésaurus - discrimination - utilisation des ressources + évaluation par inspection ou par voisinage Concepts pertinents Concepts utiles Il faut coupler l’analyse par définitions et l’analyse par corpus Analyses intentionnelle (def), extentionnelle (ex), distributionelle (corpus)

56 Conclusion Emergence Apprentissage permanent
Vecteurs (fort rappel) Taxonomies (forte précision) Apprentissage permanent Différent d’un entraînement Multi-sources Termes - Lexies - Acceptions Amas de lexies + nommage + réinjection Bouclages (cf Ch. Lecerf sur la Double boucle) Expérience en cours avec une dim = 5000 107

57 Fin 1. extremité 2. mort 3. but … 110