La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Acquisition de connaissances linguistiques en corpus par apprentissage symbolique ou quand lapprentissage perd son aspect boîte noire Pascale Sébillot.

Présentations similaires


Présentation au sujet: "Acquisition de connaissances linguistiques en corpus par apprentissage symbolique ou quand lapprentissage perd son aspect boîte noire Pascale Sébillot."— Transcription de la présentation:

1 Acquisition de connaissances linguistiques en corpus par apprentissage symbolique ou quand lapprentissage perd son aspect boîte noire Pascale Sébillot Équipe TexMex, IRISA, Rennes

2 Plan Acquisition numérique versus symbolique Principes de la programmation logique inductive (PLI) Expérience dacquisition de relations sémantiques nomino-verbales par PLI

3 Acquisition numérique versus symbolique Pas opposition numérique vs linguistique Approche numérique exploite laspect fréquentiel des données utilise des techniques statistiques indices statistiques, analyse distributionnelle… Approche symbolique exploite laspect structurel des données utilise des informations structurelles ou symboliques expertise linguistique ou apprentissage symbolique

4 Indices statistiques (app. num.) Cooccurrences dans une fenêtre Mots apparaissant ensemble de manière statistiquement significative Coefficients dassociation table de contingence coefficient dinformation mutuelle IM= log 2 (a/(a+b)(a+c)) test du 2 (Church-Gale 91) = (ad-bc) 2 /((a+b)(a+c)(b+c)(b+d)) Segments répétés (Lebart et Salem 94) m2m2 mkm2mkm2 m1m1 ab mlm1mlm1 cd

5 Analyse distributionnelle (app. num.) Linguistique Harrissienne (Harris et al. 89) Approches en 3 étapes extraction des cooccurrents d'un mot mise en évidence de la proximité/distance des mots 2 à 2 selon leurs cooccurrents regroupement en classes Classes sémantiques… Grefenstette 94, Bouaud et al. 97… Limites : interprétabilité, détection au niveau du corpus… mais portabilité

6 Approche linguistique (app. symb.) Définitions opérationnelles des éléments à acquérir, établies par expertise linguistique Patrons, marqueurs Lexter (Bourigault 94)… Seek (Jouis 95) : règles d'exploration contextuelle plus de 220 règles SI ALORS OU manipulant plus de 3300 marqueurs linguistiques, construites manuellement détection de couples de mots en relation binaire (localisation, tout à partie…)

7 Apprentissage symbolique (app. symb.) Marqueurs de la relation issus dune analyse dexemples et non dune connaissance linguistique a priori extraction de patrons à partir dexemples Hearst (92) : méthodologie en 5 étapes 1. choisir une relation cible R 2. réunir une liste de paires en relation R 3. trouver les phrases contenant ces paires ; enregistrer leurs contextes lexical et syntaxique 4. trouver les points communs entre ces contextes ; supposer que cest un schéma de R 5. appliquer les schémas pour avoir de nouvelles paires et retourner en 3 Hyponymie (Morin 99) SN tel que LISTE (arbres fruitiers tels que des pommiers, des poiriers…)

8 Intérêt de lapproche symbolique Interprétabilité, détection au niveau de loccurrence Définition opérationnelle dun concept Intérêt quand une relation est connue partiellement en extension et pas en intention, cest-à-dire non formalisée par une règle Généraliser automatiquement apprentissage artificiel (automatique) symbolique

9 Principes de la PLI [Muggleton & De Raedt 94] Intérêt : exemples à manipuler contenant un nombre variables dobjets et relations entre objets importantes Technique dapprentissage symbolique supervisée E + et E - : exemples positifs et négatifs (contre-exemples) B : connaissances préalables (background knowledge) B, E +, E - exprimés en logique des prédicats But : lalgorithme de PLI infère, par généralisation des exemples positifs, des règles (hypothèses, clauses) H qui caractérisent les exemples positifs par rapport aux négatifs possibilité dautoriser un peu de bruit (exemples négatifs couverts)

10 Exemple : apprendre quels animaux volent E + = {vole(canari). vole(chauve-souris).} E - = {:-vole(chien).} B = {oiseau(canari). mamm(chien). mamm(chauve-souris). ailé(chauve-souris). ailé(canari).} H = {vole(X) :- ailé(X).} vole(X). vole(X) :- oiseau(X).vole(X) :- mamm(X). vole(X) :- oiseau(X), mamm(X). vole(X) :- ailé(X). EhEh général spécifique

11 Un peu plus formellement… Choix du langage des exemples et du langage des hypothèses Lien entre les deux espaces : notion de couverture Hypothèses organisées par une notion de généralisation Algorithme de PLI (ALEPH - Srinivasan 00) 1. choisir un exemple dans E+ ; arrêt sil ny en a plus 2. définir un espace de recherche dhypothèses à partir de E + et du langage dhypothèses 3. rechercher lhypothèse dans lespace de solutions maximisant une fonction de score 4. conserver cette hypothèse et ôter les exemples quelle couvre (explique) ; retourner en 1

12 Expérience dacquisition de relations sémantiques N-V par PLI Travail réalisé avec C. Fabre (Erss), P. Bouillon (Tim/Issco) et V. Claveau (Irisa) logiciel ASARES Acquisition de couples N-V sémantiquement liés Liens définis dans la structure des qualia du Lexique génératif (Pustejovsky 95) : rôles qualia télique : fonction ou but dun objet (couper – couteau) agentif : mode de création dun objet (construire – maison) couple N-V qualia par la suite Pas da priori sur les structures portant les rôles qualia dans un corpus Méthode symbolique dacquisition : intérêt linguistique (schémas porteurs, verbalisation des rôles)

13 Extraction symbolique supervisée Concept à apprendre : distinguer les paires N-V qualia des non-qualia en contexte (en corpus) Informations utilisées contexte (informations apportées par étiquetages) ordre et distance entre N et V, succession des mots Construction densembles dexemples E + et E - par un expert e + : « À laide des manettes, déverrouiller le siège et... » e - : « Gonfler la roue à la pression prescrite... » Règles générées = patrons dextraction interprétables fonction ?

14 couples qualia Extraction symbolique supervisée E + et E - expert LG corpus corpus étiqueté Étiquetages système PLI patrons dextraction B ?

15 Corpus et étiquetages Manuel de maintenance dhélicoptères de MATRA-CCR corpus technique : nombreux termes concrets vocabulaire et structures syntaxiques homogènes mots, 700 Koctets Étiquetage catégoriel segmentation, lemmatisation, étiquetage (moins de 2% derreurs) manettes est un nom commun au pluriel Étiquetage sémantique ( Bouillon et al. 00) construction dune hiérarchie détiquettes (à partir de WordNet) ex : un instrument est un type dartefact, dobjet... manettes désigne un instrument moins de 1.5% derreurs

16 Exemples et connaissances a priori Exemples description des mots de la phrase étiquettes catégorielles étiquettes sémantiques description des successions de mots distance en nombre de mots et verbes entre N et V Connaissances préalables : entre autres les hiérarchies des étiquettes catégorielles et sémantiques pour permettre des généralisations

17 Spécificités Hypothèse bien formée pour identifier une paire N- V qualia clause donnant des informations sur les mots (N, V, mots du contexte) ou sur les positions respectives du N et du V dans la phrase Prise en compte des connaissances hiérarchiques Règles linguistiquement pertinentes concision : au plus une information catégorielle et sémantique par mot introduction de variables si contraintes

18 Inférence des patrons dextraction Supervision : 3000 exemples positifs et 3000 négatifs Apprentissage : 20min (vs 12h+ sans modifications) Résultats : 9 patrons inférés is_qualia(N,V) :- precedes(V,N), near_verb(N,V), infinitive(V), action_verb(V). V daction à linfinitif + (tout sauf un verbe)* + N obturer avec les bouchons is_qualia(N,V) :- precedes(V,N), suc(V,C), colon(C), pred(N,D), punctuation(D), singular_common_noun(N). V + : + (tout mot)* + [:,;] + N ouvrir : le capot coulissant, le capot droit et…

19 Résultats - validation Validation théorique de lapprentissage et de ses paramétrages (validation croisée) Validation empirique jeu de test sous-corpus de mots focus sur 7 noms : vis, écrou, porte, voyant… 286 paires annotées par des experts du LG, dont 66 qualia

20 Résultats - validation Application des 9 patrons et comparaison des résultats dextraction des patrons inférés à ceux des experts Calcul des taux de rappel, précision et F- mesure (2PR/(P+R)) SystèmePrécision (P)Rappel (R)F-mesure PLI62.2%92.4%0.744

21 Comparaison avec des méthodes dextraction statistiques Cooccurrences de N et V dans une phrase, basées sur les lemmes Meilleure précision mais taux de rappel plus faible Travail uniquement sur les lemmes alors que la PLI bénéficie dinformations sémantiques et catégorielles Pas besoin de supervision Système Précision (P) Rappel (R) F-mesure PLI 62.2% 92.4% coeff Ochiai 82.4% 42.4% 0.56 coeff IM % 36.4% test chi2 78.1% 37.9% coeff loglike 80% 42.4% 0.554

22 Comparaison avec une méthode syntaxique manuelle Extraction basée sur une analyse syntaxique : annotation syntaxique (sujet, objet, modifieur) manuelle des paires N-V Paire N-V détectée si en relation syntaxique Le lien qualia est plus quun simple lien syntaxique (rappel) (poser lensemble : rondelle, vis et serrer au couple) SystèmePrécision (P)Rappel (R)F-mesure PLI62.2%92.4%0.744 lien synt.79.2%86.4%0.826

23 Pertinence linguistique des patrons dextraction 1. is_qualia(N,V) :- precedes(V, N), near_verb(N, V), infinitive(V), action_verb(V). 2. is_qualia(N, V) :- contiguous(N, V). 3. is_qualia(N, V) :- precedes(V, N), near_word(N, V), near_ verb(N, V), suc(V,C), preposition(C). 4. is_qualia(N, V) :- near_word(N, V), sentence_beginning(N). 5. is_qualia(N, V) :- precedes(V, N), singular_common_noun(N), suc(V,C), colon(C), pred(N,D), punctuation(D). 6. is_qualia(N, V) :- near_word(N, V), suc(V,C), suc(C,D), action_verb(D). 7. is_qualia(N, V) :- precedes(N, V), near_word(N, V), pred(N,C), punctuation(C). 8. is_qualia(N, V) :- near_verb(N, V), pred(V,C), pred(C,D), pred(D,E), preposition(E), sentence_beginning(N). 9. is_qualia(N, V) :- precedes(N, V), near_verb(N, V), pred(N,C), subordinating_conjunction(C).

24 Pertinence linguistique des patrons dextraction À ce niveau de généralisation, peu de marqueurs linguistiques usuels sauf informations morphologiques et sémantiques pour les verbes infinitifs et verbes daction privilégiés Autres critères proximité : N et V proches dans la phrase, sans verbe entre eux position : N ou V souvent en début de phrase (en particulier V) ponctuations telles que « : » «, » « ; » catégorisation morphosyntaxique 1 e clause verbe daction à linfinitif débrancher les prises, déposer les obturateurs…

25 Pertinence linguistique des patrons dextraction Patrons propres au corpus et interprétables Recoupement en partie de structures trouvées manuellement (Galy 00) V infinitif + déterminant + N (visser le bouchon) N + V (un bouchon obture) être + V participe passé + par + déterminant + N (sont obturées par les bouchons) … Pertinence des structures infinitives, patrons avec N et V proches Généralisations des structures de Galy (actif et passif clause 2) Non trouvés : marqueurs polylexicaux (avoir pour but de…) Mais indices nouveaux par rapport à lanalyse manuelle

26 Approche numérique vs symbolique Numérique méthodes portables, automatiques résultats peu interprétables détection au niveau du corpus : une occurrence (retenue ou non) pas explicable cas rares problématiques Symbolique connaissances a priori (patrons, exemples) résultats interprétables détection au niveau de loccurrence cas rares pouvant être pris en compte

27 Acquisition de connaissances linguistiques en corpus par apprentissage symbolique ou quand lapprentissage perd son aspect boîte noire Pascale Sébillot Équipe TexMex, IRISA, Rennes Merci de votre attention


Télécharger ppt "Acquisition de connaissances linguistiques en corpus par apprentissage symbolique ou quand lapprentissage perd son aspect boîte noire Pascale Sébillot."

Présentations similaires


Annonces Google