Theories linguistiques pour le TAL

Présentation au sujet: "Theories linguistiques pour le TAL"— Transcription de la présentation:

1 Theories linguistiques pour le TAL
Amalia Todirascu 18/09/2018 Théories linguistiques

2 Théories linguistiques
Plan Grammaires de constituants, Grammaires de dépendances, modèles formels pourquoi des modèles formels pour l'analyse syntaxique automatique? LTAG théorie applications 18/09/2018 Théories linguistiques

3 Analyse syntaxique automatique
approches classique (analyse complète) grammaire lexique analyse partielle: chunks (Abney, 1991, Vergne, 1999), automates à états finis (Ait-Mokhtar et Chanod, 1999) 18/09/2018 Théories linguistiques

4 Analyse syntaxique automatique (II)
approches Manuelle Apprentissage automatique: Anglais Caroll et Briscoe (1996) Collins (1996) Français Chappelier et Rajman (1998), (Candito et al, 2010) Allemand Bohnet (2010) 18/09/2018 Théories linguistiques

5 Théories linguistiques
Rappel: Grammaire TAL symbol initial: Phrase un ensemble de symboles non-terminaux: les classes syntaxiques un ensemble de symboles terminaux: à retrouver dans le lexique ou la catégorie lexicale un ensemble de règles de réecriture 18/09/2018 Théories linguistiques

6 Théories linguistiques
Grammaire Phrase -> GN GV Phrase -> GN GV GN Phrase -> GN GV GN GP GN -> Det Nom GN -> Det Nom Adj GN -> NProp GN -> Pron GV -> Verbe GV -> Aux Verbe GP -> Prep GN GP -> Prep GN GP 18/09/2018 Théories linguistiques

7 Grammaires de dépendance
NP V NP R0 VMOD SBJ NMOD EN D N ROOT EN V D N Karl travaille le soir Karl travaille le soir 18/09/2018 Théories linguistiques

8 Grammaires de dépendance (II)
ROOT R0 NP V NP V:travaille SBJ VMOD NE:Karl EN D N N:soir NMOD Karl travaille le soir D:le 18/09/2018 Théories linguistiques

9 Grammaires de dépendance
ROOT R0 Formalisme: T = terminaux N = non-terminaux L = étiquettes ROOT = noeud initial règles: RI : règle de catégorisation : X  y1 | … | yn RII : règle de dépendence : X(Y1…Yi*Yi+1…Yn) RIII: catégories liées avec ROOT V:travaille SBJ VMOD EN:Karl N:soir NMOD D:le 18/09/2018 Théories linguistiques

10 Théories linguistiques
Exemples MST parser (Candito et al, 2010) entrée: MElt tagger (Sagot, Denis, 2010) sortie: relations de dépendance ressource: FRench Treebank (Abeillé et al, 2003) Annotation au niveau de constituents : AP, PP, NP, VN, AdP, VPinf, VPpart Annotation au niveau de fonctions syntaxiques 18/09/2018 Théories linguistiques

11 Analyse syntaxique classique
Objectif: judger si une phrase est correcte approche constructiviste construire un arbre syntaxique pour la phrase d'éntrée, en appliquant les règles de grammaire nécessite des ressources complètes pas adaptée aux textes spécialisés, transcrits de l'oral, pas de phrases complexes 18/09/2018 Théories linguistiques

12 Analyse syntaxique classique (II)
Règles de grammaire independentes du contexte FIPS (Werhli, 2005) Modèles formels pour décrire la grammaire Constraint Grammar (VISL, Bick, 2009) 18/09/2018 Théories linguistiques

13 Théories linguistiques
Un modèle formel un formalisme de représentation des connaissances linguistiques et extralinguistiques des règles de grammaires des entrées du lexique des connaissances du domaine modalités de calcul pour construire un arbre syntaxique pour construire une représentation sémantique 18/09/2018 Théories linguistiques

14 Théories linguistiques
Pourquoi des modèles? les grammaires independentes de contexte ne sont pas suffisantes phénomènes linguistiques à traiter: règles d'accord, verbes transitives et intransitives, dépendences à distance optimiser le calcul pour les arbres syntaxiques les représentations sémantiques 18/09/2018 Théories linguistiques

15 Théories linguistiques
Modèles Plusieurs aspects organisation du lexique stratégies d'analyse automatique Plusieurs modèles GPSG (Generalized Phrase Structure Grammar) (Gazdar) LFG (Lexical Function Grammar) (Kaplan) HPSG (Head Phrase Structure Grammar) (Pollard, Sag, 1994) TAG (Joshi, 1985), LTAG (Joshi, 1995) 18/09/2018 Théories linguistiques

16 Théories linguistiques
TAG Tree Adjoining Grammars (Joshi, 1975, 1995) l'hypothèse: représenter les contextes syntaxiques locales (des arbres syntaxiques) contraintes sur les combinaisons entre ces arbres syntaxiques justification linguistique (structure prédicat-argument) prise en compte de l'ordre locale des mots 18/09/2018 Théories linguistiques

17 Théories linguistiques
TAG (II) La grammaire: un symbole initial, des symboles non-terminaux, des symboles terminaux Les règles de réecriture: un ensemble d'arbres arbre initial: un arbre ayant le noeud racine étiqueté avec le symbole initial noeuds feuilles: symboles terminaux arbre auxiliaire: un seul noeud feuille étiqueté X, la même étiquete que l'étiquette du noeud racine 18/09/2018 Théories linguistiques

18 Arbre initial et arbre auxiliaire
W1, W2 T* (T l'ensemble de symboles terminaux) X  NT (NT – symbole non-terminal)  : Phrase W T* (T l'ensemble de symboles terminaux) α : X W1 W2 W Arbre initial α Arbre auxiliaire  18/09/2018 Théories linguistiques

19 Théories linguistiques
Adjonction ' : X X  : Phrase t – sous arbre avec la racine X  : X X t X X t 18/09/2018 Théories linguistiques

20 TAG et contraintes locales
pour chaque noeud n, specifie les arbres auxiliaires qui peuvent d'adjoindre Selectif : une liste d'arbres auxiliaires zero: aucun arbre auxiliaire peut s'adjoindre obligatoire: les arbres qui doivent s'adjoindre 18/09/2018 Théories linguistiques

21 Théories linguistiques
Avantages et limites Avantages modèle operationnel: adjonction motivation linguistique prise en compte des contraintes locales limites beaucoup d'arbres à combiner pas de lien direct avec le lexique 18/09/2018 Théories linguistiques

22 Lexicalized Tree Adjoining Grammars (LTAG)
association entrée lexicale - arbres description complète de l'environnement syntaxique possibilité de traiter les expressions figées modifications par rapport au TAG ancrage lexical deux opérations: substitution (obligatoire) et adjonction (facultative) 18/09/2018 Théories linguistiques

23 Théories linguistiques
Arbres LTAG Arbres élémentaires – décrivent des arguments obligatoires avec d'autres arbres: tête-complément au moins un noeud ancre (l'unité lexicale) des noeuds de substitution () Arbres auxiliaires – relations tête-modifieurs un noeud ancre un noeud pied (*), l'étiquette est identique au noeud racine 18/09/2018 Théories linguistiques

24 Théories linguistiques
Exemples nv1: nvn1: S V  GN GN  S V  GN adv1: np1: GN V Adv  V* Np  18/09/2018 Théories linguistiques

25 Théories linguistiques
Propriétés Grammaire lexicalisée: arbres unités lexicales associées aux arbres opérations localité un arbre élémentaire contient tous les arguments dans la même structure pour chaque unité lexicale, on associe plusieurs arbres recursivité: arbres auxiliaires 18/09/2018 Théories linguistiques

26 Arbres derivés et arbres de derivation
le résultat obtenu suite aux opération de substitution et d'adjonction, sur les arbres associés aux unités lexicales de la phrase d'entrée arbres de derivation les noeuds étiquetés avec le nom de l'arbre et l'ancre (le lemme) les liens – opérations d'adjonction ou de substitution arbre de dépendances on supprime les noms des arbres dans l'arbre de derivation 18/09/2018 Théories linguistiques

27 Théories linguistiques
Ressources XTAG (Doran et al, 1994) grammaire de grande couverture étiquetteur, analyseur morphologique, analyseur syntaxique FTAG (Abeillé, 2002) grammaire de grande couverture pour le français 18/09/2018 Théories linguistiques

28 L'analyseur syntaxique LTAG
développé par Langue et Dialogue, LORIA, INRIA-Lorraine utilise un lexique et une grammaire d'arbres adjoints (Joshi 1995) chaque mot est associé à une famille d'arbres un arbre décrit le comportement syntaxique de chaque mot grammaire d'arbres adjoints lexicalisée (LTAG) (Abeillé et al, 2001) possible extensions pour les structures de traits 18/09/2018 Théories linguistiques

29 L'analyseur syntaxique LTAG (II)
Combiner les arbres associés aux mots de la phrase opération de substitution: structure prédicat-arguments opération d'adjonction: les modifieurs coût important d'adaptation des ressources aux domaines nouveaux 18/09/2018 Théories linguistiques

30 Théories linguistiques
V Adv V* énormément Jean dort énormément N Jean S V N Arbres S V N N Np  Lexique substitution dort S V N Jean dort énormément adjonction V Adv  V* Jean S V N Jean dort énormément dormir Adv 18/09/2018 Théories linguistiques

31 Théories linguistiques
Ressources une DTD qui décrit les familles d'arbres, de lemmes et d'unités lexicales un arbre: au moins un noeud ancre (attribut type) un noeud tête (l'élement central qui porte les propriétés du constituant) des noeuds de type substitution (subst) ou adjonction (foot) lien avec le lemme: lexicalisation unités lexicales: morphoLib 18/09/2018 Théories linguistiques

32 Théories linguistiques
Exemple d'arbre <tree id="prep_mod_temp"> <node cat="VP"> <node cat="VP" type="foot"/> <node cat="PP"> <node cat="Prep" name="_head" type="anchor"> </node> <node cat="N" type="subst"> </tree> 18/09/2018 Théories linguistiques

33 Théories linguistiques
Exemples de ancrage <lexicalization> <family> <tree id="for_n_adj"/> </family> <anchor noderef="_head"> <lemmaref cat="Prep" name="FOR"/> </anchor> </lexicalization> 18/09/2018 Théories linguistiques

34 Théories linguistiques
Exemple d'entrée <morph lex="for"> <fs> <f name="cat"> <sym value="prep"/> </f> </fs> <lemmaref cat="Prep" name="FOR"/> </morph> 18/09/2018 Théories linguistiques

35 Théories linguistiques
Autres outils French MetaGrammar parser autres parseurs XTAG parser (Bangalore, 1997) utilisant des informations statistiques pour réduire le nombre d'arbres 18/09/2018 Théories linguistiques

36 Théories linguistiques
Projets et évenements Outils et ressources SYNTAX (équipe ALPAGE) – générer des analyseurs pour les grammaires TAG Multiple Information Access using Multiple Modalities – MIAMM (LORIA) ( ) Ozone ( ) (LORIA) French Treebank (Anne Abeillé) (2003) événements Journée ATALA: Quels analyseurs syntaxiques pour le français ? (oct 09) IWPT'09 18/09/2018 Théories linguistiques

37 Théories linguistiques
Avantages et Limites avantages modèle opérationnel adaptable pour l'analyse partielle motivation linguistique limites coût important pour créer les ressources nécessite une sélection préalable des arbres 18/09/2018 Théories linguistiques

38 Théories linguistiques
Réferences Abeillé, A., L. Clément, and F. Toussenel `Building a treebank for French', in A. Abeillé (ed) Treebanks , Kluwer, Dordrecht Abeillé, A., Schabes, Y., Joshi, A Using Lexicalized Tags for Machine Translation. COLING 1990: 1-6 Abeillé, A Une grammaire électronique du français, CNRS Editions, Paris. Steven Abney. Parsing By Chunks. In: Robert Berwick, Steven Abney and Carol Tenny (eds.), Principle-Based Parsing. Kluwer Academic Publishers, Dordrecht Ait-Mokhtar, S., Chanod, J.-P Incremental Finite State Parsing, ANLP 1997, 72-79 Bangalore, S. (1997) Complexity of Lexical Descriptions and its Relevance to Partial Parsing 18/09/2018 Théories linguistiques

39 Théories linguistiques
Réferences (II) Carroll, J. and E. Briscoe (1996) `Apportioning development effort in a probabilistic LR parsing system through evaluation'. In Proceedings of the ACL/SIGDAT Conference on Empirical Methods in Natural Language Processing, University of Pennsylvania, PA Chappelier, C., Rajman, M. (1998) A Generalized CYK Algorithm for Parsing Stohastic CFG, TAPD 1998 Collins, M. (1996). A New Statistical Parser Based on Bigram Lexical Dependencies Doran et al XTAG System – A Wide Coverage Grammar for English. In Proceedings of COLING'94. Gazdar, G Phrase Structured Grammars and Natural Languages, Proceedings of IJCAI. 18/09/2018 Théories linguistiques

40 Théories linguistiques
Réferences (III) Kaplan, R., Bresnan, J Lexical Functional Grammar: A Formal System for Grammatical Representation. In J.Bresnan (ed.) The Mental Representation of Grammatical Relations. MIT Press, Cambridge, Massachusetts Joshi, A Introduction to Tree Adjoining Grammars. In Computational Intelligence Joshi, A., Levy, L., Takahashi, M Tree Adjunct Grammars. J. Comput. Syst. Sci. 10(1): Vergne, J. (1999) Étude et modélisation de la syntaxe des langues à l'aide de l'ordinateur. Analyse syntaxique automatique non combinatoire. Synthèse et Résultats, Mémoire HDR. Vijay-Shankar, K, Joshi, A. Some Computational Properties of Tree Adjoining Grammars, HLT 1986 18/09/2018 Théories linguistiques

41 Head-driven Phrase Structured Grammar
18/09/2018 Théories linguistiques

42 Théories linguistiques
HPSG proposé par I.Sag et C.Pollard (Stanford), 1994 grammaires d'unification les entrées lexicales et les règles de grammaires structures de traits (propriétés-valeurs) information riche dans le lexique 18/09/2018 Théories linguistiques

43 Structure de traits (feature-structure)
une structure de traits un ensemble de propriétés et leurs valeurs valeurs: atomiques ou d'autres f-structures propriétés: phonologiques syntaxiques sémantiques relation d'ordre (une structure A est plus informative que la structure B si elle contient toutes les propriétés de la structure B et quelques propriétés en plus) 18/09/2018 Théories linguistiques

44 Opérations sur les structures
Union : le résultat de l'union de A et B doit contenir toutes les propriétés de A et B; pour les propriétés communes, la valeur calculée est l'union de valeurs: si la valeur est atomique et identique, l'union est possible si la valeur est atomique et différente, alors l'union est vide sinon, il faut proposer l'union des valeurs de ces propriétés 18/09/2018 Théories linguistiques

45 Théories linguistiques
  18/09/2018 Théories linguistiques

46 Théories linguistiques
Structures typées une propriété peut avoir comme valeur une structure le type de structure = l'ensemble des propriétés spécifiques sign=word  phrase le type sign = PHON, SYNSEM le type synsem=CAT, CONTENT,CONTEXT CAT – les propriétés morphologiques et les listes de sous-catégorisation CONTENT – les propriétés sémantiques non contextuelles CONTEXT – d'autres connaissances du domaine 18/09/2018 Théories linguistiques

47 Théories linguistiques
Le lexique entrées lexicales riches information phonologique/phonétique information morphologique et syntaxique constituants syntaxiques qui doivent se combiner avec l'unité lexicale information sémantique structure prédicat-argument information contextuelles information à distance tout l'information nécessaire pour l'analyse est concentrée au niveau lexical 18/09/2018 Théories linguistiques

48 Une structure générique
word pour les entrées du lexique 18/09/2018 Théories linguistiques

49 Un exemple pour une entrée lexicale
un verbe et un nom propre 18/09/2018 Théories linguistiques

50 D'autres exemples des entrées
word pour un verbe bitransitif 18/09/2018 Théories linguistiques

51 Théories linguistiques
La grammaire quelques principes universels le principe du noyau (Head Principle) le principe de sous-catégorisation (Sucategorization principle) le principe sémantique quelques principes spécifiques pour chaque langue pour l'ordre pour des phénomènes spécifiques quelques règles dépendentes pour chaque langue les exceptions 18/09/2018 Théories linguistiques

52 Une structure générique: phrase
la phrase a comme propriétés PHON et SYNSEM, mais aussi DTRS (DAUGHTERS) DTRS: HEAD-DTR (le noyau) et les COMP-DTRS (une liste de constituants obligatoires) autres catégories de DTRS: ADJUNCT-DTR, FILLER-DTR, MARKER-DTR 18/09/2018 Théories linguistiques

53 Théories linguistiques
Le principe du noyau la phrase partage les propriétés du noyau noyau: nom pour le groupe nominal, verbe pour la phrase etc. il s'agit des propriétés morphologiques, syntaxiques, sémantiques 18/09/2018 Théories linguistiques

54 Le principe de sous-catégorisation
La valeur SUBCAT du noyau de la phrase est la concatenation de la liste SUBCAT de la phrase avec les valeurs SYNSEM des compléments 18/09/2018 Théories linguistiques

55 Théories linguistiques
Un exemple d'arbre [1] Kim [2] [3] Sandy Fido gives 18/09/2018 Théories linguistiques

56 Propriétés de dépendences à distance
un élément vide prévu dans le lexique un principe pour lier les élements vides 18/09/2018 Théories linguistiques

57 Théories linguistiques
18/09/2018 Théories linguistiques

58 Une analyse automatique
identifie les entrées lexicales pour chaque mot de la phrase à analyser pour chaque entrée dont [HEAD : nom| verbe|préposition] appliquer le principe de sous-catégorisation pour essayer de saturer les phrases appliquer le principe du noyau, sémantique et les autres principes (contraintes d'unification) si l'unification echoue, la phrase est incorrecte si l'unification a reussi, la phrase a une représentation syntaxique donc elle est reconnue par la grammaire 18/09/2018 Théories linguistiques

59 Théories linguistiques
Travaux de recherche linguistique traiter les divers phénomènes pour divers langues clitiques: Italien, Français (Monachesi 1999, Abeillé 1996) ellipse (Lappin, ): anglais anaphore: anglais TAL développement d'algorithmes d'analyse (VanNoord, 1996, Meurers et al., 2003) développement de systèmes pour écrire des grammaires logique (compilation de grammaire, optimisation des opérations) 18/09/2018 Théories linguistiques

60 Théories linguistiques
Grammaires HPSG Une grammaire HPSG pour plusieurs langues ERG: pour l'anglais espagnol 18/09/2018 Théories linguistiques

61 Théories linguistiques
Ressources HPSG le projet HPSG le projet Verbmobil dialogue homme-machine Projets: Linguistic Data Structures: On the Relation between Data and Theory in Linguistics (Université de Tübingen) – lien avec le corpus Bulgarian Tree Bank : corpus annoté et CLARK – système pour annoter 18/09/2018 Théories linguistiques

62 Théories linguistiques
Ressources (II) Systèmes pour développer des grammaires ALE (en Prologue) Controll (pas maintenu!) Analyseurs pour l'anglais et pour le néerlandais (en Prolog) 18/09/2018 Théories linguistiques

63 Théories linguistiques
Avantages une seule opération: l'unification des structures mots et phrases: structure de traits structures partagées (unicité de l'objet) toutes les catégories d'informations (syntaxiques, sémantiques, locales, non-locales) sont représentées de manière uniforme 18/09/2018 Théories linguistiques

64 Théories linguistiques
Limites beaucoup d'informations dans le lexique liste exhaustive de toutes les formes analyse partielle n'est pas possible (si l'unification echoue) information redondante (HEAD, SUBCAT, DTRS) pas des données extraites du corpus pour représenter les grammaires 18/09/2018 Théories linguistiques

65 Théories linguistiques
Réferences HPSG C. Pollard, I. Sag - Head-driven phrase structure grammar, 1994 I. Sag,T. Wasow, E. Bender - Syntactic theory: a formal introduction, 2003 Bibliographie HPSG interactive R. D. Levine & D. Meurers - Head-Driven Phrase Structure Grammar: Linguistic Approach, Formal Foundations, and Computational Realization. In K. Brown (Ed.): Encyclopedia of Language and Linguistics, Second Edition. Oxford: Elsevier 18/09/2018 Théories linguistiques

66 Théories linguistiques
Réferences HPSG (II) Meurers, W. D., Kuthy, K. D. and Metcalf, V. (2003). Modularity of grammatical constraints in HPSG-based grammar implementations. In M. Siegel, F. Fouvry, D. Flickinger and E. Bender (eds.), Proceedings of the ESSLLI ’03 workshop “Ideas and Strategies for Multilingual Grammar Development”. Vienna, Austria. Monachesi, P. (1999). A lexical approach to Italian cliticization, vol. 84. Stanford, CA: CSLI Publications. van Noord, G. and Bouma, G. (1997). Hdrug, A Flexible and Extendible Development, Environment for Natural Language Processing. In Estival et al. (1997). 18/09/2018 Théories linguistiques