La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Eric Laporte Institut Gaspard-Monge Université Paris-Est Marne-la-Vallée France Syntaxe et analyse syntaxique.

Présentations similaires


Présentation au sujet: "Eric Laporte Institut Gaspard-Monge Université Paris-Est Marne-la-Vallée France Syntaxe et analyse syntaxique."— Transcription de la présentation:

1 Eric Laporte Institut Gaspard-Monge Université Paris-Est Marne-la-Vallée France Syntaxe et analyse syntaxique

2 Objectifs Constituants syntaxiques Ambiguïté Chunks Grammaires algébriques Réseaux de transitions récursifs Application glissante Transducteurs Linéarisation Syntaxe et analyse syntaxique

3 Objectifs de la syntaxe Traduction The guy of room 5 misses the girl of room 3 La fille de la chambre 3 manque au type de la chambre 5 Délimiter pour déplacer Mots ambigus [1939 :] [l'Allemagne] [annexe] [la Pologne] [Veuillez me faire parvenir] [l'annexe technique] [du contrat] Délimiter pour lever l'ambiguïté

4 Syntaxe Je vais fermer l'autre porte *autre fermer je l'porte vais Comment les mots se combinent-ils en phrases qui ont un sens ? Dans quel ordre ? Quelles combinaisons sont possibles ?

5 Constituants syntaxiques (1/3) Certaines suites de mots dans une phrase forment des constituants Exemple 1 : groupes nominaux vingt autres journaux l'Inde l'offre une seconde section d'équilibristes l'un des meilleurs bâtiments à voile de la compagnie Exemple de propriété commune à ces groupes Peuvent être suivis d'un verbe dans une phrase

6 Constituants syntaxiques (2/3) vingt autres journaux titrent... l'Inde est... l'offre parvient à... une seconde section d'équilibristes arriva l'un des meilleurs bâtiments à voile de la compagnie peut... ce n'est pas vrai de n'importe quelle séquence de mots *journaux titrent... * l'parvient à... * seconde d'équilibristes arriva On doit donc pouvoir spécifier "un groupe nominal peut être suivi d'un verbe"

7 Constituants syntaxiques (3/3) Exemple 2 : groupes nominaux prépositionnels depuis quelques mois Déplacement de ce groupe Depuis quelques mois la situation évolue La situation depuis quelques mois évolue La situation évolue depuis quelques mois ce n'est pas vrai de n'importe quelle séquence de mots * Depuis mois la situation quelques évolue * La depuis situation quelques mois évolue * La situation mois évolue depuis quelques

8 Arbres de constituants (1/2) GN Det N GAdj Adj GAdv Adv unbâtiment à voileassezréputé

9 Arbres de constituants (2/2) P GN préfère GN N Det cetteLuccompagnie Notation parenthésée (P (GN Luc) préfère (GN (Det cette) (N compagnie))) (P (GN (Det Quels) (N vols)) proposent (GN (Det un) (N dîner)) ?)

10 Arbres et interprétations (1/3) le livre de (la fille sur la photo) dans le sac le livre de la fille sur (la photo dans le sac) le livre de (la fille) sur (la photo) dans (le sac) GN DetN lelivrede Prép sur Prép DetNGN laphotodans Prép GN DetN lafille DetN lesac Ambiguïté syntaxique À chaque arbre correspond une interprétation

11 Arbres et interprétations (2/3) Les arbres permettent de représenter certaines ambiguïtés de la confiture à la rhubarbe congelée de la confiture à la rhubarbe congelée Ambiguïté syntaxique

12 Arbres et interprétations (3/3) La tempête n'a pas eu l'ampleur redoutée en raison de la concomitance d'une forte marée (Le Monde 12 novembre 2007) A paper in this week's Science purports to identify an impact crater as big as the famous "dinosaur killer" at Chicxulub, in Mexico (The Economist 15 mai 2004) Ambiguïté syntaxique

13 Ambiguïtés syntaxiques Luc recouvre la table de bois Le MEDEF demande depuis longtemps la suppression de cet impôt, qui pousserait les entrepreneurs à quitter la France Moules et frites à volonté : 15

14 Ambiguïtés (1/2) Un lecteur anonyme a trouvé cette solution astucieuse lexicales : trouvé syntaxiques : statut de astucieuse Ambiguïté lexicale et ambiguïté syntaxique Différence dans les étiquettes lexicales Différence dans l'arbre Beaucoup d'ambiguïtés sont à la fois lexicales et syntaxiques

15 Ambiguïtés (2/2) Le marketing utilise des procédés littéraires élaborés à des fins utilitaires et mercantiles (Le Monde juin 2008) On a placé la table ronde sur les revêtements naturels à 10 h

16 Ambiguïtés syntaxiques et reformulation Luc recouvre la table de bois Luc recouvre la table avec du bois Luc recouvre la table qui est en bois Le MEDEF demande depuis longtemps la suppression de cet impôt, qui pousserait les entrepreneurs à quitter la France Le MEDEF... cet impôt. Cet impôt pousserait les entrepreneurs à quitter la France Le MEDEF... cet impôt. La suppression de cet impôt pousserait les entrepreneurs à quitter la France Moules et frites à volonté : 15 Un lecteur anonyme a trouvé cette solution astucieuse On a placé la table ronde sur les revêtements naturels à 10 h

17 Ambiguïté artificielle (1/2) les vols de (la soirée de lundi) pour Toulouse les réponses de Luc à (plusieurs questions de Marie) GN DetN lesvolsde Prép pour Prép DetNGN lundiToulousela Npr soiréede Prép GN

18 Ambiguïté artificielle (2/2) les vols de (la soirée de lundi) pour Toulouse les réponses de Luc à (plusieurs questions de Marie) GN DetN lesréponsesde Prép à DetNGN Marie Luc plusieurs Npr questionsde Prép GN Npr

19 Constituants non récursifs ou chunks (1/2) ( GN ( GN l'un des meilleurs bâtiments à voile) de ( GN la compagnie)) Une suite de deux chunks Constituants qui ne contiennent pas un constituant de la même catégorie ( GN l'un des meilleurs bâtiments à voile de ( GN la compagnie)) Un GN inclus dans un autre : le petit est un chunk, le grand non Si le GN est précédé d'une préposition, on l'inclut dans le chunk

20 Constituants non récursifs ou chunks (2/2) [Parmi ces passagers] [du Mongolia], [on comptait] [divers fonctionnaires civils] et [des officiers] [de tout grade] Une phrase est presque une séquence de chunks, surtout nominaux [on comptait] chunk verbal [M. Fogg] [quitta] [l'hôtel], [seul], [après avoir] [recommandé] [à son domestique] [de l'attendre] [seul] chunk adjectival [Oui] ! [oui] ! [répétait] [machinalement] [le pauvre garçon] [machinalement] chunk adverbial

21 Mots composés ou expressions multi-mots L'un des meilleurs bâtiments à vendre actuellement bâtiments à vendre n'est pas un mot composé L'un des meilleurs bâtiments à voile de la compagnie bâtiments à voile est un mot composé Compositionnalité ou non bâtiments à vendre sens calculable à partir des sens de bâtiments et à vendre bâtiments à voile à voile n'a pas vraiment un sens indépendamment de bâtiment et quelques autres noms Distribution libre ou figée (bâtiments + stylos +...) (à vendre + en bon état +...) (bâtiments + bateaux + *stylos) (à voile + à vapeur + *à mâts)

22 Grammaires algébriques (1/2) Context-free grammars Outil de manipulation des constituants syntaxiques Règlesindiquent la combinaison et l'ordre des éléments GN--> Det N GAdj GN--> Npr GAdj--> GAdv Adj GAdv--> GAdv Adv GAdv--> Adv LexiqueListe des mots (symboles terminaux) Liste des symboles non terminauxGN GAdj GAdv Det...

23 Grammaires algébriques (2/2) Les règles peuvent comporter des mots dans le membre droit Npr--> Luc Det--> un N--> bâtiment à voile Adj--> réputé Adv--> assez GN--> Det offre de GN Membre gauche : obligatoirement un non-terminal Membre droit : séquence de symboles terminaux ou non terminaux

24 Dérivation Réécriture utilisant les règles GN--> Det N GAdj(règle) --> Det N GAdv Adj(règleGAdj--> GAdv Adj ) --> Det N Adv Adj(règleGAdv--> Adv ) --> un N Adv Adj(règle Det--> un ) --> un bâtiment à voile Adv Adj(règle N--> bâtiment à voile ) --> un bâtiment à voile assez Adj(règle Adv--> assez ) --> un bâtiment à voile assez réputé(règle Adj--> réputé ) On peut dériver un bâtiment à voile assez réputé de GN

25 Axiome Le langage formel engendré par la grammaire est l'ensemble des séquences de terminaux dérivables à partir de l'axiome Axiome un des non-terminaux Si la grammaire engendre des phrases, l'axiome correspond au symbole "phrase" Phrase grammaticale phrase engendrée par la grammaire Analyse syntaxique associer à une phrase son (ou ses) arbres de dérivation

26 Règles pour les phrases (1/2) P--> GN préfère GNLuc préfère cette compagnie P--> GN quitte GN Prép GN Luc quitte Paris vers 10 h P--> GN part Prép GN Luc part après la réunion P GN préfère GN N Det cetteLuccompagnie

27 Règles pour les phrases (2/2) P--> montrez-PRO GNMontrez-moi tous les vols P--> est-ce que il y a GN Prép GN ? Est-ce qu'il y a un dîner sur le vol 312 ? P--> GN proposent GN ? Quels vols proposent un dîner ? Notation parenthésée ( P ( GN ( Det Quels) ( N vols)) proposent ( GN ( Det un) ( N dîner)) ?)

28 Règles pour les groupes nominaux GN--> Det Nun arrêt GN--> Det Adj Nune petite attente GN--> Det GAdj Nla plus longue attente GN--> Det N GAdjun coût trop élevé GN--> Det de Nbeaucoup d'attente GN--> Det N Prép GNles vols pour Toulouse GN--> Det N Rel les vols qui arrivent à Toulouse avant midi GN--> Det N Prép GN Prép GN les vols de la soirée pour Toulouse

29 Règles pour la coordination GN--> GN Conj GNun arrêt et une attente P--> P Conj POn s'arrête et on attend GAdj--> GAdj Conj GAdjtentant mais dangereux etc. GN--> Det N Prép GNles vols pour Toulouse GN--> Det N Prép GN Conj Prép GN les vols pour Toulouse ou depuis Toulouse

30 Définition (X, V, A 0, P) : X alphabet terminal, V alphabet des variables (V X = ø), A 0 V axiome, P ensemble fini des règles V × (V | X)*. Grammaires algébriques (1/2)

31 Règles : entrepr0 salariés des taille0 entreprises entrepr0 patrons des taille0 entreprises entrepr0 salariés des entreprises entrepr0 patrons des entreprises taille0 petites taille0 moyennes taille0 grandes Grammaires algébriques (2/2)

32 Dérivations Définition f g pour f, g (V | X)* ssi on a les factorisations f = uAv et g = uhv avec une règle A h P. Exemple : des taille0 entreprises des grandes entreprises Langage engendré par la grammaire cest lensemble des f X* tels que A 0 … f. Exemple : entrepr0 salariés des taille0 entreprises salariés des petites entreprises X* donc salariés des petites entreprises est engendré par la grammaire

33 Recursive transition network (RTN) Comme les graphes, mais un noeud peut appeler un autre graphe (sous-graphe) Pour appeler un sous-graphe écrire ":" et le nom du sous-graphe Par rapport à un graphe simple : on peut représenter plus de formes Les appels à des sous-graphes peuvent faire des cycles Réseaux de transitions récursifs (RTN) (1/3)

34 Réseaux de transitions récursifs (2/3) entrepr.grf taille.grf Etat initial : entrepr0 Transition étiquetée par un état : de entrepr3 vers entrepr4 étiquetée par taille0

35 Définition Un automate fini (X | Q, Q, q -, F, δ) : X alphabet terminal, Q ensemble des états (Q X = ø), q - état initial Q, F Q ensemble des états finaux, δ ensemble fini des transitions Q × (X | Q | ε) × Q L'alphabet est constitué de deux parties disjointes, l'alphabet terminal et l'ensemble des états Réseaux de transitions récursifs (3/3)

36 Les RTN avec Unitex Un RTN peut être composé de plusieurs graphes reliés par des appels des uns vers les autres Le RTN est l'union disjointe de ces graphes (les états de chaque graphe sont numérotés à partir de 0, mais aucun état n'est commun à plusieurs graphes) Alphabet terminal X : les étiquettes qui ne sont pas des appels à des sous-graphes Etat initial q - : l'état initial du graphe principal Transitions étiquetées par des états : les appels à des sous-graphes (l'état est l'état initial du sous-graphe appelé)

37 Dérivations Définition f g pour f, g (Q | X)* ssi on a les factorisations f = uqv et g = uhv avec un chemin étiqueté h allant de q à un état final. Exemple : il existe un chemin étiqueté petites et moyennes allant de taille0 à taille1, donc taille0 petites et moyennes et des taille0 entreprises des petites et moyennes entreprises Langage engendré par le réseau cest lensemble des f X* tels que q - … f. Exemple : entrepr0 salariés des taille0 entreprises salariés des petites et moyennes entreprises X* donc salariés des petites et moyennes entreprises est engendré par le réseau

38 Ces deux formalismes engendrent les mêmes langages formels Pour une grammaire (X, V, A 0, P): À chaque règle A h on fait correspondre un automate avec un unique état initial A qui na aucune transition entrante. (Deux quelconques de ces automates ne peuvent avoir en commun que leur état initial. Si une transition va dun état dun de ces automates à un état dun autre alors elle sort de létat initial commun aux deux automates.) On obtient un réseau (X | Q, Q, A 0, F, δ) en regroupant dans F les états finaux de ces automates et dans δ leurs transitions. Une dérivation A h est valable dans la grammaire ssi elle est valable dans le réseau. Équivalence entre RTN et grammaires (1/4)

39 Pour un réseau (X | Q, Q, q -, F, δ) : A chaque état q on fait correspondre lautomate obtenu en prenant q comme unique état initial, puis une grammaire (X | Q, V q, A q, P q ) engendrant le même langage sur X | Q que cet automate. Les ensembles de variables V q sont disjoints de Q et deux à deux disjoints. On crée une grammaire (X, V | Q, q -, P 1 | P 2 ) où V est lunion des V q, P 1 lunion des P q, et P 2 lensemble des règles q A q.

40 Le langage engendré par la grammaire est égal à celui engendré par le réseau Si une dérivation (élémentaire) q f pour un état q Q est valable dans le réseau, alors elle est valable (en plusieurs étapes) dans la grammaire Inversement, à toute dérivation q - f de la grammaire avec f X* on peut faire correspondre une dérivation équivalente (même arbre syntaxique) constituée détapes de la forme q A q g avec g (Q | X)*, qui utilisent uniquement des règles de P q, or chacune de ces étapes correspond à une étape q g dans le réseau.

41 Ces deux formalismes engendrent les mêmes langages formels Avantages des grammaires plus simple pour les démonstrations mathématiques Avantages des RTN plus de réutilisation plus lisible pour l'auteur des ressources construction et maintenance manuelle plus faciles Équivalence entre RTN et grammaires (4/4)

42 Objectif Expressions, automates, grammaires ou RTN pour des séquences dont on ne connaît pas les limites (groupes nominaux) Applicables de n'importe où jusqu'à n'importe où Cf. grep : extrait les lignes qui comportent un facteur reconnu par une expression Expressions, automates, grammaires ou RTN pour des séquences dont on connaît les limites (phrases) : application non glissante Il faut représenter tout ce qui peut figurer dedans, ou au moins connaître tout l'alphabet Application glissante (1/3)

43 Application glissante dans Unitex C'est le seul mode d'application des graphes On lance l'analyse syntaxique à chaque point du texte, ou à chaque état de l'automate acyclique L'analyse peut se terminer n'importe où aussi Résultats Les séquences reconnues peuvent se suivre, se chevaucher ou être incluses les unes dans les autres : ambiguïtés [Les participants] [sont sortis] [de la salle] [Les fichiers {annexes] au contrat} sont attachés au message [Les fichiers] {[annexes] au contrat} sont attachés au message Application glissante (2/3)

44 Réduction des ambiguïtés d'inclusion avec Unitex [Les fichiers] {[annexes] au contrat} sont attachés au message Option "Longest matches" (par défaut) : toute séquence reconnue incluse dans une autre est éliminée des résultats [Les fichiers] {annexes au contrat} sont attachés au message Option "Shortest matches" : toute séquence reconnue en contenant une autre est éliminée des résultats [Les fichiers] [annexes] au contrat sont attachés au message Option "All matches" : toutes les séquences reconnues sont conservées dans les résultats [Les fichiers] {[annexes] au contrat} sont attachés au message Application glissante (3/3)

45 Ancrer la grammaire en y incorporant la marque de début et la marque de fin Exemple : grep "oui" texte.txttrouve fouine grep "^oui$" texte.txtne trouve pas fouine Empêcher l'application glissante

46 Exemple 1 : les expressions qui marquent les dialogues (dit-il...) Insérer des balises et avant et après une forme reconnue Même si le contexte est nécessaire pour reconnaître les formes, on peut ne pas l'inclure dans la zone marquée Exemple 2 : les chunks Marquage des séquences reconnues

47 Un automate fini contient des séquences qui peuvent être reconnues dans un texte existant Un transducteur fini est utilisé pour engendrer une nouvelle version du texte : il contient des séquences qui seront reconnues (séquences dentrée) et dautres qui seront insérées (séquences de sortie) Transducteurs (1/2)

48 Avec Unitex Les séquences de sortie sont affichées au-dessous des noeuds Pour créer un transducteur, insérer une barre (/) entre la séquence dentrée et la séquence de sortie correspondante Pour appliquer le transducteur : - dans Locate, indiquer si les séquences de sortie doivent être insérées à gauche des séquences dentrée correspondantes (mode Merge), ou si elles doivent les remplacer (mode Replace) - dans Display, indiquer le nom du fichier de sortie, sans extension Transducteurs (2/2)

49 Dans un transducteur Unitex, un noeud sans barre (/) est interprété comme un noeud avec une sortie vide (/ ) Si le transducteur est appliqué en mode Replace, les parties reconnues par des noeuds sans sortie ne sont pas copiées dans le fichier de sortie Exemple : pour supprimer le balisage, faire un transducteur qui reconnaît les balises et l'appliquer en mode Replace Effacer avec un transducteur

50 Comme un RTN mais les noeuds peuvent avoir des sorties sauf ceux qui appellent un sous-graphe (les sorties sont spécifiées dans le sous-graphe) RTN à sorties

51 Cascade de transducteurs Mode d'application d'un ensemble de transducteurs à un ensemble de séquences S 0 Entrée : S 0 i = 0 ; tant que (condition) appliquer un transducteurT i aux séquences de S i, obtenir S i+1 i = i+1 Sortie : S i Variantes - on a n transducteurs T 1, T 2... T n et on les applique dans l'ordre - on a un seul transducteur et on l'applique itérativement jusqu'à ce que S i+1 = S i

52 Application glissante d'un transducteur ou d'un RTN à sorties Deux sources d'ambiguïté L'application glissante Comme l'application d'un graphe ou d'un RTN : les séquences reconnues peuvent se suivre, se chevaucher ou être incluses les unes dans les autres L'ambiguïté des transducteurs Une séquence donnée peut être reconnue par plusieurs chemins du même transducteur, mais avec des sorties différentes Le résultat est une structure complexe Ambiguïté

53 Objectif Obtenir un résultat simple Choisir entre les sorties incompatibles produites par le transducteur ou le RTN à sorties Linéarisation

54 1. On peut supprimer certaines séquences reconnues en choisissant une option "Longest matches" ou "Shortest matches" 2. En cas de chevauchement entre séquences restantes, la séquence qui se termine en premier a la priorité [Les fichiers {annexes] [au contrat} de travail] [Les fichiers annexes] [au contrat de travail] 3. Il peut rester des incompatibilités entre séquences qui se terminent au même point. Unitex en choisit une, mais le choix n'est pas spécifié. Exemple : une même séquence reconnue par deux chemins différents [XN La [N table ronde]] sur les revêtements naturels [XN La [N table] [XA ronde]] sur les revêtements naturels Linéarisation d'Unitex


Télécharger ppt "Eric Laporte Institut Gaspard-Monge Université Paris-Est Marne-la-Vallée France Syntaxe et analyse syntaxique."

Présentations similaires


Annonces Google