La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Ingénierie des Langues et de la Parole (ILP) Notes de cours Ce cours sera bilingue anglais-français M2R-IAW-SLE-ILP Christian Boitet GETALP, LIG-campus,

Présentations similaires


Présentation au sujet: "Ingénierie des Langues et de la Parole (ILP) Notes de cours Ce cours sera bilingue anglais-français M2R-IAW-SLE-ILP Christian Boitet GETALP, LIG-campus,"— Transcription de la présentation:

1 Ingénierie des Langues et de la Parole (ILP) Notes de cours Ce cours sera bilingue anglais-français M2R-IAW-SLE-ILP Christian Boitet GETALP, LIG-campus, 385 av. de la bibliothèque, BP 53 F Grenoble cedex 9, France accès multilingue :

2 Ch. Boitet Diapos pour le cours dILP/SLE 2/28 I.Problématique du traitement automatique des langues naturelles (TALN) I.1Buts : stocker, étudier, et utiliser les connaissances linguistiques 1.1Représentation et traitement des textes et corpus i.Systèmes d'écriture et codage ii.Concordances et études diverses iii.Types de corpus stockés (simples, balisés, annotés, arborés, parallèles, oraux, multimodaux…)

3 Ch. Boitet Cours CL 3/28 Représentation, construction et utilisation des dictionnaires i.Représentation des "ressources lexicales" a.Dictionnaires (types divers, mono/multilingues) b.Lexiques (lien avec la terminologie) c.Bases lexicales ii.Construction des ressources lexicales a.Utilisation de ressources existantes b.Extraction à partir de corpus (récent) c.Coopération via le Web (début) iii.Utilisation des ressources lexicales a.Consultation "normale" b.Filtrage et production de sous-ensembles à la volée c.Aides diverses (lecture active…) d.Extraction de dictionnaires d'applications

4 Ch. Boitet Cours CL 4/28 Représentation, construction et utilisation de grammaires i.Grammaires et automates ii.Mise au point d'un modèle linguistique iii.Évaluation de théories et applications diverses iv.Utilisations de grammaires et automates a.Correction (orthographique, grammaticale, stylistique…) b.Indexation c.Résumé et extraction d'information d.Traduction e.Génération multilingue

5 Ch. Boitet Cours CL 5/28 Applications et recherches actuelles Écrit Correction Indexation RI (recherche d'information) TAO (traduction automatisée par ordinateur) Résumé, classification Questions/Réponses (Q&A) Oral Synthèse de parole Reconnaissance de parole Multimodalité Dialogue Evaluation

6 Ch. Boitet Cours CL 6/28 I.3Problèmes spécifiques du TALN : le non-déterminisme, le flou, la taille Non-déterminisme inhérent à la nature des langues ambiguïtés en analyse synonymie en génération correspondance entre langues conduit à un problème majeur d'explosion combinatoire. Cet aspect distingue très fortement le TALN du traitement des langages formels.

7 Ch. Boitet Cours CL 7/28 i.Ambiguïtés Définition: à une représentation à un certain niveau d'abstraction correspond plus d'une représentation à un niveau plus élevé. Exemples. Sources à tous les niveaux, du signal à la pragmatique. ("La porte !"). Ambiguïtés inhérentes à la langue, et ambiguïtés "parasites" provenant des systèmes de description et/ou de traitement eux-mêmes. Caractère fallacieux : les humains ne "voient" pas l'ambiguïté mais la ressentent quand elle conduit à des incompréhensions, des contresens, et… des accidents.

8 Ch. Boitet Cours CL 8/28 ii.Synonymie Définition: à une représentation à un certain niveau d'abstraction correspond plus d'une représentation à un niveau moins élevé. C'est le pendant de l'ambiguïté.

9 Ch. Boitet Cours CL 9/28 3.2Flou i.Impossibilité d'une sémantique "totale" Fait d'expérience : on ne peut jamais "tout exprimer" en langue naturelle. Passage du continu au discret ? Peut-être, mais pas seulement. Zadeh, inventeur de la "logique floue" : il y a un problème central de définissabilité. Voir le site de BISC (Berkeley Initiative on Soft Computing) ii.Impossibilité d'une axiomatisation exacte La langue ne se laisse pas formaliser ou axiomatiser exactement. Elle est intrinsèquement "productive" : à partir de toute axiomatisation proposée, on peut fabriquer des contre-exemples, en surgénération ou en sous-génération. Parallèle avec le caractère productif des formules vraies de l'arithmétique (théorème de Gödel). Nécessité de travailler dans l'approximatif, et donc de concevoir des applications jamais figées, en modification constante, et capables de traiter "l'inconnu". Exemple le plus simple: les "mots inconnus".

10 Ch. Boitet Cours CL 10/28 3.3Taille i.Données lexicales Au minimum 6000 entrées de dictionnaire pour la transcription phonétique du français, du thaï… Au minimum 3000 entrées pour la TA : METEO (mots inconnus = toponymes identiques) Environ entrées générales et K entrées par domaine en TA (5,44M en ATLAS-II v13) ii.Grammaires et automates 2 pages en SYGMOR pour une génération morphologique et graphémique exhaustive du français 30 pages en ATEF pour une analyse morphologique exhaustive du russe (15000 règles en EnCo!) 150 pages en ROBRA pour une génération structurale du français 400 pages en ROBRA ( règles) pour une analyse heuristique du français chiffres comparables avec d'autres LSPL. iii.Corpus Au minimum 1M mots pour la construction de dicos, la TA statistique… LanguageWeaver: 50M mots alignés dans 2 langues pour construire un système de TA

11 Ch. Boitet Cours CL 11/28 II.Notions linguistiques de base : les niveaux (de la phonologie à la pragmatique) II.1La langue et ses aspects classiques 1.1Peut-on parler de langue ? (langue, langage, dialecte…) 1.2Lexique et grammaire : notions de base 1.3Diversité des aspects de la langue II.2Niveaux de description linguistique Niveaux "structurants" Phonologie Morphologie Syntaxe Sémantique Pragmatique Niveaux d'actualisation Détermination, nombre, genre, personne… Aspect, temps, modalité…

12 Ch. Boitet Cours CL 12/28 2.1Phonologie i.Sons (phonons) ii.Phones iii.Phonèmes Les unités ne se dégagent que par leurs rapports mutuels (Saussure). Notion de « paire distinctive » En allemand, r (grasseyé) ch (Ach-laut) En français, r (grasseyé) r (roulé)

13 Ch. Boitet Cours CL 13/28 2.2Morphologie i.Graphèmes et morphe Ü et Ue en allemand, morphe = suite de graphèmes (±interprétation) ii.Flexion: formes et lexèmes (lemmes) Déclinaison (noms, adjectifs, participes) et conjugaison (verbes) iii.Dérivation (lexico-sémantique) Une dérivation a 3 niveaux : …par ordre dimportance iv.Composition Hauptbahnhofgepäckaufbewahrung (consigne à bagages de la gare principale) Quatre-vingt-dix-huit, composés chimiques…

14 Ch. Boitet Cours CL 14/28 2.3Syntaxe i.Syntagmes Groupes de mots ayant une fonction En général connexes, sinon "discontinuité" ii.Fonctions syntaxiques Sujet (réel, formel), objet (direct, indirect), épithète, attribut, complément d'agent, circonstant, modificateur, quantificateur… iii.Relations de dépendance profonde Relations sémantiques ("cas profonds") Différence entre prédicat "linguistique" (syntaxe profonde) et "sémantique" manquer_de (X=I, Y=II) & manquer_à (X=II, Y=I) : MANQUER (I, II)

15 Ch. Boitet Cours CL 15/28 2.4Sémantique i.Prédicats et arguments arguments (0, 1, 2, [3] ii.Relations sémantiques (cas profonds) agent, coagent, objet, coobjet, bénéficiaire, but, cause, moyen, possession, modification, localisation (temps/espace, ubi/quo/unde/qua), concession, mesure, prix, fréquence… iii.Traits sémantiques (propriétés) concret, abstrait, personne, humain, animal, plante, document, contenant, unité de mesure, surface, volume, science, moyen de transport…

16 Ch. Boitet Cours CL 16/28 Différences entre arguments et circonstants Les arguments sont uniques et nécessaires (à la compréhension) Si un argument nest pas exprimé, il faut que lauditeur/lecteur puisse linférer du contexte (ou il le demandera !) Les circonstants sont optionnels et (éventuellement) multiples Il prend chaque jour [temps] un café après le déjeuner [temps]. Impossibilité daffecter fiablement une RS à un argument X donne Y à Z (pour T) X agent (volitif)? Jean [agent???] donne limpression de… Z, T bénéficiaire, destinataire, but, patient…? Y objet (modifié par laction, transféré…?) X donne lheure à Y Certaines théories (comme UNL) cherchent à affecter des « RS standard » Ça ne marche pas… car les RS des arguments sont très lexicalisées Une bonne approche: FrameNet (Fillmore) donner(X=donateur, Y=don, Z=donataire)

17 Ch. Boitet Cours CL 17/28 2.5Pragmatique i.Assertion et négation 3 types de négation: négation propositionnelle, privation, réfutation, ii.Impérativité niveau profond ("faire cuire 3mn" a valeur impérative) iii.Interrogativité idem En "montant d'un niveau", il faut parler des actes de parole (de discours, de dialogue) Searle, Austin, etc. Voir cours sur le dialogue. Important en pratique !

18 Ch. Boitet Cours CL 18/28 II.3Autres dimensions de l'analyse linguistique 3.1Actualisation i.Nombre cardinal, ordinal, comptabilité/continuité ii.Personne nous inclusif ou exclusif, de majesté ou de modestie… iii.Modalité iv.Aspect v.Temps bien sûr, il y a des niveaux plus ou moins "profonds" (irréel, achevé, perfectif, time) ou "surfaciques" (conditionnel, perfectif, tense)

19 Ch. Boitet Cours CL 19/28 3.2Quantification i.Quantificateurs linguistiques et portée Un, tous, certains, peu, beaucoup, la majorité… ii.Lien avec la déiction (, désignation) Peu de gens lisent beaucoup de livres Beaucoup de livres sont lus par peu de gens

20 Ch. Boitet Cours CL 20/28 3.3Désignation i.Détermination un, le, ou rien ? Désignation d'instance, de classe ? ii.Anaphore et cataphore reprise en arrière (supra) ou en avant (infra). Il marchait dans la ville. Il faisait froid. Jean, car c'était lui… iii.Ellipse le [code] source, un [roman policier de la] série noire OK, je prendrai la seconde.rue (Straße f.), chambre (Zimmer n.) ?

21 Ch. Boitet Cours CL 21/28 3.4Rhétorique i.Emphase C'est vraiment tout à fait ça, ces principes qui sont les nôtres… ii.Thématisation C'est X qui…Paul, lui, est parti (oral) Vous avez réservé cet hôtel ?

22 Ch. Boitet Cours CL 22/28 3.5Analyse en triade statutaire de Zemb i.Rhème ce qu'on dit ii.Thème de quoi on le dit iii.Phème comment on le dit (assertion/négation, modalité) En discours, le thème est supposé exister, même si le phème change Jean a pris une veste hier Pas de veste à prendre (ou pas)Il y a une veste ! Cest très important pour la traduction! Je ne lai pas bousculé exprès Ich habe ihn [ absichtlich nicht | nicht absichtlich ] gestoßen

23 Ch. Boitet Cours CL 23/28 III.Les connaissances utilisables en TALN III.1Sources de connaissances dans un système de TALN 1.1Types de connaissances à considérer dans les applications i.Connaissances linguistiques a.Langagières Connaissances sur la langue "standard" (lexique, morphologie, syntaxe…) b.Typologiques Connaissances sur la typologie visée (termes et sens préférés et interdits, tours, expressions, préférences observées au niveau du style et de la résolution d'ambiguïtés…)

24 Ch. Boitet Cours CL 24/28 ii.Connaissances sémantiques a.Statiques Faits et règles d'un domaine formalisé (ontologie) b.Dynamiques Situations, agents et leurs représentations internes. Nécessité ici d'un apprentissage à partir du contenu des "messages linguistiques".

25 Ch. Boitet Cours CL 25/28 iii.Connaissances pragmatiques a.Intentions explicites Actes de parole, force illocutoire… Fils de discours et de dialogue Très important pour le traitement du dialogue, en CHM ou en dialogue humain médiatisé. b.Intentions implicites Aspects réflexifs, intentions cachées, ironie, etc.

26 Ch. Boitet Cours CL 26/28 1.2Connaissances réellement utilisables dans des systèmes de TALN On met les connaissances "qu'on peut" et surtout "qu'on doit" dans des dictionnaires, grammaires, thésaurus. Exemple : « le courrier est arrivé ce matin » est soit imperfectif soit perfectif. On peut proposer le choix : « le courrier est arrivé ce matin PENDANT que quelque chose se passait » « le courrier est arrivé ce matin ET PUIS quelque chose s'est passé » et l'on obtiendra alors l'information permettant de bien traduire dans une langue où l'aspect est important, comme le russe ou l'anglais : « the mail arrived this morning (while I was shaving). » « the mail has arrived this morning (and then I left). »

27 Ch. Boitet Cours CL 27/28 Représentations formalisées dénoncés

28 Ch. Boitet Cours CL 28/28 Formalized representations of utterances

29 Ch. Boitet Cours CL 29/28 Formale Zwischenstrukturen


Télécharger ppt "Ingénierie des Langues et de la Parole (ILP) Notes de cours Ce cours sera bilingue anglais-français M2R-IAW-SLE-ILP Christian Boitet GETALP, LIG-campus,"

Présentations similaires


Annonces Google