Un environnement de développement pour le TALN 15/12/2OO1

Présentation au sujet: "Un environnement de développement pour le TALN 15/12/2OO1"— Transcription de la présentation:

1 Un environnement de développement pour le TALN 15/12/2OO1
Christine Chardenon, FTR&D DMI/GRI

2 Plan Critères de développement Architecture : applicatifs
Architecture : le Cœur TALN Données linguistiques Livrables Conclusion

3 Critères de développement
Indépendance par rapport aux données linguistiques Robustesse Souplesse d’utilisation Sorties multiples Tracabilité de chaque module Portabilité (C,C++ sous Solaris UNIX, LINUX, … WINDOWS) Modules paramétrables Stockage des résultats dans un graphe d’analyse

4 Architecture : applicatifs
TALN Analyse thématique Abrégeur QA topo Serveur

5 Architecture : le coeur
Segmentation Analyse Minimale Chunking Analyse En Dépendance Graphe sémantique

6 Segmentation Le 15/12/2001, à 11h30, ellemange une peche avec son couto . Fr Segmentation (Le MOT)(15/12/2001 DATE)(, SEP) (à MOT)(11H30 HEURE)(, SEP) (ellemange MOT)(une MOT)(peche MOT)(avec MOT)(son MOT) (couto MOT)

7 Analyse minimale Analyse Minimale Méthodes correctives
Interprétation de segments Analyse morphologique Création d’unité lexicale Analyse Lexicale Exact Utilisateur Correctif Traduction de Traits

8 Analyse lexicale Une, DET-SING-FEMN une, PRN-SING-FEMN Accès exact une
Pêche,NOM-FEMN-SING Pèche,VERB-1PRS-SING Pêché,VERB, PART-PAS … Correction par réaccentuation peche Correction phonétique couto Couteau,NOM-MASC-SING couteaux,NOM-MASC-PL

9 Analyse morphologique
Affixation : indéscotchable, lyaktubu Compositionnelle : SchneeBrettGefahr éclatement éclatement ellemange Elle, PRN-SUJ-3PRS-FEMN Elle, PRN-OBJI-3PRS-FEMN Mange, VERB-3PRS Mangé, VERB-PART-PASS

10 Analyse minimale : profil
[[Corrections] ListeDesCorrections = "RéAccentuation","STOP", "CorrectionPhonétique" ,"CorrectionParConcaténation","STOP", "CorrectionMorpho", "CorrectionTypographique", "STOP","CorrectionMorphoPrédictive", "STOP" ListeDesCorrectionsFormesCapitalisées = "RéAccentuation " FichierPourLaCorrectionMorphoPre = morphoPredFCorrection.ini PasDAnalyseTypoPourUnMotAyantUnNombreDeCaracteresStrictementInferieurA = 5 FichierPourLaCorrectionMorpho = morphoFCorrection.ini [NomsPropres] CatégoriesDesMotsPouvantÊtreDesNomsPropresEnDébutDePhrase = "NOM" NomPropreAjoutésAuxAutresAnalyses = oui

11 Analyse morpho-syntaxique
Chunking … ellemange une peche avec son couto … Elle/elle/P mange/manger/V une/un/D pêche/pêche/N avec/avec/S son/mon/P couteau/couteau/N

12 Analyse syntaxique Chunking … ellemange une peche avec son couto …
Analyse en dépendance Elle/elle/P/1/SUJ(2) mange/manger/V/2 une/un/D/3/DET(4) pêche/pêche/N/4/OBJD(2) avec/avec/S/5/P(8) son/mon/PP/6/PP(7) couteau/couteau/N/7/GPN(2)

13 Arbre de dépendance GS1 GV-PT, ID3(31), ( NOMBRE/SINGULIER GENRE/FEMININ PERSONNE/3PRS SUJ TRANSITIF/OUI OBJD ) Terminaux mange [ manger , ( PERSONNE/1PRS/3PRS CATEP/GV-PT TRANSITIF/OUI NOMBRE/SINGULIER ), ( us_eat) ] Fonction: SUJ (3) ,PRN-S, ID1(24), ( NOMBRE/SINGULIER GENRE/FEMININ PERSONNE/3PRS ) elle [ je , ( PERSONNE/3PRS CATEP/PRN-S GENRE/FEMININ NOMBRE/SINGULIER ) , ( ) ] Fonction: OBJD (3), GN-NC, ID10(32), ( NOMBRE/SINGULIER GENRE/FEMININ DETER ) Terminaux pêche [ pêche , ( CATEP/GN-NC GENRE/FEMININ NOMBRE/SINGULIER COR/REACC ) , ( us_peach ) ] Fonction: DET(10),DET ID6(14), ( NOMBRE/SINGULIER GENRE/FEMININ ) une [ un, (CATEP/DET GENRE/FEMININ NOMBRE/SINGULIER ) , ( ) ]

14 Analyse en dépendance : profil
[Dépendance_Fr] EnService = vrai FichierRègles = grammaireDep.txt NombreMaximumDeReglesAAppliquer = 300 ModeExtraction = faux CatégoriesPourLExtraction = "GN-NP" AnalyseAPartirDeTousLesGS1 = vrai SolutionsMultiplesàX% = 100

15 Graphe sémantique eat peach Anap3s agent patient entité entité
Construction d’un graphe à partir De l’arbre en dépendance syntaxique De données sémantiques décrivant prédicats et arguments us_eat(eating, objd=patient:food, suj=agent:animate, arg0=situation:action) eat peach Anap3s agent patient entité entité Eat(agent=a,patient=b)&Anap3s(entité=a)&peach(entité=b)

16 Données(1) x En cours Segmentation Analyse Minimale Chunking Français
Anglais Allemand Espagnol En cours Arabe Polonais

17 Données (2) x appli Analyse en dépendance Données sémantiques
thésaurus Français x appli Anglais Allemand Espagnol Arabe Polonais

18 Livrables Exécutables (+ options d’appels) Librairie dynamique
Mode client serveur Choix des sorties ASCII XML

19 Conclusion Evolution de l’architecture
Exploitation de modèles de langage probabiliste Génération Lexicale Génération syntaxique Génération Sémantique

20 Format Données Lexique
eau, [o], N23, -PREPGOUV/DEF-NOM_SEM/NOM_CONC, eau_23, , , , eaux, [o], N20P, -NOM_SEM/NOM_CONC, eau_22, , , ,