ETIQUETAGE EN CATEGORIES DU DISCOURS

Présentation au sujet: "ETIQUETAGE EN CATEGORIES DU DISCOURS"— Transcription de la présentation:

1 ETIQUETAGE EN CATEGORIES DU DISCOURS
FICHIER TEXTE ETIQUETAGE EN CATEGORIES DU DISCOURS EXTRACTION TERMINOLOGIQUE TRI DES SORTIES

2 EXEMPLE DE FICHIER TEXTE
BRUXELLES (AFP) - L'Union européenne, dont six pays sont touchés par le virus H5N1 de la grippe aviaire, a envisagé lundi l'octroi d'aides au secteur avicole frappé par la chute de la consommation de volaille, tandis que quatre nouveaux foyers ont été identifiés au Nigeria. Bruxelles est prêt à autoriser des aides nationales sous formes de mesures techniques déjà existantes, comme des prêts à bas taux d'intérêts aux producteurs, à condition que les Etats membres respectent les règles communautaires, a déclaré la commissaire à l'Agriculture Mariann Fisher Boel à l'issue de la réunion à Bruxelles des ministres de l'Agriculture des 25 pays membres.

3 Etiquetage par Tree Tagger
BRUXELLES NAM Bruxelles ( PUN AFP ABR ) - L'Union européenne NOM européen , dont PRO:REL six NUM pays sont VER:pres être touchés VER:pper toucher par PRP Virus virus H5N1 de la DET:ART le grippe aviaire ADJ a avoir envisagé envisager lundi l'octroi d'aides au PRP:det secteur avicole frappé frapper chute consommation volaille tandis KON que ADV quatre nouveaux nouveau foyers foyer ont été identifiés identifier Nigeria . SENT est prêt à autoriser VER:infi des du aides aide nationales national sous formes forme mesures mesure techniques technique

4 Etiquetage par Cordial
BRUXELLES Bruxelles NPSIG ( PCTFAIB AFP Afp NPFS ) - L' le DETDFS Union union NCFS européenne européen ADJFS , dont PRI six ADJNUM pays NCMIN sont être VINDP3P touchés toucher VPARPMP par PREP DETDMS virus H5 h5 NCI N1 n1 de la grippe aviaire ADJSIG a avoir VINDP3S envisagé envisager VPARPMS lundi NCMS l' octroi d' aides aide NCPIG au secteur avicole frappé frapper chute consommation volaille tandis que SUB quatre nouveaux nouveau ADJMP foyers foyer NCMP

5 Extraction de correspondances selon type de patron
FORMAT CORDIAL NC[A-Z]+ ADJ[A-Z]+ (ça devrait être  N[A-Z]+) FORMAT TREE TAGGER  NOM ADJ

6 Programmation Programme fondé sur l’idée que les données formatées par Cordial ou Tree Tagger sont totalement normalisées A une suite d’étiquettes au rang [$i..$i+1], correspond exactement une suite de tokens au même rang Recherche des correspondances entre le patron fourni par l’utilisateur (p. ex. ADJ NOM) et les étiquettes du texte

7 Difficultés Gestion des indices Longueur des expressions régulières :
facile avec Tree Tagger (NOM ADJ) plus compliqué avec Cordial NC[A-Z]+ ADJ[A-Z]+  nécessité d’utiliser $& pour saisir la vraie longueur de la correspondance

8 COMPARAISON DES SORTIES
CORDIAL TREE TAGGER Union européenne grippe aviaire l’octroi d’aides secteur avicole aides nationales mesures techniques règles communautaires