La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Le F score est-il une critère pertinent pour évaluer la terminologie ? Mathieu Roche et Yves Kodratoff 05 avril 2005 Atelier "Evaluation des outils terminologiques"

Présentations similaires


Présentation au sujet: "Le F score est-il une critère pertinent pour évaluer la terminologie ? Mathieu Roche et Yves Kodratoff 05 avril 2005 Atelier "Evaluation des outils terminologiques""— Transcription de la présentation:

1 Le F score est-il une critère pertinent pour évaluer la terminologie ? Mathieu Roche et Yves Kodratoff 05 avril 2005 Atelier "Evaluation des outils terminologiques" Conférence TIA Rouen

2 TIA, 05/04/ Contexte Problématique : – listes de collocations ordonnées, en utilisant, par exemple, des mesures statistiques. – collocation pertinente = collocation qui représente une trace linguistique de concept pour une tâche en cours. – Comment évaluer la qualité des listes de collocations ?

3 TIA, 05/04/ Classement des collocations [Roche et al., JFT'03 ; Roche et al., INFORSID'04] RangCollocationsNb RangCollocationsNb mise en place 111 traitement de textes 57 assistante de direction 60 hôtesse de caisse 28 mise en place 111 traitement de textes 57 assistante de direction 60 hôtesse de caisse 28 Rapport de Vraisemblance Information Mutuelle chalon sur saône 4 jéjunum de rat 3 beurre de karité 3 puy en velay 3

4 TIA, 05/04/ Quelques critères d'évaluation des listes de collocations (1/2) – Précision : – Courbe d'élévation ("lift chart") : précision en fonction du nombre de collocations extraites

5 TIA, 05/04/ Quelques critères d'évaluation des listes de collocations (2/2) – Rappel – Fscore

6 TIA, 05/04/ Les courbes ROC (1/4) Utilisation des courbes ROC (Receiver Operating Characteristic): courbe dont le taux de vrais positifs est représenté en ordonnées et le taux de faux positifs est représenté par l'axe des abscisses. Avantage : pas de sensibilité dans le cas d'un déséquilibre entre les classes taux de faux positifs taux de vrais positifs AUC

7 TIA, 05/04/ Les courbes ROC (2/4) Faux positifs (FP) Vrais positifs (VP) A : B : Intérêt décroissant s1s1 s2s2 S1S1 AVP = 1/8 FP = 0 BVP = 1/8 FP = 0 S2S2 VP = 4/8 FP = 0 VP = 3/8 FP = 2/8

8 TIA, 05/04/ Les courbes ROC (3/4) Maximiser laire sous la courbe ROC minimiser la somme des rangs des ex. positifs A : B : Intérêt décroissant FP VP Rangs (+, A) : Rangs (+, B) : Rangs (+,.) 57 65

9 TIA, 05/04/ Les courbes ROC (4/4) Exemples de courbes ROC rangs = 21 rangs = 25 rangs = 26 h 1 : h 2 : h 3 :

10 TIA, 05/04/ Comparaison Fscore/courbe ROC (1/2) 1 positif et 99 négatifs50 positifs et 50 négatifs Fscore

11 TIA, 05/04/ Comparaison Fscore/courbe ROC (2/2) 1 positif et 99 négatifs50 positifs et 50 négatifs Courbes ROC

12 TIA, 05/04/ Conclusions et perspectives Avantage des courbes ROC comme critère d'évaluation : pas de sensibilité d'un éventuel déséquilibre entre les classes (nombre d'exemples positifs et négatifs). Méthode : utilisation de méthodes d'apprentissage supervisé fondées sur les courbes ROC pour apprendre des fonctions de rangs [Roche et al., ROCAI'04 ; Azé et al., ASMDA'05]


Télécharger ppt "Le F score est-il une critère pertinent pour évaluer la terminologie ? Mathieu Roche et Yves Kodratoff 05 avril 2005 Atelier "Evaluation des outils terminologiques""

Présentations similaires


Annonces Google