May 4th – 5th 2009, Rabat, Morocco

Présentation au sujet: "May 4th – 5th 2009, Rabat, Morocco"— Transcription de la présentation:

1 May 4th – 5th 2009, Rabat, Morocco
Objet de la recherche Description du phénomène de l’ambiguïté dans la langue arabe; Proposition d’une méthodologie multicritère de désambiguïsation morphosyntaxique appliquée à la langue Arabe; Désambiguïsation morphosyntaxique automatique pour détermination de la catégorie grammaticale la plus probable du mot ambiguë en utilisant une approche décisionnel appelée AMD1. [1] A.M.D. : Aide Multicritère à la Décision; 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

2 Étiquetage morphosyntaxique
L’étiquetage consiste à attribuer à chaque unité lexicale et grammaticale un symbole (représentant sa catégorie grammaticale et les informations morphologiques), cette étiquette doit être à la fois concise et précise. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

3 Pourquoi doit-on lever l’ambiguïté ?
Pour se permettre une analyse grammaticale correcte, Pour construire des systèmes puissants pour les questions et les réponses dans les langages parlés, Pour construire des systèmes puissants pour la traduction automatique, sachant que la plupart des problèmes dans ce domaine relève de l’ambiguïté, Pour construire des systèmes puissants pour la simplification et résumé des textes, Pour construire des systèmes puissants pour la génération des textes,…etc. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

4 Architecture de notre système
Comment on a conçu le système? 3 étapes: Segmentation; Analyse; Désambiguïsation. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

5 Architecture de notre système
2ième Partie 1iere Partie Mot reconnu (Étiqueté ) Texte Module segmentation Module Analyse Mot nom reconnu B.L.G Segments Module désambiguïsation Légende: B.L.G : Base lexicale et grammaticale. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

6 May 4th – 5th 2009, Rabat, Morocco
Système : Description Segmentation Segmentation du texte en phrases; Segmentation de la phrase en mots: - Élimination des signes de ponctuations secondaires et le blanc. خرج عمر من البيت. Segmentation au sein du mot : M > ∑ P + (R, Sch) + ∑ S. Tel que : ∑ P : élément préfixés ; ∑ S : élément suffixés ; R : Racine ; Sch : Schème. M : le mot. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

7 May 4th – 5th 2009, Rabat, Morocco
Système : Description Analyse et étiquetage Unité= (Unité, Étiquette, désignation en français,désignation en arabe, racine*) Exemple: (ذَهَبَ, VAA3PMSIA, Verbe Accompli Actif 3ème Pers. Masc. Singulier Invariable Accusatif, . فعل ماضي مبني للمعلوم للمفرد المذكر الغائب مبني على الفتح ) 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

8 Désambiguïsation : Principe
La désambiguïsation est un moyen de lever l’ambiguïté dans le cas ou un mot reçoit plus d’une étiquette. Si Card(Etiq) = 1  alors « Pas de phase de désambiguïsation » Sinon : Si Card (Etiq)  1 alors « phase de désambiguïsation obligataire » 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

9 Désambiguïsation : Principe
(Suite) T=m1 m2 m3 ….. mi … mn CG =v1 v2 v3 ….. vi … vn Exemple:  كتب الدرس في القسم. T= كَتَبَ_ فعل ماضي الدرسَ _ مفعول به في _جار القسم_مجرور كُتِبَ ف.م. مبني للمجهول الدرسَ نائب فاعل مجرور فيجار القسم CG= كُتُبُ_مبتدأ الدرسِ_مضاف إليه في_جار القسم_مجرور Légende : T : Texte (une ou plusieurs phrases), chaque phrase est constituée de mots (mi). CG : Catégorie Grammaticale, (vi) valeur correspondante au mot (mi). 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

10 Système : Désambiguïseur Architecture module
Mot Module de désambiguïsation Étiquettes candidates Étiquette élue 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

11 Approches existantes de la levée d’ambiguïté
Modèle statistique / probabiliste : qui utilise le modèle de chaines de Markov. Modèle par contraintes : qui utilise des règles pour enlever l’ambiguïté. New : Module de désambiguïsation à base d’une approche multicritère. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

12 Désambiguïsation à base d’une approche multicritère
Pourquoi une approche multicritère dans le TAL Arabe ? Enchaînement de choix. Contexte linguistique de l’arabe favorisant des critères multiples. Profit souhaité ? Réduire et classer les étiquettes selon un score globale calculé. Condition : Bonne définition des critères d’évaluation. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

13 Approche Analyse Multicritère: Concepts de base
Action/scénarios efficace; Relation de dominance; Classement des scénarios. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

14 Approche Analyse Multicritère: Étapes
Ensemble d’action (étiquettes condidates); Construction famille cohérente de critères; Génération d’une fonction d’évaluation pour chaque critère; Pondération et Agrégation des critères. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

15 Méthode d’Agrégation TOPSIS : Fondements
Historique : TOPSIS est une méthode multicritères développée par Hwang et Yoon en 1981[7]. But : Il s’agit de réduire le nombre de scénarios de désambiguïsation en écartant les scénarios dominés et de classer les scénarios efficaces selon leurs scores globaux calculés. Fondements: Choisir une solution qui se rapproche le plus de la solution idéale (la meilleure sur tous les critères); S’éloigner le plus possible de la pire solution (qui dégrade tous les critères). 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

16 Méthode d’Agrégation TOPSIS : Algorithme
Etape1 : Calcul de la matrice de décision normalisée. Etape2 : Calcul de la matrice de décision normalisée pondérée . Etape3 : Détermination des solutions (profils) idéale (a*) et des solutions anti-idéale (a*). Etape4: Calculer la distance euclidienne par rapport aux profils a* et a*; Etape5 : Calculer un coefficient de mesure du rapprochement au profil idéal  (Ci*). Etape6 : Rangement des actions suivant leur ordre de préférences(i.e. en fonction des valeurs décroissantes de Ci* ; i est meilleur que j si Ci*> Cj*). 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

17 Méthode de Pondération Entropie: Idée et Algorithme
Idée : L’idée est qu’un critère j est d’autant plus important que la dispersion des évaluations des actions est importante. Ainsi les critères les plus importants sont ceux qui discriminent le plus entre les actions (dans notre cas se sont les étiquettes). Algorithme : Calcul de l’entropie d’un critère « j » par la formule (Ej); Calcul des poids en fonction de la mesure de dispersion (opposée de l’entropie) : Dj = 1 –Ej ; Normalisation des poids par la formule (Wj). 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

18 Présentation de la solution : Démarche et application (1)
Etape1 : Construction de la liste des étiquettes, ce qui va générer l’ensemble E Exemple : "ذهب محمد إلى المدرسة" E={Non commun, Vtype1, Vtype2, Vtype3, Vtype4, Vtype5} Etape2 : Proposons des critères de base - Critère de concordance de voyelles à l’intérieur du mot; La fonction d’évaluation qui va avec c’est l’addition (+), de telle manière, qu’une bonne position d’une voyelle vaut un (1), après application du critère on aura : Non commun (1+1+1=3), Vtype1(1+1+1=3), Vtype2(1+0+1=2), Vtype3(1+0+1=2), Vtype4(0+0+1=1), Vtype5(1+0+0=0). X 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

19 Présentation de la solution : Démarche et application (2)
Etape2 (suite) - Critère de fréquence; Le score de x selon ce critère représente son taux d’apparence calculé sur la base de l’étude statistique dans le corpus utilisé (Max). Les scores spécifiques  sont : Non commun (0,75), Vtype1 (0), Vtype2(0), Vtype3(0), Vtype4(0,25), Vtype5(0,5). et Critère contexte structural. Utilisation des règles par contraintes grammaticale. Etape3 : Utilisation de la méthode d’agrégation(Topsis) et pondération (Entropie). Etape4: Classification des étiquettes selon un ordre décroissant des scores. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco

20 C’est Fini / Merci de votre attention.
3rd International Conference on Arabic Language Processing, الندوة الدولية الثالثة حول المعالجة الآلية للغة العربية May 4th – 5th 2009, Rabat, Morocco C’est Fini / Merci de votre attention. 18/11/2018 May 4th – 5th 2009, Rabat, Morocco