Digraphie des langues ouest africaines : Latin2Ajami : un algorithme de translittération automatique Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion 23ème Conférence sur le Traitement Automatique des Langues Naturelles,AtelierTALAf, Inalco, Paris, 4-8 Juillet ème Conférence sur le Traitement Automatique des Langues Naturelles,AtelierTALAf, Inalco, Paris, 4-8 Juillet 2016 TALAf : JEP-TALN-RECITAL 2016 E. M. Fall, E. M. NGUER, S. D. BAO, M. KHOULE, M. MANGEOT, M. T. CISSE Présentation : El hadji M. NGUER LANI, Université Gaston Berger, Saint-Louis, Sénégal LIG, Université de Grenoble Alpes, France. ARCIV, Université Cheikh Anta Diop de Dakar, Sénégal

23ème Conférence sur le Traitement Automatique des Langues Naturelles,AtelierTALAf, Inalco, Paris, 4-8 Juillet ème Conférence sur le Traitement Automatique des Langues Naturelles,AtelierTALAf, Inalco, Paris, 4-8 Juillet Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion TALAf - TALAf : JEP-TALN-RECITAL 2016 El hadji M. NGUER 3 3 Translittération du wolof L’algorithme Latin2Ajami Conclusion Introduction

Solution: utiliser les langues nationales comme alternative Comme le wolof, langue véhiculaire et parlée par plus de 80% de la population Frein au développement économique du pays Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Contexte Problématique Objectifs Contexte Problématique Objectifs Contexte El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Rapport 2014 de OIF, 30% de francophones au Sénégal 3 3

Contexte Problématique Objectifs Contexte Problématique Objectifs Contexte longtemps écrit en caractères arabes complétés non harmonisés, le wolof est aujourd’hui écrit : 4 4 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 officiellement avec les caractères latins depuis Cette écriture tire sa force des décrets officiels Avec les caractères coraniques harmonisés (CCH) ou Ajami depuis 2007

Digraphie des langues nationales (caractères arabes et caractères latins) Problématique Solution : Mettre en place des Outils de translittération (document texte, page Web, sms, s etc…) Deux mondes qui s’ignorent mutuellement 5 5 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Contexte Problématique Objectifs Contexte Problématique Objectifs El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016

Problématique Le projet ibaatukaay de base lexicale multilingue contributive sur le web à structure pivot pour les langues africaines notamment sénégalaises (le dico en Ajami) Le projet de mise en place d’un correcteur orthographique pour la wolof (application à l’ajami) Le projet de transcription en graphies modernes de textes écrits en caractères arabes anciens en cours d’élaboration à l’Université de Bambey (Sénégal) 5 5 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Contexte Problématique Objectifs Contexte Problématique Objectifs El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Ce travail rentre aussi dans le cadre des projets :

Objectifs Permettre un accès général aux connaissances (TIC, textes juridiques, religieux, etc.) par ces deux groupes de populations et ceci indépendamment du type d’écriture, Appliquer l’algorithme pour mettre en place des outils automatiques de translittération de documents textes, de pages web, de SMS, d’ s, etc 6 6 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Contexte Problématique Objectifs Contexte Problématique Objectifs El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Etudier et mettre en place un algorithme de translittération automatiquement du latin vers l’Ajami

Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Notion de translittération Qu’est ce que la translittération ? A quoi sert la translittération? 7 7 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Traitement de l’information bibliographique (catalogue, index, références etc..) Clavier azerty pour taper du texte Ajami Document latin-ajami et vice versa TALN تَلْنْ etc. chaque graphème d'un système d'écriture un graphème ou un groupe de graphèmes d'un autre système

Les deux alphabets de la langue wolof L’alphabet wolof latin: construit essentiellement à partir de l’alphabet français, lettres même valeur phonétique sauf: 8 8 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 et

La plupart des consonnes proviennent de l’alphabet arabe sauf «گ,,,, » correspondant respectivement aux consonnes latins « g, ñ, ŋ, p, c » Les deux alphabets de la langue wolof L’alphabet Ajami: construit essentiellement à partir de l’alphabet arabe, avec l’utilisation de signes diacritiques additionnels pour : 8 8 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 La prise en charge des voyelles courtes اَ ا ا ا ا اِ ا ا اُ » « correspondant aux voyelles « u, ó, o, i, é, e, ë, à, a » du wolof latin

Les deux alphabets de la langue wolof 10 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Extrait du tableau de correspondance des 2 systèmes El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016

Situation actuelle de l’Ajami 11 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Quelques dates significatives 1980 : naissance des CCH Novembre 1987: atelier sur l’harmonisation des systèmes Ajami pour le wolof et le pulaar (ISESCO) 2007, l’écriture standard de l’Ajami reconnue officiellement par l’état El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL : Enseignement des deux écritures à l’Université (UGB) En 1995 un séminaire d’extension de l’harmonisation : sérère, jola, soninké et mandika.

Situation actuelle de l’Ajami 11 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Notion de translittération Les deux alphabets de la langue wolof Situation actuelle de l’Ajami Cependant… El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Pour chaque langue (Ex: wolof) Ecriture latine Ecriture Ajami libre Ecriture Ajami standard Solutions: Lancer une politique soutenue de vulgarisation de l’Ajami standard Mettre en place des algorithmes de translittération entre les deux écritures Problème !!!

Source 13 Introduction Translittération du wolof Algorithme Latin2Ajam Conclusion Introduction Translittération du wolof Algorithme Latin2Ajam Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Macro Ajami63 de translittération de document texte par Galen Currah sous Word et OOffice pour le wolof et le sérere Programmes de translittération de document texte sous Java et de page web sous PHP (Gueye S. T., Fall T. G, 2011). Latin2Ajami est basé sur les programmes suivants : Avantage : utilise les CCH mais est écrit d’un seul tenant. inconvénients : difficile à comprendre et à mettre à jour Avantage : il est décomposé en modules Inconvénients : il utilise les caractères non harmonisés

Présentation de Latin2Ajami 13 Introduction Translittération du wolof Algorithme Latin2Ajam Conclusion Introduction Translittération du wolof Algorithme Latin2Ajam Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 un code romain à gauche Lettre latine Code Romain Code Ajami Lettre Ajami,2C60C ، d F د ………… Le principe de l’algorithme est simple. Il se base sur un tableau de correspondance qui consiste uniquement en points d’Unicode, sous forme hexadécimale, Le code Ajami correspondant à droite

Organigramme du programme de l’algorithme de translittération 14 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016

15 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Organigramme de la fonction de traitement des consonnes

آ 16 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Organigramme de la fonction de traitement des Voyelles

Exemple d’éxécution 17 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Exemple d’exécution pour la phrase : Ana dëkkandoo yi? S = Ana dëkkandoo yi? S = chr(32)&chr(32)&Ana&chr(32)&dëkkandoo&chr(32)&yi? &chr(32) Len(S) =22 ; Len(S)-1= 21 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution anad ë kkandooyi? Chr(32) S = Ana dëkkandoo yi? S = chr(32)&chr(32)&Ana&chr(32)&dëkkandoo&chr(32)&yi?&chr(32) Insertion de Alif dans S et on retourne un espace

Exemple d’éxécution 18 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution A lif a nad ë kkandooyi? Alif S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëkkandoo&chr(32)&yi?&chr(32) On retourne Alif ا

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 a On retourne a اَ A lif a nad ë kkandooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 n S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëkkandoo&chr(32)&yi?&chr(32) On retourne n l َا ن A lif a nad ë kkandooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 a S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëkkandoo&chr(32)&yi?&chr(32) On retourne a l َا ن َ A lif a nad ë kkandooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Chr(32) S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëkkandoo&chr(32)&yi?&chr(32) On retourne chr(32) l َا ن َ l A lif a nad ë kkandooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 d S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëkkandoo&chr(32)&yi?&chr(32) On retourne d َا ن َ l د A lif a nad ë kkandooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 ë S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëkkandoo&chr(32)&yi?&chr(32) On retourne ë l َا ن َ l د A lif a nad ë kkandooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 K S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëk”shadda”andoo&chr(32)&yi?&chr(32) Insertion de shadda à la place de la seconde consonne et on retourne k l َا ن َ د ک A lif a nad ë kkandooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 shadda On retourne shadda S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëk”shadda”andoo&chr(32)&yi?&chr(32) l َا ن َ l د ک ّ A lif a nad ë kshad da andooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 a On retourne a S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëk”shadda”andoo&chr(32)&yi?&chr(32) َا ن َد ک ّ َ A lif a nad ë kshad da andooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 n On retourne n, les consonnes nasales ne prend pas de diacritique S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëk”shadda”andoo&chr(32)&yi?&chr(32) l َا ن َ l د ک ّ َن A lif a nad ë kshad da andooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 d D est consonne prénasale et le caractére suivant est une voyelle : on retourne d S = chr(32)&chr(32)&Alif&Ana&chr(32)&dëk”shadda”andoo&chr(32)&yi?&chr(32) l َا ن َ l د ک ّ َند A lif a nad ë kshad da andooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 o Insertion d’une consonne à la place de la seconde Voyelle dans s et on retourne o S =chr(32)&chr(32)&Alif&Ana&chr(32)&dëk&shadda&ando&”waw”&chr(32)&yi?&chr(32) l َا ن َ l د ک ّ َند A lif a nad ë kshad da andooyi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 waw On retourne waw S =chr(32)&chr(32)&Alif&Ana&chr(32)&dëk&shadda&ando&”waw”&chr(32)&yi?&chr(32) َا ن َ l د ک ّ َند و A lif a nad ë kshad da andowa w yi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Chr(32) On retourne chr(32) S =chr(32)&chr(32)&Alif&Ana&chr(32)&dëk&shadda&ando&”waw”&chr(32)&yi?&chr(32) َا ن َ د ک ّ َند و l A lif a nad ë kshad da andowa w yi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 y On retourne y S =chr(32)&chr(32)&Alif&Ana&chr(32)&dëk&shadda&ando&”waw”&chr(32)&yi?&chr(32) l َا ن َ د ک ّ َند و ي A lif a nad ë kshad da andowa w yi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 i On retourne i S =chr(32)&chr(32)&Alif&Ana&chr(32)&dëk&shadda&ando&”waw”&chr(32)&yi?&chr(32) l َا ن َ l د ک ّ َند و l يِ A lif a nad ë kshad da andowa w yi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

18 El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 ? On retourne ? S =chr(32)&chr(32)&Alif&Ana&chr(32)&dëk&shadda&ando&”waw”&chr(32)&yi?&chr(32) l َا ن َ l د ک ّ َند و l ي ِ؟ A lif a nad ë kshad da andowa w yi? Exemple d’éxécution Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Présentation Organigrammes Exemple d’éxécution Présentation Organigrammes Exemple d’éxécution

Application de Latin2Ajami 19 Translittération de document texte : El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Ajami70 réduit de manière conséquente le temps de translittération (100 pages en 2 minutes) au lieu de 1heure pour Ajami63 Ajami70 prend en charge les notes de bas de page, les en- têtes et pieds de page contrairement à Ajami63 Ajami70 version améliorée de Ajami63 (en modulaire) Plan Introduction Présentation des Approches Conclusion Plan Introduction Présentation des Approches Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Application Perspectives Application Perspectives

Plan Introduction Présentation des Approches Conclusion Plan Introduction Présentation des Approches Conclusion Perspectives (Algorithmes) 25 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Application Perspectives Application Perspectives El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Adapter l’algorithme Latin2Ajami pour la translittération de pages web pour son application dans le projet ibaatukaay. Appliquer l’algorithme Latin2Ajami pour la translittération de système d’exploitation, d’ , sms, etc. Mettre en place l’algorithme Ajami2Latin pour la translittération de texte Ajami vers du texte latin.

Plan Introduction Présentation des Approches Conclusion Plan Introduction Présentation des Approches Conclusion Perspectives (Macro) 25 Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Introduction Translittération du wolof Algorithme Latin2Ajami Conclusion Application Perspectives Application Perspectives Ajout dans la Macro Ajami70 la prise en charge des couleurs, des images, et des tableaux El hadji M. NGUER TALAf - TALAf : JEP-TALN-RECITAL 2016 Généralisation de la Macro Ajami70 aux autres langues (surtout le Pulaar et le Bambara pour le projet ibaatukaay) Macro de translittération de Ajami vers le latin

Merci de votre attention

Prêt à répondre à vos questions