Journées du groupe SILAT, Lyon, 26-27.03.2010:  Génération et analyse de mots arabes (GAMAR) : vers une plateforme d’enrichissement des requêtes pour la recherche d’information ou la fouille de textes Joseph Dichy Université Lumière-Lyon 2 ICAR – UMR 5191 (CNRS/Lyon 2-ENS_LSH) Journées du groupe SILAT, Lyon, 26-27.03.2010: Veille stratégique, évaluation et innovation avec des approches sémantiques (français, arabe, anglais)

Mots clés recherche d'information et fouille de textes ressource lexicale (base de connaissances) théorie des spécificateurs linguistiques propriétés lexico-sémantiques ; ontologies linguistiques ; relations lexique-grammaire  Génération vs analyse lexiques générés J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Objet général Quelles ressources lexicales (conçues comme bases de connaissances) sont nécessaires/utiles pour la recherche d'information, la fouille de textes, la veille stratégique, l'indexation automatique, etc. ? J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Domaine d'illustration La recherche d'information, la fouille de textes, la veille stratégique J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 1a Dans la veille stratégique, la recherche d'information ou la fouille de textes, il y a en gros deux approches: l'analyse morphologique au plein sens du terme, coûteuse en temps celle de Google (très rapide), que je vais rappeler en qq mots: Dans la 1re phase: page ranking (note de 0 à 10) - "Google dance" J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 1a (rappel - suite) Cette approche exclut le recours à un analyseur morphologique associé à une base de données lexicales, en raison des ralentissements qui en résulteraient : Pour la recherche وزراء التربية wuzarâ' al-tarbiya "ministres de l'éducation" , on obtient 5 M de résultats en 0,21 sec. Avec un analyseur analysant 100.000 mots par seconde, cela prendrait 50 x plus de temps, soit 17,5 minutes! A quoi s'ajouteraient les ralentissements des phases 1 (crawling, pageranking…) et 2 (indexation…) J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 2a qq résultats Pour ra'as al-mal رأس المال "capital", au 21.03.2010: 2.380.000 résultats, incluant: la forme avec l'article ra'as al-mal رأس المال la forme-"valise" (en arabe naḥt) رأسمال , variante graphique راسمال N'incluant pas les pluriels avec variation du patron morphosyllabique (≠ pluriels par suffixation): رؤوس (ال)أموال – 638.000 rés. (recherche propre) رساميل – 65.600 rés. (recherche propre) J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 2b qq résultats En français, il faut faire deux requêtes, l'une pour "capital", l'autre pour "capitaux" En anglais, on rencontre un problème d'ambiguïté: capital au sens de "capitale" et capital au sens de "capitaux" Dans les trois langues, il est difficile de rechercher sélectivement l'ouvrage de Karl Marx, Le Capital. Mais ne pleurons pas! Nous sommes "contents" d'avoir ce que nous avons… Question: peut-on faire mieux sans perdre ce que nous avons? J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 2c qq résultats Avec wizâra, وزارة "ministère", on a: pour (al-)wizâra (al-)xârijiyya, (الـ)وزارة (الـ)خارجية , "ministère des affaires étrangères" 2.450.000 rés. J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 2c qq résultats Avec wizâra, وزارة "ministère", on a: pour (al-)wizâra (al-)xârijiyya, (الـ)وزارة (الـ)خارجية , "ministère des affaires étrangères" 2.450.000 rés. pour xârijiyya, 3.520.000 rés. J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 2c qq résultats Avec wizâra, وزارة "ministère", on a: pour (al-)wizâra (al-)xârijiyya, (الـ)وزارة (الـ)خارجية , "ministère des affaires étrangères" 2.450.000 rés. pour xârijiyya, 3.520.000 rés. pour wazîr (al-)xârijiyya, وزير (الـ)خارجية "ministre des affaires étrangères", 5.840.000 résult. qui recoupent en grande partie les précédents en raison de phénomènes de cooccurrence; J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 2c qq résultats Avec wizâra, وزارة "ministère", on a: pour (al-)wizâra (al-)xârijiyya, (الـ)وزارة (الـ)خارجية , "ministère des affaires étrangères" 2.450.000 rés. pour xârijiyya, 3.520.000 rés. pour wazîr (al-)xârijiyya, وزير (الـ)خارجية "ministre des affaires étrangères", 5.840.000 résult. qui recoupent en grande partie les précédents en raison de phénomènes de cooccurrence; pour wazîr (al-)tarbiya, وزير (الـ)تربية "ministre de l'éducation" 5.650.000 rés. (incluant wazîrat (al-)tarbiya, la seule ministre de l'éducation arabe, qui est palestinienne) J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information avec Google 2c qq résultats Avec wizâra, وزارة "ministère", on a: pour (al-)wizâra (al-)xârijiyya, (الـ)وزارة (الـ)خارجية , "ministère des affaires étrangères" 2.450.000 rés. pour xârijiyya, 3.520.000 rés. pour wazîr (al-)xârijiyya, وزير (الـ)خارجية "ministre des affaires étrangères", 5.840.000 résult. qui recoupent en grande partie les précédents en raison de phénomènes de cooccurrence; pour wazîr (al-)tarbiya, وزير (الـ)تربية "ministre de l'éducation" 5.650.000 rés. (incluant wazîrat (al-)tarbiya, la seule ministre de l'éducation arabe, qui est palestinienne) pour wuzarâ' (al-)tarbiya, وزراء (الـ)تربية "ministres de l'éducation" (au plur.), 5.000.000 de rés., ne recoupant les précédents qu'en cas de cooccurrence (elles sont fréquentes) J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recherche d'information 2d : synthèse sur résultats avec Google Une meilleure prise en charges des mots composés qu'en mars-avril derniers Trop d'information, les requêtes n'étant que très difficilement contextualisabes (avec les "__") Pas assez d'information: les variations morphologiques ne sont pas prises en charge (en arabe comme en français) les recoupements entre formes morphologiquement apparentées (par ex., sing.-plur.) restent aléatoires …et le resteront, car les cooccurrences ne constituent pas une relation sémantique stable pour l'apprentissage automatique J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Peut-on améliorer ces résultats? Oui, dans certaines conditions. Deux cas généraux: 1- Recherche du niveau du mot 2- Recherche contextualisée Dans les deux cas: quelle base de connaissances est nécessaire? Dans cet exposé: cas 1 Dans l'exposé avec M. Anizi: cas 2 J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Au niveau du mot De quoi peut avoir besoin?  des différentes formes morphologiques d'un même mot – en l'occurrence de noms pluriel par suffixation : našâṭ نشاط, "activité", plur. suffixé: našâṭât نشاطات plur. par modification du patron (ou "pluriel brisé") :'anašṭa أنشطة  NB. Les verbes ne font en principe pas l'objet d'une recherche d'information. J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Autres ex. du niveau du mot ḥummâ حمى‎, "fièvre" : 1 240 000 résultats (0,28 secondes ) – pas de pluriel le plur. ḥummâyât حمايات : 129 000 rés.‎ (0,36 sec.) – c'est un plur. par suffixation, mais avec une transformation de ى â en ي y, ce qui supposerait soit une analyse par règles, soit la consultation d'une base de données lexicale. naḫla نخلة‎, "palmier-dattier" (mais aussi: nom de famille, par ex. du chanteur N'ûla Nakhlé) : 1 340 000 rés. (0,41 secondes)  - pas d'occurrence de naḫl نخل (collectif, dont naḫla نخلة‎ est le singulatif) naḫl نخل : 520 000 résultats J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Problèmes de polysémie 1 Des bruits peuvent résulter du fait qu'un même mot peut avoir plusieurs sens, exemple: Nom 1: câmil عامل, plur. par suffixation: câmilûn (fem. –ât) = "travailleur", "employé", "salarié" Nom 2: -- plur. "interne" (par modification du patron): cawâmil عوامل = "facteur" (de qqch) Nom 3:-- plur. "interne" (par modification du patron): cummâl عمال = "ouvrier" Adjectif: = "actif", "en fonction", "effectif" Requête عامل : 12 000 000 de résultats (0,23 secondes) : le bruit est très élevé, la requête ne pouvant porter que sur un seul sens J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Problèmes de polysémie 2 Des bruits peuvent résulter du fait qu'un même mot peut avoir plusieurs sens, exemple: Nom 1: câmil عامل, plur. par suffixation: câmilûn (fem. –ât) = "travailleur", "employé", "salarié"  74 700 pour عاملون (ss occ. du sing. ni de عاملو)  148 000 pour عاملو (ss occ. du sing)  144 000 pour عاملات (ss occ. du sing) Nom 2: -- plur. "interne" (par modification du patron): cawâmil عوامل = "facteur" (de qqch)  5 370 000 résultats (ss occurrence du sing.) Nom 3:-- plur. "interne" (par modification du patron): cummâl عمال = "ouvrier"  2 610 000 résultats (ss occurrence du sing.) Adjectif: = "actif", "en fonction", "effectif" J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Recours au générateur de DIINAR Les lexiques générés à partir de DIINAR peuvent permettre – au niveau du mot – de sélectionner une requête pertinente, en passant par le pluriel.  agent lexical morphologique J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Base de connaissances de cooccurrences au niveau des groupes de mots, des cooccurrences peuvent être repérées, ex.: عامل (الـ)بناء - (الـ)زراعة – câmil (al-)binâ' – (al-)zirâca : "ouvrier en bâtiment", "agricole" عاملات (الـ)منازل – "travailleuses ménagères"  agent lexical de cooccurrence J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Vers une interface d'interrogation 1 Saisie: câmil عامل Consultation des lexiques générés de DIINAR: L'interface morpho-lexicale demande à l'utilisateur le sens qui l'intéresse: Nom 1: câmil عامل, plur. par suffixation: câmilûn (fem. –ât) = "travailleur", "employé", "salarié" Nom 2: -- plur. "interne" (par modification du patron): cawâmil عوامل = "facteur" (de qqch) Nom 3:-- plur. "interne" (par modification du patron): cummâl عمال = "ouvrier" Adjectif: = "actif", "en fonction", "effectif" J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Vers une interface d'interrogation 2 Saisie: câmil عامل Consultation des lexiques de cooccurrence (à construire!) L'interface de cooccurrence lexicale demande à l'utilisateur le contexte qui l'intéresse: عامل (الـ)بناء câmil (al-)binâ' , "ouvrier en bâtiment"  عامل (الـ)زراعة câmil (al-)zirâca, "ouvrier agricole"  عامل عضو cudw câmil, "membre actif" (câmil = adjectif) En cas de recherche par les pluriels: collaboration des deux agents d'aide à la recherche ou à la fouille… J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Les ressources lexicales nécessaires Pour le niveau du mot: DIINAR (8 hommes/années) Pour le niveau des collocations: beaucoup de travail à faire, avec une démarche prolongeant la théorie des spécificateurs implémentée dans DIINAR + un format lexical nouveau (travaux en cours) J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Annexe : DIINAR.1 J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Abdelfattah Braham, Université de la Manouba et IRSIT DIINAR.1 (DIctionnaire INformatisé de l’ARabe – version 1) en arabe : Ma‘âlî – معالي « Mu‘jam al-‘Arabiyya l-’âlî » (معجم العربية الآلي) Joseph Dichy, Université Lumière-Lyon 2 et groupe de recherche SILAT (ICAR CNRS-Lyon 2) Abdelfattah Braham, Université de la Manouba et IRSIT Salem Ghazali, Institut Supérieur des Langues de Tunis et IRSIT Mohamed Hassoun, ENSSIB (Villeurbanne) et groupe de recherche SILAT (commun à ICAR et à ELICO ) J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

La base de connaissances DIINAR.1 comprend 129.000 entrées environ Entrées verbales : 20.000 env. Entrées déverbales : 79.000 env. Entrées nominales : 29.000 env. (+ env. 10.000 pluriels 'brisés') Noms propres : 1.000 env. Mots-outils : 200 env. + l’ensemble complet des enclitiques, proclitiques, préfixes et suffixes de l’arabe lexiques générés: formes fléchies (mots minimaux): 7,7 M formes développées (mots maximaux): 230 M J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Les spécificateurs morphosyntaxiques inclus dans DIINAR.1 A chaque unité lexicale sont associés des spécificateurs morphosyntaxiques correspon-dant aux relations grammaire-lexique opérant au niveau du mot (Hassoun, 1987, Dichy, 1990). Les spécificateurs incluent également les liens dérivationnels entre formes morphologiquement reliées, telles que: verbe  déverbal ou, pour les noms, singulier  “pluriel brisé”, etc. Les spécificateurs morphosyntaxiques appartien-nent à des inventaires finis et exhaustifs (Dichy, 1997). J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Principe de compatibilité connaissances-processus La base de données DIINAR.1 est soumise à une contrainte méthodologique fondamentale, celle de la compatibilité : (1) avec les deux processus asymétriques de la génération et de l’analyse de textes écrits (Dichy 1990 et 1993), et  (2) avec les deux réalisations en graphie vocalisée ou non de l’arabe (Hassoun 1987).  On dira que DIINAR.1 est conçu en fonction du principe de compatibilité connaissances-processus (Dichy 1997). J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Génération ET analyse traitement exhaustif des données lexiques générés J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

beaucoup de travail fait, et de travail à faire, mais en recherche d'information… Où sont les grands explorateurs à qui l'on devra l'oubli d'un continent ? Guillaume Apollinaire J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010

Merci de votre attention أشكر لكم إصغاءكم J. Dichy - JEI Veille stratégique avec approches sémantiques - Lyon 26-27.03.2010