TAL (Traitement automatique des langues) Présenté par: L.BERDJEGHLOUL

Sommaire Introduction à TAL Traduction Automatique Correction automatique Recherche d’information et fouille de texte Résumé automatique Reconnaissance vocale Synthèse vocale Conclusion et bibliographie

Introduction à TAL

Intelligence Artificielle Définition Application des programmes et techniques informatiques sur le langage naturel [Wikipedia] « Le TAL s’intéresse aux traitements informatisés mettant en jeu du matériau linguistique. » (Jacquemin & Zweigenbaum 2000). TAL Informatique Linguistique Intelligence Artificielle

Applications TAL Traduction automatique Correction automatique Recherche de l’information et Fouille de texte Résumé automatique de texte Synthèse de la parole Reconnaissance vocale …etc.

Traduction automatique

Définition Premier domaine de TAL (1950) TA a pour entrée un texte "t1", ou texte source écrit dans une langue « L1 » ou langue cible. TA a pour sortie un texte "t2" ou texte traduit écrit dans une langue « L2 » ou langue cible Exemples: SYSTRAN ALPS Translator

Historique 1950: 1970: 1990: Traduction mot à mot Moteur de traduction: Systran 1990: Systèmes à mémoire de traduction

Méthodes TA : Traduction automatique Traduire entièrement un texte sans intervention de l’humain TAO : Traduction assistée par ordinateur L’humain traduit, avec l’aide du support informatique

Difficultés Écueils linguistiques propres à la langue naturelle Ambiguïtés Lexicales Syntaxiques Sémantique Nécessité du contexte ! Mais comment le représenter informatiquement ?

Techniques Mot à mot + arrangement de surface Syntagmes + arrangement de surface Dictionnaire (ou base de données) Régles Alignement de corpus Meilleure prise en compte du contexte Réalisations linguistiques « attestées »

Évaluation des logiciels TA Quelques campagnes d’évaluation existantes : OpenMT (Open Machine Translation, NIST) CESTA (Technolangue) Tâche à accomplir : traduction d’un texte d’une langue source vers une langue cible Protocole : on donne un texte au système, on compare le résultat (texte candidat) à une traduction faite par l’humain (texte référent), et on attribue une note Ressources Textes en langue source Traduction référence pour chaque texte

Eurotra La France participe actuellement à un projet expérimental de Traduction Automatique de grande envergure, le projet "Eurotra". lancé vers 1975 objectif de mettre au point un système informatique multilingue capable de traduire des textes relatifs au fonctionnement de la Communauté Européenne depuis - et vers - chacune des langue de la Communauté : anglais, allemand, danois, français, espagnol, grec, italien, néerlandais, portugais, soit 72 couples de langues.

Correction automatique

Correction automatique Correcteur orthographique vs grammatical 1. Orthographe d’usage ou lexicale • écriture du mot en lui-même, sans considération des rapports qu’il entretient avec le reste de la phrase – ex. fôte, ortografe, lappin, etc. 2. Orthographe grammaticale partie qui dépend des relations grammaticales – accords : des faute d’orthographe, nous sommes venu – conjugaisons : je vous aimez, nous avons manger – homographes grammaticaux : c’est – ces –ses, à – a, etc.

Techniques – Approche statistique de la détection Distinguer Vérification (détection des erreurs potentielles) – Approche statistique de la détection – Consultation de dictionnaires Correction (suggestions ordonnées pour corriger l’erreur identifiée)

Techniques : distance lexicographique Calcul du nombre minimum d’insertion, suppression et substitution de lettres nécessaires pour transformer un mot en un autre: – Suppression : beauoup – Insertion : beazcoup – Substitution : bezucoup – Interversion : baeucoup Puis vérification au dictionnaire Principe de base: les mots les plus proches seront proposés Exemple: – *Prèferrer préférer (distance=1) puis préféré, préfère (distance=2) puis préférée (distance=3) Exemple: prèferre

Techniques : réinterprétation phonétique Algorithme: 1. mot inconnu  phonétiseur  transcription phonétique (ex.*puit /pyi/) 2. transcription phonétique = clé pour rechercher dans dictionnaire toutes les orthographes pour cette séquence de sons 3. si aucun mot n’est trouvé avec la transcription phonétique entière, quels mots orthographiques sont proches de la chaîne phonétique? 4. on propose comme correction le(s) mot(s) ainsi réinterprété(s) (puis, puits)

Evaluation

caractéristiques L’analyse en temps réel Attirer l’attention de l’utilisateur afin de corriger Des propositions de correction L’utilisateur peut être amener à compléter le dictionnaire intégré (noms propres) Spécifiés de la langue: Anglais: Les mots s’écrivent toujours de la même façon

Antidote Antidote est un logiciel de correction grammaticale et d’aide à la rédaction en français qui réunit : un correcteur : fait une analyse par phrase, souligne les erreurs et propose des corrections. dix dictionnaires: pour les définitions ,synonymes,antonymes,… Dix guides linguistiques: pour la syntaxe, ponctuation,…

Antidote Le prisme de révision: pour améliorer le contenu et le contenu Filtre de style: phrases longues Filtre pour l’abréviation

Recherche de l’information et fouille de texte

Définitions Définition: retrouver des documents textuels répondant à un besoin d’information spécifié par une requête recherche d'information : « Ensemble des méthodes, procédures et techniques permettant, en fonction de critères de recherche propres à l’usager, de sélectionner l’information dans un ou plusieurs fonds de documents plus ou moins structurés ». recherche de l'information : « Ensemble des méthodes, procédures et techniques ayant pour objet d’extraire d’un document ou d’un ensemble de documents les informations pertinentes ».

Méthodes de RI Deux aspects: Les étapes de la RI Indexation des corpus l'interrogation du fonds documentaire ainsi constitué. Les étapes de la RI Prétraitement: indexation du document Recherche: l’approche ensembliste (SQL) Mesures: pour sélectionner les meilleurs documents Prise en compte de l'utilisateur

Moteur de recherche Le modèle de l’Information Retrieval : Constitué de l’usager,la BDD des documents,et le spécialiste de l’information Un moteur de recherche est un logiciel permettant de retrouver des ressources, constitué des étapes: L’exploration Indexation Recherche

Fouille de Texte définition: extraction des connaissances dans des textes Constituée des deux étapes: Analyse:reconnaître les mots, les phrases Interprétation de l’analyse:pour faire la sélection Exemple: classification des courriers en spams

Architecture KENiA® : Knowledge Extraction and Notification Architecture développée dans le langage Java en tenant compte de techniques et de ressources exclusivement linguistiques (aucun appel à la statistique)

Résumé automatique

Résumé automatique (Définition) Une transformation réductrice d’un texte source vers un résumé par compression du contenu à l’aide d’une sélection et/ou généralisation de ce qui est important dans le texte source.

Fonction AutoSummarize de MS Office

Caractéristiques d’un résumé Indicatif ou Informatif Indicatif: indique la nature du texte Informatif: tente de se substituer au texte Extrait ou abrégé Extrait: phrases ou passages tirés du texte Abrégé: reformule, compresse le texte Court ou long Taux de compression =

Mécanique de construction d’un résumé Document → Repr. interne du document Repr. interne du document → Repr. interne du résumé Repr. interne du résumé → Texte du résumé

Facteurs à considérer Facteurs d’entrée: Facteurs d’intentions: Forme: structure, type de langue,… Type de sujet: ordinaire, spécialisé. Facteurs d’intentions: Audience: ciblée, non ciblée Utilisation: Tache (recherche, sommaire,…) Facteurs de sortie: Contenu: tous le sujet ou bien le sujet central Style: indicatif, informatif,..

Approches étalon Approche aléatoire Approche en-tête On sélectionne n phrases au hasard dans le document Approche en-tête On sélectionne les n premières phrases du document

Approche basée sur la RI Luhn 1958 Extrait = phrases significatives Une phrase significative contient des mots significatifs (mots-clés) Mots significatifs = entre A et B

Approches basée sur la structure du texte Edmundson 69 Mots-repères (cues) Mots-bonus: greatest, significant, … Mots-malus: hardly, impossible, … Mots-titre Mots-clés se trouvant dans le titre et les sous-titres

Approches basée sur la structure du texte Positionnement Début du texte Fin du texte Première phrase d’un paragraphe Dernière phrase d’un paragraphe Toutes les méthodes! 1Mots-repère + 2Mots-clés + 3Mots-titre + 4Positionnement

Évaluation (Edmundson) Corpus d’entraînement avec des extraits sélectionnés manuellement (compression 25%) Comparaison entre les résumés obtenus manuellement et automatiquement

Exemple Pertinence Summarizer

Système de traduction automatique du langage texto

Système de traduction automatique du langage texto Proposé à Université de Franche-Comté – Besançon – FRANCE Apparition du langage texto avec le développement des nouvelles formes de communication écrite : Sur internet : chat, forum de discussion, courrier électronique (e-mail) Sur téléphone portable : sms ( En 2003 : 8 milliards de SMS envoyés )

Le langage texto : caractéristiques simplification de la langue une situation de communication particulière nécessitant une certaine précision de langage et une rapidité de réponse Objectif: Être concis et compris Besoin d’un traducteur et correcteur automatique

Traduction automatique Utilité d'un tel système : Plusieurs niveaux d'utilisateurs : novice, expert. (sur les 8 milliards de SMS envoyés en 2003, 75% l’ont été par les 8-24 ans. Les utilisateurs qui en envoient le plus sont les 8-15 ans : 55 textos par mois et par personne. [Que choisir, déc. 2003] ) Connaître les nouvelles tendances de troncation, de symboles utilisés. Si on ne connait pas la “norme” alors difficile de lire le texto : gain de temps à écrire perte de temps à déchiffrer

Traduction automatique Intérêt d'un traducteur automatique C T ki ? --> c'était qui ? kestufé ? --> qu'est-ce que tu fais ? Publicité pour Nokia, 2002 :

La démarche Bi-directionnel : français-texto / texto-français Architecture générale Trois étapes : 1 : lecture du texte source 2 : langage pivot 3 : génération du texte cible

La démarche Etape 1 : Lecture du texte source L'utilisateur entre son texte : Soit sous forme texto : HT du p1 E D poiro (acheter du pain et des poireaux) Soit en français : J'ai une bonne idée (G 1 bon ID)

La démarche Etape 2 : Langage pivot Transcription à l'aide d'un système de règles Utilisation d'un langage pivot adéquat

La démarche Etape 3 : Génération du texte cible A partir du langage pivot : Système de règles pour générer le texte Système de validation des formes produites Pour sms-français : désambiguïsation lexico-syntaxique et sémantique Pour français-sms : plusieurs productions sont possibles (ce qui correspond à la réalité)

Exemple Phrase de départ : G 1 ID Langage pivot : G –> Ze 1 –> U~/ yn yn@ ID –> ide Génération du Français : Ze –> jé, jet, jei, jai, jais, jay, j'é, j'ai... U~/ –> un, ein, ain, in... yn –> une, hune... Yn@ –> une, hune... Ide –> idé, idée, idai...

Exemple Validation lexicale : J'ai un/une idée(s) Jet un/une idée(s) Geai un/une idée(s) Jais un/une idée(s) Analyses morpho-syntaxiques et sémantiques :

Traitement de la parole Reconnaissance vocale Synthèse vocale

Traitement de la parole Définition: des techniques permettent notamment de réaliser des interfaces vocales c'est-à-dire des IHM où une partie de l'interaction se fait à la voix Constituée de: Reconnaissance vocale Synthèse vocale Identification de locuteur Vérification de locuteur

Traitement de la parole(exemples) Dictée vocale sur PC: a pour difficulté, la taille de vocabulaire et la taille des phrases Applications téléphonique de type serveur vocal: a pour difficulté, la nécessité de reconnaître n’importe quelle voix dans toutes les conditions.

La reconnaissance vocale La reconnaissance vocale sert à retranscrire les mots prononcés par un locuteur lors de traitement de textes. Cette fonction permet à l’utilisateur un gain de temps considérable. « Parlez à votre ordinateur et il retranscrit vos paroles à l’écran » -1952 : reconnaissance des 10 chiffres, par un dispositif câblé. -1994 : IBM lance son premier système de reconnaissance vocale sur PC. -1997 : lancement de la dictée vocale en continue par IBM

Les principes de fonctionnement Principe de fonctionnement

Les principes de fonctionnement Le locuteur émet une phrase, une fois le son émis, il est capté par un microphone. Le signal vocal est ensuite numérisé à l’aide d’un convertisseur analogique-numérique. Le paramétrage du signal permet d’avoir une empreinte. Le décodage consiste à décrire le signal acoustique en termes d’unités linguistiques. Il a pour but de segmenter le signal, l’identification des différents segments se fait en fonction des contraintes phonétiques et linguistiques.

Principe Traitement acoustique: numériser le signal de parole sous forme de vecteurs acoustiques de 30 ms par les techniques de traitement du signal Apprentissage automatique: réalise une association entre les segments élémentaires de paroles et les éléments lexicaux par la technique des Modèles MARKOV cachés ou réseaux de neurones Reconnaissance: en concaténant les segments élémentaires de paroles précédemment appris reconstitue le discours le plus probable

Les facteurs

Les mots isolés La phase d’apprentissage : Le locuteur prononce l’ensemble du vocabulaire souvent plusieurs fois afin de créer un dictionnaire de référence. La phase de reconnaissance : Le locuteur un mot énoncé auparavant. Pour reconnaître les mots émis par le locuteur il y a trois parties : Le CAPTEUR permettant d’appréhender le phonème physique considéré, nous dans notre cas c’est le microphone.Un signal est émis au microphone lorsque le locuteur parle. La PARAMETRISATION des formes qui nous donne une empreinte c’est-à-dire la caractéristique du son (Temps/Fréquence/Intensité). Et enfin l’IDENTIFICATION des formes « Tout les mots prononcés sont séparés par des silences de durée supérieures à quelques dixièmes de seconde ».

La parole continue 1ère approche : ASCENCANTE Reconstruction de la phrase à partir du signal. On se contente de le décrypter, cette approche est souvent utilisée pour un vocabulaire très restreint. 2ème approche : DESCENDANTE Une sorte de prédiction du mot qu’il va falloir reconnaître. Cette approche permet à ne pas avoir à tester tout le dictionnaire de la machine « C’est un discours de phrases où les mots s’enchaînent sans moyen de se séparer, contrairement aux mots isolés ».

Applications Chaque application a ses propres caractéristiques et ses performances : Débit du flux de la parole. Pause entre les mots (mots isolés) ou non (parole continue). Taille du vocabulaire reconnu. Acceptation du bruit de fond.

Applications IMB : Dragon Naturally Speaking : Avec un taux de reconnaissance à 97%, la dictée d’IBM est assez performante avec pour cadence 70 à 100 mots par minute.Par contre ce logiciel est incapable de retrouver le découpage des mots par leur sens comme pourrait le faire le cerveau humain. Dragon Naturally Speaking : Ce logiciel est à la pointe de la technologie qui est marquée par une avancée très significative.Il permet une diction la plus naturelle possible, sans avoir à marquer de pauses entre les mots avec une cadence d’environ 130 mots par minute et même voir plus.Il possède un dictionnaire très varié (240000 mots) qui recouvre un vocabulaire accessible à tous. Et surtout, il peut accueillir plusieurs locuteurs.

Synthèse vocale La synthèse vocale est une technologie qui permet d'automatiser la production d'une parole artificielle par une machine. • Processus qui permet de transformer un message symbolique ou un ensemble de paramètres de commandes, en message acoustique. • Synthèse à partir du texte :Text to speech

Applications – lecture d ’e-mails ou de fax – sorties vocales pour tout type d ’information présente dans une Base de Données – sorties vocales pour tout type d ’information présente dans une interface – livres et sites web parlants – Utile pour les mal-voyants ou en cas d ’éclairage insuffisant

Situations favorables Message court • Interprétation du message simple (pas de répétition à la demande de l ’usager) • Action relative au message immédiate • Les conditions ne favorisent pas la représentation visuelle (mauvais éclairage, l ’utilisateur bouge fréquemment, écran déjà surchargé d ’informations visuelles) • L ’opérateur à les mains occupées

Situations défavorables Messages trop longs – lecture préférable alors… • Messages complexes par le sens qu’ils véhiculent – schéma ou explication textuelle détaillée préférables • Environnement très bruyant • Confidentialité nécessaire

Les différentes générations Synthèses vocales par règles (formants):générer un spectre sonore artificiel à partir duquel on génère le signal acoustique de synthèse La seconde génération: consisté à assembler des petits segments élémentaires de parole naturelle pour constituer n'importe quel énoncé synthétique souhaité. synthèse vocale par diphones: Les sons synthétisés sont en fait des segments d'enregistrement de parole artificiellement attachés les uns à la suite des autres

Techniques de synthèse Traitements linguistiques: Le prétraitement du texte La transcription orthographique L’analyse grammaticale et lexicale L’analyse prosodique Traitements acoustiques: Les méthodes de fabrication du signal Modifications des paramètres prosodiques

Synthèse à partir de texte

D’autres types de synthèses Synthèse par assemblage de mots Synthèse par unité stockées Synthèse audio visuelle Le mouvement des lèvres Agents visuels

Conclusion Explosion du domaine Intégration des technologies connexes Traitement en langue naturelle Recherche d’information Linguistique Avenir prometteur Encore beaucoup de travail

Bibliographie http://fr.wikipedia.org/wiki/Traitement_automatique_du_langage_naturel http://fr.wikipedia.org/wiki/Fouille_de_textes http://halshs.archives-ouvertes.fr/docs/00/03/07/47/PDF/b52p165.pdf http://eprints.pascal-network.org/archive/00001071/01/Usunier_RsmTxt.pdf http://www.multitel.be/TTS/Download/plaquettes/synthesis_fr.pdf http://deptinfo.unice.fr/twiki/pub/Linfo/PlanningDesSoutenances20032004/Benguigui-Ismais-Hamdan.pdf …