MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard, A. Acoulon, F. Yvon, M. Sigelle, F. Yvon (étude finançée par le projet Eureka MAJORDOME)

Le MAJORDOME est un assistant intelligent personnel qui : Garde la mémoire (adresses, agenda, infos personnelles) Communique (au téléphone) avec vos interlocuteurs Interprète votre messagerie écrite, vocale et vos télécopies Vérifie votre identité Répond à vos questions Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué.

Les fonctionnalités du Majordome Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax E-mail MAJORDOME (

Fonctionnalités du Majordome Authentification du locuteur

Fonctionalités du Majordome Tâches de fond (au niveau du serveur): Tri, interprétation et filtrage de messages (E-mail, voice, fax, SMS,…); extraction des informations pertinentes pour le client (nom de l'expéditeur, objet du message,…). Dialogue avec le client (par le téléphone ou internet) Le système présente l'état de la messagerie intégrée, le type de messages, l'expéditeur, l’objet, offre un résumé synthétique à la demande; Le client accède a sa messagerie, son carnet d'adresses, son agenda, ...

SP 1 : EXTRACTION D’INFORMATION DANS LES IMAGES DE TEXTE

Traitement du texte (télécopies) 1.Construction d’une base de données 2. Extraction de la structure des champs principaux localisation des champs : utilisation du texte et de l’image recherche tolérante de chaînes + groupement perceptif sélection des blocs EXPEDITEUR 3. Reconnaissance de caractères OCR, HCR modélisation des caractères par réseaux bayésiens 3. Extraction des noms propres vecteur de caractéristiques extrait sur chaque mot applications de règles (Prénom+NOM, typographie) classification par réseau neuronal

BASE DE DONNEES ECRIT base d’images de télécopies base de caractères ENST-FAX

étiquetage

BASES (suite) 150 images de télécopies étiquetage des champs expéditeur / destinataire position + nom base de caractères ENST-FAX 6000 caractères (~270/classe)

Traitement des télécopies (suite) DETECTION CHAMPS COMBINAISON LECTURE OCR DETECTION DES NOMS PROPRES EXTRACTION BLOCS HYP. EXPEDITEUR HYPOTHESES EXTRACTION DES BLOCS DISCRIMINATION Imprimé/manuscrit PSEUDO MOTS CHAÎNES DE CARACTÈRES CARACTÉRISTIQUES TEXTUELLES CARACTERISTIQUES IMAGE

Extraction des noms propres Score=9 Score=8 Score=5

reconnaissance des caractères caractères dégradés imprimés HMMs et réseaux bayésiens base de chiffres MNIST réseaux neuronaux réseaux bayésiens base de caractères ENST-FAX méthode statistique : distance de Mahalanobis apprentissage sur base NIST

reconnaissance par réseaux bayésiens dépendances modélisées dans une structure graphique+ distributions locales de probabilités CPD

réseaux bayésiens : résultats UW-Majuscules MNIST Chiffres DBN-vertical 88.45 92.07 DBN-horizontal 86.92 89.19 Trajectoire-vert 90.53 92.97 Trajectoire-hor 87.04 90.13 couplage 1 94.78 93.79 couplage 2 96.86 94.23 couplage 3 95.92 93.83 couplage 4 97.12 _

Traitement des messages textuels 1. Mesure pour chaque phrase d’un « score » de représentativité (% de mots-clés) à partir du pourcentage de mots clés dans la phrase mots 2. Extraction des phrases ayant leur score au-dessus d’un seuil donné 3. Concaténation des phrases choisies Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible

SP 2 & 3 : RECONNAISSANCE DE NOMS PROPRES AUTHENTIFICATION

Interface téléphonique 1. Reconnaissance de l'appelant Noms propres et épellation du nom 2. Vérification du locuteur Sur la prononciation du nom du client (dépendant du texte) Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie Reconnaissance des requêtes 4. Synthèse vocale Résumé de messages électroniques Informations sur les télécopies

PDA Interface Message Image Fax Personal Info

Majordome pour Handicapés Voice Gesture (hand, foot, head movements) Functions Command (input) execution output state Users Environemental events Interface 4

Partenaires et collaborations réunions sur les applications EDF, Corebridge, Holistique, Software602, Integro adaptation du logiciel Swesum au français KTH-Euroseek+ENST montages de projets 1. Eureka MajorCall : Software602 (TCH), Multitel-TCTS (B), WCL-Univ. de Patras (GR), Knowledge S.A. (GR), Harpax s.r.l. (IT), GVZ (TK) 2. RNTL AMI : Cyber-Act, VRTV-Studio, Edf, Holistique 3. Calima (UPC, ENST) réception de messages plateforme Netcentrex

Démonstration (1) 1. Dépôt d'un message dans la boite d'un client Reconnaissance du nom du client Enregistrement du nom de l'appelant 2. Réception et traitement d'une télécopie Reconnaissance du destinataire et de l'envoyeur Transfert vers la messagerie électronique du destinataire

Démonstration (2) 3. Accès à la messagerie à partir d'un téléphone mobile Reconnaissance du nom du client Vérification de l'identité de l'appelant Dialogue vocal pour accéder aux messages choisis Restitution des messages vocaux Synthèse des résumés de mél et des informations sur les télécopies

Démonstration (3) 4. reconnaissance de caractères caractères : ENST-FAX (statistique) chiffres : MNIST (NN) réseaux bayésiens (DBN)