MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou, A. Kumar, S.S. Lin, D. Mostefa, S. Renouard, M. Sigelle, F. Yvon Journée multimédia - Conseil Scientifique GET - 9/10/2003

Le MAJORDOME est un assistant intelligent personnel qui : Garde la mémoire (adresses, agenda, infos personnelles) Communique (au telephone) avec vos interlocuteurs Interprète votre messagerie écrite, vocale et vos télécopies Vérifie votre identité Répond à vos questions Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué.

Les fonctionnalités du Majordome Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax E-mail MAJORDOME (

Fonctionnalités du Majordome Authentification du locuteur

Fonctionalités du Majordome Tâches de fond (au niveau du serveur): Tri, interprétation et filtrage de messages (E-mail, voice, fax, SMS,…); extraction des informations pertinentes pour le client (nom de l'expéditeur, suject,…). Dialogue avec le client (par le téléphone ou internet) Le système présente l'état de la messagerie intégrée, le type de messages, l'expéditeur, le suject, offre un résumé synthétique à la demande; Le clent accède a sa messagerie, son carnet d'adresses, son agenda, ...

Traitement des télécopies 1. Extraction de la structure des champs principaux localisation des champs : utilisation du texte et de l’image recherche tolérante de chaînes + groupement perceptif sélection des blocs EXPEDITEUR 2. Reconnaissance de caractères OCR, HCR modélisation des caractères par réseaux bayésiens 3. Extraction des noms propres vecteur de caractéristiques extrait sur chaque mot applications de règles (Prenom+NOM, typographie) classification par réseau neuronal

traitement des télécopies (suite) HEADER DETECTION COMBINATION OCR RECOGNITION PROPER NAME SENDER NAME BLOCK LOCATION HYPOTHESIZED HEADERS BLOCKS EXTRACTION WRITING DISCRIMINATION PSEUDO WORDS TEXT STRINGS TEXTUAL FEATURES IMAGE FEATURES

extraction des noms propres Score=9 Score=8 Score=5

Traitement des messages textuels 1. Mesure pour chaque phrase d’un « score » de représentativité (% de mots-clés) à partir du pourcentage de mots clés dans la phrase mots 2. Extraction des phrases ayant leur score au-dessus d’un seuil donné 3. Concaténation des phrases choisies Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible

Interface téléphonique 1. Reconnaissance de l'appelant Noms propres et épellation du nom 2. Vérification du locuteur Sur la prononciation du nom du client (dépendant du texte) Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie Reconnaissance des requêtes 4. Synthèse vocale Résumé de messages électroniques Informations sur les télécopies

PDA Interface Message Image Fax Personal Info

Majordome pour Handicapés Voice Gesture (hand, foot, head movements) Functions Command (input) execution output state Users Environemental events Interface 4

Démonstration (1) 1. Dépôt d'un message dans la boite d'un client Reconnaissance du nom du client Enregistrement du nom de l'appelant 2. Réception et traitement d'une télécopie Reconnaissance du destinataire et de l'envoyeur Transfert vers la messagerie électronique du destinataire

Démonstration (2) 3. Accès à la messagerie à partir d'un téléphone mobile Reconnaissance du nom du client Vérification de l'identité de l'appelant Dialogue vocal pour accéder aux messages choisis Restitution des messages vocaux Synthèse des résumés de mél et des informations sur les télécopies