MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L

Présentation au sujet: "MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L"— Transcription de la présentation:

1 MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L
MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou, A. Kumar, S.S. Lin, D. Mostefa, S. Renouard, M. Sigelle, F. Yvon Journée multimédia - Conseil Scientifique GET - 9/10/2003

2 Le MAJORDOME est un assistant intelligent personnel qui :
Garde la mémoire (adresses, agenda, infos personnelles) Communique (au telephone) avec vos interlocuteurs Interprète votre messagerie écrite, vocale et vos télécopies Vérifie votre identité Répond à vos questions Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué.

3 Les fonctionnalités du Majordome
Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax MAJORDOME (

4 Fonctionnalités du Majordome
Authentification du locuteur

5 Fonctionalités du Majordome
Tâches de fond (au niveau du serveur): Tri, interprétation et filtrage de messages ( , voice, fax, SMS,…); extraction des informations pertinentes pour le client (nom de l'expéditeur, suject,…). Dialogue avec le client (par le téléphone ou internet) Le système présente l'état de la messagerie intégrée, le type de messages, l'expéditeur, le suject, offre un résumé synthétique à la demande; Le clent accède a sa messagerie, son carnet d'adresses, son agenda, ...

6 Traitement des télécopies
1. Extraction de la structure des champs principaux localisation des champs : utilisation du texte et de l’image recherche tolérante de chaînes + groupement perceptif sélection des blocs EXPEDITEUR 2. Reconnaissance de caractères OCR, HCR modélisation des caractères par réseaux bayésiens 3. Extraction des noms propres vecteur de caractéristiques extrait sur chaque mot applications de règles (Prenom+NOM, typographie) classification par réseau neuronal

7 traitement des télécopies (suite)
HEADER DETECTION COMBINATION OCR RECOGNITION PROPER NAME SENDER NAME BLOCK LOCATION HYPOTHESIZED HEADERS BLOCKS EXTRACTION WRITING DISCRIMINATION PSEUDO WORDS TEXT STRINGS TEXTUAL FEATURES IMAGE FEATURES

8 extraction des noms propres
Score=9 Score=8 Score=5

9 Traitement des messages textuels
1. Mesure pour chaque phrase d’un « score » de représentativité (% de mots-clés) à partir du pourcentage de mots clés dans la phrase mots 2. Extraction des phrases ayant leur score au-dessus d’un seuil donné 3. Concaténation des phrases choisies Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible

10 Interface téléphonique
1. Reconnaissance de l'appelant Noms propres et épellation du nom 2. Vérification du locuteur Sur la prononciation du nom du client (dépendant du texte) Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie Reconnaissance des requêtes 4. Synthèse vocale Résumé de messages électroniques Informations sur les télécopies

11 PDA Interface Message Image Fax Personal Info

12 Majordome pour Handicapés
Voice Gesture (hand, foot, head movements) Functions Command (input) execution output state Users Environemental events Interface 4

13 Démonstration (1) 1. Dépôt d'un message dans la boite d'un client
Reconnaissance du nom du client Enregistrement du nom de l'appelant 2. Réception et traitement d'une télécopie Reconnaissance du destinataire et de l'envoyeur Transfert vers la messagerie électronique du destinataire

14 Démonstration (2) 3. Accès à la messagerie à partir d'un téléphone mobile Reconnaissance du nom du client Vérification de l'identité de l'appelant Dialogue vocal pour accéder aux messages choisis Restitution des messages vocaux Synthèse des résumés de mél et des informations sur les télécopies