MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou, S.S. Lin, D. Mostefa, S. Renouard, M. Sigelle, F. Yvon Journée multimédia - Conseil Scientifique GET - 9/10/2003

Page 2Journée MM / Conseil Scientifique GET - 9/10/2003 n Garde la mémoire (adresses, agenda, infos personnelles) nCommunique (au telephone) avec vos interlocuteurs nInterprète votre messagerie écrite, vocale et vos télécopies nVérifie votre identité nRépond à vos questions Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué. Le MAJORDOME est un assistant intelligent personnel qui :

Page 3Journée MM / Conseil Scientifique GET - 9/10/2003 Les fonctionnalités du Majordome Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax

Page 4Journée MM / Conseil Scientifique GET - 9/10/2003 Authentification du locuteur Fonctionnalités du Majordome

Page 5Journée MM / Conseil Scientifique GET - 9/10/2003 Overview of Majordome nBackground tasks (server-side only): –sorting and filtering messages from different sources ( , voice, fax, SMS,…); –extracting relevant information for reporting to user (names of senders, subject,…). nDialogue with the user: over phone or Web. –The system presents the state of the mailbox, the type of messages, their sender, subject, and may sum them up or read them on request; –The users access their mailbox, addressbook, time schedule, or Web addresses.

Page 6Journée MM / Conseil Scientifique GET - 9/10/2003 n 1. Extraction de la structure des champs principaux –localisation des champs : utilisation du texte et de limage recherche tolérante de chaînes + groupement perceptif –sélection des blocs EXPEDITEUR n 2. Reconnaissance de caractères –OCR, HCR –modélisation des caractères par réseaux bayésiens 3. Extraction des noms propres –vecteur de caractéristiques extrait sur chaque mot applications de règles (Prenom+NOM, typographie) –classification par réseau neuronal Traitement des télécopies

Page 7Journée MM / Conseil Scientifique GET - 9/10/2003 traitement des télécopies (suite) HEADER DETECTION COMBINATION OCR RECOGNITION PROPER NAME DETECTION SENDER NAME BLOCK LOCATION HYPOTHESIZED HEADERS BLOCKS EXTRACTION WRITING DISCRIMINATION PSEUDO WORDS TEXT STRINGS TEXTUAL FEATURES IMAGE FEATURES

Page 8Journée MM / Conseil Scientifique GET - 9/10/2003 extraction des noms propres Score=9 Score=8 Score=5

Page 9Journée MM / Conseil Scientifique GET - 9/10/2003 n 1. Mesure pour chaque phrase dun « score » de représentativité (% de mots-clés) –à partir du pourcentage de mots clés dans la phrase mots 2. Extraction des phrases ayant leur score au-dessus dun seuil donné 3. Concaténation des phrases choisies nRésultat : texte parfois peu esthétique, mais généralement lisible et compréhensible Traitement des messages textuels

Page 10Journée MM / Conseil Scientifique GET - 9/10/2003 Content Extraction in Majordome Overall Objective: Quick detection of short information elements for Message Filtering and Reporting to User Functional position of this processing phase: –Server-side, event-oriented, background task –subsequent and/or parallel to speech recognition (voice messages) or image processing (faxes); previous to text summarizing

Page 11Journée MM / Conseil Scientifique GET - 9/10/2003 Useful applications (1) Name/Date/Subject identification (this task specifically useful for fax and voice messages: no standardized fields for storing this information) –You have 1 fax message from Mrs Diaconu about attending the Barcelona meeting… Backup information: users addressbook (PABX info yields senders phone number)

Page 12Journée MM / Conseil Scientifique GET - 9/10/2003 Useful applications (2) Message filtering: –You have received 14 personal messages, among which 3 messages from friends, 6 requests from students or colleagues, and 5 spam messages; you have received 26 mailing list messages, among which 3 call for papers, 11 conference announcements, and 12 other. Backup information: RFC-822 From andSubject fields.

Page 13Journée MM / Conseil Scientifique GET - 9/10/2003 Techniques (1) Text statistics measures: –Frequency of occurrence of certain words/morphological categories/syntactical structures in different types of messages E.g. ratio noun/verb frequency higher in technical texts; style markers specific to some text genres (e.g. frequent use of ! or $ in advertisements; loose style abbreviations like CU, IMHO in English, or A+ in French)

Page 14Journée MM / Conseil Scientifique GET - 9/10/2003 Techniques (2) Text skimming: –Spotting good candidates for specific word types (e.g. proper names): selecting capitalized words… –… comparing with entries in common first names / family names database, and/or… –… using local grammars to disambiguate other cases.

Page 15Journée MM / Conseil Scientifique GET - 9/10/2003 Techniques (3) Merging visual clues and textual clues for mutual reinforcement of identification probability. E.g. Probability of an unidentified, capitalized character string to be the proper name of a faxs sender increases if it stands alone on a line at the top of the image.

Page 16Journée MM / Conseil Scientifique GET - 9/10/2003 n 1. Reconnaissance de l'appelant –Noms propres et épellation du nom n 2. Vérification du locuteur –Sur la prononciation du nom du client (dépendant du texte) –Sur les actes de dialogue (indépendant du texte) n 3. Navigation vocale dans la messagerie –Reconnaissance des requêtes n 4. Synthèse vocale –Résumé de messages électroniques –Informations sur les télécopies Interface téléphonique

Page 17Journée MM / Conseil Scientifique GET - 9/10/2003 n 1. Point –Sous-point –Sous point n 2. Point –Sous-point –Sous point n 3. Point –Sous-point –Sous point Interface PDA

Page 18Journée MM / Conseil Scientifique GET - 9/10/2003 n 1. Dépôt d'un message dans la boite d'un client –Reconnaissance du nom du client –Enregistrement du nom de l'appelant n 2. Réception et traitement d'une télécopie –Reconnaissance du destinataire et de l'envoyeur –Transfert vers la messagerie électronique du destinataire Démonstration (1)

Page 19Journée MM / Conseil Scientifique GET - 9/10/2003 n 3. Accès à la messagerie à partir d'un téléphone mobile –Reconnaissance du nom du client –Vérification de l'identité de l'appelant –Dialogue vocal pour accéder aux messages choisis –Restitution des messages vocaux –Synthèse des résumés de mél et des informations sur les télécopies Démonstration

Page 20Journée MM / Conseil Scientifique GET - 9/10/2003 n 1. Point –Sous-point –Sous point n 2. Point –Sous-point –Sous point n 3. Point –Sous-point –Sous point Perspectives