MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L

Présentation au sujet: "MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L"— Transcription de la présentation:

1 MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L
MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard, A. Acoulon, F. Yvon, M. Sigelle, F. Yvon (étude finançée par le projet Eureka MAJORDOME)

2 Le MAJORDOME est un assistant intelligent personnel qui :
Garde la mémoire (adresses, agenda, infos personnelles) Communique (au téléphone) avec vos interlocuteurs Interprète votre messagerie écrite, vocale et vos télécopies Vérifie votre identité Répond à vos questions Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué.

3 Les fonctionnalités du Majordome
Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax MAJORDOME (

4 Fonctionnalités du Majordome
Authentification du locuteur

5 Fonctionalités du Majordome
Tâches de fond (au niveau du serveur): Tri, interprétation et filtrage de messages ( , voice, fax, SMS,…); extraction des informations pertinentes pour le client (nom de l'expéditeur, objet du message,…). Dialogue avec le client (par le téléphone ou internet) Le système présente l'état de la messagerie intégrée, le type de messages, l'expéditeur, l’objet, offre un résumé synthétique à la demande; Le client accède a sa messagerie, son carnet d'adresses, son agenda, ...

6 SP 1 : EXTRACTION D’INFORMATION DANS LES
IMAGES DE TEXTE

7 Traitement du texte (télécopies)
1.Construction d’une base de données 2. Extraction de la structure des champs principaux localisation des champs : utilisation du texte et de l’image recherche tolérante de chaînes + groupement perceptif sélection des blocs EXPEDITEUR 3. Reconnaissance de caractères OCR, HCR modélisation des caractères par réseaux bayésiens 3. Extraction des noms propres vecteur de caractéristiques extrait sur chaque mot applications de règles (Prénom+NOM, typographie) classification par réseau neuronal

8 BASE DE DONNEES ECRIT base d’images de télécopies
base de caractères ENST-FAX

9 étiquetage

10 BASES (suite) 150 images de télécopies
étiquetage des champs expéditeur / destinataire position + nom base de caractères ENST-FAX 6000 caractères (~270/classe)

11 Traitement des télécopies (suite)
DETECTION CHAMPS COMBINAISON LECTURE OCR DETECTION DES NOMS PROPRES EXTRACTION BLOCS HYP. EXPEDITEUR HYPOTHESES EXTRACTION DES BLOCS DISCRIMINATION Imprimé/manuscrit PSEUDO MOTS CHAÎNES DE CARACTÈRES CARACTÉRISTIQUES TEXTUELLES CARACTERISTIQUES IMAGE

12 Extraction des noms propres
Score=9 Score=8 Score=5

13 reconnaissance des caractères
caractères dégradés imprimés HMMs et réseaux bayésiens base de chiffres MNIST réseaux neuronaux réseaux bayésiens base de caractères ENST-FAX méthode statistique : distance de Mahalanobis apprentissage sur base NIST

14 reconnaissance par réseaux bayésiens
dépendances modélisées dans une structure graphique+ distributions locales de probabilités CPD

15 réseaux bayésiens : résultats
UW-Majuscules MNIST Chiffres DBN-vertical 88.45 92.07 DBN-horizontal 86.92 89.19 Trajectoire-vert 90.53 92.97 Trajectoire-hor 87.04 90.13 couplage 1 94.78 93.79 couplage 2 96.86 94.23 couplage 3 95.92 93.83 couplage 4 97.12 _

16 Traitement des messages textuels
1. Mesure pour chaque phrase d’un « score » de représentativité (% de mots-clés) à partir du pourcentage de mots clés dans la phrase mots 2. Extraction des phrases ayant leur score au-dessus d’un seuil donné 3. Concaténation des phrases choisies Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible

17 SP 2 & 3 : RECONNAISSANCE DE NOMS PROPRES
AUTHENTIFICATION

18 Interface téléphonique
1. Reconnaissance de l'appelant Noms propres et épellation du nom 2. Vérification du locuteur Sur la prononciation du nom du client (dépendant du texte) Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie Reconnaissance des requêtes 4. Synthèse vocale Résumé de messages électroniques Informations sur les télécopies

19 PDA Interface Message Image Fax Personal Info

20 Majordome pour Handicapés
Voice Gesture (hand, foot, head movements) Functions Command (input) execution output state Users Environemental events Interface 4

21 Partenaires et collaborations
réunions sur les applications EDF, Corebridge, Holistique, Software602, Integro adaptation du logiciel Swesum au français KTH-Euroseek+ENST montages de projets 1. Eureka MajorCall : Software602 (TCH), Multitel-TCTS (B), WCL-Univ. de Patras (GR), Knowledge S.A. (GR), Harpax s.r.l. (IT), GVZ (TK) 2. RNTL AMI : Cyber-Act, VRTV-Studio, Edf, Holistique 3. Calima (UPC, ENST) réception de messages plateforme Netcentrex

22 Démonstration (1) 1. Dépôt d'un message dans la boite d'un client
Reconnaissance du nom du client Enregistrement du nom de l'appelant 2. Réception et traitement d'une télécopie Reconnaissance du destinataire et de l'envoyeur Transfert vers la messagerie électronique du destinataire

23 Démonstration (2) 3. Accès à la messagerie à partir d'un téléphone mobile Reconnaissance du nom du client Vérification de l'identité de l'appelant Dialogue vocal pour accéder aux messages choisis Restitution des messages vocaux Synthèse des résumés de mél et des informations sur les télécopies

24 Démonstration (3) 4. reconnaissance de caractères
caractères : ENST-FAX (statistique) chiffres : MNIST (NN) réseaux bayésiens (DBN)