La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard, A. Acoulon,

Présentations similaires


Présentation au sujet: "MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard, A. Acoulon,"— Transcription de la présentation:

1 MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard, A. Acoulon, F. Yvon, M. Sigelle, F. Yvon (étude finançée par le projet Eureka MAJORDOME)

2 Page 2Majordome GET - 24/02/2004 n Garde la mémoire (adresses, agenda, infos personnelles) nCommunique (au téléphone) avec vos interlocuteurs nInterprète votre messagerie écrite, vocale et vos télécopies nVérifie votre identité nRépond à vos questions n Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué. Le MAJORDOME est un assistant intelligent personnel qui :

3 Page 3Majordome GET - 24/02/2004 Les fonctionnalités du Majordome Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax

4 Page 4Majordome GET - 24/02/2004 Authentification du locuteur Fonctionnalités du Majordome

5 Page 5Majordome GET - 24/02/2004 Fonctionalités du Majordome nTâches de fond (au niveau du serveur): –Tri, interprétation et filtrage de messages ( , voice, fax, SMS,…); –extraction des informations pertinentes pour le client (nom de l'expéditeur, objet du message,…). nDialogue avec le client (par le téléphone ou internet) –Le système présente l'état de la messagerie intégrée, le type de messages, l'expéditeur, lobjet, offre un résumé synthétique à la demande; –Le client accède a sa messagerie, son carnet d'adresses, son agenda,...

6 Page 6Majordome GET - 24/02/2004 SP 1 : EXTRACTION DINFORMATION DANS LES IMAGES DE TEXTE

7 Page 7Majordome GET - 24/02/2004 n 1.Construction dune base de données n 2. Extraction de la structure des champs principaux –localisation des champs : utilisation du texte et de limage recherche tolérante de chaînes + groupement perceptif –sélection des blocs EXPEDITEUR n 3. Reconnaissance de caractères –OCR, HCR –modélisation des caractères par réseaux bayésiens 3. Extraction des noms propres –vecteur de caractéristiques extrait sur chaque mot applications de règles (Prénom+NOM, typographie) –classification par réseau neuronal Traitement du texte (télécopies)

8 Page 8Majordome GET - 24/02/2004 BASE DE DONNEES ECRIT base dimages de télécopies base de caractères ENST-FAX

9 Page 9Majordome GET - 24/02/2004 étiquetage

10 Page 10Majordome GET - 24/02/2004 BASES (suite) 150 images de télécopies étiquetage des champs expéditeur / destinataire position + nom base de caractères ENST-FAX 6000 caractères (~270/classe)

11 Page 11Majordome GET - 24/02/2004 Traitement des télécopies (suite) DETECTION CHAMPS COMBINAISON LECTURE OCR DETECTION DES NOMS PROPRES EXTRACTION BLOCS HYP. EXPEDITEUR CHAMPS HYPOTHESES EXTRACTION DES BLOCS DISCRIMINATION Imprimé/manuscrit PSEUDO MOTS CHAÎNES DE CARACTÈRES CARACTÉRISTIQUES TEXTUELLES CARACTERISTIQUES IMAGE

12 Page 12Majordome GET - 24/02/2004 Extraction des noms propres Score=9 Score=8 Score=5

13 Page 13Majordome GET - 24/02/2004 reconnaissance des caractères caractères dégradés imprimés HMMs et réseaux bayésiens base de chiffres MNIST réseaux neuronaux réseaux bayésiens base de caractères ENST-FAX méthode statistique : distance de Mahalanobis apprentissage sur base NIST

14 Page 14Majordome GET - 24/02/2004 reconnaissance par réseaux bayésiens ndépendances modélisées dans une structure graphique+ distributions locales de probabilités CPD

15 Page 15Majordome GET - 24/02/2004 réseaux bayésiens : résultats UW-Majuscules MNIST Chiffres DBN-vertical DBN-horizontal Trajectoire-vert Trajectoire-hor couplage couplage couplage couplage _

16 Page 16Majordome GET - 24/02/2004 n 1. Mesure pour chaque phrase dun « score » de représentativité (% de mots-clés) –à partir du pourcentage de mots clés dans la phrase mots 2. Extraction des phrases ayant leur score au-dessus dun seuil donné 3. Concaténation des phrases choisies nRésultat : texte parfois peu esthétique, mais généralement lisible et compréhensible Traitement des messages textuels

17 Page 17Majordome GET - 24/02/2004 SP 2 & 3 : RECONNAISSANCE DE NOMS PROPRES AUTHENTIFICATION

18 Page 18Majordome GET - 24/02/2004 n 1. Reconnaissance de l'appelant –Noms propres et épellation du nom n 2. Vérification du locuteur –Sur la prononciation du nom du client (dépendant du texte) –Sur les actes de dialogue (indépendant du texte) n 3. Navigation vocale dans la messagerie –Reconnaissance des requêtes n 4. Synthèse vocale –Résumé de messages électroniques –Informations sur les télécopies Interface téléphonique

19 Page 19Majordome GET - 24/02/2004 Message Image Fax Personal Info PDA Interface

20 Page 20Majordome GET - 24/02/2004 Command (input) execution Functions output Environemental events state Interface Majordome pour Handicapés Users Voice Gesture (hand, foot, head movements) 4

21 Page 21Majordome GET - 24/02/2004 Partenaires et collaborations nréunions sur les applications –EDF, Corebridge, Holistique, Software602, Integro nadaptation du logiciel Swesum au français –KTH-Euroseek+ENST nmontages de projets –1. Eureka MajorCall : Software602 (TCH), Multitel- TCTS (B), WCL-Univ. de Patras (GR), Knowledge S.A. (GR), Harpax s.r.l. (IT), GVZ (TK) –2. RNTL AMI : Cyber-Act, VRTV-Studio, Edf, Holistique –3. Calima (UPC, ENST) nréception de messages –plateforme Netcentrex

22 Page 22Majordome GET - 24/02/2004 n 1. Dépôt d'un message dans la boite d'un client –Reconnaissance du nom du client –Enregistrement du nom de l'appelant n 2. Réception et traitement d'une télécopie –Reconnaissance du destinataire et de l'envoyeur –Transfert vers la messagerie électronique du destinataire Démonstration (1)

23 Page 23Majordome GET - 24/02/2004 n 3. Accès à la messagerie à partir d'un téléphone mobile –Reconnaissance du nom du client –Vérification de l'identité de l'appelant –Dialogue vocal pour accéder aux messages choisis –Restitution des messages vocaux –Synthèse des résumés de mél et des informations sur les télécopies Démonstration (2)

24 Page 24Majordome GET - 24/02/2004 Démonstration (3) 4. reconnaissance de caractères –caractères : ENST-FAX (statistique) –chiffres : MNIST (NN) –réseaux bayésiens (DBN)


Télécharger ppt "MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard, A. Acoulon,"

Présentations similaires


Annonces Google