Développer une application vocale avec WireLess TelNet

Présentation au sujet: "Développer une application vocale avec WireLess TelNet"— Transcription de la présentation:

1 Développer une application vocale avec WireLess TelNet

2 WireLess TelNet de SofToGo et VoiXtreme
Emulateur Telnet avec support pour les protocoles: 5250 / (WTn52) VT / ANSI / SSH (WTnVT) Moteur de synthèse et reconnaissance vocale pour terminaux mobiles (WM WinCE) en plusieurs langues

3 Application vocale sur émulation Telnet
« Cent vingt trois. » « Café cinq cent Colomb. » « Position trois cent quarante cinq. » « cinq oké » L’application fait des annonces à partir du contenu de l’écran L’opérateur répond pour faire une saisie

4 WireLess TelNet, de SofToGo et VoiXtreme
WMS voix (ASR) Émulateur SofToGo VoiXtreme Wi-Fi voix (TTS)

5 Mots clefs pour commandes vocales
Les «Mots Clefs» sont déclarés dans le TelNet pour exécuter des fonctions (_WTnVoiCe.cfg) , et groupés dans des grammaires (cd_fr.bnf) VoiXtreme pour les activer [ASR_DEF_KEYWORDS] Mots clefs réalisant des Fonctions TelNet (Accepter, annuler, touches FN). [ASR_DEF_KBD_KEYWORDS] Mots clefs déclenchant frs actions clavier (_WTnVoiCe.cfg) [ASR_DEF_KEYWORDS] ResAccept=valider ResCancel=annuler KeywordFn03=terminer KeywordFn12=retourner (cd_fr.bnf) <controls>: annuler | valider | <controls_uw>; <custom0>: terminer | <custom0_uw>; <custom1>: retourner | <custom1_uw>;

6 Triggers sur TelNet Les «Triggers» sont des règles qui sont appliquées chaque fois que l’écran est disponible pour l’utilisateur Chaque «Trigger» est composé de 3 sections dans le fichier de configuration [VOICITRIGGER_XX] Conditions d’exécution par analyse du contenu de l’affichage écran et position du curseur. [VOICITRIGGER_TTS_XX] Annonce vocale (TTS) à réaliser lors de l’exécution du trigger (constantes et variables). [VOICITRIGGER_ASR_XX] Mode de saisie vocale (ASR) pour ce trigger (grammaires, formats).

7 Triggers sur TelNet/Conditions d’exécution
Analyse dans l'émulateur de l’écran de l’application (textes)

8 Triggers sur TelNet/Conditions d’exécution
Analyse dans l'émulateur de l’écran de l’application (curseur)

9 Triggers sur TelNet/Conditions d’exécution
// Inventaire quantité [VOICETRIGGER_03] On=Yes Type_1=A= Row_1=1 Col_1=6 Match_1=MAJ ARTICLE Type_2=A= Row_2=2 Col_2=3 Match_2=NR : Type_3=A= Row_3=3 Col_3=3 Match_3=LIBELLE Type_4=A= Row_4=6 Col_4=2 Match_4=QTE Type_5=A= Row_5=7 Col_5=2 Match_5=EMPL CursorAtRow=6 CursorAtCol=6 1 – texte «MAJ ARTICLE» (1,6) 2 – texte «NR :» (2,3) 3 – texte «LIBELLE» (3,3) 4 – texte « QTE » (6,2) 5 – texte « EMPL » (7,2) Détecte le curseur à cette position (6,6)

10 Variables utilisées dans l’annonce
Triggers sur TelNet / Annonce Triggers sur TelNet / Annonce Variables utilisées dans l’annonce

11 Triggers sur TelNet / Annonce
« Cent vingt trois. » « Café cinq cent Colomb. » « Position trois cent quarante cinq. » [VOICETRIGGER_TTS_03] On=Yes TtsSay01={2,8,3}, {4,5,15}, TtsSay02=Position {7,7,10}. TtsSay03= {r,c,l} <LIBELLE> {r,c,l} <EMPLACEMENT> {r,c,l} <CODE ARTICLE>

12 Triggers sur TelNet / Saisie
[VOICETRIGGER_ASR_03] On=Yes Grammars=D1 LenMin=1 LenMax=3 Confirm=Yes ConfirmDigits=quantité %s correcte? ListenOnTts=No Repeat=Yes SayOneTime=Yes <digits> et <custom1> 0,1,2,3,4,5,6,7,8,9 retourner 1 à 3 digits Il sera demandé à l’utilisateur de confirmer la saisie. Avec l’annonce « quantité X correcte?» Ne pas interrompre l’annonce par la voix Répéter à l’utilisateur ce qu’il vient de dire Ne pas redire l’annonce régulièrement

13 Triggers sur TelNet / Saisie
[VOICETRIGGER_ASR_03] … suite Format={$} Terminator=0 Information=Dire la quantité en 3 chiffres, ou dire retourner. ConfirmInfo=Annuler ou valider la quantité. Format des données en sortie {$} est ce que l’utilisateur a dit Il est possible d’ajouter des préfixes ou suffixes constants ou variables avec la syntaxe {r,c,l} Fonction de validation après saisie: 0= Enter 6= FieldExit A= F1 … X= F24 Phrase d’information lors de la saisie Phrase d’information lors de validation de la saisie (saisie avec confirmation)

14 Triggers sur TelNet / Saisie (avancé)
Dire valider pour envoyer F5 (Sans données) [VOICETRIGGER_ASR_05] … Format={$} Terminator=E Format des données en sortie pour remplir des champs {$} est vide car mot clef Fonction de validation après saisie: A=F1, B=F2, E= F5 … X=F24 Dire valider pour remplir des champs Format des données en sortie pour remplir des champs TST6…….. TST6…….. [X] [VOICETRIGGER_ASR_06] … Format=TST TST {$} Terminator=0 Fonction de validation après saisie: 0= ENTER Trigger auto pour valider login Grammaire $ « autosend » [VOICETRIGGER_ASR_07] Grammars=$ Format= Terminator=0 Format sans données pour valider seulement Fonction de validation après saisie: 0=ENTER

15 Traitement et résultat « 12 »
Triggers sur TelNet / Saisie …position 345 Information Dire la quantité en 3 chiffres, ou dire retourner Un deux oké Quantité douze correcte? Traitement et résultat « 12 » Valider

16 Relevé applicatif avec émulateur
Outils pour réaliser le relèvement Création d’un fichier de log «Impression» de chaque écran de l’application.

17 Relevé applicatif avec émulateur
Création du fichier de log Création du fichier écrans Cliquer sur [Outils] [Imp. Ecr.] Pour chaque écran de l’application (WTn52_Prn_Scr.txt)

18 Relevé applicatif avec émulateur
Prendre les fichiers WTn52_Prn_Scr.txt et WTnCESocket.log de la racine du terminal (par ActiveSync)

19 Merci