Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII Introduction & Disclaimer This presentation describes some of the early thinking and vision around future versions of Windows. It’s purpose is to spark conversation and gather input for our planning process. None of the technology, features or functionality described in this presentation is currently in our development plans and it should not be presented as something that customers can expect to see in future versions of Windows. In addition, we are not making any commitments about release vehicle or timing in this presentation. The content of this presentation is strictly confidential and should only be shared with customers and partners under NDA. 

Projet Technique Equipe : Elisabeth Kraut Charlène Orange Philippe Longin Thierry Beyle Serge Cesarano Daniel Moreno 

Projet Technique Plan 1-Présentation du Projet 2-Lanceur d’applications 3-Un bloc Note vocal 4-La commande vocale 5-Conclusion 

Un PDA Multimodal… Bloc Notes Lanceur d'applications Agenda Vocal 

Un PDA Multimodal… Analyse des besoins rPublic concerné : Interrogation au préalable des futurs utilisateurs du PDA rPublic concerné : oDéficients visuels (fédération nationale des Aveugles), oTrisomiques (Association FAIT 21) 

Un PDA Multimodal… Le Lanceur d’applications DESS HANDI Université Paris XIII 

Le Lanceur d’applications ENTRÉE Ecran tactile, zones P1 à P4 Boutons de l’appareil, B1 à B4 Flèches de direction du Pad Molette redondante avec les flèches hautes et basses Module de reconnaissance d’empreintes vocales P1 P2 P3 P4 ZONE DE TEXTE B1 B2 3B B4 Par Ok INF 

Le Lanceur d’applications ZONE DE TEXTE B1 B2 3B B4 Par Ok INF SORTIE Utilisation de messages vocaux préenregistrés Positionnement d’un « focus » visuel sur la zone sélectionnée : encadrement, clignotement, inversion vidéo Affichage de la définition de la zone pointée dans la zone de texte gros caractères 



Un PDA Multimodal… Le bloc notes Vocal DESS HANDI Université Paris XIII 

Bloc Notes de Windows CE Le Bloc Notes Vocal Objet Bloc Notes de Windows CE Définition du bloc notes L’existant Windows CE Voice Mate 

Le Bloc Notes Vocal Interfaces Utilisées Interfaces d’entrées Boutons Commande vocale Ecran tactile 

Le Bloc Notes Vocal Interfaces Utilisées Interfaces de sorties Haut Parleur Ecran

Le Bloc Notes Vocal Principes Ergonomiques La Vocalisation oFeedBack Vocalisation des menus Vocalisation de déplacement FeedBack Ouverture de fenêtre oRépétition vocale oSituation en cours

Le Bloc Notes Vocal Principes Ergonomiques Interface clavier / Emulation de touche Tabulation / Maj Tabulation Flèches Valider / Entrer Principe de fonctionnement Windows

Le Bloc Notes Vocal - + Principes Ergonomiques Paramétrage oSonore (Augmenter / Diminuer, Actif / Silence) oAffichage (Couleur / Contraste…) + -

Le Bloc Notes Vocal Fonctionnalités R Ecouter / Pause Avancer / Reculer Piste suivante / Piste précédente R Enregistrer / Arrêter Enregistrement R Sauvegarder (Donner un nom, placer dans un dossier) R Créer un dossier R Rechercher R Effacer / Renommer

Le Bloc Notes Vocal Perspectives et Conclusion Conclusion / Perspectives

Un PDA Multimodal… La Commande Vocale DESS HANDI Université Paris XIII

La Commande Vocale Introduction INTERFACE D’Entrée: oCommande Vocale qui complète: oL’écran Tactile oLes Boutons

La Commande Vocale Introduction Utilisateurs: oLes Handicapés Visuels oLes Handicapés Lourds oGrand Public

La Commande Vocale Reconnaissance de la Parole: Schéma Fig. 1 Schéma Fonctionnel

La Commande Vocale Reconnaissance de la Parole Choix: oMonolocuteur vs Multilocuteur oCodification: LPC vs STFT vs Analyse Cepstral oComparaison: DTW

La Commande Vocale Méthodes: Schéma:

La Commande Vocale Réalisation MATLAB Étude Méthodes: oMatlab: Implémentation des méthodes Fenetrage Hamming, LPC, STFT et DTW Enregistrement de 1000 fichiers wav, différentes Liste de test en différentes langues Préparation environnement de Test: ( Études générés automatiquement, Étude de la complexité, temps de calcul sur PDA )

La Commande Vocale Réalisation TESTS Résultats avec LPC: oMatlab: Liste de mots 1: 17 mots -> 100 % Liste de mots 2: 20 mots -> 100 % Liste de mots 2: 26 lettres Alphabet -> 65 %

Enregistrement Dictionnaire La Commande Vocale Réalisation Embedded C++ Architecture Logiciel: Application Extérieur Application Extérieur Module Enregistrement Dictionnaire Mots pour Enregistrer Validation Module Reconnaissance De la Parole Référence a les Commandes a Reconnaître Mot Reconu

La Commande Vocale Réalisation Embedded C++ Intégration aux autres applications: oModule totalement indépendant : Incorporation aux autres applications comme une DLL Utilisation transparent oAppelle a deux fonctions : Fonction EnregistrerDictionnaire(Liste de Mots) Fonction RAP(Liste de Mots a l’instant)

Un PDA multimodal… Perspectives et Conclusion