Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII Introduction & Disclaimer This presentation.

Présentation au sujet: "Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII Introduction & Disclaimer This presentation."— Transcription de la présentation:

1 Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII Introduction & Disclaimer This presentation describes some of the early thinking and vision around future versions of Windows. It’s purpose is to spark conversation and gather input for our planning process. None of the technology, features or functionality described in this presentation is currently in our development plans and it should not be presented as something that customers can expect to see in future versions of Windows. In addition, we are not making any commitments about release vehicle or timing in this presentation. The content of this presentation is strictly confidential and should only be shared with customers and partners under NDA. 

2 Projet Technique Equipe : Elisabeth Kraut Charlène Orange Philippe Longin Thierry Beyle Serge Cesarano Daniel Moreno 

3 Projet Technique Plan 1-Présentation du Projet 2-Lanceur d’applications 3-Un bloc Note vocal 4-La commande vocale 5-Conclusion 

4 Un PDA Multimodal… Bloc Notes Lanceur d'applications Agenda Vocal 

5 Un PDA Multimodal… Analyse des besoins rPublic concerné :
Interrogation au préalable des futurs utilisateurs du PDA rPublic concerné : oDéficients visuels (fédération nationale des Aveugles), oTrisomiques (Association FAIT 21) 

6 Un PDA Multimodal… Le Lanceur d’applications DESS HANDI Université Paris XIII


7 Le Lanceur d’applications
ENTRÉE Ecran tactile, zones P1 à P4 Boutons de l’appareil, B1 à B4 Flèches de direction du Pad Molette redondante avec les flèches hautes et basses Module de reconnaissance d’empreintes vocales P1 P2 P3 P4 ZONE DE TEXTE B1 B2 3B B4 Par Ok INF 

8 Le Lanceur d’applications
ZONE DE TEXTE B1 B2 3B B4 Par Ok INF SORTIE Utilisation de messages vocaux préenregistrés Positionnement d’un « focus » visuel sur la zone sélectionnée : encadrement, clignotement, inversion vidéo Affichage de la définition de la zone pointée dans la zone de texte gros caractères 

9 

10 Un PDA Multimodal… Le bloc notes Vocal DESS HANDI Université Paris XIII


11 Bloc Notes de Windows CE
Le Bloc Notes Vocal Objet Bloc Notes de Windows CE Définition du bloc notes L’existant Windows CE Voice Mate 

12 Le Bloc Notes Vocal Interfaces Utilisées Interfaces d’entrées Boutons
Commande vocale Ecran tactile 

13 Le Bloc Notes Vocal Interfaces Utilisées Interfaces de sorties
Haut Parleur Ecran

14 Le Bloc Notes Vocal Principes Ergonomiques La Vocalisation
oFeedBack Vocalisation des menus Vocalisation de déplacement FeedBack Ouverture de fenêtre oRépétition vocale oSituation en cours

15 Le Bloc Notes Vocal Principes Ergonomiques
Interface clavier / Emulation de touche Tabulation / Maj Tabulation Flèches Valider / Entrer Principe de fonctionnement Windows

16 Le Bloc Notes Vocal - + Principes Ergonomiques Paramétrage
oSonore (Augmenter / Diminuer, Actif / Silence) oAffichage (Couleur / Contraste…) + -

17 Le Bloc Notes Vocal Fonctionnalités R Ecouter / Pause
Avancer / Reculer Piste suivante / Piste précédente R Enregistrer / Arrêter Enregistrement R Sauvegarder (Donner un nom, placer dans un dossier) R Créer un dossier R Rechercher R Effacer / Renommer

18 Le Bloc Notes Vocal Perspectives et Conclusion
Conclusion / Perspectives

19 Un PDA Multimodal… La Commande Vocale DESS HANDI Université Paris XIII

20 La Commande Vocale Introduction INTERFACE D’Entrée: oCommande Vocale
qui complète: oL’écran Tactile oLes Boutons

21 La Commande Vocale Introduction Utilisateurs: oLes Handicapés Visuels
oLes Handicapés Lourds oGrand Public

22 La Commande Vocale Reconnaissance de la Parole: Schéma
Fig. 1 Schéma Fonctionnel

23 La Commande Vocale Reconnaissance de la Parole Choix:
oMonolocuteur vs Multilocuteur oCodification: LPC vs STFT vs Analyse Cepstral oComparaison: DTW

24 La Commande Vocale Méthodes: Schéma:

25 La Commande Vocale Réalisation MATLAB Étude Méthodes: oMatlab:
Implémentation des méthodes Fenetrage Hamming, LPC, STFT et DTW Enregistrement de 1000 fichiers wav, différentes Liste de test en différentes langues Préparation environnement de Test: ( Études générés automatiquement, Étude de la complexité, temps de calcul sur PDA )

26 La Commande Vocale Réalisation TESTS Résultats avec LPC: oMatlab:
Liste de mots 1: 17 mots -> 100 % Liste de mots 2: 20 mots -> 100 % Liste de mots 2: 26 lettres Alphabet -> 65 %

27 Enregistrement Dictionnaire
La Commande Vocale Réalisation Embedded C++ Architecture Logiciel: Application Extérieur Application Extérieur Module Enregistrement Dictionnaire Mots pour Enregistrer Validation Module Reconnaissance De la Parole Référence a les Commandes a Reconnaître Mot Reconu

28 La Commande Vocale Réalisation Embedded C++
Intégration aux autres applications: oModule totalement indépendant : Incorporation aux autres applications comme une DLL Utilisation transparent oAppelle a deux fonctions : Fonction EnregistrerDictionnaire(Liste de Mots) Fonction RAP(Liste de Mots a l’instant)

29 Un PDA multimodal… Perspectives et Conclusion