Projet du cours MMI Lecteur multimeodial Présentation finale Christophe Gisler & Denis Bossy Master en informatique Université de Fribourg, Suisse
Sommaire Notre projet en bref Réalisation Architecture du logiciel Problèmes rencontrés Démonstration Améliorations potentielles futures Conclusion Questions
Notre projet en bref Création d’un lecteur multimédia intuitif et multimodal, ie. répondant à la voix et à la commande Wii (Wiimote) Notre programme gère les vidéos et les fichiers audio
Réalisation Fin avril - 5 juin : développement individuel Denis : GUI + Sphinx Christophe : Wiimote + Quicktime for Java + Sphinx 5 juin - 15 juin : mise en commun, finalisation, déboggage, rapport et présentation
Architecture du logiciel (1) Composants utilisés : WiiRemoteJ + avetanaBluetooth Quicktime for Java Sphinx4
Architecture du logiciel (2) Interactions entre les composants : Wiimote + Sphinx : play (normal or precise mode), forward or backward +/- fast, pause, next, previous, export, screenshot, close Video/Audio Manager Main GUI Wiimote + Sphinx : move, open, quit
Problèmes rencontrés Reconnaissance avec Sphinx : Mouvements avec la Wiimote : Pas précis uniquement avec accéléromètres (sans l’IR) Détection, “modélisation” très difficile Tous les utilisateurs ne font pas les mêmes mouvements (même les développeurs s’adaptaient au fur et à mesure du développement) Reconnaissance avec Sphinx : Peu robuste au bruit => beaucoup de fausses détections Ne marche bien qu’avec une grammaire simple Difficile à intégrer au programme pour pouvoir bien l’utiliser
Démonstration
Améliorations potentielles futures Ajouter les fonctionnalités suivantes : Annotation des vidéos et captures d’écran Enregistrement de “checkpoints” pendant la lecture Classement des fichiers
Conclusion Difficulté de combiner les modalités de manière à créer des fonctionnalités nouvelles et utiles Projet très intéressant ! Découverte de : Quicktime For Java Wiimote Sphinx
Questions Merci de votre attention ! Avez-vous des questions ?