Interaction audio sur le site web du LIA Projet 13 Interaction audio sur le site web du LIA

Plan Présentation du projet Les différentes voies La solution retenue Fonctionnement général Session cliente Organisation du projet Bilan et conclusion Perspectives Remerciements Démonstration

Présentation du projet Démonstrateur : Vitrine du LIA Utilisable depuis un navigateur web Pérennité et évolutivité Echec les deux années précédentes

Les différentes voies Voie proposée : Flash Autres voies : Plugin Flash Serveur RED5 Autres voies : Java Media Framework Java et HTTP (notre proposition)

La voie Flash Utilisateur Navigateur web et plugin Flash Serveur RED 5 SPEERAL Flux audio Flash Flux audio CORBA Voix Flux texte Flash Flux texte CORBA Retour Utilisateur

Codec Nellymoser inexploitable car propriétaire La voie Flash Codec Nellymoser inexploitable car propriétaire Navigateur web et plugin Flash Serveur RED 5 Serveur SPEERAL Flux audio Flash Flux audio Voix CORBA Flux texte Flux texte Retour Flash CORBA Utilisateur

La voie Java Media Framework Technologie Java Permet aux médias audio, vidéos et autres d'être ajoutés aux applets Permet la capture, relecture, flux et conversion vers divers formats Problème : échecs les années précédentes A priori instable Configuration réseau spécifique

Recherche d’une nouvelle voie Existant : Java Sound API en standard dans le JRE Java API HTTP en standard dans JRE HTTP port 80 exploitable sur toute machine Solution ?

La voie JAVA et HTTP JAVA API SOUND JAVA API HTTP Notre solution !

Solution retenue : Java et HTTP Injection flux audio dans méthode POST Contenant : méthode POST multipart Contenu : format SPEERAL Validation sur une ligne remontante à 256 Kb/s

Fonctionnement général de l’application

Fonctionnement de la session cliente Ouverture session Calibration du silence Découpage du flux en séquences Transcriptions récupérées Détection silence importante

Fonctionnement de la session cliente

Implémentation Sous forme d’applet intégrée dans une page HTML (modèle MVC) Modèle : Applet Vue : Page HTML Contrôleur : Applet Sous forme d’application Java Web Start

Modèle MVC

Applet : interface

Applet : interface

Applet : les interactions

Applet : sécurité Applet non signée : pas d’accès aux ressources du client (sandbox) Solution : signer l’applet Problème depuis Java 2 : Certificat certifié Modification du fichier .java.policy en local

Java Web Start Application utilisable à partir du web Plus de contraintes de sécurité Peu de réécriture de code => modèle MVC

Organisation

Bilan et conclusion Beaucoup de mauvaises surprises Malgré les difficultés : objectif atteint Prototype fonctionnel Facilement réutilisable Documentation technique Nous avons réalisé 3 déclinaisons : Applet Java de transcription de la parole Application Java Web Start Applet Java de commandes vocales interactives

Perspectives Un certificat de sécurité pour le LIA ? Amélioration de l’application : Codage SPEEX Serveur HTTP spécifique … Croisement avec d’autres projets (ex : voyageur de commerce…) Navigation vocale à travers un proxy dédié (handicapés)

Remerciements Georges Linares pour son aide dans la mise en oeuvre de SPEERAL et IWSRV Benoît Favre pour son rôle de tuteur et son apport au projet (calibration du silence) Pascal Nocéra et Anthony Larcher pour leur rôle de tuteur

Démonstration en salle PC 1