1 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Development of Multimodal User Interface by Interpretation and by Compiled Components:

Présentation au sujet: "1 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Development of Multimodal User Interface by Interpretation and by Compiled Components:"— Transcription de la présentation:

1 1 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Development of Multimodal User Interface by Interpretation and by Compiled Components: a Comparative Analysis between InterpiXML and OpenInterface Yann Goffette Henri Louvigny Université catholique de Louvain (UCL) Licence in Computer Science

2 2 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Plan Introduction –La multimodalité –Objectifs Présentation des outils –Quill –HandVu Présentation des plate-formes –InterpiXML –OpenInterface Intégration de la multimodalité à InterpiXML Intégration de composants à OpenInterface Intégration dInterpiXML à OpenInterface Tests & évaluation Conclusions

3 3 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Introduction : la multimodalité La multimodalité : une interface multimodale permet à un utilisateur de communiquer avec la machine par le biais de plusieurs modalités d'interaction de manière –simultanée –alternée –complementaire Le premier système multimodal: « Put that there » (Bolt,1979)

4 4 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Introduction : Objectifs Intégration de deux modalités à deux plateformes : Choix des modalités : –Reconnaissance de dessin par stylet via tablette graphique –Reconnaissance de geste de la main via caméra Choix des plate-formes : –InterpiXML –OpenInterface

5 5 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Sélection des outils : Quill Toolkit pour la reconnaissance de geste dessinés avec un stylet Algorithme de type Feature-based basé sur l'algorithme de Rubine Avantages –Le développeur définit les gestes qu'il veut dessiner pour son application –Feedback direct –Facilité d'intégration (.jar ) –Apprentissage rapide du reconnaisseur (feature-based) Désavantages –Gestes à un seul trait

6 6 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Sélection des outils : HandVu Toolkit pour la reconnaissance de geste par caméra Avantages –Detection –Tracking –Reconnaissance Désavantages – Faibles nombre de gestes reconnaissables (6)

7 7 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Sélection des plateformes : InterpiXML Choix du langage de spécification dinterface: UIML, UsiXML, XIML,… – Avantages : Disponibilité, Flexibilité,... Implémentation dun interpréteur Java de UsiXML V1.8.0 – UsiXML vers Javax.swing – Multi-modal, multi-langues

8 8 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Sélection des plateformes : OpenInterface Plateforme dont l'objectif principal est de fournir une plateforme open source pour le développement rapide de systèmes multimodaux Principe général –Développement de composants Modalités d'interaction ou applications CIDL associé –Connections entre ces composants Pipelines et PCDL Pins (Sink and Sources) Callback mechanism ( asynchronous messages)

9 9 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Intégration de la multimodalité à InterpiXML Architecture –Nouveau package –Event bus Avantage : –Souplesse des modalités à lutilisateur et au développeur dinterface Inconvénient : –Manque de souplesse pour lajout de modalité au système

10 10 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Intégration de la multimodalité à InterpiXML Résultat : –Ajout dinfos sur la multimodalité –Problème du focus

11 11 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Intégration de composants à OpenInterface Intégration des reconnaisseurs de gestes – Définition des CIDL associés – Définition de l'application – Définition du pipeline – Fonctionnement Gestes à la tablette Gestes à la camera

12 12 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Démonstration

13 13 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Intégration dInterpiXML à OpenInterface Pipe-line Avantages: –

14 14 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Tests & évaluation

15 15 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Tests & évaluation

16 16 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Tests & évaluation Buts de l'expérience –Évaluer l'utilisabilité des modalités –Évaluer les différences entre les 2 plate-formes Participants : –15 personnes dont 1 pré-test. –11 hommes, 3 femmes –Agés entre 19 et 37 avec une moyenne de 24,4 –Se disent bon utilisateur de la souris mais pas des autres périphériques

17 17 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Tests & évaluation Pas de différence notable entre les 2 plate-formes A: En général, je suis satisfait(e) de la facilité d'utilisation de ce système. B : Ce système est simple à utiliser. C : J'ai complété mon travail correctement en utilisant ce système. D : J'ai été en mesure de compléter rapidement ma tache avec ce système. E : J'ai complété mon travail éfficacement en utilisant ce système. F : Je me sens à l'aise avec ce système. G : J'ai eu de la facilité à apprendre comment utiliser ce système. H : Je crois être devenu(e) rapidement efficace en utilisant ce système. I : Ce système possède toutes les fonctions et le potentiel correspondant à mes attentes. J : En général, je suis satisfait(e) de ce système.

18 18 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Tests & évaluation Pas de différence notable entre les 2 plate-formes La tablette joue un effet modérateur. La multimodalité ajoute de la robustesse au système. 3 questions : - satisfaction générale - facilité de déplacement - facilité de selection Webcam Tablette Les 2 ensemble

19 19 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Tests & évaluation Effet d'apprentissage important –Pour le temps d'accomplissement –Pour le degré d'accomplissement

20 20 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Tests & évaluation Les utilisateurs experts ne sont pas avantagés par leur expérience préalable dun dispositif dinteraction Les modalités ne peuvent être facilement utilisées en même temps Exception: les utilisateurs gauchers

21 21 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Conclusion La multimodalité fournit des systèmes plus robustes –Les utilisateurs changent de modalité lorsquune des modalités ne fonctionne pas bien –Les utilisateurs utilisent les modalités quils maitrisent le mieux Lintégration de nouvelles modalités sur InterpiXML est rendue facile par : –Le bus dévénement –Peu de modifications dans le code de lapplication dinterpiXML –Transparence : le développeur dinterface ne doit pas se soucier des modalités dinteraction disponibles –Les modalités peuvent être stoppées et redemarrées à tout instants OpenInterface est un outil puissant pour la multimodalité : –Seul le composant et son CIDL associé doivent être écrits => pas de modification de la plate-forme (à nouveau transparence) –Possibilité de connecter nimporte quel composant de reconnaissance à nimporte quelle application. Il faut toutefois décrire dans un pipeline les connections –OpenInterface supporte la Complémentarité des propriétés CARE

22 22 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Conclusion Intégration dinterpiXML comme composant dOpenInterface Cette intégration combine les 2 avantages des 2 plate-formes Indépendance des applications au dessus d'OpenInterface ou d'interpiXML Le développement de l'application est indépendante des modalités Le développement des modalités est indépendant de l'application finale

23 23 Université catholique de Louvain, Louvain-la-Neuve, 24 August 2007 Thank you very much for your attention BCHI Lab http://www.isys.ucl.ac.be/bchi European network on Multimodal UIs http://www.similar.cc User Interface eXtensible Markup Language http://www.usixml.org