L’entrée gestuelle et la reconnaissance de gestes

Quelques exemples de systèmes à entrée gestuelle, et d’ensembles de gestes …

a) rectangle b) ellipse c) ligne d) groupe e) copie f) rotation g) supprimer (“x”) Rubine, D. 1991. Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, 329-337. DOI= http://doi.acm.org/10.1145/122718.122753

Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007 Wobbrock, J. O., Wilson, A. D., and Li, Y. 2007. Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October 07 - 10, 2007). UIST '07. ACM, New York, NY, 159-168. DOI= http://doi.acm.org/10.1145/1294211.1294238

Le Graffiti Pilot graffiti reference card: http://www.palminfocenter.com/news/8493/pilot-1000-retrospective/ Tall image showing multiple ways to enter certain characters: http://www.computerhope.com/jargon/g/graffiti.htm 5

EdgeWrite ( http://depts.washington.edu/ewrite/ ) Une façon méchanique de simplifier la reconnaissance de gestes, avec des contraintes physiques

Tivoli Moran, T. P., Chiu, P., van Melle, W. and Kurtenbach, G., "Implicit Structure for Pen-based Systems within a Freeform Interaction Paradigm", Human Factors in Computing Systems (CHI '95), ACM (1995), pp 487-494.

Tivoli Moran, T. P., Chiu, P., van Melle, W. and Kurtenbach, G., "Implicit Structure for Pen-based Systems within a Freeform Interaction Paradigm", Human Factors in Computing Systems (CHI '95), ACM (1995), pp 487-494.

Tivoli Moran, T. P., Chiu, P., van Melle, W. and Kurtenbach, G., "Implicit Structure for Pen-based Systems within a Freeform Interaction Paradigm", Human Factors in Computing Systems (CHI '95), ACM (1995), pp 487-494.

Menu radial hiéarchique Picture taken from Kurtenbach’s phd thesis 10

Combinaison de sélection rectangle et lasso Question: comment l’ordinateur peut-il distinguer entre le geste à gauche et celui à droite?

Reconnaissance de gestes

Comment distinguer les gestes dans un “Marking Menu” hiéarchique?

Comment trouver un “coin” dans un geste? Lorsque le geste est bruité ? (voir notes écrites)

Comment permettre à un utilisateur (ou un concepteur) de définir des nouveaux gestes sans écrire du code ? Spécifier les nouveaux gestes avec des exemplaires ! Nécessite de faire du “pattern matching” entre les exemplaires de gestes pré-fournis, et chaque geste entré pendant l’interaction

Rubine, D. 1991. Specifying gestures by example Rubine, D. 1991. Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, 329-337. DOI= http://doi.acm.org/10.1145/122718.122753

Rubine, D. 1991. Specifying gestures by example Rubine, D. 1991. Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, 329-337. DOI= http://doi.acm.org/10.1145/122718.122753

La reconnaissance de gestes avec l’algorithme de Rubine (1991) Chaque geste entré (ou exemple de geste) est réduit à un vecteur de caractéristiques (“feature vector”) et correspond donc à un point multidimensionnel. Il s’agit alors de classer ces points parmi les catégories de gestes. Taux de reconnaissance > 95%

Rubine (1991) http://doi.acm.org/10.1145/122718.122753 Rubine, D. 1991. Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, 329-337. DOI= http://doi.acm.org/10.1145/122718.122753

Chaque geste correspond à un vecteur (ou point multidimensionnel) Chaque geste correspond à un vecteur (ou point multidimensionnel). Ici, les points verts sont des exemplaires de gestes d’une sorte, les rouges d’une autre sorte. Comment classer le geste “X” ?

Solution simple: comparer la distance entre le nouveau geste et chaque exemplaires - Comment calculer cette distance? - Combien de temps cela prendra? (Supposons F “features” (donc un espace à F dimensions), C classes (ou sortes de gestes), et E exemplaires par classe).

Meilleure solution: pré-calculer le centroïde de chaque classe d’exemplaires - Comment pré-calculer ces centroïdes? - Est-ce qu’on s’intéresse au temps de calcul? - Comment ensuite classer le nouveau geste? - Combien de temps cela prendra?

Solution encore meilleure (proposé par Rubine): pré-calculer des hyperplans pour séparer les exemplaires. Voir son article pour les détails. Ci-dessous, un exemple d’un cas qui serait mieux classé avec l’approche par hyperplans qu’en comparant des centroïdes. (Notez qu’en pratique, ces cas sont peut-être rares, et la complexité de programmer le calcul des hyperplans ne vaut peut-être pas la peine.) Hyperplan qui sépare les exemplaires Mediatrice entre les centroïdes

Le reconnaissance de gestes avec l’algorithme à “$1” (Wobbrock et al Utilise seulement des opérations mathématiques de base Simple à implémenter en peu de code, sans libraries Rapide Bon pour prototyper des interfaces gestuelles, même dans des plateformes moins performants (comme Flash ou JavaScript) Taux de reconnaissance supérieur à Rubine Une des étapes clés: rééchantillonage du geste (voir notes écrites)

Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007 Wobbrock, J. O., Wilson, A. D., and Li, Y. 2007. Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October 07 - 10, 2007). UIST '07. ACM, New York, NY, 159-168. DOI= http://doi.acm.org/10.1145/1294211.1294238

Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007 Wobbrock, J. O., Wilson, A. D., and Li, Y. 2007. Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October 07 - 10, 2007). UIST '07. ACM, New York, NY, 159-168. DOI= http://doi.acm.org/10.1145/1294211.1294238

Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007 Wobbrock, J. O., Wilson, A. D., and Li, Y. 2007. Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October 07 - 10, 2007). UIST '07. ACM, New York, NY, 159-168. DOI= http://doi.acm.org/10.1145/1294211.1294238

Wobbrock et al. (2007) http://doi.acm.org/10.1145/1294211.1294238 Wobbrock, J. O., Wilson, A. D., and Li, Y. 2007. Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October 07 - 10, 2007). UIST '07. ACM, New York, NY, 159-168. DOI= http://doi.acm.org/10.1145/1294211.1294238