L’entrée gestuelle et la reconnaissance de gestes

Présentation au sujet: "L’entrée gestuelle et la reconnaissance de gestes"— Transcription de la présentation:

1 L’entrée gestuelle et la reconnaissance de gestes

2 Quelques exemples de systèmes à entrée gestuelle, et d’ensembles de gestes …

3 a) rectangle b) ellipse c) ligne d) groupe e) copie f) rotation g) supprimer (“x”)
Rubine, D Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, DOI=

4 Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007
Wobbrock, J. O., Wilson, A. D., and Li, Y Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October , 2007). UIST '07. ACM, New York, NY, DOI=

5 Le Graffiti Pilot graffiti reference card:
Tall image showing multiple ways to enter certain characters: 5

6 EdgeWrite ( http://depts.washington.edu/ewrite/ )
Une façon méchanique de simplifier la reconnaissance de gestes, avec des contraintes physiques

7 Tivoli Moran, T. P., Chiu, P., van Melle, W. and Kurtenbach, G.,
"Implicit Structure for Pen-based Systems within a Freeform Interaction Paradigm", Human Factors in Computing Systems (CHI '95), ACM (1995), pp

8 Tivoli Moran, T. P., Chiu, P., van Melle, W. and Kurtenbach, G.,
"Implicit Structure for Pen-based Systems within a Freeform Interaction Paradigm", Human Factors in Computing Systems (CHI '95), ACM (1995), pp

9 Tivoli Moran, T. P., Chiu, P., van Melle, W. and Kurtenbach, G.,
"Implicit Structure for Pen-based Systems within a Freeform Interaction Paradigm", Human Factors in Computing Systems (CHI '95), ACM (1995), pp

10 Menu radial hiéarchique
Picture taken from Kurtenbach’s phd thesis 10

11 Combinaison de sélection rectangle et lasso
Question: comment l’ordinateur peut-il distinguer entre le geste à gauche et celui à droite?

12 Reconnaissance de gestes

13 Comment distinguer les gestes dans un “Marking Menu” hiéarchique?

14 Comment trouver un “coin” dans un geste?
Lorsque le geste est bruité ? (voir notes écrites)

15

16 Comment permettre à un utilisateur (ou un concepteur) de définir des nouveaux gestes sans écrire du code ? Spécifier les nouveaux gestes avec des exemplaires ! Nécessite de faire du “pattern matching” entre les exemplaires de gestes pré-fournis, et chaque geste entré pendant l’interaction

17 Rubine, D. 1991. Specifying gestures by example
Rubine, D Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, DOI=

18 Rubine, D. 1991. Specifying gestures by example
Rubine, D Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, DOI=

19 La reconnaissance de gestes avec l’algorithme de Rubine (1991)
Chaque geste entré (ou exemple de geste) est réduit à un vecteur de caractéristiques (“feature vector”) et correspond donc à un point multidimensionnel. Il s’agit alors de classer ces points parmi les catégories de gestes. Taux de reconnaissance > 95%

20 Rubine (1991) http://doi.acm.org/10.1145/122718.122753
Rubine, D Specifying gestures by example. In Proceedings of the 18th Annual Conference on Computer Graphics and interactive Techniques SIGGRAPH '91. ACM, New York, NY, DOI=

21 Chaque geste correspond à un vecteur (ou point multidimensionnel)
Chaque geste correspond à un vecteur (ou point multidimensionnel). Ici, les points verts sont des exemplaires de gestes d’une sorte, les rouges d’une autre sorte. Comment classer le geste “X” ?

22 Solution simple: comparer la distance entre le nouveau geste et chaque exemplaires - Comment calculer cette distance? - Combien de temps cela prendra? (Supposons F “features” (donc un espace à F dimensions), C classes (ou sortes de gestes), et E exemplaires par classe).

23 Meilleure solution: pré-calculer le centroïde de chaque classe d’exemplaires - Comment pré-calculer ces centroïdes? - Est-ce qu’on s’intéresse au temps de calcul? - Comment ensuite classer le nouveau geste? - Combien de temps cela prendra?

24 Solution encore meilleure (proposé par Rubine): pré-calculer des hyperplans pour séparer les exemplaires. Voir son article pour les détails. Ci-dessous, un exemple d’un cas qui serait mieux classé avec l’approche par hyperplans qu’en comparant des centroïdes. (Notez qu’en pratique, ces cas sont peut-être rares, et la complexité de programmer le calcul des hyperplans ne vaut peut-être pas la peine.) Hyperplan qui sépare les exemplaires Mediatrice entre les centroïdes

25

26 Le reconnaissance de gestes avec l’algorithme à “$1” (Wobbrock et al
Utilise seulement des opérations mathématiques de base Simple à implémenter en peu de code, sans libraries Rapide Bon pour prototyper des interfaces gestuelles, même dans des plateformes moins performants (comme Flash ou JavaScript) Taux de reconnaissance supérieur à Rubine Une des étapes clés: rééchantillonage du geste (voir notes écrites)

27 Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007
Wobbrock, J. O., Wilson, A. D., and Li, Y Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October , 2007). UIST '07. ACM, New York, NY, DOI=

28 Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007
Wobbrock, J. O., Wilson, A. D., and Li, Y Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October , 2007). UIST '07. ACM, New York, NY, DOI=

29 Wobbrock, J. O. , Wilson, A. D. , and Li, Y. 2007
Wobbrock, J. O., Wilson, A. D., and Li, Y Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October , 2007). UIST '07. ACM, New York, NY, DOI=

30 Wobbrock et al. (2007) http://doi.acm.org/10.1145/1294211.1294238
Wobbrock, J. O., Wilson, A. D., and Li, Y Gestures without libraries, toolkits or training: a $1 recognizer for user interface prototypes. In Proceedings of the 20th Annual ACM Symposium on User interface Software and Technology (Newport, Rhode Island, USA, October , 2007). UIST '07. ACM, New York, NY, DOI=

31