Adrien Moucheboeuf, Emmanuel Ballery, Camille Chauvelin

I. Techniques de vision par ordinateur II. L’Homme et le Robot III. Le pointage en réalité IV. Objectifs et problématiques

1. Détection d’un objet en fonction de caractéristiques définies Contour Couleur Exemple de détection de contours Les caractéristiques primaires de l’image sont extraites, telles que les contours et les régions  Segmenter les images afin de pouvoir en extraire davantage d’informations Segmentation couleur de la figure – Contours de la figure

 2. Reconnaissance des formes Formes préprogrammées: Intérêt: La détection rapide de formes apprises constitue les stimuli attentionnels  Demande attentionnelle

 3. Suivi de l’objet en mouvement Modèle du corps humain et repères associés à chaque membre Projection du modèle Mathias FONTMARTY « SUIVI 3D DE MOUVEMENTS HUMAINS POUR L’INTERACTION HOMME- ROBOT »

On sait faire reconnaître au robot des cibles pré-programmées (mains, tête…), afin que celles-ci deviennent les objets auxquels le robot prête attention. On sait capter l’attention du robot Quel but ? L’apprentissage en contexte (non programmé) Comment déplacer son attention vers un objet ?

 La reconnaissance des formes n’est rien sans certaines capacités de mise en contexte - Le problème de l’expérience, des usages et de la sémantique des objets - Nous reconnaissons dans les objets les actions potentielles qui leur sont associées

 L’expérience de la « balle rouge » (F. Kaplan)  Intérêt: Penser le pointage pour réduire l’ambiguïté de la situation d’apprentissage Problème: L’ambiguïté d’une situation à objets multiples

 La double contrainte de l’environnement et de l’utilisateur  Apprendre au robot sans être expert, ni savoir programmer: un environnement et une situation d’apprentissage intuitive et « naturelle »  L’intention de l’utilisateur doit être suffisamment claire pour déclencher une action chez le robot

 Les deux rôles du superviseur : - La sélection et l’affinage des tâches à réaliser - Le contrôle de l’exécution de ces tâches Sélectionner et évaluer les connaissances transposables des modèles des sciences humaines (ergonomie, psychologie expérimentale)

 Quelques modèles  Le modèle HCI de Norman - Le problème de l’exécution: intentions de l’utilisateur vs actions autorisées par le système - Le problème de l’évaluation: représentation du système vs attentes de l’utilisateur

- L’attention conjointe - Le geste déictique  Intérêt: Un pointeur “baguette” pour faciliter la communication

1. Existant matériel Un bref récapitulatif des appareils s’inspirant d’une technologie similaire à celle évoquée dans notre sujet. 2. Existant technologique Baguette avec source d’énergie Baguette sans source d’énergie Initialisation de la phase d’apprentissage Quelles sont les meilleures manières de lancer la phase de recherche et d’apprentissage pour notre robot ? III. Le pointage

La Wii de « Nintendo » Manette de jeu complexifiée afin d’obtenir un nouveau système capable de détecter la position, l'orientation et les mouvements de notre main dans l'espace. La souris « Logitech » Capable de fonctionner sans par simple déplacement dans l’espace. La télécommande « Philips » Agitez la baguette faisant office de télécommande. 1. Existant matériel

1 ) Avec une baguette possédant une source d’énergie : Le pointage par laser : Avantages :- Feedback visuel du signal. - Le point d’impact est lumineux. - Placement très précis. Inconvénients :- Nécessite une source d’énergie. - Il est toujours nécessaire de montrer au robot où aller chercher le point d’impact. - point d’impact => différencier le point de l’objet. 2. Existant technologique

1 ) Avec une baguette possédant une source d’énergie : Le pointage par triangulation magnétique : Avantages :- Mesures précises. - Très peu de calculs à effectuer. - PAS BESOIN DE BALAYER L’ESPACE ! Inconvénients :- Nécessite une source d’énergie. - Mesures perturbées par la présence d’éléments métalliques. (0,0,0) (x,y,z)

1 ) Avec une baguette ne possédant pas de source d’énergie : Triangulation optique Explications d’ordre général :

Caméra 1 Caméra 2 (x1,y1,z1) (x2,y2,z2) (x,y,z) 1 ) Avec une baguette ne possédant pas de source d’énergie : Triangulation La capture optique : Prise de vue synchronisée de plusieurs caméras. Synthèse des coordonnées (x,y) d'un même objet vu sous différents angles. Déduire les coordonnées (x,y,z) de cet objet. Avantages : - Mesures précises. Inconvénients : - Perte du signal possible, introduction d’autres caméras. - Nécessité de balayer l’espace pour trouver les repères.

Finalement, à quoi cela sert-il ? … La baguette offre deux points dans l’espace : Solution au problème ?... Analyse de posture. Poursuite de la trajectoire jusqu’à obtention d’un autre stimulus. Et après ? … Recherche d’autres méthodes de positionnement dans l’espace. Travail de développement des méthodes actuelles. (x1,y1,z1) (x2,y2,z2) ??

- Comment signaler au robot une demande attentionnelle? Quelles séquences de mouvements ? La baguette: tâches d’apprentissage. - Quel comportement l’utilisateur doit-il adopter pour instruire le robot? Faciliter l’interaction pour les non experts. - Comment l’utilisateur sait-il que le robot a appris ? - Signaler les contraintes, les limites de l’apprentissage. La définition du sujet nous a permis d’aborder le champ de la robotique ainsi que de comprendre les enjeux liés à une meilleure communication entre l’homme et le robot.

Merci pour votre attention.