Pré-soutenance Technique

Présentation au sujet: "Pré-soutenance Technique"— Transcription de la présentation:

1 Pré-soutenance Technique
Couverture visuelle automatique par un groupe de robots Année PARENT Pierre, GUEUCIER Sébastien, BOISTEAULT Nicolas

2 Composition de l’équipe
Equipe du projet Pierre PARENT (Chef de projet et responsable technique) Sébastien GUEUCIER (Responsable qualité) Nicolas BOISTEAULT Clients Pierre ANDRY Philippe LAROQUE

3 Plan Introduction Choix envisagés Architecture retenue Résultats
Conclusion

4 Introduction Objectifs Applications Contexte Mise en place
Système multi-agents Marche aléatoire Introduction Choix envisagés Architecture retenue Résultats Conclusion

5 Objectifs Localisation d’Aibo au sein d'un environnement inconnu.
Apprentissage d’un lieu et s'y rendre de manière autonome. Système multi-agents: Comportement coopératif Partage d’informations Introduction Choix envisagés Architecture retenue Résultats Conclusion

6 Applications Application militaire :
Reperage d’un lieu de facon autonome et en multi-agent. ... Application professionelle ou personnelle: Surveillance d’un lieu Aspirateur intelligent Application ludique: Interaction entre Aibo Introduction Choix envisagés Architecture retenue Résultats Conclusion

7 Contexte Mise en place Aibo
Urbi (Universal Real-time Behavior Interface ) Java Tim et Bob Introduction Choix envisagés Architecture retenue Résultats Conclusion

8 Contexte Système multi-agents Apprentissage partagé
logistique structures de partage Interactions entre agents communication types d'interactions Introduction Choix envisagés Architecture retenue Résultats Conclusion

9 Contexte Marche aléatoire Marche préemptible
Choix plus ou moins aléatoire des trajectoires Adaptation du comportement en cas d’obstacle vue: Arrêt du Aibo Rotation du robot Introduction Choix envisagés Architecture retenue Résultats Conclusion

10 Choix envisagés Technique de Davison Localisation Panoramique WiFi
Introduction Choix envisagés Architecture retenue Résultats Conclusion

11 Technique de Davison SLAM(Self Localization And Mapping) à partir d’une seule caméra Contraintes sur les points d’intérêt : Ils doivent être pertinents Un nombre minimum doit toujours être visible dans l’image, quand ce n’est pas le cas, une nouvelle carte de points d’intérêt est initialisée. Ces points d’intérêt doivent être répartis dans toute l’image. Introduction Choix envisagés Architecture retenue Résultats Conclusion

12 Technique de Davison L’approche EKF(Extended Kalman Filter) :
X = (   Xv , Y1, Y2, … , Yn  )   est composé de :  Xv : position, orientation, vitesse linéaire ainsi que la vitesse angulaire de la camera.  Yn : paramètres composant le vecteur de la position 3D des points d’intérêt. Pas d’odomètrie modèle à vitesse constante Ce modèle exige des paramètres définissant: le nombre d’images par seconde le maximum de la vitesse linéaire et angulaire. Introduction Choix envisagés Architecture retenue Résultats Conclusion

13 Technique de Davison Limitations de la technique de Davison:
Les mouvements de la caméra pour lesquels le tracking peut être maintenu sont limités Vitesse de mouvement de la caméra limité Angle de la caméra Technique non adapté à notre environnement de test, et aux caractéristiques de l’Aibo. Introduction Choix envisagés Architecture retenue Résultats Conclusion

14 Localisation Panoramique
Ce procédé est une technique utilisée lors des tournois de foot de Aibo, le Four-Legged League soccer, afin de pouvoir apprendre un environnement et s’y localiser Introduction Choix envisagés Architecture retenue Résultats Conclusion

15 Localisation Panoramique
Introduction Choix envisagés Architecture retenue Résultats Conclusion

16 WIFI L’utilisation du WIFI aurait dû être un axe majeur de notre projet. Nos tests nous ont démontrés le contraire. Les raisons principales sont: La non linéarité du signal WiFi Paliers de décroissance pas assez marqué Superficie de test restreinte Position de l’émetteur/récepteur WiFi du Aibo Introduction Choix envisagés Architecture retenue Résultats Conclusion

17 WIFI Tout n’est cependant pas à rejeter dans le WiFi:
Positionnement à large échelle du Aibo Le WiFi reste également le moyen que nous avons choisi pour les communications PC/Robot et Robot/PC Introduction Choix envisagés Architecture retenue Résultats Conclusion

18 Architecture retenue Détection de points d'intérêt Landmarks
Apprentissage Rotations et précision des calculs Mapping Tracking Introduction Choix envisagés Architecture retenue Résultats Conclusion

19 Détection de points d'intérêt
Fast Rosten Détection des maximums locaux Introduction Choix envisagés Architecture retenue Résultats Conclusion

20 Détection de points d'intérêt
Optimisation: 2651 lignes en version de l'auteur 70 lignes dans notre version (sans l’arbre) Angle Introduction Choix envisagés Architecture retenue Résultats Conclusion

21 Landmarks Génération de landmarks Y Rayon Rho-Theta Angle X 20 5
Introduction Choix envisagés Architecture retenue Résultats Conclusion

22 Landmarks SSD (Sum Squared Difference) Précision de la génération :
Rayon Rayon Angle Angle Introduction Choix envisagés Architecture retenue Résultats Conclusion

23 Apprentissage Image -> Homing Lieu
Apprentissage on-line -> Mapping Apprentissage off-line Introduction Choix envisagés Architecture retenue Résultats Conclusion

24 Rotations Démarche du Aibo Recherche d'un invariant aux rotations
Vidéo Recherche d'un invariant aux rotations Recherche d’un maximum dans le Landmark Angle du point d'intérêt Calcul de cet invariant ( arbre de rosten ) Introduction Choix envisagés Architecture retenue Résultats Conclusion

25 Précision des calculs Influence de la précision sur le calcul de rotation d'une image. Introduction Choix envisagés Architecture retenue Résultats Conclusion

26 Mapping Introduction Choix envisagés Architecture retenue Résultats
Conclusion

27 Mapping Estimation de la distance d'un Landmark
Précision de l'estimation accrue avec le temps Introduction Choix envisagés Architecture retenue Résultats Conclusion

28 Tracking Pourquoi le tracking : Outils : Estimer l’odomètrie de l’aibo
Comparer le trajet réel de l’aibo à des estimations issues des différentes méthodes Outils : Langage Java Utilisation de la JMF Caméra + carte d’acquisition Introduction Choix envisagés Architecture retenue Résultats Conclusion

29 Tracking Méthode : Composantes RGB < Seuil
Capture d’une image toutes les secondes Critère de sélection des points de l’image : Composantes RGB < Seuil RGBcourant - RGBprécédent > Diff entre l’image courante et la précédente On situe le centre de l’aibo au milieu du premier et du dernier point retenu On ne traite qu’une zone de l’image autour de l’aibo Introduction Choix envisagés Architecture retenue Résultats Conclusion

30 Tracking Introduction Choix envisagés Architecture retenue Résultats
Conclusion

31 Tracking Introduction Choix envisagés Architecture retenue Résultats
Conclusion

32 Tracking Création d’un carré avec l’aibo Introduction Choix envisagés
Architecture retenue Résultats Conclusion

33 Tracking Marche avant / Marche arrière Introduction Choix envisagés
Architecture retenue Résultats Conclusion

34 Résultats Détection de points d’intérêts Capteurs interne non fiable
video Capteurs interne non fiable Courbe Wifi attendu Courbe Wifi obtenue Introduction Choix envisagés Architecture retenue Résultats Conclusion

35 Résultats Résistance des landmarks aux rotations Vidéo Introduction
Choix envisagés Architecture retenue Résultats Conclusion

36 Résultats Démo 1: Démo 2: (Démo 3) Scénario Vidéo Introduction
Choix envisagés Architecture retenue Résultats Conclusion

37 Conclusion Difficultés rencontrées Evolutions possibles Introduction
Choix envisagés Architecture retenue Résultats Conclusion

38 Difficultés rencontrées
URBI Problèmes d’optimisation Aibo WiFi Caméra Démarche Input Projet taillé pour 4 Introduction Choix envisagés Architecture retenue Résultats Conclusion

39 Evolutions Mise en place de la cartographie Système Multi-Agents
Constantes odométriques Test sur d'autres robots que le Aibo Introduction Choix envisagés Architecture retenue Résultats Conclusion

40 FIN

41 ANNEXE Rôle de chacun Evolution Gestion matérielle Analyse des risques
Arbre de Rosten Rotation Caméra Panorama Technique de Davison

42 Rôle de chacun Pierre PARENT Sébastien GUEUCIER Nicolas BOISTEAULT
Traitement d’images (Rosten, Hough, Harris, …) Apprentissage de Landmarks Mise en place des algorithmes sur le Aibo Sébastien GUEUCIER Marche aléatoire Test WIFI, Panorama, … Etude de la technique de Davison et de la localisation panoramique. Nicolas BOISTEAULT Tracking

43 Rôle de chacun

44 Evolution

45 Gestion matérielle Ordinateurs Communications Choix du Aibo
3 pc de bureau, 1 ordinateur portable Communications Routeur et clés USB WIFI afin de communiquer avec le robot Choix du Aibo Robot disponible et équipé du WIFI, caméra, … Choix de URBI Universel, simple et multi-langage Pas de périphérique: Aucun élément n’a été ajouté au Aibo

46 Analyse des risques Projet taillé au minimum pour 4
Domaine de recherche active Projet complexe et coûteux en temps

47 Arbre de Rosten

48 Rotation Mauvaise précision :
public static Raster badPrecisionRotation (Raster raster, int angle) { int rayon=raster.getWidth()/2,x,y; double theta,r; int pixel[] = new int[1]; WritableRaster out=raster.createCompatibleWritableRaster(); for (int i = -rayon; i <= rayon; i++) { for (int j = -rayon; j <= rayon; j++) { r = Math.sqrt (i * i + j * j); if (r >= 0 && r <= rayon) { raster.getPixel (i + rayon, j + rayon, pixel); theta = Math.atan2(j, i)+Math.toRadians(angle); x=(int)(r*Math.cos(theta)); y=(int)(r*Math.sin(theta)); out.setPixel (rayon + x, rayon + y, pixel); } else { pixel[0] = 255; out.setPixel (i + rayon, j + rayon, pixel); } } return out;

49 Rotation Bonne précision :
public static Raster goodPrecisionRotation (Raster raster, int angle) { WritableRaster out; AffineTransform tx = new AffineTransform (); tx.rotate (Math.toRadians (angle), raster.getWidth()/2, raster.getWidth()/2); AffineTransformOp op = new AffineTransformOp (tx, AffineTransformOp.TYPE_BILINEAR); out = raster.createCompatibleWritableRaster (); op.filter (raster, out); return out; }

50 Caméra Images obtenues avec la caméra

51 Création d’un panorama
Pertes d’informations Duplicité des éléments

52 Technique de Davison Exemple d’un résultat obtenue