1 Off road obstacle avoidance through end to end learning Yann LeCun, Urs Muller, Jan Ben, Eric Cosatto, Beat Flepp

2 Introduction Conduite de véhicule autonome Conduite de véhicule autonome –applications (exploration,sauvetage …) –Chalenge pour robotique et apprentissage Pb: détecter et éviter les obstacles Pb: détecter et éviter les obstacles –Utilisation de sondes ex: le radar facile mais lent –Utilisation dune seule caméra, moins cher mais problème de vision complexe

3 Approche Approche : correspondances entre limage reconnue et langle à prendre sont apprises Approche : correspondances entre limage reconnue et langle à prendre sont apprises Base dapprentissage: conduite autoguidée du robot. Base dapprentissage: conduite autoguidée du robot. Les correspondances sont apprises grâce à un réseau de neurones Les correspondances sont apprises grâce à un réseau de neurones

4 Plan Description du véhicule Description du véhicule Collection de données Collection de données Système dapprentissage Système dapprentissage Résultats Résultats

5 Description du véhicule Petit, léger -> portable par un homme Petit, léger -> portable par un homme –Facilite collection et test solide et peu coûteux solide et peu coûteux –Vitesse sans risque de dommage 2 caméras CCD de part et dautre 2 caméras CCD de part et dautre

6 Description du véhicule Pb : trop petit pour porter linfrastructure capable de calculer les correspondances. Pb : trop petit pour porter linfrastructure capable de calculer les correspondances. –Tache effectuée par un ordinateur externe relié sans fil –Transmission image: 2 transmetteurs vidéos de 900 Mhz.

7 Plan Description du véhicule Description du véhicule Collection de données Collection de données Système dapprentissage Système dapprentissage Résultats Résultats

8 Collection de données Mécanisme : Mécanisme : –robot téléguidé par humain –pc enregistre sortie caméra(15 image/sec) Doit prendre en compte les diversités de luminosité, d obstacle … Doit prendre en compte les diversités de luminosité, d obstacle …

9 Collection de données Recommandation sur la conduite : Recommandation sur la conduite : –éviter de tourner si pas dobstacle – tourner toujours à la même distance dun obstacle –Diversité dobstacle, faite en banlieue, dans les parcs… –Nécessité de diversité de luminosité. Malheureusement si soleil brille trop les images sont sombres et obstacles pas détectables

10 Collection de données Résultats 1500 films de 85 images capturés en 17 jours dhiver films de 85 images capturés en 17 jours dhiver images pour lapprentissage images pour lapprentissage pour les tests et la validation pour les tests et la validation.

11 Plan Description du véhicule Description du véhicule Collection de données Collection de données Système dapprentissage Système dapprentissage Résultats Résultats

12 Système dapprentissage réseau de neurones Entrée : limage 320 *240 pixels Entrée : limage 320 *240 pixels 2 sorties : les commandes de direction 2 sorties : les commandes de direction Motivation : Motivation : –Pratique classique de robotique –manipuler des images de hautes résolution – trouver dispositifs avec données limitées –Pas besoin dheuristique ni de réglage de paramètres

13 Système dapprentissage description du réseau Entrée : 6 neurones, les différents éléments de limage. taille 147*56. Entrée : 6 neurones, les différents éléments de limage. taille 147*56. 2° couche : réduction de la taille en 49 * 14, en conservant les déformations. 2° couche : réduction de la taille en 49 * 14, en conservant les déformations. 3°:reliés à plusieurs autre de couche 2 image : 45*12 3°:reliés à plusieurs autre de couche 2 image : 45*12 4 ° et 5° : réduction à 100 neurones dimage 1*1 4 ° et 5° : réduction à 100 neurones dimage 1*1 sortie : 2 neurones direction sortie : 2 neurones direction

14 Plan Description du véhicule Description du véhicule Collection de données Collection de données Système dapprentissage Système dapprentissage Résultats Résultats

15 Résultats mesure de performance : mesure de performance : –Pourcentage dangles bien classifiés Résultats : Résultats : –25.1% dapprentissage, 35.8% de test. Remarque: Remarque: – le robot ne se heurte pas. – différence avec lhumain comptabilisé.

16 Résultats Explications : Explications : –quand tourner à gauche ou à droite sont valides notre méthode dévaluation en rejette un. – Erreurs quand le robot ne tourne pas au même moment que lhumain –Ou quand les angles sont différents même si le robot évite lobstacle.