Détection et suivi d’objets dans le cadre de la théorie de l’évidence pour l’aide à la conduite automobile Yann Lemeret Le 13 Novembre 2006

2 Déroulement de la présentation Introduction : état de l’art Outils mathématiques nécessaires Déroulement de l’algorithme Expérimentations Conclusion et perspectives Plan – Introduction (1/10) – Outils – Déroulement – Expérimentations – Conclusion

3 Pourquoi le véhicule intelligent ? Mortalité routière : –Globalement en baisse –Encore 5339 tués en 2005 Source : ONISR, Janvier 2006 –Causes : alcool, vitesse, fatigue, conditions météorologiques Introduction (1/10) – Outils – Déroulement – Expérimentations – Conclusion

4 Niveaux de sécurité Source : FEBIAC Introduction (2/10) – Outils – Déroulement – Expérimentations – Conclusion

5 Détection d’obstacles Source : ARCOS 2003 Introduction (3/10) – Outils – Déroulement – Expérimentations – Conclusion

6 RaViOLi Projet régional RaViOLi = Radar Vision Orientable et Lidar But : créer un prototype capable de percevoir à longue distance Trois volets : –Vision (LEOST, LAGIS) –Radar (LEOST, IEMN) –Centrale d’acquisition (LEOST, LAGIS, LASL, LGI2A) Introduction (4/10) – Outils – Déroulement – Expérimentations – Conclusion

7 RaViOLi : vision Stéréoscope avec une seule caméra Résolution fovéale Champ de vision : –1m à 4.3m –12m à 100m Orientable Fonctionnement variable selon les conditions météorologiques Introduction (5/10) – Outils – Déroulement – Expérimentations – Conclusion

8 RaViOLi : Radar Radar : –12° d’angle et 150m de portée –Vitesses de 1km.h -1 à 180 km.h -1 –Faible puissance et codage varié –Fonctionne par tout temps –Ne détecte pas : les objets fixes les petits objets Lidar : –Précis en angle et distance –Portée limitée –Affecté par les conditions météorologiques Introduction (6/10) – Outils – Déroulement – Expérimentations – Conclusion

9 RaViOLi : centrale d’acquisition Carte STREAM : –Traitement des données capteurs –Commande de la caméra et du radar –Datage des données –Fusion haut niveau Introduction (7/10) – Outils – Déroulement – Expérimentations – Conclusion

10 Objectifs Utiliser toutes les informations d’un maximum de capteurs (3 au plus) Travailler avec des informations moins fiables Suivre les objets dans l’environnement du véhicule (apparitions d’objets, disparitions d’objets) Prédire la trajectoire des objets : –pour renforcer le suivi –pour évaluer le danger Algorithme comporte 2 phases : –Suivi d’objets –Prédiction Introduction (8/10) – Outils – Déroulement – Expérimentations – Conclusion

11 Méthodes de suivi Méthodes probabilistes : –JPDAF (Joint Probabilistic Data Association Filter, [Bar-Shalom]) –MHT (Multiple Hypothesis Tracker, [Reid]) Inconvénients : –Connaissance du taux de fausses alarmes –Impossibilité d’initialiser de nouvelles pistes (JPDAF) –Explosion combinatoire (MHT) => Utilisation de la théorie des fonctions de croyance Introduction (9/10) – Outils – Déroulement – Expérimentations – Conclusion

12 Avantages Avantages des fonctions de croyance : –Permet de gérer l’incomplétude et la fiabilité des données –Permettre d’utiliser l’information de tous les capteurs –Gérer les apparitions et disparitions d’objets –Utiliser des informations hétérogènes –Fusion de sources permet de diminuer l’incertitude Introduction (10/10) – Outils – Déroulement – Expérimentations – Conclusion

13 Fonctions de croyance Ensemble de définition : Masses : Fonctions particulières : –Ignorance totale : –Certitude totale : Introduction – Outils (1/10) – Déroulement – Expérimentations – Conclusion [Dempster – Shafer]

14 Fonctions duales Plausibilité : Crédibilité : Propriétés : Introduction – Outils (2/10) – Déroulement – Expérimentations – Conclusion

15 Affaiblissement Fonction de la fiabilité de la source – pas d’affaiblissement – affaiblissement total Introduction – Outils (3/10) – Déroulement – Expérimentations – Conclusion

16 Fusion Si on dispose de plusieurs sources d’informations Introduction – Outils (4/10) – Déroulement – Expérimentations – Conclusion

17 Choix du cadre Monde fermé : –Cadre exhaustif (solution incluse) –Normalisation –Si la solution n’est pas dans alors le conflit augmente Monde ouvert [Smets]: –Cadre non exhaustif –Observation de la masse conflictuelle pour déterminer une nouvelle solution Monde ouvert étendu [Royère]: –Ajout d’une hypothèse « * » : Introduction – Outils (5/10) – Déroulement – Expérimentations – Conclusion

18 Mesure d’incertitude Non Spécificité [Klir]: Bornes : si (A est un singleton) si (Ignorance totale) Introduction – Outils (6/10) – Déroulement – Expérimentations – Conclusion

19 Décision Probabilité Pignistique [Smets]: –Répartition de la masse sur les singletons Coût {0,1} avec rejet de distance [Dubuisson]: –Choisir parmi un ensemble d’actions possibles pour décider à quelle hypothèse appartient le vecteur Introduction – Outils (7/10) – Déroulement – Expérimentations – Conclusion

20 Outils mathématiques Algorithme comporte 2 parties : –Suivi d’objets (Théorie des fonctions de croyance) –Prédiction de la trajectoire (filtre de Kalman) Introduction – Outils (8/10) – Déroulement – Expérimentations – Conclusion

21 Filtre de Kalman Équation d’état : Equation de mesure : – Matrice d’évolution du système – Commande du système – et Bruit blancs gaussien de covariance et Prédiction, estimation, correction Introduction – Outils (9/10) – Déroulement – Expérimentations – Conclusion

22 Filtre de Kalman Modèle linéaire : Filtre de Kalman étendu : –Modèle non linéaire : Introduction – Outils (10/10) – Déroulement – Expérimentations – Conclusion

23 Algorithme Introduction – Outils – Déroulement (1/17) – Expérimentations – Conclusion

24 Suivi Masse de relation entre Perçus (X i ) et Connus(Y j ) Mise en correspondance possible car le temps d’échantillonnage des capteurs est faible : –Radar = 1ms et v max =180km.h -1 => 5 cm Introduction – Outils – Déroulement (2/17) – Expérimentations – Conclusion

25 Jeux de masses Masse de relation, non relation, ignorance Création des masses avec une fonction exponentielle (Denoeux): – bornée entre 0 et 1 pour des valeurs positives –Décroissance rapide Introduction – Outils – Déroulement (3/17) – Expérimentations – Conclusion

26 Affaiblissement Variation du coefficient d’affaiblissement en fonction de la distance objet - capteur Fusion entre distance et angle pour chaque capteur Fusion entre tous les capteurs Introduction – Outils – Déroulement (4/17) – Expérimentations – Conclusion

27 Association L’algorithme de M. Rombaut permet de calculer deux fonctions « * » = objet non associé La masse de relation d’un objet perçu i choisi se calcule en tenant compte des autres masses de relation et inversement On recoupe l’information des 2 jeux de masses pour décider des couples à associer Introduction – Outils – Déroulement (5/17) – Expérimentations – Conclusion

28 Inconvénient Changement du cadre de discernement Calcul de la masse sur prend en compte les masses de non relation Introduction – Outils – Déroulement (6/17) – Expérimentations – Conclusion

29 Modifications Utiliser un cadre de discernement identique Exemple avec 1 perçu et 3 connus : Introduction – Outils – Déroulement (7/17) – Expérimentations – Conclusion

30 Modifications Distribution équiprobable de la masse sur les singletons dans l’algorithme d’association Avec 2 objets connus : Jusque 10 objets : –Méthode équivalente à la fusion avec l’opérateur de Dempster –Pas d’explosion combinatoire –Temps réel Introduction – Outils – Déroulement (8/17) – Expérimentations – Conclusion

31 Résultats Jeux de masses : Association : RéférenceProposé Introduction – Outils – Déroulement (9/17) – Expérimentations – Conclusion

32 Tests : données artificielles Évolution de 2 objets : –Position, vitesse, accélération –Sigmoïde Objets se rapprochent fortement Introduction – Outils – Déroulement (10/17) – Expérimentations – Conclusion

33 Fiabilité élevée Objets proches du capteur : Référence Proposé Bonne décision sur l’association Répartition des masses différentes Introduction – Outils – Déroulement (11/17) – Expérimentations – Conclusion

34 Fiabilité faible Objets éloignés du capteur : Référence Proposé Masse sur trop importante avec l’algorithme de référence Introduction – Outils – Déroulement (12/17) – Expérimentations – Conclusion

35 Non Spécificité Plus spécifique => masse attribuée au singleton Introduction – Outils – Déroulement (13/17) – Expérimentations – Conclusion

36 Test en fonction de la fiabilité 2 objets distants de 1m et s’éloignant du capteur Calcul écart de masse entre bonne hypothèse et les autres –Écart > 0.1 => fiable –0 0.5 –Mauvaise décision => 0 Introduction – Outils – Déroulement (14/17) – Expérimentations – Conclusion

37 Sensibilité au bruit 2 objets : –30m et 40m, V = 5m.s -1, 40ms, 5dB < RSB < 15dB, essais Référence Proposé Introduction – Outils – Déroulement (15/17) – Expérimentations – Conclusion

38 Influence du nombre d’objets Nombre d’objets variable avec la même distribution de masse : Effectue l’association en fonction du nombre d’objets : de 2 à 10 objets Introduction – Outils – Déroulement (16/17) – Expérimentations – Conclusion

39 Nombre d’objets variable Référence Proposé Plus de masse sur les singletons, moins de masse sur Introduction – Outils – Déroulement (17/17) – Expérimentations – Conclusion

40 Le simulateur de données Choix : –Nombre de véhicules et vitesses respectives –Nombre de capteurs avec portées et angles –Fréquences d’échantillonnages Utilisation de l’algorithme complet Scénario avec 2 capteurs : –270°, 100m, 50ms, avant gauche –180°, 30-70m, 50ms, avant centre Introduction – Outils – Déroulement – Expérimentations (1/17) – Conclusion

41 Le simulateur de données 3 véhicules : –Véhicule 0 : droite, 5 km.h -1 –Véhicule 1 : droite, 10 km.h -1, retard de 2s –Véhicule 2 : gauche, 12 km.h -1 Règle de conduite : distances de sécurité Données bruitées : – = 0.01 m, = rad Introduction – Outils – Déroulement – Expérimentations (2/17) – Conclusion

42 Association Masse de relation de l’objet 1 Référence Proposé Masse plus élevée lorsque l’objet est loin Introduction – Outils – Déroulement – Expérimentations (3/17) – Conclusion

43 Prédiction linéaire Prédiction de la trajectoire de l’objet 1 : Prédictions utilisables Introduction – Outils – Déroulement – Expérimentations (4/17) – Conclusion

44 Prédiction Non Linéaire Prédiction de la trajectoire de l’objet 1 : Meilleurs résultats que le filtre linéaire Introduction – Outils – Déroulement – Expérimentations (5/17) – Conclusion

45 Rebouclage Prédiction avec le filtre de Kalman non linéaire => nouveau jeu de masse Rebouclage de la masse Introduction – Outils – Déroulement – Expérimentations (6/17) – Conclusion

46 Données réelles Caméscope numérique : –CCD –25 images par secondes (dt = 0.04s) –Environ 150m de portée –60° Séquence sur route Calibré grâce à un laser jusqu’à 60m Distance à partir de la taille en pixels (voitures uniquement) selon 2 interpolations Introduction – Outils – Déroulement – Expérimentations (7/17) – Conclusion

47 Calibrage Introduction – Outils – Déroulement – Expérimentations (8/17) – Conclusion

48 Comparaison Objet 0 suivi pendant 260 images (=10.4s) à 70m ( ) 1 des 2 capteurs défaillant entre 175 et 225 Introduction – Outils – Déroulement – Expérimentations (9/17) – Conclusion

49 Prédiction Trajectoires à 0.04 sec pour le renforcement du suivi : –Sans coefficient de fiabilité –Avec affaiblissement Essai avec un Kalman linéaire Utilisation du filtre de Kalman étendu Introduction – Outils – Déroulement – Expérimentations (10/17) – Conclusion

50 Prédiction Test avec différentes valeurs de vitesse angulaire pour le choix du paramètre : Introduction – Outils – Déroulement – Expérimentations (11/17) – Conclusion

51 Rebouclage Avec 1 capteur + rebouclage : Avec 2 capteurs + rebouclage : Ne pas reboucler sans coefficient de fiabilité Avec 1 capteur, rebouclage utile, avec 2 capteurs, utilisation difficile Introduction – Outils – Déroulement – Expérimentations (12/17) – Conclusion

52 Erreur de prédiction Erreur de prédiction du filtre Non Linéaire Pas de rebouclage sans affaiblissement Introduction – Outils – Déroulement – Expérimentations (13/17) – Conclusion

53 Prédiction à 3 secondes Pour la prévention des accidents sur autoroute Introduction – Outils – Déroulement – Expérimentations (14/17) – Conclusion

54 Longue portée Introduction – Outils – Déroulement – Expérimentations (15/17) – Conclusion

55 Gestion d’un rond point Introduction – Outils – Déroulement – Expérimentations (16/17) – Conclusion

56 Fonctionnement temps réel Le programme réalisé permet de visualiser en temps réel l’association à partir de la séquence filméel’association Introduction – Outils – Déroulement – Expérimentations (17/17) – Conclusion

57 Conclusion Algorithme de fusion de données haut niveau pour le projet RaViOLi : –Suivi d’objets –Prédiction des trajectoires Suivi d’objets : –Théorie des fonctions de croyance pour gérer l’incertitude et l’incomplétude des mesures –Algorithme proposé par M. Rombaut : Permet d’assurer le suivi de plusieurs objets Gérer les apparitions et les disparitions Introduction – Outils – Déroulement – Expérimentations – Conclusion

58 Conclusion Suivi d’objets : –Modification de la forme mathématique : Améliorer la robustesse lorsque la fiabilité est faible Plus de masses sur les relations et moins sur l’ignorance –Le suivi fonctionne pour un nombre d’objet important –Pour 10 objets et décision basée sur la probabilité pignistique : Méthode équivalente à la fusion avec l’opérateur de Dempster Pas d’explosion combinatoire Temps réel Introduction – Outils – Déroulement – Expérimentations – Conclusion

59 Conclusion Prédiction : –Linéaire moins performant que Non Linéaire –Erreur de prédiction plus élevée pour t+dt en utilisant des données fortement bruitées –Affaiblir le jeu de masses issu de la prédiction en fonction de l’erreur de prédiction –Rebouclage utile si seulement 1 capteur actif –Quasi inutilisable pour t+3s Introduction – Outils – Déroulement – Expérimentations – Conclusion

60 Perspectives Généralisation de la démonstration de l’algorithme d’association pour n objets Amélioration du simulateur : –Meilleure caractérisation des capteurs –Intégration du comportement conducteur Tests : –Données RaViOLi –Véhicule expérimental Introduction – Outils – Déroulement – Expérimentations – Perspectives

61 Perspectives Prédiction : –Essayer d’autres modèles non linéaire –Utiliser d’autres méthodes : Filtre de Kalman sans parfum (UKF) Filtrage particulaire Introduction – Outils – Déroulement – Expérimentations – Perspectives

Merci de votre attention