La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Analyse théorique du problème de la patrouille multi-agent en utilisant le cadre des PDM Fabrice Lauri, François Charpillet, Daniel Szer Equipe MAIA.

Présentations similaires


Présentation au sujet: "1 Analyse théorique du problème de la patrouille multi-agent en utilisant le cadre des PDM Fabrice Lauri, François Charpillet, Daniel Szer Equipe MAIA."— Transcription de la présentation:

1 1 Analyse théorique du problème de la patrouille multi-agent en utilisant le cadre des PDM Fabrice Lauri, François Charpillet, Daniel Szer Equipe MAIA – LORIA Nancy

2 2 Plan Problématique générale Problématique générale Cadre de travail [Machado, 2002] Cadre de travail [Machado, 2002] Domaines dapplications Domaines dapplications Etat de lart Etat de lart Modélisation par un PDM Modélisation par un PDM Conclusions et Perspectives Conclusions et Perspectives

3 3 Plan Problématique générale Problématique générale Cadre de travail [Machado, 2002] Cadre de travail [Machado, 2002] Domaines dapplications Domaines dapplications Etat de lart Etat de lart Modélisation par un PDM Modélisation par un PDM Conclusions et Perspectives Conclusions et Perspectives

4 4 Problématique générale Patrouille = « mission impliquant une équipe de plusieurs agents dont le but consiste à visiter régulièrement les lieux stratégiques dun environnement, afin de : le défendre le défendre le surveiller le surveiller ou le contrôler. » ou le contrôler. » Plusieurs questions : Comment représenter lenvironnement ? Comment représenter lenvironnement ? Quentend ton par « lieu stratégique » ? Quentend ton par « lieu stratégique » ? Quelle architecture dagent utiliser ? Quelle architecture dagent utiliser ? Quel(s) critère(s) utiliser ? Quel(s) critère(s) utiliser ? …

5 5 Un exemple Environnement 2D, 5 agents

6 6 Plan Problématique générale Problématique générale Cadre de travail [Machado, 2002] Cadre de travail [Machado, 2002] Domaines dapplications Domaines dapplications Etat de lart Etat de lart Modélisation par un PDM Modélisation par un PDM Conclusions et Perspectives Conclusions et Perspectives

7 7 Cadre de travail Environnement graphique Environnement à patrouiller graphe (de patrouille) Environnement à patrouiller graphe (de patrouille) Soit G = (V, E, c) un graphe de patrouille : Soit G = (V, E, c) un graphe de patrouille : V={1,2,…} : lieux pertinents de lenvironnement, V={1,2,…} : lieux pertinents de lenvironnement, E={(i,j) ; i,j V} : ensemble des liaisons sûres entre ces lieux. E={(i,j) ; i,j V} : ensemble des liaisons sûres entre ces lieux. Pour chaque arc (i,j) : Pour chaque arc (i,j) : c(i,j) : coût (temps) pour aller de i à j. C C

8 8 Cadre de travail - Exemple Graphe de patrouille, 5 agents Graphe de : 50 nœuds 69 arcs degré 5

9 9 Cadre de travail Stratégie de patrouille Objectif : Trouver une stratégie multi-agent de parcours du graphe qui minimise le temps entre deux visites dun même nœud pour chacun des nœuds. = ( 1, 2, …, N ), avec : i : stratégie individuelle de lagent i i (t) : nœud visité par lagent i à linstant t

10 10 Cadre de travail Critères dévaluation dune stratégie Soient : I n (t) : oisiveté (ou Idleness) du nœud n à linstant t I n (t) : oisiveté (ou Idleness) du nœud n à linstant t AvgI(t) : oisiveté du graphe à linstant t, avec : AvgI(t) : oisiveté du graphe à linstant t, avec : AvgI( t ) = moyenne des I n (t) AvgI( t ) = moyenne des I n (t) AvgI : oisiveté du graphe à lissue de T pas de simulation (ou cycles) AvgI : oisiveté du graphe à lissue de T pas de simulation (ou cycles) WI : pire oisiveté rencontrée au cours de la simulation WI : pire oisiveté rencontrée au cours de la simulation Mesurer la qualité dune stratégie S de patrouille = déterminer AvgI (ou WI) après T cycles de simulation de S. La stratégie minimisant WI = stratégie optimale.

11 11 Cadre de travail – Exemple Stratégie de patrouille, 5 agents Stratégie Agent #1 2,5,7,8,10,12 Stratégie Agent #2 1,3,4,9,12,15,20, 25,30 … A lissue de T pas de simulation WI = 1463 AvgI = 549.6

12 12 Plan Problématique générale Problématique générale Cadre de travail [Machado, 2002] Cadre de travail [Machado, 2002] Domaines dapplications Domaines dapplications Etat de lart Etat de lart Modélisation par un PDM Modélisation par un PDM Conclusions et Perspectives Conclusions et Perspectives

13 13 Domaines dapplications Toutes les applications pour lesquelles un contrôle ou une surveillance distribué(e) dans un graphe est requis : Surveillance contre les intrusions dans un réseau informatique, Surveillance contre les intrusions dans un réseau informatique, Sauvetage par des robots de blessés ayant subi une catastrophe (RoboCup Rescue), Sauvetage par des robots de blessés ayant subi une catastrophe (RoboCup Rescue), Détection de menaces ennemis ou protection de territoires dans le domaine des jeux vidéos, Détection de menaces ennemis ou protection de territoires dans le domaine des jeux vidéos, etc. etc.

14 14 Plan Problématique générale Problématique générale Cadre de travail [Machado, 2002] Cadre de travail [Machado, 2002] Domaines dapplications Domaines dapplications Etat de lart Etat de lart Modélisation par un PDM Modélisation par un PDM Conclusions et Perspectives Conclusions et Perspectives

15 15 Etat de lart (1/2) [Machado et al., 2002a; Machado et al., 2002b] : travaux pionniers. [Machado et al., 2002a; Machado et al., 2002b] : travaux pionniers. [Almeida et al., 2004] : techniques de négociation [Almeida et al., 2004] : techniques de négociation [Chevaleyre, 2003] : PPMA = problème doptimisation combinatoire : [Chevaleyre, 2003] : PPMA = problème doptimisation combinatoire : Avec 1 agent = Graphical-TSP, Avec 1 agent = Graphical-TSP, > 1 agent : proposition de stratégies proches de loptimum (stratégies à cycle unique) > 1 agent : proposition de stratégies proches de loptimum (stratégies à cycle unique)

16 16 Etat de lart (2/2) [Santana et al., 2004] : apprentissage par renforcement de PDM. [Santana et al., 2004] : apprentissage par renforcement de PDM. [Almeida et al., 2004] : comparaison des techniques de létat de lart : [Almeida et al., 2004] : comparaison des techniques de létat de lart : Travaux pionniers : les moins bons résultats Travaux pionniers : les moins bons résultats Stratégie à cycle unique : les meilleurs résultats Stratégie à cycle unique : les meilleurs résultats Autres techniques : résultats équivalents Autres techniques : résultats équivalents

17 17 Plan Problématique générale Problématique générale Cadre de travail [Machado, 2002] Cadre de travail [Machado, 2002] Domaines dapplications Domaines dapplications Etat de lart Etat de lart Modélisation par un PDM Modélisation par un PDM Conclusions et Perspectives Conclusions et Perspectives

18 18 Définition du PDM pour un graphe unitaire S = { (,, ) } S = { (,, ) }

19 19 Définition du PDM pour un graphe unitaire S = { (,, ) } S = { (,, ) } Optimisation sur le critère WI

20 20 Définition du PDM pour un graphe unitaire S = { (,, ) } S = { (,, ) } A = { } A = { } T : S x A x S { 0, 1 } (déterministe) T : S x A x S { 0, 1 } (déterministe) R : S x A x S { -1, 0 } R : S x A x S { -1, 0 } R = 0 si pire oisiveté de létat courant < pire oisiveté de létat précédent -1 sinon

21 21 Résolution du PPMA pour un graphe unitaire Déterminer la politique qui minimise le critère gamma pondéré : Déterminer la politique qui minimise le critère gamma pondéré : et telle que la suite détats s 0, …, s i, …, s k constitue un cycle, cest-à-dire que i avec s i = s k. Stratégie obtenue est optimale (démonstration dans larticle) Stratégie obtenue est optimale (démonstration dans larticle) t=0N E{ Σ t r t } avec [0,1] C C

22 22 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) 12 Séquence détats représentant la meilleure stratégie de patrouille

23 23 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) s 1 = (,, 1) 12 Séquence détats représentant la meilleure stratégie de patrouille

24 24 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) s 1 = (,, 1) s 2 = (,, 2) 12 Séquence détats représentant la meilleure stratégie de patrouille

25 25 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) s 1 = (,, 1) s 2 = (,, 2) s 3 = (,, 3) 12 Séquence détats représentant la meilleure stratégie de patrouille

26 26 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) s 1 = (,, 1) s 2 = (,, 2) s 3 = (,, 3) s 4 = (,, 3) 12 Séquence détats représentant la meilleure stratégie de patrouille

27 27 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) s 1 = (,, 1) s 2 = (,, 2) s 3 = (,, 3) s 4 = (,, 3) s 5 = (,, 3) 12 Séquence détats représentant la meilleure stratégie de patrouille

28 28 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) s 1 = (,, 1) s 2 = (,, 2) s 3 = (,, 3) s 4 = (,, 3) s 5 = (,, 3) s 6 = (,, 3) 12 Séquence détats représentant la meilleure stratégie de patrouille

29 29 Exemple dune patrouille avec 2 agents Configuration initiale s 0 = (,, 0) s 1 = (,, 1) s 2 = (,, 2) s 3 = (,, 3) s 4 = (,, 3) s 5 = (,, 3) s 6 = (,, 3) s 7 = (,, 3) 12 = Séquence détats représentant la meilleure stratégie de patrouille Stratégie Agent #1 5, 1, 3, 1, { 5, 1, 3, 1 }* Stratégie Agent #2 2, 1, 4, 1, { 2, 1, 4, 1 }* 1 2

30 30 Transformation dun graphe non unitaire en graphe unitaire (1/2) Soit G = (V, E) un graphe non unitaire. G = (V, E ) est le graphe unitaire à construire. Soit G = (V, E) un graphe non unitaire. G = (V, E ) est le graphe unitaire à construire. Soit c : coût minimal du graphe G. Soit c : coût minimal du graphe G. Pour chaque paire i, j V, ajouter m ij = ( - 1) nœuds. Pour chaque paire i, j V, ajouter m ij = ( - 1) nœuds. Si m ij = 0, ajouter les arcs (i,j) et (j,i) Si m ij = 0, ajouter les arcs (i,j) et (j,i) Sinon, ajouter les arcs (i, n 1 ), (n 1, n 2 ), …, (n, j). Sinon, ajouter les arcs (i, n 1 ), (n 1, n 2 ), …, (n, j). c ij c C C m ij

31 31 Transformation dun graphe non unitaire en graphe unitaire (2/2) Graphe non unitaire Graphe unitaire correspondant

32 32 Plan Problématique générale Problématique générale Cadre de travail [Machado, 2002] Cadre de travail [Machado, 2002] Domaines dapplications Domaines dapplications Etat de lart Etat de lart Modélisation par un PDM Modélisation par un PDM Conclusions et Perspectives Conclusions et Perspectives

33 33 Conclusions Première analyse formelle du PPMA à laide dun PDM Première analyse formelle du PPMA à laide dun PDM Solutions exactes sur les instances les moins complexes du problème Solutions exactes sur les instances les moins complexes du problème Proposer un algorithme pour résoudre efficacement le PDM du PPMA Proposer un algorithme pour résoudre efficacement le PDM du PPMA Tester cette approche sur des instances du PPMA Tester cette approche sur des instances du PPMA Déterminer la complexité des graphes qui peuvent être traités par cette approche Déterminer la complexité des graphes qui peuvent être traités par cette approche Evaluer le biais de la transformation dun graphe non unitaire en graphe unitaire Evaluer le biais de la transformation dun graphe non unitaire en graphe unitaire Proposer un autre cadre de travail prenant en compte : Proposer un autre cadre de travail prenant en compte : la perception des agents la perception des agents la superficie effectivement surveillée la superficie effectivement surveillée Perspectives


Télécharger ppt "1 Analyse théorique du problème de la patrouille multi-agent en utilisant le cadre des PDM Fabrice Lauri, François Charpillet, Daniel Szer Equipe MAIA."

Présentations similaires


Annonces Google