IFT 702 Planification en intelligence artificielle Reconnaissance de plans Froduald Kabanza Département d’informatique Université de Sherbrooke planiart.usherbrooke.ca/kabanza Modifications par Simon Chamberland

Rappel Processus de décision de Markov Modélise un processus stochastique discret Décision à prendre dans chaque état Transitions non déterministes Fonction de récompenses Propriété de Markov: probabilités des états futurs dépend uniquement de l’état courant (pas de l’historique) MDP + politique (plan) = chaîne de Markov F. Kabanza IFT 702 - Reconnaissance de plans 2 2

Rappel Réseaux bayésiens P(C) .001 P(S) .002 Un arc d’un nœud X vers un nœud Y signifie que la variable X influence la variable Y. Un cambriolage peut déclencher l’alarme. Un séisme aussi. L’alarme peut inciter Jean à appeler. Idem pour Marie à appeler. Pour chaque nœud, on a une table de probabilité conditionnelle (TPC) ou une fonction de densité de probabilité conditionnelle. Cambriolage Séisme C S P(A|C,S) T T .95 T F .94 F T .29 F F .001 Alarme Référence: Russell & Norvig chapitre 14 MarieAppelle JeanApelle A P(M|A) T .70 F .01 A P(J|A) T .90 F .05 F. Kabanza IFT 702 - Reconnaissance de plans

Rappel Réseaux bayésiens dynamiques / Chaînes cachées de Markov Contexte: Un gardien de sécurité passe un mois dans un édifice sous-terrain, sans sortir. Il s’amuse à prévoir le temps en observant si le patron amène un parapluie. Variables: Xt = {Rt} (pour « Rain ») et Et={Ut} (pour « Umbrella »). Un gardien de sécurité passe un mois dans un édifice sous-terrain, sans sortir. Chaque jour, son directeur arrive avec ou sans parapluie. Le gardien veut inférer la possibilité qu’il ait plu ou non en fonction des séquences d’observation du parapluie. Référence: Russell & Norvig chapitre 15 (modèles temporels) Modèle des transitions: P(Rt | Rt-1). Modèle d’observation: P(Et | Rt). F. Kabanza IFT 702 - Reconnaissance de plans

Rappel Réseaux bayésiens dynamiques / Chaînes cachées de Markov Type d’inférence Estimation de l’état P(Xt | e1:t ) Prédiction P(Xt+k | e1:t ) Lissage (hindsight) P(Xk | e1:t ) Découverte de la séquence la plus probable P(X1:t | e1:t ) Un gardien de sécurité passe un mois dans un édifice sous-terrain, sans sortir. Chaque jour, son directeur arrive avec ou sans parapluie. Le gardien veut inférer la possibilité qu’il ait plu ou non en fonction des séquences d’observation du parapluie. Référence: Russell & Norvig chapitre 15 (modèles temporels) Modèle des transitions: P(Rt | Rt-1). Modèle d’observation: P(Et | Rt). F. Kabanza IFT 702 - Reconnaissance de plans 5 5

Approche probabiliste Par réseau bayésien D. Pynadath and M. Wellman. Accounting for Context in Plan Recognition, with Application to Traffic Monitoring. Proc. of Conference on Uncertainty in Artificial Intelligence, 1995. F. Kabanza IFT 702 - Reconnaissance de plans

Approche probabiliste Par réseau bayésien D. Pynadath and M. Wellman. Accounting for Context in Plan Recognition, with Application to Traffic Monitoring. Proc. of Conference on Uncertainty in Artificial Intelligence, 1995. F. Kabanza IFT 702 - Reconnaissance de plans

Approche probabiliste Plus ou moins chaînes cachées de Markov C. Geib and R. Goldman. Plan Recognition in Intrusion Detection Systems. Conference of the Association for the Advancement of Artificial Intelligence, 2006. If a hacker has a goal like stealing information from a computer (theft), the plan library breaks that goal into five steps: scan the system to determine vulnerabilities (recon), exploit the system’s weaknesses to gain entry (break-in), escalate privileges (gain-root), export desired data (steal), and hide traces of presence on computer (clean). Ordering constraints within a method are represented by directed arcs. For example, the hacker must break-in before she can gain-root. Finally, notice that there is a condition/event that is tied to the action clean. The dashed line represents the fact that this condition results from the execution of the action. Thus, if clean is executed it will result in deleted event logs (deleted-logs). This information about action effects will be critical to inferring the execution of unobserved actions. F. Kabanza IFT 702 - Reconnaissance de plans

Approche probabiliste Plus ou moins chaînes cachées de Markov C. Geib and R. Goldman. Plan Recognition in Intrusion Detection Systems. Conference of the Association for the Advancement of Artificial Intelligence, 2006. F. Kabanza IFT 702 - Reconnaissance de plans

Approche probabiliste Réseau Bayésien dynamique Kautz et al. http://www.cs.rochester.edu/u/kautz/talks/converging-technology-kautz-v3.ppt This is one result of our experiment. In this experiment, a graduate student carries this GPS for thirty days. We get the GPS log. We put it into our system without any labeling. After a few hours, the system output such a picture, this picture tells us where the common goals are for the person and where are the routine parking spot and bus stops. In fact, that is just correct. We then label them to make it clear. F. Kabanza IFT 702 - Reconnaissance de plans

Approche probabiliste Réseau Bayésien dynamique http://www.cs.rochester.edu/u/kautz/talks/converging-technology-kautz-v3.ppt Kautz et al. xk-1 zk-1 zk xk mk-1 mk tk-1 tk gk-1 gk Goal Trip segment Transportation mode x=<Location, Velocity> GPS reading F. Kabanza IFT 702 - Reconnaissance de plans

Références C. Schmidt, N. Sridharan and J. Goodson. The plan recognition problem: An intersection of psychology and artificial intelligence. Artificial Intelligence 11(1-2):1978, pages 45-83. D. Pynadath and M. Wellman. Accounting for Context in Plan Recognition, with Application to Traffic Monitoring. Proc. of Conference on Uncertainty in Artificial Intelligence, 1995. R. Goldman, C. Geib and C. Miller. A new model of plan recognition. Proc. of Conference on Uncertainty in Artificial Intelligence, 1999. C. Geib and R. Goldman. Plan Recognition in Intrusion Detection Systems. Conference of the Association for the Advancement of Artificial Intelligence, 2006. N. Blaylock and J. Allen. Fast Hierarchical Goal Schema Recognition. Proc. of Conference of the Association for the Advancement of Artificial Intelligence, 2006. F. Kabanza IFT 702 - Reconnaissance de plans