1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003

2 Plan de la présentation n Lapprentissage: aperçu général –Modèle général dun agent qui apprend –Présentation de quelques techniques dapprentissage n Lapprentissage dans les systèmes multi agents –De l apprentissage mono-agent à multi-agent –Qu apprend un agent dans un SMA ? –Caractéristiques multi-agents des apprentissages n Conclusion

3 De l'apprentissage "mono agent" à multi agents L'apprentissage en IA système interagissant globalement avec son environnement = Base de connaissances + module d exécution L'apprentissage porte sur : stratégie performance algorithmique forme des connaissances

4 De l'apprentissage "mono agent" à multi agents Pourquoi? n Complexité des SMA n profiter de lexpérience des autres n Système ouvert n Réduire la communication

5 De l'apprentissage "mono agent" à multi gents Difficulté : Réutiliser en IAD En IA: Processus cognitif En IAD : Processus social

6 De l'apprentissage "mono agent" à multi gents Communiquer et apprendre n [Feber 95] Les interactions s'expriment... à partir d'une série d'actions dont les conséquences exercent en retour une influence sur le comportement futur des agents ". Lapprentissage intègre une phase de communication : Classification

7 De l'apprentissage "mono agent" à multi gents [Brazdil et al 91] définissent des catégories d'apprentissage daprès le moment de communication : n Avant l'apprentissage : échange de données ---> apprentissage centralisé dans un agent n Pendant l'apprentissage : les agents apprennent en même temps qu'ils envoient leurs données ----> besoin d'algorithme d'apprentissage spécialisé n Après l'apprentissage : intégration des connaissances n Après lapprentissage : intégration distribuée du problème

8 De l'apprentissage "mono agent" à multi gents Communiquer pour apprendre n Les communications : –Partie de lapprentissage * apprentissage distribué par échange de message ( Protocole de négociation ) * feedback pour lapprentissage par renforcement ( comportement social )

9 n Source de données : * lagent apprend directement sur le contenu de lacte quil reçoit * lagent apprend indirectement sur lacte dans sa forme : 1. èvaluer la pertinence de lagent émetteur 2. En identifiant quel acte de langage a été effectué, lagent qui écoute apprend que lémetteur croit les différentes pré conditions du plan qui mènent a effectuer cet acte [Cohen et al 79] De l'apprentissage "mono agent" à multi gents

10 Quapprend un agent dans SMA ? n Les axes de classifications : Le système multi agent : le point de convergence de plusieurs axes d'analyse. l'approche Vowels décompose l'analyse d'un système multi agents selon quatre facettes :. Agent,. Environnement,.Interaction,. Organisation.

11 Quapprend un agent dans SMA ?

12 Apprentissage centré Agent n Ses propres comportements mieux organiser ses actions pour atteindre ses buts. Plusieurs comportements possibles Un agent dispose de plusieurs comportements possibles par lhistorique du comportement passé, il peut décider dadopter un comportement alternatif

13 Apprentissage centré Agent n La représentation des autres Nécessité de lapprentissage : n Un nouvel agent arrive construire une représentation (direct ou par annuaire central) Protocole de présentation n Un ancien agent présente un comportement variable –des différences p/r à sa présentation Lapprentissage se fait par interprétation des actions de lagent en confrontant le résultat observé a celui attendu.

14 Apprentissage centré Agent n Exemple : agent dinterface quand lagent ne sait pas répondre à une requête, il sadresse aux agents pour lesquels il sait quils peuvent y répondre. Pour affiner sa représentation des autres, il leur demande de répondre à une requête quil sait traiter pour évaluer la qualité de leurs réponses.

15 Apprentissage centré Environnement n Deux cas : n mettre à jour une connaissance erronée de lagent sur son environnement n acquérir des connaissances sur des parties de lenvironnement inaccessibles

16 Apprentissage centré Environnement n Raffinement des connaissances sur lenvironnement en cas de connaissance fausse ou incomplète par apprentissage interne ou perception dinformations supplémentaires. Définir des modèles pour raffiner la connaissance

17 Apprentissage centré Environnement n Suite à une erreur détectée : spécialiser sa connaissance pour que lerreur ne se produise plus. [Byrne et al.96] n apprentissage de concepts par intégration de situations de lenvironnement observé : à chaque intégration dune nouvelle situation * modifier les liens entre concepts * créer de nouveaux noeuds conceptuels [CARAMEL Sabah.97]

18 Apprentissage centré Environnement n Les perceptions distribuées de lenvironnement chaque agent perçoit une partie de lenvironnement coopérer pour apprendre Protocole dinteraction

19 Apprentissage centré Environnement n Système MALE de [Sian.91] (Multi Agent Learning Environment) contexte dapplication des cours de marché du thé, du café, du cacao... Chaque agent connaît une partie pour prédire les fluctuations du marché,les agents négocient en introduisant leurs points de vue n [Davies et al.95] les agents ont chacun accès à une base de données ils communiquent pour partager des données, des résultats partiels ou le résultat complet.

20 Apprentissage centré Interaction n Utilisation des interactions : –un agent dispose de plusieurs actes –il apprend à mieux les utiliser : < les adresser à des agents mieux choisis < différer leur émission Deux aspects des interactions peuvent être appris : concepts ou intentions implicites dans une communication utilisation de protocoles dinteraction

21 Apprentissage centré Interaction n La sémantique des communications –la sémantique utilisée dépend de chaque agent –possibilité dincompréhension et échec de lacte Saccorder sur une sémantique commune de lacte par lapprentissage. Par exemple : un modèle de négociation des relations sociales dans les communications :position dautorité. Si lun des deux agents nen a pas conscience, il lapprend par négociation

22 Apprentissage centré Interaction n Les protocoles dinteraction –les agents interagissent dans le cadre de protocoles –lapprentissage : les agents possèdent des moyens dévaluation de leurs interactions. –Lévaluation : < les messages reçus en retour à des messages émis < caractéristiques de ces messages (délai de réponse...)

23 Apprentissage centré Interaction n Illustration : modèle où chaque agent dispose dun ensemble de squelettes (partie de protocole les concernant). Par les interactions : induire des protocoles dinteractions globaux relations entre les actes.

24 Apprentissage centré Organisation n Lorganisation = cadre dans lequel les agents vont interagir n Pour la définir : –normes contraignant la liberté des agents –des rôles assignés aux agents –structure dactions coordonnées par graphe de relations (autorité...)

25 Apprentissage centré Organisation Deux aspects : n les agents en sont conscients : lorganisation est explicitement implantée (centralisée ou distribuée) dans chaque agent chaque agent connaît son rôle et ceux des agents avec qui va interagir n Organisation émergente : uniquement constatée par un observateur

26 Apprentissage centré Organisation n Lapprentissage centré organisation modifie lorganisation existante pour : n Une meilleure coordination des actions n une meilleure répartition des rôles...

27 Apprentissage centré Organisation n La coordination Les agents construisent un plan de coordination lapprentissage a lieu après lexécution de ce plan [Weiss 93] : n les agents proposent plusieurs actions pour la situation courante n les actions sont dotées dune mise selon leur pertinence (estimée par lagent) n plan global de coordination n Suivant le succès du plan dactions, les agents modifient les mises de leurs actions.

28 Apprentissage centré Organisation Illustration n [Sen et al.98] : deux agents poussent un cube suivant un chemin défini : - Observer la position du cube p/r au chemin après chaque poussée - Modifier la force et langle associés à la pression exercée dans la situation courante Par lapprentissage, ils finissent par exercer des poussées complémentaires pour déplacer le cube plus rapidement à deux.

29 Apprentissage centré Organisation Les rôles n les agents disposent de plusieurs rôles n choisir un rôle suivant la situation courante et les spécificités de chaque agent n Lobjectif de lapprentissage est de rendre le choix du rôle judicieux Dans certains cas, lagent peut modifier les rôles existants

30 Apprentissage centré Organisation n Robots footballeurs [Aubineau et al.97] Situation :position du ballon par rapport au robot choisir : frappeur ou défenseur évaluer le succès dans un futur proche : un but est marqué ou non n Rôles fusionnés (poids équivalents) : succession des comportements des rôles fusionnés(frapper puis défendre) n Apprentissage par renforcement : rôles complémentaires pour les agents dune même équipe

31 Apprentissage centré Organisation n Lauto organisation réorganiser après détection dune incohérence ou conflit [Camps 98] : les agents, en propageant les messages reçus qui ont mis en évidence le problème, finissent par trouver un agent compétent.

32 Les caractéristiques multi agents des apprentissages n La distribution n lasynchronisme n la coopération n Interprétations des interactions

33 Les caractéristiques multi agents des apprentissages n Difficulté de spécifier pour chacun des types dapprentissage le domaine dapplication : n domaine à faible interaction (apprentissage de ses propres comportements) n domaine à forte coopération représentation des autres ou de la coordination n domaine naturellement distribué auto organisation - apprentissage des perceptions n domaine composé dagents hétérogènes apprentissage des rôles ou de la coordination

34 Conclusion n Pourquoi apprendre (Complexité, système ouvert, comportement inconnu) n Quoi apprendre (Compétence, organisation, coordination, communication) n Comment apprendre ( isole ou interactif, intégrer lexpérience des autres...) n Type dapprentissage approprié : partir des caractéristiques multi agent

35 Références n [Davies et al.95] Davies(W.H.E) et Edwards(P.) – Distributed learning : An agnt-based approach to data-mining. In : Proceedings o ML95 n [Sen et al.98] Sen(S.),Sekeran(M.) et Hale(J.) – Learning to coordinate without sharing information. In : Readings in Agents, èd. Par Huhns(M.N.) et Singh (M.) n [Sian91] Sian(S.S.) –Adaptation based on coopative learning in multi-agent systems. In Decontralized A. 2,èd par Demazeau(Y.) et Muller (J-P.) n [Weiss93] Weiss (G) –Learning to coordinate actions in multi- agent systems. In : 13th intrnational Joint Conerene on Artiicial Intelligence.

36 Des questions