La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Apprentissage Jean-François Bérubé Dans le cadre du cours IFT 6802 Université de Montréal DIRO, 2 Avril 2003.

Présentations similaires


Présentation au sujet: "1 Apprentissage Jean-François Bérubé Dans le cadre du cours IFT 6802 Université de Montréal DIRO, 2 Avril 2003."— Transcription de la présentation:

1 1 Apprentissage Jean-François Bérubé Dans le cadre du cours IFT 6802 Université de Montréal DIRO, 2 Avril 2003

2 2 Introduction : Pourquoi ? n Approche classique de la conception dun agent: –« Lintelligence » de lagent est entièrement introduite par le programmeur. n MAIS: –Le programmeur ne connaît pas toujours parfaitement lenvironnement de lagent. –Dans un tel cas, lapprentissage peut être la seule façon pour un agent dacquérir les compétences dont il a besoin. –Nest-ce pas là une réelle forme dautonomie et par le fait même dintelligence?

3 3 Introduction : Comment ? n Apprendre pour un humain: facile! n Pour une machine: difficile!!! –On aura besoin dalgorithmes précis et parfois complexes n Lapprentissage est un vaste domaine qui chevauche linformatique, les statistiques et les domaines précis des applications

4 4 Plan de la présentation n Lapprentissage: aperçu général –Modèle général dun agent qui apprend –Présentation de quelques techniques dapprentissage n Lapprentissage dans les systèmes multi- agents –De lapprentissage mono-agent à multi-agents –Quapprend un agent dans les SMA ? –Caractéristiques multi-agents des apprentissages n Conclusion

5 5 Objectifs de lapprentissage n Acquisition dune connaissance explicite par un système informatique n Construction de nouvelles connaissances ou amélioration de connaissances déjà existantes [inférence] n « Les perceptions [dun agent] ne devraient pas seulement lui servir à choisir ses actions mais aussi à améliorer ses capacités à agir » [Russell & Norvig] Objectif : améliorer les performances du système

6 6 Modèle dun agent qui apprend EnvironnementEnvironnement Générateur de problèmes Module dapprentissage Unité de critique Module de performance Standard de performance feedback objectifs dapprentissage Agent changements connaissances Senseurs Actions Source: Russell & Norvig

7 7 Les formes dapprentissage n Supervisé –Un exemple de « la bonne solution » est donné pendant une phase dentraînement –Utilisé pour la classification, les régressions, estimation de probabilités conditionnelles n Par renforcement –Le système na pas accès à des exemples; il a cependant un feedback sur ses actions –Utilisé pour le contrôle des robots

8 8 Apprentissage supervisé - Exemple intuitif - Ensemble des exemples dentraînement {(visage, identité)} Exemple test (, ?) Anne Jean Maude Eric Paul Qui est-ce? Une image = profil dun cas Source: Yoshua Bengio

9 9 Apprentissage supervisé - Exemple intuitif (plus proche voisin) - Choisir lexemple dapprentissage dont le « profil » (image) est le plus proche de celui de lexemple test identité =Paul plus proche voisin Source: Yoshua Bengio

10 10 Apprentissage supervisé - Deux phases - n La phase dentraînement –On présente des exemples au système –Lagent « apprend » à partir des exemples n La phase dapplication (ou dutilisation) –Nouvelles situations jamais vues auparavant –On demande à lagent de généraliser ce quil a appris (faire un transfert)

11 11 Apprentissage supervisé - Généralisation - n Idée: mémoriser les paires (perception,action) pour ensuite sen servir afin dinduire laction à exécuter devant une situation nouvelle n On veut éviter que lagent apprenne par cœur –Quil ne puisse que résoudre des problèmes quil a déjà vus n On veut un apprentissage qui lui permette de généraliser –Il doit savoir faire ressortir lessence des exemples quil apprend

12 12 Apprentissage supervisé - Généralisation - n Principe de la généralisation par induction –Situation inconnue Induction de h, une approximation (maximisation de la vraisemblance) de la fonction f permettant dassocier une perception à une action –Évaluer h(nouvelle situation) action –Feedback mise-à-jour de la base de connaissances (ou dexemples)

13 13 Apprentissage supervisé - Généralisation - Entrée : profil du cas Sortie : valeur à prédire Pointillé : la meilleure réponse possible étant donnée lentrée (mais inconnue de lapprenant) Chaque point: un exemple Source: Yoshua Bengio

14 14 Apprentissage supervisé - Généralisation - Source: Yoshua Bengio On apprend par cœur mais ça ne généralise pas bien de nouveaux cas. Erreur faible sur les exemples dapprentissage mais élevée en test.

15 15 Apprentissage supervisé - Généralisation - Source: Yoshua Bengio On a choisi un modèle trop simple (linéaire): erreur élevée en apprentissage ET en test

16 16 Apprentissage supervisé - Généralisation - Source: Yoshua Bengio Le modèle est suffisamment flexible pour capturer la forme courbe

17 17 Apprentissage supervisé - Arbres de décision - n Un arbre de décision permet de représenter un ensemble de fonctions booléennes associées à une activité de prise de décision n Input: situation décrite par un ensemble de propriétés n Output: une décision (oui/non) relative à cette situation n Principe: Propriétés dune situation Décision à prendre Décision (oui/non)

18 18 Clients Temps dattente Jai faim Aller ailleurs Jai réservé Ven ou sam Aller ailleurs Il pleut Bar NonOui NonOui Non Oui Non Oui Non Vais-je attendre ??? Aucun Peu Beaucoup > <10 Oui Non Oui Non Oui Non Oui Non Oui Non Oui r Clients(r,Beaucoup) Temps dattente(r,10-30) Jai faim(r,Non) Jattends(r) Source: Russell & Norvig Apprentissage supervisé - Arbres de décision -

19 19 Apprentissage supervisé - Apprendre des arbres de décision - n Ensemble dentraînement –Série dexemples dans lesquels toutes les propriétés dune situation sont connues n Comment apprendre un arbre ? –Un exemple => un chemin dans larbre < Arbres trop gros < Quoi faire dans des situations inconnues ? –Trouver larbre minimal est incalculable –Des heuristiques permettent un compromis entre la taille de larbre et la difficulté de calcul

20 20 Apprentissage supervisé - Apprendre des arbres de décision - n Les heuristiques dapprentissage –Classifier les exemples en considérant dabord les variables les plus importantes: celles qui permettent dobtenir une décision le plus rapidement –On continue dintroduire des variables permettant dobtenir une décision à partir des conséquences de sa variable parent –Les exemples impertinents sont éliminés

21 21 Apprentissage supervisé - Application des arbres de décision - n Entraînement dun simulateur de vol –Professeurs : 3 pilotes expérimentés –« Enseignement » : chacun répète 30 fois un vol prédéterminé –90000 exemples sont créés –Les exemples sont décrits par 20 variables n Résultats –Lélève dépasse ses maîtres!!

22 22 Apprentissage supervisé - Réseaux de neurones - n Réseau composé de nœuds reliés entre eux par des arcs auxquels des poids sont associés Exemples

23 23 Apprentissage par renforcement n Apprentissage à laide dexemples: –Professeur => exemples –Modèle de lenvironnement => faire des prédictions –Fonction dutilité => évaluer les actions n Mais si on a rien de tout ça ??? –Utiliser les feedback reçus –Aux échecs : gagner constitue une récompense –Au ping pong : chaque point devient une récompense Reinforcement learning

24 24 Apprentissage par renforcement Principe: Agent Environnement Action Perceptions Positif? Évaluation Il faut apprendre les meilleurs actions à poser et la façon dévaluer les perceptions

25 25 Apprentissage par renforcement - Applications - n Joueur déchecs (Samuel ) –Utilisation dune fonction linéaire permettant dévaluer les différentes positions –Les poids dans cette fonction sont appris par reinforcement learning –Les décisions du joueur virtuel finissait par sapprocher de celles des bons joueurs n Robots n Utilisation dans les SMA

26 26 Résumé n Lagent apprend en observant: –leffet de ses actions < Apprentissage par renforcement –une série dexemples (supervisé) < Induction darbres de décision < Réseaux de neurones

27 27 Références n Bengio, Yoshua. Présentation sur les algorithmes dapprentissage, n Russell, S. et Norvig, P. Artificial Intelligence A Modern Approach, Prentice-Hall, 1995, 932 pages.


Télécharger ppt "1 Apprentissage Jean-François Bérubé Dans le cadre du cours IFT 6802 Université de Montréal DIRO, 2 Avril 2003."

Présentations similaires


Annonces Google