Mirta B. Gordon Laboratoire Leibniz-IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS : modèles, concepts méthodes Apprentissage (I) Mirta B. Gordon Laboratoire Leibniz-IMAG Grenoble

plan c’est quoi ? différents types d’apprentissage algorithmes d’apprentissage les réseaux de neurones le perceptron réseaux plus complexes théorie de l’apprentissage mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

c’est quoi ? apprendre est s’adapter à l’environnement à partir de l’expérience schéma : on a des stimuli ou entrées il faut donner une réponse adéquate, ou sortie entrées-sorties : à partir de notre perception visuelle  reconnaître un visage à partir de descripteurs d’une situation  prendre une décision à partir de descripteurs de données  les classer « apprendre » à partir de données empiriques mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

trois types d’apprentissage supervisé : on a un ensemble d’exemples (couples entrée-sortie) on doit apprendre à donner la sortie correcte à de nouvelles entrées non-supervisé : on a un ensemble de données (entrées sans la sortie correspondante) on doit trouver des régularités permettant de les classer (clusters) par renforcement on a des entrées décrivant une situation on reçoit une punition si la sortie qu’on donne n’est pas adéquate mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

algorithmes d’apprentissage heuristiques (recettes) pour chaque type d’apprentissage apprendre  problème inverse, mal posé pas de solution unique différents algorithmes : chacun a sa performance critères : vitesse de convergence temps d’apprentissage en fonction du nombre d’exemples capacité de généralisation évolution de la qualité de la solution en fonction du nombre d’exemples mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

apprentissage supervisé classification ou discrimination : attribuer une classe à une donnée, à partir des traits décrivant cette donnée exemples de tâches de discrimination : le diagnostic médical la reconnaissance de caractères manuscrits la décision d’acheter une action à partir des données du marché financier mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

formalisation information contenue dans un ensemble d’apprentissage LM = { (xm,tm) }1≤m≤M M vecteurs de dimension N : xm=(xm1, xm2, …, xmN) (m=1,2,…,M) et leurs classes : « apprendre » à donner de bonnes réponses s(x) à de nouveaux vecteurs x deux phases : apprendre classe +1 classe -1 x1 x2 classe? - généraliser mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

classifieur élémentaire : le perceptron d’inspiration biologique : « neurone  » élémentaire surface discriminante linéaire : stabilité d’un exemple : distance à la surface discriminante avec signe – si mal classé x1 x2 xN xi w1 wN s=sgn(w.x) input : output : w g mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

algorithme du perceptron on initialise les poids du perceptron on parcourt les exemples si la sortie donnée par le perceptron est incorrecte, on modifie les poids jusqu’à convergence convergence assurée seulement si les exemples sont linéairement séparables si les exemples sont linéairement séparables : infinité de solutions mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

apprendre les poids d’un perceptron par minimisation d’une fonction de coût les poids qui classent al les exemples ont un coût élevé coûts « ad-hoc » pénalisant les stabilités négatives rappel : w g mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

exemples non séparables linéairement problème : l’algorithme du perceptron ne converge pas les autres algorithmes convergent mais souvent vers des solutions « non intéressantes » (poids des exemples moins bien classés) deux solutions : classique : réseaux en couches « moderne » : Support Vector Machines mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I

fin premier cours