La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Apprentissage supervisé à partir de séquences DEA Génomique et Informatique année 2000-2001

Présentations similaires


Présentation au sujet: "Apprentissage supervisé à partir de séquences DEA Génomique et Informatique année 2000-2001"— Transcription de la présentation:

1 Apprentissage supervisé à partir de séquences DEA Génomique et Informatique année

2 Apprentissage par induction Apprentissage d'un concept C à partir d'exemples (instances) appartenant au concept Choix de la description des exemples ? Choix de la description des hypothèses ? Apprentissage réussi ? Apprentissage x 1, …,x n échantillon dapprentissage X H C hypothèse

3 Exemple 1 Apprentissage de larbre de décision « sortie en mer » météo Skipper Décision calmeamateurmer tempête amateur terre agitée expérimentémer tempête expérimenté terre agitéeamateur terre Échantillon dapprentissageArbre de décision météo = tempête terre skipper = amateur météo = agitée terre mer Apprentissage Oui Non

4 Apprentissage de classifications Concept = fonction de classification c Objets à classer O = {o 1,o 2,…}, Langage de description D = {d 1,d 2,…} Ensemble de classes [1,C] Classification c : O [1,C] ( O [1,C]) Exemples = Apprentissage x 1, …, x n h c c d h

5 Remarques Apprentissage « supervisé » : on connaît le nombre de classes et la classe des exemples ( clustering, cf. cours I.C. Lerman) Cas C = 2 (classes = [1,2]) : discrimination dobjets appartenant à la classe 1 / ceux qui ny appartiennent pas ( dans classe 2). Apprentissage dun concept à partir dexemples et de contre-exemples. On notera = {+,-} « exemples positifs, exemples négatifs »

6 Description des objets Ensemble d'attributs d = (a 1, …, a n ) –dans R (apprentissage numérique) –discrets (apprentissage symbolique) booléens Séquence sur un alphabet, etc... Devrait permettre discrimination des exemples c(o 1 ) c ( o 2 ) d(o 1 ) d(o 2 ) mais aussi un apprentissage "efficace" Mixtes

7 Description des hypothèses Choix du type de fonctions considéré Espace d'hypothèse Espace d'hypothèse grand Favorise existence de h=c Plus difficile à explorer pour trouver la (meilleure) solution

8 Espaces de description Programme d'apprentissage cherche la "meilleure" solution dans l'espace d'hypothèses par rapport à l'échantillon d'apprentissage h Espace de représentationEspace dhypothèses DH

9 Erreurs de classification Erreur de classification de h pour d : E(d) = P(c(o) h(d) / d(o) = d) Erreur de classification de h(à minimiser) E(h) = d D E(d) P(d(o) = d) Taux derreur apparent(sur léchantillon) E app (h) = err / n n : nombre dexemples err : nombre derreurs de classification par H sur les exemples E(h) = lim n E app (h)

10 Bien classer et bien prédire Minimisation E app Sur-spécialisation / X Exple :Apprentissage par cœur, E app = 0 Apprentissage ou mémorisation ? Pouvoir prédictif ?!? But : au moins une meilleure prédiction que la Règle de la classification majoritaire

11 Critère de simplicité Rasoir dOccam : Favoriser les hypothèses les plus simples Minimum Description Length (MDL) h MDL = argmin h H L 1 (h)+L 2 (X/h) (Minimiser longueur du codage de h et de ses exceptions)

12 Evaluation par ensemble de test Ne pas utiliser les mêmes exemples pour apprendre et pour évaluer la qualité du résultat ! Échantillon fourni divisé en échantillon dapprentissage et échantillon de test ( Rapports usuels : 1/2,1/2 ou 2/3,1/3) Validation croisée –partition de X en p sous-ensembles –p apprentissages sur p-1 sous-ensembles, test sur le sous-ensemble restant Bootstrap –Tirage avec remise de n exemples : ensemble dapprentissage –Test sur X

13 Apprentissage darbre de décision

14 Inférence grammaticale

15 Apprentissage de modèles probabilistes

16 Exemple 2 Apprendre concept « gens aisés » (revenu > moyenne) Objets à classer O : population française Description D : {répondeur, répondeur} Classes : {aisé, aisé} Echantillon représentatif 40% pop. est aisée 80% pop aisée a un répondeur, sinon seulement 45%

17 Règles de classification Majoritaire o, h maj (o) = aisé Maximum de vraisemblance choix de la classe pour laquelle la description est la plus probable argmax k [1,C] P(d/k) h maxv (répondeur) = aisé ; h maxv (répondeur) = aisé Pb : classification en {Télécom, Médecin, Ouvrier} avec P(répondeur/Télécom) = 1 h maxv (répondeur) = Télécom

18 Règles de classification Bayes classe de probabilité maximale pour la description argmax k [1,C] P(k/d) = argmax k [1,C] P(d/k) P(k) Rappel formule de Bayes P(k/d) = P( répondeur/aisé ) P( aisé ) = 0,8 0,4 = 0,32 P( répondeur/aisé ) P( aisé ) = 0,45 0,6 = 0,27 P( répondeur/aisé ) P( aisé ) = 0,2 0,4 = 0,08 P( répondeur/aisé ) P( aisé ) = 0,55 0,6 = 0,33 Nécessite connaissance de P(d/k) et P(k) !... P(d/k) P(k) P(d) indépendant de k h Bayes ( répondeur ) = aisé

19 Propriétés du classificateur de Bayes C Bayes (d) =argmax k [1,C] P(k/d) =argmax k [1,C] P(d/k) P(k) Si E(C Bayes ) = 0 alors c(o1) c(o2) d(o1) d(o2) (problème déterministe) Classification derreur minimale h, E(C Bayes ) E(h) E(Majoritaire) Mais nécessite connaissance de P(d/k) et P(k) !

20 Classificateur naïf de Bayes Approximation de P(d/k) et P(k) inconnus si D = A 1 A 2... A m C Bayes (d) = argmax k [1,C] P( /k) P(k) si valeurs des attributs indépendantes sachant k (!) P( /k) = i [1,m] P(d i /k) alors en notant P(d i /k) l'estimation de P(d i /k) (proportion d'objets de classe k, ayant comme i ème attribut d i ) Hypothèses « fausses », mais bons résultats en pratique... C NaiveBayes (d) = argmax k [1,C] i [1,m] P(d i /k) P(k) ^^ ^

21 Apprentissage de HMM


Télécharger ppt "Apprentissage supervisé à partir de séquences DEA Génomique et Informatique année 2000-2001"

Présentations similaires


Annonces Google