La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Classification et prédiction. 2 Classification: Classifier les données (construire un modèle) en se basant sur un ensemble où lon connaît déjà lassociation.

Présentations similaires


Présentation au sujet: "1 Classification et prédiction. 2 Classification: Classifier les données (construire un modèle) en se basant sur un ensemble où lon connaît déjà lassociation."— Transcription de la présentation:

1 1 Classification et prédiction

2 2 Classification: Classifier les données (construire un modèle) en se basant sur un ensemble où lon connaît déjà lassociation données-classes (training set: ensemble dapprentissage) Prédiction: Modéliser des valeurs connues pour prédire des valeurs inconnues Classification vs. Prédiction

3 3 Classification Processus à deux étapes Construction du modèle: Chaque tuple (exemple) est supposé appartenir à une classe comme spécifié par le label de lattribut Classe Les données sont partagées en 2 sous ensembles Le modèle (construit sur le 1er sous ensemble) est représenté par des règles de classification, arbres de décisions … Utilisation du modèle: Estimer la pertinence sur le 2ème sous ensemble Comparer les labels de classe de lensemble avec ce que prévoit le modèle Le pourcentage de tuples qui sont correctement classifiés par le modèle donne une mesure de la précision

4 4 Processus de Classification (1): Construction du modèle Training Data Algorithmes de Classification SI Grade = professeur OU Années > 6 ALORS Titulaire = oui Modèle

5 5 Données Pour test Nouvelles données (Jeff, Professeur, 4) Titulaire? OUI Processus de Classification (2): Prédiction

6 6 Apprentissage Supervisé vs non supervisé Apprentissage Supervisé (classification) Supervision: les données dapprentissage (observations) sont accompagnés par les labels indiquant leurs classes Les nouvelles données sont classifiées en se basant sur le training set Apprentissage non supervisé (regroupement) Le label de classe des éléments observés (training set) nest pas connu Le but est de déceler lexistence de classes ou groupes dans les données

7 7 Classification avec arbres de décision Arbre de Décision Les nœuds internes correspondent à des tests Un arc correspond au résultat dun test Les nœuds feuilles représentent des classes La génération se fait en 2 phases Construction de larbre Au début tous les tuples se trouvent sur la racine Partitioner les tuples récursivement en se basant à chaque fois sur un attribut sélectionné Simplification de larbre Identifier et supprimer les branches qui correspondent à des exceptions Utilisation: Tester les attributs du tuples par rapport à larbre pour trouver la branche et quil satisfait donc sa classe

8 8 Training set

9 9 Output: Un arbre de décision pour achète_ordinateur age? overcast étudiant?Crédit ? nonoui correct excellent <=30 >40 non oui

10 10 Algorithme dextraction darbre de décision Larbre est construit top-down récursivement Au début, tous les tuples sont sur la racine Les attributs sont qualitatifs (discrétisation sil le faut) Les tuples sont ensuite partitionnés en fonction des attributs sélectionnés Les attributs de test sont sélectionnés en utilisant des heuristiques ex: gain informationnel (on y reviendra) Conditions darrêt du partitionnement Tous les tuples dun noeud se trouvent dans la même classe Il ny a plus dattributs pour faire le partionnement, Dans ce cas, le nœud est transformé en feuille et la classe associée est la plus fréquente dans lensemble. Il ny a plus de tuples

11 11 Choix de lattribut de partionnement (1) Soit le training set suivant ABClasse 01C C2 10 Si cest A qui est choisi en premier A 0 1 C1 C2 Si cest B qui est choisi en premier B A A C1 C2 C1 C2

12 12 Choix de lattribut de partionnement (2) Un arbre de décision représente la suite de questions à poser pour pouvoir classifier un nouvel exemple. Le but consiste à obtenir une classification en posant le moins possible de questions Dans lexemple précédent, on dira que lattribut A apporte plus dinformation, respectivement à la classification des exemples que B Nous avons donc besoin de quantifier linformation apportée par chaque attribut

13 13 Notions sur la théorie de linformation(1) Intuitivement : Plus un événement est probable, moins il nous apporte dinformation Exemple : Vous êtes dans le désert et on vous annonce que le lendemain, il fera beau. Cest un événement très probable, ce message napporte donc presque aucune information La quantité dinformation associée à un événement x sera considérée comme une fonction croissante sur son improbabilité Un événement certain apporte une quantité dinformation nulle, ainsi f(1) doit être nulle

14 14 La réalisation de 2 événements indépendants apporte une quantité dinformation égale à la somme de leurs informations respectives, i.e Cest la fonction log en base 2 qui a été choisie. Ainsi, La fonction h satisfait les 2 conditions mentionnées Notions sur la théorie de linformation(2)

15 15 Notions sur la théorie de linformation(3) Supposons quil y a deux classes, P et N Soit S un ensemble qui contient p éléments de P et n éléments de N La probabilité quun élément soit dans P est p/(p+n) La quantité dinformation nécessaire pour décider si un élément quelconque de S se trouve dans P ou N est définie par

16 16 Gain dinformation et arbre de décision Supposons quen utilisant lattribut A, S est partitionné en {S 1, S 2, …, S v } (ça veut dire que A prend v valeurs) Si S i contient p i tuples de P et n i tuples de N, lentropie, ou la quantité dinformation nécessaire pour classifier les objets de tous les sous arbres S i est Lentropie mesure la « quantité de désordre » qui reste après le choix de A Linformation de codage gagnée en utilisant A sera

17 17 Application à lexemple (1) Il y a 2 classes C1 (P) et C2 (N) En choisissant A, S est partitionné en S 1 et S 2 p 1 =2, n 1 =0, p 2 =0 et n 2 =2 E(A)=1/4 * ( 2 * I(2,0)+2 * I(0,2) ) I(2,0)=-log(1)-0*log(0)=0 I(0,2)=0 E(A)=0 E(A)=I(2,2)-E(A) I(2,2)=1 Gain(A)=1

18 18 Application à lexemple (2) Refaire le calcul pour B

19 19 Training set

20 20 Gain dinformation: Exemple Classe P: achète_ordinateur = oui Classe N: achète_ordinateur = non I(p, n) = I(9, 5) =0.940 Lentropie de lattribut age: Ainsi, Par ailleurs, Gain(salaire)=0,029 Gain(étudiant)=0,151 Gain(Crédit)=0,048 Gain(age)=I(p,n)-E(age)=0,246

21 21 Extraction de règles de classification De la forme SI-ALORS Chaque chemin partant de la racine et atteignant une feuille donne lieu à une règle Chaque paire attribut-value le long dun chemin forme une conjonction Les feuilles constituent la classe Exemple SI age = <=30 ET étudiant = non ALORS achète_ordinateur = non SI age = <=30 ET étudiant = oui ALORS achète_ordinateur = oui

22 22 Généraliser larbre induit 2 Approches Prepruning: ne pas découper un nœud si le partage fait basculer la mesure de pertinence passe en dessous dun certain seuil Difficile de choisir un seuil approprié Postpruning: supprimer des banches dun arbre déjà construit. Obtenir un ensemble darbres réduits Utiliser un ensemble de données différent du training set pour choisir le meilleur arbre réduit

23 23 Classification Bayésienne Prédiction en termes de probabilité : Prédit plusieurs hypothèses en les pondérant par leurs probabilités Etant donné un objet O, la méthode consisite à calculer la probabilité dappartenance de O à chaque classe, puis choisir celle qui maximise cette valeur Standard: Même sil savère que les méthodes bayésiennes se révèlent intractables, elles peuvent être considérées comme étalon pour mesurer la correction dautres méthodes

24 24 Théoreme de Bayes Soit le training set D, la probabilité aposteriori de lhypothèse h, P(h|D) suit le théorème de Bayes MAP (maximum posteriori) hypothesis Difficulté pratique: on a besoin de connaître initialement plusieurs probabilités et un temps de calcul non négligeable

25 25 Classifieur Naïf de Bayes (I) On suppose que les attributs sont indépendants: Réduit énormément les temps de calcul, compter seulement la distribution de classes.

26 26 Etant donné un training set, on peut calculer les probabilités. P:jouer au tennis (Positif) et N: ne pas jouer au tennis (Négatif) Classifieur Naïf de Bayes (I)

27 27 Classification Bayésienne Le problème de classification peut être formalisé en utilisant les probabilités a-posteriori: P(C|X) = prob. que X= soit de la classe C. Ex. P(classe=N | temps=soleil,vent=vrai,…) Affecter à X la classe C tel que P(C|X) est maximal

28 28 Estimer les probabilités a-posteriori Théoreme de Bayes : P(C|X) = P(X|C)·P(C) / P(X) P(X) est la même pour toutes les classes P(C) = fréquence relative des éléments de C C telle que P(C|X) est maximum = C telle que P(X|C)·P(C) est maximum Problème: calculer P(X|C) est infaisable !

29 29 Classification Bayésiènne Naïve Hypothèse: indépendance des attributs P(x 1,…,x k |C) = P(x 1 |C)·…·P(x k |C) Si attribut A i est qualitatif: P(x i |C) est estimée par la fréquence relative des éléments ayant la valeur x i pour A i et qui sont dans C Si attribut A i est continu: P(x i |C) est estimé en utilisant la loi de Gauss (on suppose A i suit une loi normale) Facile à calculer dans les deux cas

30 30 Example: estimer P(x i |C) Temps P(soleil|P) = 2/9P(soleil|N) = 3/5 P(couvert|P) = 4/9P(couvert|N) = 0 P(pluie|P) = 3/9P(pluie|N) = 2/5 Température P(chaud|P) = 2/9P(chaud|N) = 2/5 P(tiède|P) = 4/9P(tiède|N) = 2/5 P(froid|P) = 3/9P(froid|N) = 1/5 Humidité P(élevée|P) = 3/9P(élevée|N) = 4/5 P(normale|P) = 6/9 P(normale|N) = 2/5 Vent P(Vrai|P) = 3/9P(vrai|N) = 3/5 P(faux|P) = 6/9P(faux|N) = 2/5 P(p) = 9/14 P(n) = 5/14

31 31 Exemple: classifier X Soit X = P(X|p)·P(p) = P(pluie|p)·P(chaud|p)·P(élevée|p)·P(faux|p)·P(p) = 3/9·2/9·3/9·6/9·9/14 = P(X|n)·P(n) = P(pluie|n)·P(chaud|n)·P(élevée|n)·P(faux|n)·P(n) = 2/5·2/5·4/5·2/5·5/14 = X est classifi é en N (ne pas jouer au tennis)

32 32 Lhypothèse d indépendance Rend le calcul possible Problème: en pratique, les attributs (variables) sont souvent corrélés Solution : Réseaux Bayesien, utiliser le raisonnement Bayésien en tenant compte des relations causales qui existent entre attributs

33 33 Réseaux Bayésiens (I) Historique familliale LungCancer PositiveXRay Fumeur Emphysema Dyspnea LC ~LC (HF, F)(HF, ~S)(~HF, S)(~HF, ~S) Réseau Bayésien La table de probabilité conditionnelle de la variable LC

34 34 Réseaux Bayésiens (II) Un tel réseau autorise un sous ensemble dattributs indépendants (ex: Historique familial et Fumeur) Chaque nœud dépend de ces antécédents. Le modèle graphique représente les relations causales La table des probabilités conditionnelles dune variable tient compte de toutes les combinaisons possibles de ses antécédents Soit X= un tuple. Prob(X) est donné par Prob ( x i | Parents(X i ) )

35 35 A B C A=ouiA=non B0,30,7 A=oui B=oui A=oui B=non A=non B=oui A=non B=non C0,20,80,30,7 A0,6

36 36 Suite Nous avons donc 3 attributs (A, B et C). Supposons que lun de ces attributs (ex: C) représente une classe. Le problème de classification consiste donc à attribuer une classe à X=. Il sagit de calculer les probabilités que X soit dans c i sachant que X=, i.e Prob(c i | ), puis sélectionner c i qui donne le maximum Il suffit donc de reprendre les infos contenues dans les tables de probabilité conditionnelles.

37 37 Scénarios possibles On donne la structure On donne la structure du réseau mais certaines variables manquent dans le training set : Dans ce cas il sagit de remplire la tables des probabilités en sachant que certaines valeurs sont manquantes On ne donne pas la structure du réseau :

38 38 La méthode des k plus proches voisins (k-Nearest Neighbor) Variables numériques: un objet=point dans espace à n dimensions. Utilisation de la distance pour définir le plus proche voisin. Etant donné O, on cherche ses k plus proches voisins. Ensuite, on lui affecte la classe la plus fréquente dans cet ensemble (ou la moyenne, sil sagit dune variable continue)

39 39 Variation de lalgorithme Pondérer les voisins: Plus un voisin est proche, plus son poids est grand On peut considérer la formule de poids suivante Calculer la moyenne pondérée

40 40 Prédiction? La prédiction est similaire à la classification Construire une modèle Utiliser le modèle pour prédire des valeurs La regression est la méthode de prédiction la plus utilisée Regression linéaire (multiple) Regression non linéaire La prédiction est différente de la classification Classification: prédire des valeurs catégorielles Prédiction: prédire des valeurs continues

41 41 Régression Linéaire: Y = + X 2 paramètres, et spécifient une droite. Ils sont estimés en utilisant les données disponibles. Utilisation de la méthode des moindres carrés avec comme données, les couples (Y 1, X 1) (Y 2, X 2) … Régression multiple : Y = b0 + b1 X1 + b2 X2. Estimer b0, b1, b2 … Plusieurs fonctions non linéaires peuvent être transformées de la sorte. Régression


Télécharger ppt "1 Classification et prédiction. 2 Classification: Classifier les données (construire un modèle) en se basant sur un ensemble où lon connaît déjà lassociation."

Présentations similaires


Annonces Google