Bertrand Jouve Université Lyon 2

Présentation au sujet: "Bertrand Jouve Université Lyon 2"— Transcription de la présentation:

1 Bertrand Jouve Université Lyon 2
Fouille de données Fouille de graphes Eléments de cours - Master 2 Bertrand Jouve Université Lyon 2

2 Sources Ce support de cours a été réalisé en partie à l’aide de plusieurs documents accessibles en libre accès sur le web ou de notes de cours de collègues : Vipin Kumar : Philippe Leray : Taofiq Dkaki : communications personnelles Ricco Rakotomalala : M. Cottrell et P. Letremy : Machine Learning Group (Austin) : Mingyue Tan :

3 Plan 1) Organisation des séances 2) Eléments de bibliographie et logiciels 3) Qu’est ce que la fouille de données ? data (cleaning, preprocessing), visualisation. 4) Méthodes de fouille de données Prédictive/supervisée et descriptive/non-supervisée 5) Challenges 6) Fouille de graphes et système complexes

4 1) Organisation des séances
2 séances de cours (2*3H) : exposé général sur la fouille de données 2 séances de cours/TD (2*1H45) sur la fouille de graphes à partir d’exemples 5 séances de restitution d’articles 1 séance de 2H pour le contrôle des connaissances.

5 2) Eléments de bibliographie et logiciels
De nombreuses ressources sur le web : Knowledge Discovery in Databases(KDD), Extraction de connaissances dans les bases de données (ECD), Datamining, fouille de données, …

6 Des logiciels R SAS

7 Usama M. Fayyad, Gregory Piatetsky-Shapiro, Padhraic Smyth, Ramasamy Uthurusamy (1996) Des livres J. Han, M. Kamber (2001) Stéphane Tufféry (2005) Ludovic Lebart, Marie Piron, Alain Morineau (2006)

8 3) Qu’est ce que la fouille de données ?

9 EXEMPLES commerciaux http://www.amazon.fr : Le panier de la ménagère :
Déterminer les produits qui sont souvent associés dans un chariot de supermarché • traitement des tickets d’achats → corrélation Bières / couches le samedi → réorganisation des rayonnages : Quels sont les livres qui pourraient être achetés par le visiteur ?

10 EXEMPLES scientifiques
Qualité de vie (réchauffement climatique) • extraction d’information sur la pollution atmosphérique, sonore, … sur la gène ressentie, … → cartographie fine, modèles, prévision → décisions publiques, aménagements, Modèles sociétaux nouveaux • webmining, analyse des réseaux sociaux (Facebook) → communautés dynamiques et multi-échelles → amélioration des modes de communication et d’organisation Génome •Les tumeurs du cerveau représentent la 1er cause de mortalité de cancer chez les enfants → Gene expression database

11 Encyclopædia Britannica
Définition Encyclopædia Britannica “data mining, also called knowledge discovery in databases,  in computer science, the process of discovering interesting and useful patterns and relationships in large volumes of data. (…) Data mining is widely used in business (insurance, banking, retail), science research (astronomy, medicine), and government security (detection of criminals and terrorists).” Extraction automatique ou semi-automatique de connaissances cachées, potentiellement utiles, à partir de données stockées dans des grandes bases de données.

12 Fouille de données = extraction de connaissances à partir des données (ECD) = Data Mining = Knowledge Data Discovery (KDD) « Comment trouver un diamant dans un tas de charbon sans se salir les mains » Compréhension du domaine d’application Création du sous-ensemble cible de données Nettoyage des données (erreurs, données manquantes, valeurs atypiques) Transformation des données (normalisation, linéarisation, découpage en classes, compression) Explicitation de l’objectif et de la stratégie d’analyse Choix des méthodes Test, en précisant les critères Exploitation Diffusion DATA MINING expert (Fayyad, 1997) analyste décideur

13 Méthode standardisée CRISP-DM Cross-Industry Standard Process for Data Mining
CRISP-DM découpe le processus de data mining en six phases principales : Connaissance du Métier Connaissance des Données Préparation des Données Modélisation Évaluation Déploiement Shearer C. The CRISP-DM model: the new blueprint for data mining [archive]. J Data Warehousing 2000;5:13—22.

14 Ce que la fouille de données n’est pas :
Chercher un numéro de téléphone dans un annuaire téléphonique Effectuer une recherche avec google Ce que la fouille de données est : Analyser des résultats de requêtes effectuées avec google. Analyser la structuration des pages d’un annuaire téléphonique

15 Fouille de données et statistique
Historiquement la fouille de données est la rencontre de l’intelligence artificielle et de la statistique : les entreprises veulent exploiter, valoriser, les masses de données qu’elles archivent (data warehouse = entrepôts de données) à des fin de marketing et de prise de décision. IA Perceptron multicouche Reconnaissance de forme Réseaux bayésiens, Règles d’induction, … CROISER LES METHODES Statistique Classification hiérarchique Nuées dynamiques, Régression linéaire, … Informatique : Evolution des Langages d’interrogation, Environnement hétérogène et sites distants, Fiabilité, sécurité, stockage distribué, temps réel

16 Fouille de données et statistique
Les différences à dépasser : Données a priori : dans la plupart des problèmes de data mining, les données sont préalables à l’étude, recueillies parfois à d’autres fins. En statistique, la démarche de recueil des données (planification expérimentale, sondage) fait partie intégrante du processus. Taille des données : de nombreuses méthodes statistiques classiques ne sont pas adaptées à des volumes de millions de données. Automatisation : la statisticien reste au plus près des experts pour s’assurer une bonne compréhension, une cohérence , une intégrité des données. Les promoteurs de logiciels de FDD isolent les deux par des interfaces différentes. Validation : l’évaluation de l’erreur est primordiale dans certains domaines (pharmacie, aéronautique), et la question de la représentativité des données devient centrale. Objectifs disciplinaires : preuve d’un côté et efficacité opérationnelle de l’autre.

17 Pourquoi la FDD maintenant ?
we see the doubling of the numbers of base pairs in GenBank every 18 months Wikipedia – Google analytics (

18 Pourquoi la FDD maintenant ?

19 Pourquoi la FDD maintenant ?
Google : Statistiques concernant l’exploitation du bois Vitesse de transmission des réseaux (Zighed D.A., Rakotomalala R.,2003.) R. Grossman, C. Kamath, V. Kumar (2001)

20 Conclusions intermédiaires
Les questions de fouille de données sont maintenant cruciales dans beaucoup de domaines. Le problème aujourd’hui n’est pas un manque de données mais un manque d’analystes et de méthodes plus performantes. Il ne faut pas croire que les logiciels sont « plug-and-play » et fournissent des « solutions » sans nécessité de l’être humain : les logiciels donnent toujours des résultats il est facile de faire de la « mauvaise fouille de données » et cela peut « coûter » très cher. La plupart des erreurs proviennent d’une mauvaise utilisation des logiciels « boîte noire ».

21 a. Les données

22 Qu’est ce qu’une donnée ?
Attributes Une collection d’objets et leurs attributs ou caractéristiques Type d’attribut : Qualitatif Nominal Ordinal Quantitatif Discret Continu Objects

23 Des contraintes de spécification des données :
Données spatiales : images satellitaires, données géo-référencées, … Données textuelles : entretiens, blogs, courrier électronique, … Données relationnelles : World Wide Web, Réseaux Sociaux, … Données temporelles : flux de circulation, bourse, … Données multimédia : photos, vidéo, … Données séquentielles : génome, …

24 Les données peuvent ne pas être de bonne qualité
Qualité des données : Les données peuvent ne pas être de bonne qualité Bruitées ou comprenant des individus aberrants : enregistrement sonore par un mauvais enregistreur, photo mal sauvegardée, manuscrit peu lisible, renard dans un poulailler… Avec des valeurs manquantes : information non non collectée (personne refusant de répondre à un questionnaire), protocole expérimental défaillant ou coûteux, … Problème de Vrai/Fausse duplication : homonymies dans les réseaux sociaux, même personne avec différente adresses mail, …

25 Ces questions sont souvent difficiles et ne sont pas à sous-estimer.
Solutions : Pour les données manquantes, on peut Éliminer les individus à problème Estimer les valeurs manquantes Ignorer les valeurs manquantes pour l’analyse Remplacer par toutes les valeurs possibles Pour les données dupliquées, on peut mettre en œuvre un processus de détection des individus dupliquées Attention : on peut être très intéressé par les individus « aberrants » s’ils sont interprétables Détection d’intrusion dans les réseaux informatiques Détection de fraude sur cartes de crédits Ces questions sont souvent difficiles et ne sont pas à sous-estimer.

26 Prétraitements des données
Agrégation d’attributs ou d’individus Réduire le nombre d’attributs ou d’individus, Opérer un changement d’échelle pour diminuer la variabilité ou augmenter le nombre d’individus par attributs Jours agrégées en semaines, mois, années. © Tan et al. (2004) Standard Deviation of Average Monthly Precipitation (Australie) Standard Deviation of Average Yearly Precipitation

27 Prétraitements des données
Échantillonnage : L'objectif est de construire un échantillon tel que les observations pourront être généralisées à l'ensemble de la population. Question type : est-ce qu’un échantillon de taille n suffit ? Souvent nécessaire pour des questions de coût ou de temps calcul. Notion d’échantillon représentatif Théorie statistique de l’échantillonnage : tirage aléatoire avec ou sans remise, tirage stratifié, …

28 Prétraitements des données
Réduction de dimension : Questions de coût ou de temps calcul. Améliorer la visualisation des données Éliminer le bruit On utilise par exemple les techniques d’ACP, mais aussi les techniques non linéaires. Nuzillard et al. (2003) Analyes multi-spectrale d’une section de grain d’orge (19 dimensions)

29 Prétraitements des données
Sélections d’un sous-ensemble d’attributs Permet aussi de réduire la dimension Lorsque l’information contenue dans un attribut est déjà présente dans d’autres attributs et qu’il n’y a pas nécessité de l’isoler. Exemple : prix de vente d’un produit et TVA Lorsque l’attribut n’est pas utile pour l’étude Exemple : Dans une étude de circulation des usagers sur un campus universitaire, la couleur des yeux. Pour des raisons de confidentialité Exemple : le nom des individus

30 Prétraitements des données
Création ou transformation d’attributs Combinaison d’attributs Transformation dans un nouvel espace Exemple: transformée de Fourier Discrétisation Certaines méthodes ne conviennent que pour des données à valeurs discrètes. Exemples : valeurs de températures et catégories « froid/tiède/chaud »

31 b. Visualisation (non détaillée)

32 La visualisation revêt deux aspects :
Pour présenter les résultats des calculs dans un format plus facilement appréhendable par l’humain. Comme étape au cœur du data mining, permettant une présentation des données qui permettent à l’humain une exploration visuelle. L’œil humain est extrêmement sensible à des discontinuités de couleurs L’œil humain est capable de détecter des formes inhabituelles, …

33 Les outils classiques de statistique

34 Température à la surface de la terre en juillet 1982 (SST) for July 1982 (dizaines de milliers de points)

35 Evolution de 2 communautés de l’internet
Aynaud & Guillaume (2010)

36 L’œil humain est un « outil » très puissant mais attention :
Illusion d’Ehrenstein Triangle de Kanizsa The café wall The café wall

37 4) Méthodes de fouille de données

38 2 types de méthodes Méthodes descriptives (ou non supervisées) : objectif : trouver des « formes » interprétables qui permettent de décrire les données sans référence à une base d’exemples. C’est donc la construction d’un modèle et la découverte de relations dans les données. clustering (K-means, CAH), règles d’associations, SOM, … Méthodes prédictives (ou supervisées) : objectif : à partir d’exemples, inférer sur les données pour réaliser des prédictions. En ce basant sur un ensemble d’exemples, on infère par exemple les classes d’appartenance d’autres individus. Les classes sont donc ici connues. classification, régression, k-ppv …

39 Méthodes descriptives
Clustering Règles d’association

40 Clustering Définition : étant donné un ensemble d’individus chacun ayant un certain nombre d’attributs, et une mesure de similarité entre eux deux à deux, trouver des classes telles que : Les indices de similarités entre individus d’une même classe soient faibles Les indices de similarités entre individus de classes différentes soient fortes. Expression in Exp 1 Expression in Exp 2 Proteins

41 Notion de similarité Distance : on appelle distance sur un ensemble E, une application telle que : Séparation Symétrie Inégalité triangulaire Une distance est dite ultra-métrique si de plus Une distance est euclidienne si elle peut-être représentée dans l’espace euclidien Rn sans déformation. Exemple A1 A2 A3 A4 A5 A6 I1 1 I2 I3 I4 I5 I6

42 Notion de similarité Similarité : une similarité est une application qui a les propriétés de la distance sauf éventuellement l’inégalité triangulaire. Ecart : un écart est une application qui a les propriétés d’une similarité sauf éventuellement la symétrie. La similarité peut-être une fonction des valeurs que peuvent prendre les objets sur un certain nombre d’attributs. Elle peut aussi résulter d’un simple test de catégorisation par exemple. Exemple : Sur un ensemble de articles de journaux, la distance entre deux articles est égale au nombre de mots communs.

43 Exemples de (dis)similarités
Données quelconques:

44 Exemples de (dis)similarités
Données binaires : Dice Exemple A1 A2 A3 A4 A5 A6 I1 1 I2 I3 I4 I5 I6 Certaines peuvent être étendues aux données discrètes non binaires

45 Exemples de (dis)similarités
Exemple de la distance de Dice

46 Notion de similarité La dissimilarité peut résulter simplement d’un test de catégorisation libre : D(i,j)=0 si i et j sont classés ensemble D(i,j)=1 sinon puis moyenné sur l’ensemble des patients

47 Différents types de clustering
Par partitionnement : Les classes forment une partition de l’espace des individus (pas de recouvrement) les classes peuvent être empiétantes Par classification hiérarchique Il est toujours très important de pouvoir évaluer la qualité d’une partition. Il n’y a pas de critère universel, mais il faut s’accorder sur un critère en début d’étude avec les experts du domaine. Les critères statistiques courants dépendent en général de l’inertie interclasses, de l’inertie totale, du diamètre des classes. Mais si un expert n’est pas capable d’expliquer la majorité des classes trouvées, il y a probablement un problème !! Il est souvent très utile de croiser les méthodes.

48

49 Méthode de partitionnement de type k-means
Algorithme : Choisir k éléments initiaux, centres des classes Assigner à chaque individu la classe dont le centre est le plus proche Recalculer le centre de chaque classe Itérer l’algorithme jusqu’à ce que les individus ne changent plus de classe.

50 Méthode de partitionnement de type k-means
Avantages et inconvénients Très simple à mettre en place mais la complexité est élevée : k * n * O(distance) * nombre(iter) les « outliers » faussent les moyennes et donc les centres (les supprimer en preprocessing) sensibilité à l’initialisation (essayer plusieurs initialisations et sortir les formes fortes) : on peut tomber dans des minimum locaux. Utiliser une CAH pour déterminer les centroïdes Optimisation de Peu de chances de tirer un point initial dans chaque cluster. K=10 et P=0,00036

51 Méthode de partitionnement de type k-means
Tan el al. (2004)

52 Méthode de partitionnement de type k-means
Original Points K-means (2 Clusters) Tan el al. (2004)

53 Méthode de classification hiérarchique
Principe : produire une série de groupes (« clusters ») emboîtés soit par agglomération des individus (Classification Ascendante Hiérarchique) soit par division du tout (Classification Descendante Hiérarchique). Algorithme général de la CAH : Partir de la partition initiale où les classes sont les singletons Construire une nouvelle partition en réunissant les classes les plus proches (au sens d’un critère à définir) Itérer l’algorithme jusqu’à l’obtention d’une seule classe.

54 Ultramétrique du lien simple
F1 F2 F3 F4 F7 F8 F6 F5 F9 F9 F7 F8 F3 F4 F5 F6 F2 F1 M2 NTIE

55 Comment définir la similarité inter-clusters ?
Lien simple Lien complet Lien moyen Distance de Ward Distance des centres de gravité Effet de chaîne Casse les gros clusters denses Augmentation minimum de l’inertie intra classe Peut être utilisé pour initialiser un k-means Partition à partir d’une CAH: Où Couper le dendrogramme ? → détermination de k le nombre de classes

56 Exemple : Performances macro-économiques et structures sociales européennes
Description des structures démographiques : âge, fécondité, solde migratoire, … description des structures sociales : tx de nuptialité, tx de divortialité, … description du marché du travail : tx d’activité, tx de salariat, … niveau d’éducation : tx de titulaires d’un diplôme de 1er cycle d’études supérieures, … Distance de l’ACP et Métrique de Ward Source : Economie et Statistique n° , 2000, Insee

57 Exemples : Ward Lien simple Lien complet

58 Une méthode utilisant le concept de graphes : CHAMELEON
Graphe des k plus proches voisins: On dispose d’une matrice de proximité (similarité ou non) Considérer chaque individu comme un nœud du graphe Chaque individu est relié par une arête à ses k plus proches voisins. Techniques de clustering de graphe : coupe minimale, … → multitude de « petits » clusters très denses en connexions Agglomération : Utiliser des techniques d’agglomération hiérarchique (CAH) pour fusionner les « petits » clusters.

59 Donne de bons résultats sur les données spatiales
CHAMELEON CURE

60 Règles d’associations
Principe : Etant donné un ensemble de transactions, trouver des règles qui permettront de prédire un item sur la base des occurrences des autres items dans la transaction : il s’agit de mettre en relation des données Exemple : Supermarché Un grand nombre d’articles : pain, beurre, … Un grand nombre de paniers Items  Lait Beurre Thé Café Confiture 1 2 3 4 5 6 Transactions  Remarque : si « Thé » alors « Beurre » si « Lait et Beurre » alors « confiture » … The → Beurre {Lait, Beurre}→ Confiture

61 Règles d’associations
Mesure : Confiance : Support : Items  Lait Beurre Thé Café Confiture 1 2 3 4 5 6 Transactions  c(Thé→ Beurre) =4/4=1 s(Thé→ Beurre)= 4/6=0,67 c(Beurre→ Thé) =4/5=0,8 s(Beurre→ Thé)= 4/6=0,67 Objectif : étant donné un ensemble de transactions, il s’agit de trouver des règles dont la confiance et le support sont supérieurs à des seuils donnés. Algorithme naïf : lister toutes les règles, calculer les valeurs de support et de confiance et comparer aux seuils. → algorithme irréalisable.

62 Règles d’associations
Stratégie pour baisser la complexité : Ne chercher les règles d’association que dans les ensembles fréquents, c’est-à-dire dont le support est supérieur au seuil fixé. Propriétés : Si un ensemble n’est pas fréquent alors aucun de ses sur-ensemble ne peut être fréquent . Si un ensemble est fréquent alors tous ses sous-ensemble le sont. Algorithme : Générer les singletons fréquents F1. A chaque itération k, générer les Fk candidats à partir des Fk-1. Eliminer les Fk qui contiennent au moins un sous-ensemble non-fréquent. Chercher les Fk qui ont un bon taux de confiance. A=lait ; B = Beurre ; C=Thé D = Café ; E = Confiture s(A→C)=1/3

63 Cartes de Kohonen (self organizing map)
Origine : Organisation anatomo-fonctionnelle du cortex Tanzi (1893) « l’activation répétée d’un neurone conduit à des modifications métaboliques provoquant le mouvement des prolongements de ce neurone en direction d’autres neurones, de façon à former un lien ». Santiago Ramón y Cajal (Nobel, 1906) Loi de « Hebb » (1949) : renforcement synaptique :Si 2 neurones sont activés simultanément alors leur connexion est renforcée → apprentissage 1012 neurones

64 Cartes de Kohonen Principe :
données sortie Principe : Trouver une projection entre l’espace des données (grande dimension) et l’espace des représentations (petite dimension) qui conserve la « topologie » des données d’entrée : des données proches vont donner des « sorties » proches. sortie 3 2 1 3 2 1 entrée Apprentissage compétitif « winner-take-all »

65 Exemple : la réduction de couleurs
80 78 130 Neurone gagnant indice de proximité données ensemble d’apprentissage 100 45 201 T L ou S R V B résultat Modification de la valeur du représentant et des valeurs des représentants des classes voisines : ils se rapprochent de la donnée présentée. Ainsi c’est toute la région de la carte autour du neurone gagnant qui se spécialise.

66 Exemple : classification d’images

67 Cartes de Kohonen Avantages: Inconvénient :
Visualisation facile des cartes de sortie avec des entrées qui sont dans des espaces de grandes dimensions Inconvénient : Temps de convergence Pas ou peu de preuves mathématiques (convergence) Pas d’unicité de la représentation Perte de la distance entre les données, remplacée par le « simple » voisinage. Choix du voisinage

68 Cartes de Kohonen Choix du voisinage :
Super-classes : on peut regrouper les classes d’une carte de Kohonen en super-classes à l’aide d’une classification hiérarchique sur les vecteurs des représentants de chaque classe par exemple. Recensement de 1783 communes pour 5 dates Super-classes Distance entre les classes

69 Cottrel & Letremy

70 Méthodes prédictives Classification : arbres de décision, SVM, …
régression k plus proches voisins

71 Classification Nombre de classes connu ! Définition : étant donné un ensemble d’individus (appelé ensemble d’apprentissage) répartis en k groupes (appelés classes), il s’agit de définir un modèle (fonction des valeurs d’attributs des individus de l’ensemble d’apprentissage) qui permet d’attribuer chaque nouvel individu à l’une des k classes. Un ensemble d’individus dont la répartition dans les classes est connue sert à tester le modèle. Il est appelé ensemble test. Exemples: Iris de Fischer : 3 classes et 4 attributs Prédire si une tumeur est bénigne ou maligne. Reconnaissance des visages setosa versicolor virginica

72 L’œil et le cerveau humain
L’œil et le cerveau humain son extrêmement efficace dans les tache de classification.

73 Reconnaissance de visages

74 Reconnaissance en scènes naturelles

75 Reconnaissance en scènes naturelles

76 Classification par arbre de décision
Principe : méthode basée sur un principe de « diviser pour régner » pour créer des sous-groupes de plus en plus petits jusqu’à la classification nœud = test sur un attribut Une branche = une valeur d’un attribut Les étiquettes des feuilles = les étiquettes des classes Exemple [Quinlan,86] Taux d’erreur : proportion d’instances mal classées Problèmes : choix de l’ordre des attributs, critère de terminaison, …

77 Attention au sur-apprentissage qui produit des modèles mauvais en prédiction (incapacité à généraliser)

78 Classification par arbre de décision
Souvent plusieurs arbres sont possibles, pour choisir on attribut une valeur à un arbre → plusieurs modèles de valeurs possibles Il est nécessaire de trouver des critères de construction car on ne peut construire tous les arbres possibles (Iris = arbres possibles) On choisit l’attribut le plus informatif et on itère (récursif) → Notion d’information et de mesure de l’information Critère de terminaison : Taille de l’arbre, Nombre d’individus dans les feuilles, …

79 Exemple : Mesure d’entropie de Shannon p(ci) : probabilité de la classe ci Nulle quand il n’y a qu’une classe D’autant plus grande que les classes sont équiprobables : maximal lorsque la distribution est uniforme Gain d’entropie associé à un attribut A A chaque étape dans l’arbre, on choisit l’attribut qui donne le plus grand gain d’information.

80 Exemple de choix pour le 1er test :
Générer les règles associées aux données Michell 97 I(S) = - 9/14 log2(9/14) - 5/14 log2(5/14) = 0,940 Entropie des sous-arbres associés au test Ensoleillement : p2 = 2 n2 = 3 : I(p2,n2) = -2/5log2(2/5)-3/5log2(3/5)=0,971 p1 = 4 n1 = 0 : I(p1,n1) = -4/4log2(4/4) = 0 (« nœud pur ») p3 = 3 n3 = 2 : I(p3,n3) = -3/5log2(3/5)-2/5log2(2/5)=0,971

81 2ème exemple avec les iris de Fischer :
Ensemble d’apprentissage : 100 individus pris au hasard dans le fichier Iris Règles induites uniquement 2 variables utilisées sur 4 Ensemble test : 50 individus pris au hasard dans le fichier Iris privé de l’ensemble d’apprentissage Dans un arbre de décision, les frontières des classes sont parallèles aux axes → difficulté à détecter des combinaisons de variables Taux d’erreur = 2/50 = 4% Rakotomalala (2005)

82 Une méthode de l’IA : k-PPV
k-PPV = k plus proches voisins Principe : à partir d’un ensemble d’apprentissage S, le classifieur fait voter les k plus proches voisins de chaque nouvel individu pour savoir à quelle classe il appartient. Deux choix cruciaux : La mesure de similarité entre les individus L’algorithme de vote Avantages / Inconvénients: Très simple à mettre en œuvre A chaque nouvel individu à classer, il est nécessaire de parcourir tout l’ensemble d’apprentissage.

83

84 Diagramme de Voronoi

85 Cartes de Kohonen (self organizing map)
Origine : Organisation anatomo-fonctionnelle du cortex Tanzi (1893) « l’activation répétée d’un neurone conduit à des modifications métaboliques provoquant le mouvement des prolongements de ce neurone en direction d’autres neurones, de façon à former un lien ». Santiago Ramón y Cajal (Nobel, 1906) Loi de « Hebb » (1949) : renforcement synaptique :Si 2 neurones sont activés simultanément alors leur connexion est renforcée → apprentissage 1012 neurones

86 Cartes de Kohonen Principe :
données sortie Principe : Trouver une projection entre l’espace des données (grande dimension) et l’espace des représentations (petite dimension) qui conserve la « topologie » des données d’entrée : des données proches vont donner des « sorties » proches. sortie 3 2 1 3 2 1 entrée Apprentissage compétitif « winner-take-all »

87 Exemple : la réduction de couleurs
80 78 130 Neurone gagnant indice de proximité données ensemble d’apprentissage 100 45 201 T L ou S R V B résultat Modification de la valeur du représentant et des valeurs des représentants des classes voisines : ils se rapprochent de la donnée présentée. Ainsi c’est toute la région de la carte autour du neurone gagnant qui se spécialise.

88 Exemple : classification d’images

89 Cartes de Kohonen Avantages: Inconvénient :
Visualisation facile des cartes de sortie avec des entrées qui sont dans des espaces de grandes dimensions Inconvénient : Temps de convergence Pas ou peu de preuves mathématiques (convergence) Pas d’unicité de la représentation Perte de la distance entre les données, remplacée par le « simple » voisinage. Choix du voisinage

90 Cartes de Kohonen Choix du voisinage :
Super-classes : on peut regrouper les classes d’une carte de Kohonen en super-classes à l’aide d’une classification hiérarchique sur les vecteurs des représentants de chaque classe par exemple. Recensement de 1783 communes pour 5 dates Super-classes Distance entre les classes

91 Cottrel & Letremy

92 Support Vector Machine
Classifieur linéaire x f yest f(x,w,b) = sign(w x + b) +1 -1 w x + b>0 w x + b=0 Comment séparer ces données ? w x + b<0

93 Support Vector Machine
Classifieur linéaire x f yest f(x,w,b) = sign(w x + b) +1 -1 Comment séparer ces données ?

94 Support Vector Machine
Classifieur linéaire x f yest f(x,w,b) = sign(w x + b) +1 -1 Comment séparer ces données ?

95 Support Vector Machine
Classifieur linéaire x f yest f(x,w,b) = sign(w x + b) +1 -1 Comment choisir le bon séparateur ?

96 Support Vector Machine
Classifieur linéaire x f yest f(x,w,b) = sign(w x + b) +1 -1 Classé à tort avec la classe +1

97 Support Vector Machine
Classifieur linéaire +1 -1 Marge = épaisseur maximale de la frontière sans toucher de points

98 Support Vector Machine
Classifieur linéaire +1 -1 Classifieur à marge maximale (LSVM) Vecteurs supports

99 Support Vector Machine
Si les données ne sont pas linéairement séparables On peut plonger les données dans un espace de plus grande dimension dans lequel elle deviennent séparables. x x2

100 Il est toujours possible de trouver un espace assez grand pour que les données deviennent linéairement séparables mais le temps calcul peut devenir trop important Φ: x → φ(x) K(xi,xj)= φ(xi) Tφ(xj) Produit scalaire, notion de Noyau

101 Web mining Définition : application des techniques de data mining au contenu, à la structure, aux usages (ressources du web). Web content mining (sons, images, video, textes) : text mining, … Web structure mining Web usage mining (navigation, requêtes, créations, …) : fichiers de « log », cookies content structure usages Hyperlinks, Blog networks, Social network, …

102 Web mining Objectifs : Optimiser la navigation pour maximiser le confort des internautes, augmenter le nombre de pages consultées (bannières publicitaires), … Déceler les centres d’intérêt des internautes, … Fichier de « log »: fichier texte enregistré sur le serveur du site web dans lequel une ligne est écrite à chaque intervention de l’internaute (changement de pages, requête, téléchargement d’une fichier, …) Source: web-datamining.net

103 Web mining Deux propriétés communes aux réseaux réels :
Loi de faible puissance : distribution des degrés, … [Kumar, Barabasi, …] WWW, graphe des appels téléphoniques, relations proies/prédateurs, … Petits mondes [Watts and Strogatz] : la distance entre 2 nœuds reste faible et 2 nœuds qui ont beaucoup de voisins en communs ont une forte probabilité d’être connectés. Pk ~ k-β (β>1) Q = 0.65 ± 0.02 Broder el al. (2000) Newman & Girvan (2003)

104 FIN