Concepts avancés en mathématiques et informatique appliquées MAP-6014

Technique daggrégation (clustering) u Introduction u Algorithme de Forgy u Algorithme k-means

Introduction u Lorsque nous ne pouvons définir à priori le nombre de classes u Nous devons avant le design du classificateur, extraire un ensemble dobservations tirées dune population quelconque pour ainsi déduire les sous- ensembles distincts u Laggrégation (clustering) consiste à regrouper des observations de telle façon que les observations sont semblables dans chaque groupe (agrégats)

Introduction u Le but des techniques daggrégation est de créer un ensemble daggrégats (cluster) regroupant des obser- vations de mêmes caractéristiques u Ces techniques cherchent alors à regrouper les ob- servations semblables u Le regroupement dobservations est basée entre autre sur la notion de distance par rapport à des centroïdes (centre de masse de chaque classe) u Ces techniques sont non supervisées

Algorithme de Forgy u Cet algorithme daggrégation prend en entrée: –Les observations –Le nombre de classes k –Les valeurs initiales des k centroïdes u Les valeurs initiales des centroïdes peuvent être choisies de façon aléatoire mais la connaissance à priori de la structure des classes peut guider leur choix

Algorithme de Forgy Initialisation des centroïdes avec les valeurs initiales FIN = FAUX TANT QUE NON FIN FAIRE POUR chaque observation FAIRE Trouver le centroïde le plus proche Placer lobservation dans laggrégat le plus proche FIN POUR SI aucun changement daggégat FAIRE FIN = VRAI SINON Calculer les nouveaux centroïdes FIN SI FIN TANT QUE

Algorithme de Forgy u Trouver le centro ï de le plus proche

Algorithme de Forgy u Calculer les nouveaux centro ï des

Algorithme de Forgy u Lalgorithme de Forgy converge très lentement puisque le critère de stabilité des aggrégats est très contraignant u Plus le nombre dobservations est grand plus le temps de convergence est grand u Certaines versions de cet algorithme permettent de restreindre le nombre ditérations

Algorithme k-means u Lalgorithme k-means est semblable à lalgorithme de Forgy u Cependant, le critère darrêt de lalgorihme k- mean est basé sur la stabilité des moyennes u Son taux de convergence est plus rapide

Algorithme k-means Initialisation des centroïdes avec les valeurs initiales FIN = FAUX TANT QUE NON FIN FAIRE POUR chaque observation FAIRE Trouver le centroïde le plus proche Placer lobservation dans laggrégat le plus proche FIN POUR SI aucun changement des valeurs des centroïdes FAIRE FIN = VRAI SINON Calculer les nouveaux centroïdes FIN SI FIN TANT QUE

Algorithme k-means (illustration de la convergence)