La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

SARIKAYA IlhamiCUI - 20061 Computing communities in large networks using random walks Détection de communautés dans les réseaux dinteractions basé sur.

Présentations similaires


Présentation au sujet: "SARIKAYA IlhamiCUI - 20061 Computing communities in large networks using random walks Détection de communautés dans les réseaux dinteractions basé sur."— Transcription de la présentation:

1 SARIKAYA IlhamiCUI Computing communities in large networks using random walks Détection de communautés dans les réseaux dinteractions basé sur les marches aléatoires 20th International Symposium on Computer and Information Sciences, Istanbul, Turquie, 2005 auteurs : Pascal Pons Mathieu Latapy Istanbul, Turquie, 2005 auteurs : Pascal Pons Mathieu Latapy

2 SARIKAYA IlhamiCUI Contenue de la présentation b b Introduction (communautés) b b Définition (communautés) b b Les algorithmes et leurs défauts (détection de communautés) b b Les marches aléatoires dans un graphe – –Exemple – –Propriétés générales b b La distance – –Entre sommets – –Entre communautés b b Walktrap b b Conclusion

3 SARIKAYA IlhamiCUI Introduction – 1 Les grands réseaux d'interactions jouent un rôle essentiel dans de nombreux contextes : en sciences sociales (réseau de connaissance, réseau de collaboration professionnelle, réseau des appels téléphoniques)en sciences sociales (réseau de connaissance, réseau de collaboration professionnelle, réseau des appels téléphoniques) en biologie (réseau d'interactions protéique, réseau trophique)en biologie (réseau d'interactions protéique, réseau trophique) en informatique ( graphe du Web, réseau physique de l'Internet, réseau d'échanges pair à pair),en informatique ( graphe du Web, réseau physique de l'Internet, réseau d'échanges pair à pair), en linguistique (graphe de synonymie, graphe de co-occurrence d'un mot)en linguistique (graphe de synonymie, graphe de co-occurrence d'un mot)......

4 SARIKAYA IlhamiCUI Introduction – 2 Ces réseaux peuvent être modélisés par des graphes dont les sommetsreprésentent les acteurs du phénomène et les liens représentent les interactions entre eux. Toutes ces réseaux présenté sous forme des graphes en pratique ont des propriétés statistiques non triviales comme : Une distance moyenne entre sommets qui est faible. tout le monde est proche de tout le monde ;Une distance moyenne entre sommets qui est faible. tout le monde est proche de tout le monde ; Globalement peu denses mais localement denses, les sommets sont fortement connectés entre eux mais faiblement connectés vers l'extérieur ;Globalement peu denses mais localement denses, les sommets sont fortement connectés entre eux mais faiblement connectés vers l'extérieur ; Leur distribution de degrés suit une loi de puissance, Cette propriété traduit une forte hétérogénéité entre les sommets : alors que la plupart ont un très faible degré, un nombre faible mais non négligeable d'entre eux ont un très fort degré.Leur distribution de degrés suit une loi de puissance, Cette propriété traduit une forte hétérogénéité entre les sommets : alors que la plupart ont un très faible degré, un nombre faible mais non négligeable d'entre eux ont un très fort degré. Ces propriétés statistiques n'ont pratiquement jamais été prises en compte pour l'évaluation des performances des algorithmes de graphes

5 SARIKAYA IlhamiCUI Définition – 1 b b La définition dune communauté est difficile. b b Toutes les définitions données sont restrictive b b Elles ne prêtent pas à des algorithmes efficaces de détection de communautés.Communauté Un ensemble de sommets dont la densité de connexions internes est plus forte que la densité de connexions vers l'extérieur.

6 SARIKAYA IlhamiCUI Définition – 2 Communauté Communauté Un ensemble de sommets dont la densité de connexions internes est plus forte que la densité de connexions vers l'extérieur. But est alors de b C =C1,C2,…Ck b trouver une partition C =C1,C2,…Ck des sommets en communautés vérifiant cette définition (sans savoir a priori le nombre de elles communautés) b b minimiser k b b maximiser le score Q(la qualité de partition) définie pour chaque Ci.

7 SARIKAYA IlhamiCUI Les approches et défauts b b Beaucoup dalgorithmes existent pour détecter les communautés dans un graphe. b b Première approche : Ils construit le graphe en plusieurs communautés en retirant progressivement les arêtes reliant deux communautés distinctes. b b Deuxième approche :Ils regroupent les sommets itérativement en communautés. b b Ces algorithmes ont besoin comme paramètres : Le nombre de communautés cherchés. Les tailles de ces communautés. b b Algorithmes le plus récentes: L'algorithme de Girvan et Newman L'algorithme de Radicchi L'algorithme de Fortunato L'algorithme de Newman La méthode de bissection spectrale La méthode de Kernighan et Lin

8 SARIKAYA IlhamiCUI Notation G = (V,E) : un graphe non orienté n = |V| : nombre de sommets m = |E| : nombre darêtes. Aij : la matrice dadjacence i j Pi j : la probabilité transition du sommet i au sommet j i d(i) : le degré du sommet i. P : la matrice de transition de la chaîne de Markov D: la matrice diagonale des degrés des sommets i j t : la probabilité d'aller du sommet i au sommet j en t étapes : la distribution de la probabilité au temps t

9 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe Definitions b b Le temps est discrétisé donc t = (0,1,2,...) b b A chaque t, un marcheur localisé sur un sommet se déplace à linstant suivant vers un sommet choisi aléatoirement et uniformément parmi les sommets voisins. b b La suite des sommets visités est alors une marche aléatoire, et la probabilité de transition du sommet i au sommet j est à chaque étape : Ai j A est la matrice dadjacence du graphe Pi j = d(i) d(i) le degré du sommet i. Ceci définit la matrice de transition P de la chaîne de Markov correspondante. b b Nous pouvons aussi écrire en introduisant la matrice diagonale des degrés des sommets b b Nous noterons la probabilité daller du sommet i au sommet j en t étapes.

10 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe exemple -1 :la distribution de la probabilité au t :la distribution de la probabilité au t

11 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe exemple -2 :la distribution de la probabilité au t :la distribution de la probabilité au t

12 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe exemple - 3 :la distribution de la probabilité au t :la distribution de la probabilité au t

13 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe exemple - 4

14 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe exemple - 5

15 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe exemple -6

16 SARIKAYA IlhamiCUI Proprietes Generales Marches aleatoires dans un graphe Proprietes Generales b b P1 - Lors d'une marche aléatoire suffisamment longue dans un graphe, la probabilité de se trouver sur un sommet donné est directement (et uniquement) proportionnelle au degré de ce sommet. b b P2 - La probabilité d'aller de i à j et celle d'aller de j à i par une marche aléatoire de longueur fixée ont un rapport de proportionnalité qui ne dépend que des degrés des sommets de départ et d'arrivée.

17 SARIKAYA IlhamiCUI Distance « r » entre sommets - 1 Marches aleatoires dans un graphe Distance « r » entre sommets - 1 La façon de comparer deux sommets i et j doit s'appuyer sur les constatations suivantes : Si deux sommets i et j sont dans une même communauté, la probabilité certainement élevée. Par contre si est élevée il n'est pas toujours garanti que i et j soient dans la même communauté La probabilité est influencée par le degré d ( j ) du sommet d'arrivé : les marches aléatoires ont plus de chances de passer par les sommets de fort degré (dans le cas limite d'une marche aléatoire infinie, cette probabilité est proportionnelle au degré Les sommets d'une même communauté ont tendance à voir les sommets éloignes de la même façon, ainsi si i et j sont dans la même communauté et k dans une autre communauté il y a de fortes chances que

18 SARIKAYA IlhamiCUI Distance « r » entre sommets - 2 Marches aleatoires dans un graphe Distance « r » entre sommets - 2 b une distance b Afin de pouvoir grouper les sommets du graphe par communautés, nous allons introduire une distance entre sommets. b b La distance entre deux sommets d'une même communauté doit être beaucoup plus faible que la distance entre deux sommets appartenant à deux communautés distinctes. sont les lignes i et j de la matrice P

19 SARIKAYA IlhamiCUI Distance « r » entre communautes Marches aleatoires dans un graphe Distance « r » entre communautes b On définit une marche aléatoire partant de C b La distribution initiale –po(i) = 1/|C| si i appartient à C – po(i) = 0 sinon b Pour tout sommet j ; la probabilité datteindre j en partant de la communauté C en t étapes se définit par :

20 SARIKAYA IlhamiCUI Marches aleatoires dans un graphe Choix de la longueur t t est le paramètre essentiel t est très grand, tendent vers la même probabilité. Donc impossible de distinguer deux sommets car la distance rij tend vers 0.t est très grand, tendent vers la même probabilité. Donc impossible de distinguer deux sommets car la distance rij tend vers 0. t est très petit, les marches aléatoires ne fournissent aucune information sur le voisinage des sommetst est très petit, les marches aléatoires ne fournissent aucune information sur le voisinage des sommets t dépend de la taille des communautés à détecter.t dépend de la taille des communautés à détecter. –t = 0, n minuscules communautés –t = 1, une seule communauté

21 SARIKAYA IlhamiCUI WALKTRAP – 1 Description de l'algorithme b r entre sommet ou communautés nous donne une idée sur niveau de la structure du graphe. Le but est de construire une structure de communautés en respectant cette distance calculée. b On commence par une partition n communautés contenant un seul sommet. b Évoluer cette partition jusquà obtenir une seule communauté correspondant au graphe entier. Choisir deux communautés C1 et C2 à fusionner en fonction de leurs distances.Choisir deux communautés C1 et C2 à fusionner en fonction de leurs distances. Fusionner ces communautés en C3 = C1 U C2Fusionner ces communautés en C3 = C1 U C2 Mise à jour les distances entre communautésMise à jour les distances entre communautés Calculer et mémoriser un paramètre de qualité Q pour cette partition.Calculer et mémoriser un paramètre de qualité Q pour cette partition. b On effectue n-1 étapes et on obtient Pn = {V}. Chaque étape nous donne une partition P1,P2,…Pn b Choisir la meilleur dentre P1,P2,…Pn selon le paramètre de qualité calculé à chaque étape.(maximiser Q)

22 SARIKAYA IlhamiCUI WALKTRAP – 2 Choix du fusion et mise a jour b b A chaque étape de WALKTRAP, il faut choisir deux communautés Ci et Cj à fusionner. b b But est déviter davoir des sommets trop éloignées dans une même communauté. b b Lheuristique est : La fusion seffectue entre deux communautés ssi ils ont au moins une arrête entre elles. On cherche à minimiser la moyenne de la distance au carre de chaque sommet à sa communauté. Il faut connaître après chaque étape, les variations de la mioyenneau carré de chaque sommet après chaque fusion possibles de communautés. La variation lors dune fusion C1 et C2 peut être calculé en une nouvelle communauté C1UC2

23 SARIKAYA IlhamiCUI WALKTRAP – 3 La qualite d une partition « Q » b Une partition C, on définit la fraction e ij darêtes du graphe joignant deux communautés i à j b On note ai est la fraction darêtes ayant une extrémité dans la communauté i b La modularité Q est définit par : b Donc le resultat est la partition C est la meilleur sil maximise Q.

24 SARIKAYA IlhamiCUI WALKTRAP – 4 Exemple t = 3 b Structure de communautés trouvé b Q calculée après chaque fusion. Chaque nœud représente la fusion de deux communautés

25 SARIKAYA IlhamiCUI WALKTRAP – 5 Evaluation experimentale b Génération des graphes test Construire des graphes n sommets possédant c 1 communautés.Construire des graphes n sommets possédant c 1 communautés. Générer une graphe de telle manière queGénérer une graphe de telle manière que –Z in (degré interne) et Z out (degré externe) donné b Création de n sommets sans arêtes. b Attribuer chaque sommet à une communauté de sorte à créer c communautés de tailles égales. b Une arête reliant deux sommets dune même communauté existera avec une probabilité b Une arête reliant deux sommets de deux communautés existera avec une probabilité b But : Lalgorithme trouve c communautés

26 SARIKAYA IlhamiCUI WALKTRAP – 6 Influence de la densite z in et z out

27 SARIKAYA IlhamiCUI WALKTRAP – 7 Influence de la longueur t Pourcentage de sommets correctement identifiés dans des graphes 64,128 et 256 sommets possédant 4 communautés avec z in =9 et z out = 7

28 SARIKAYA IlhamiCUI WALKTRAP – 8 Tests et comparaisons

29 SARIKAYA IlhamiCUI WALKTRAP – 9 Complexite b b Le calcul initial des probabilités se fait pour tous les sommets en O(tmn) b b Après chaque fusion le calcul de la probabilité de la nouvelle partition se fait en O(n). b b Deux étapes pour n-1 étapes, en temps total O(n2) b b chaque fusion, il faut recalculer les distances entre la nouvelle communauté crée et chacune de ses communautés voisines en temps O(n). b Théorème : Le nombre total de calculs de distances effectue lors des fusion est au plus 2Hm oú H est la hauteur de la structure arborescente des communautés trouvées par lalgorithme. H est la taille de dendrogramme. La complexité totale de lalgorithme est donc O(mnH) O(mn2) dans le pire cas

30 SARIKAYA IlhamiCUI Conclusion b Le choix de la longueur des marches aléatoires à utiliser est problème qui nest pas résolu à ce jour. b Les communautés détectés par lalgorithme sont forcement disjointes. Il se peut que un sommet appartienne à plusieurs communautés b Dailleurs il existe aucune algorithme qui détecte les communautés qui se chevauchent. b b Les structures de communautés de graphes de tailles allant jusquà sommets

31 SARIKAYA IlhamiCUI Merci de votre attention


Télécharger ppt "SARIKAYA IlhamiCUI - 20061 Computing communities in large networks using random walks Détection de communautés dans les réseaux dinteractions basé sur."

Présentations similaires


Annonces Google