Localisation des métadonnées État davancement de la première année Contributions LIP6-INT.

Présentation au sujet: "Localisation des métadonnées État davancement de la première année Contributions LIP6-INT."— Transcription de la présentation:

1 Localisation des métadonnées État davancement de la première année Contributions LIP6-INT

2 Plan Choix architecturaux –Le Peer-to-Peer et «LeSelect» –Proposition Optimisation du processus de localisation –Connaissance réseau Système VENISE –Connaissance Communautaire Liens intercommunautaires

3 Gestion des requêtes P2P (propagation) LeSelect (interrogation précise) N1N2 N3 N4N5 N6N7 N8N9 N10 N11N12 N13N14 N0 N1N2 N3 N4N5 N6N7 N8N9 N10 N11N12 N13N14 N0 médiateur Communication synchrone Connaissance de tous les nœuds Centralisation de linterrogation Connaissance des nœuds voisins Décentralisation de linterrogation Communication asynchrone Propagation requête Réponse

4 Les vues de LeSelect Objectif: –Ramener le problème de localisation de MD, à un problème de localisation de vues. Problèmes –Administration: qui va créer les vues ? –Robustesse: que se passe-t-il en cas de retrait ou de panne dun nœud ? N1N2 N3 N4N5 N6N7 N8N9 N10 N11N12 N13N14 N0 médiateur avec vue Communication synchrone

5 Utilisation du médiateur Locale ( accès aux métadonnées) LeSelect Sys-Loc LeSelect Sys-Loc LeSelect Sys-Loc Q Q Q Q MD Classique ( accès aux ressources ) LeSelect NiNi NkNk Résultats de la localisation des MDs IP de N k IP de N l

6 Les différents modules Communication –Échange de messages XML ( Message dInterrogation (MI) & Message de Résultat (MR) ) Traitement –Interrogation du médiateur ( Écriture de requête de médiation ) Diffusion –Gestion des rebonds ( Propagation aux voisins ) Visualisation –Affichage des MDs récupérées ( pour collecte du feedback de lutilisateur )

7 Proposition darchitecture MR : (ID, {MD1, MD2, … }) MI : ( IPinitial, ID, MD-requête ) envoyé à chaque voisin Récepteur de messages dInterrogation Module de diffusion des requêtes Module de traitement des requêtes Générateur de requête de médiation MEDIATEUR Métadonnées Générateur de messages de résultats Transmetteur de messages résultats Diffuseur de messages dinterrogation MI : ( IPinitial, ID, MD-requête ) Table de voisinage IPvoisin_1 … IPvoisin_k Transmetteur de messages dInterrogation Récepteur de messages résultats Visualiseur COMMUNICATION DIFFUSION VISUALISATION TRAITEMENT

8 Plan Choix architecturaux –Le Peer-to-Peer et «LeSelect» –Proposition Optimisation du processus de localisation –Connaissance réseau Système VENISE –Connaissance Communautaire Liens intercommunautaires

9 Optimisation du processus de propagation des requêtes Connaissance sur le contenu –Vecteur Thématique Connaissance sur les utilisateurs –Communauté Thèmeclimatologiehydrologieocéanologieocéanographie… Proportion0,350,250,400… Illustration : http://gaya.lip6.fr:8080/venisehttp://gaya.lip6.fr:8080/venise Thèmeclimatologiehydrologieocéanologieocéanographie… Présence1010…

10 Optimisation du processus de propagation des requêtes (2) Connaissance sur les requêtes –Catégories de requêtes Requête Générale (RG) –interrogation du noyau des MDs Requête Spécifique (RS) –interrogation du noyau + attributs métiers des MDs NoyauSpécialisation métier TitreDateClimatUnité… Relevé Pluviométrique2003OcéaniqueCm… MD

11 Bilan des connaissances réseau MD-requête Communauté Catégorie Vecteur Thématique

12 VENISE Organisation thématique du réseau : Influer sur le choix du nœud dentrée dans le réseau selon le contenu thématique du nouveau nœud Entrée Thématique Virtuelle (ETV) Interface avec le réseau pour palier à labsence de connaissance globale sur le réseau serVice de sElection dune eNtrée vIrtuelle pour linSertion dans le rEseau http://gaya.lip6.fr:8080/venise COMMENT CHOISIR LA MEILLEURE ENTREE VIRTUELLE ? Réseau ETV1 ETV2 ETV3 Nœud à insérer ?

13 Intérêt des Entrées Virtuelles Thématiques Objectif : Faire passer par la même Entrée Thématique Virtuelle, tous les nœuds au contenu thématique proche. Hydrologie, Océanologie Nœud à insérer Météorologie ETV1 ETV2 ETV3 Écologie Réseau

14 Gestion des Entrées Thématiques Virtuelles Contrainte: –Avoir un vecteur qui agrège lensemble des vecteurs thématiques des nœuds ayant été insérés par lEntrée Thématique Virtuelle considérée –Avoir une notion de voisinage, selon des critères sémantiques Représentation –A chaque ETV, nous associons un neurone –L ensemble des Entrées Thématiques Virtuelles est donc assimilable à un réseau de neurones CARTES AUTO-ORGANISATRICES de KOHONEN

15 Cartes auto-organisatrices de Kohonen Nœud à insérer 402030100… Neurone Vecteur de référence Vecteur Thématique Objectif : –Trouver le neurone dont le vecteur de référence est le plus proche (au sens des moindres carrés) du vecteur thématiques du nœud à insérer. Principe: –Comparer Vecteur Thématique du nœud à insérer et du Vecteur de référence de chaque neurone associé à chaque Entrée Thématique Virtuelle Σ = 100

16 Cartes auto-organisatrices: Principe Réseau de neurones Nœud à insérer 402030100…

17 Sélection et Apprentissage Étape 1 : Sélection Calcul du neurone qui minimise la valeur des « moindres carrés » entre le vecteur thématique et les vecteurs de référence des neurones Étape 2 : Mise à jour Modification du vecteur de référence du neurone gagnant et de son voisinage selon la formule : Avec : Coefficient dapprentissage Distance euclidienne entre le vecteur thématique (x) et les vecteur de références (w)

18 2 Démos Visualisation du réseau de neurones, avec phase dapprentissage et sélection de lEntrée Thématique Virtuelle selon le nœud courant. Simulation de linsertion de nœuds, avec sélection de lentrée thématique virtuelle selon le contenu thématique des noeuds: http://gaya.lip6.fr:8080/venise

19 Connaissance communautaire A flexible definition of community Link model to filter neighbors where the query should be executed (relevant nodes known by the community) Link model to filter neighbors having at least a similar community able to collaborate (to recommend relevant nodes) A metric to compare communities defined on different nodes

20 Community Definition: local for each node Attribution: oceanographyoceanologyhydrogeologymeteorologyhydrology oceanographers climatologists paleoclimatologists Themes known by all the nodes U oceanographers climatologists hydrologists paleoclimatologists Choosing a community of interest Communities defined on Nj oceanographers={oceanography, oceanology, hydrology}

21 Relevance-based links Interest: linking nodes containing relevant resources for a community Representation : ( IP of relevant node, Community name, aggregated feedback ) Climatologists Hydrologists Potential relevant resources for climatologists of the node N i … (132.227.205.161, Climatologists, 0.75 ) … NjNj NqNq

22 Inter-community links Interest: linking nodes containing a community with similar fields of interest Representation : ( Local community name, IP of distant node, Distant community name, freshness of the link ) Climatologists Hydrologists … (Climatologists, 132.227.205.249, Climatology team, 5 ) … NjNj NkNk Climatology team Hydrology Team

23 Inter-community link handling How to handle the mapping between communities ? Metric of comparison –Def-similarity (creation) Based on static definition of communities –Exp-similar (evolution) Based on dynamic experiences of members belonging to the same community

24 Def-similarity: Creating inter-community links oceanographyoceanologyhydrogeologymeteorologyhydrology oceanographers Climatology Team Oceanology Team Themes (global resource shared by all) Oceanographers is def-similar to Oceanology Team Communities on node N j Communities on node N k

25 Exp-similarity : Updating inter-community links N10,95 N20,92 N30,89 N40,75 N50,60 N60,25 …… oceanographers On node N j On node N k Correlation of Pearson : ω Oceanology Team N1N3N4N7… 0,900,920,250,80… N1N2N3N6… 0,940,960,850,20… N3N5N6N9… 0,150,920,950,80… Climatology Team Paleoclimatology Team Oceanographers is exp-similar to Climatology Team 0,75 ω (Oceanographers, Oceanology Team ) 0,90 ω (Oceanographers, climatology Team ) 0,30 ω (Oceanographers, Paleoclimatology Team )

26 Query propagation Relevance-based link Inter-community link Node N1Ni 1st Step N2N3N4N5N6 2nd Step N7N8 N9 N10 3rd Step … … …… Query Q N11 Q Q Q Q U Climatologists

27 Vers une architecture adaptative… Objectif: Exploiter la structure des MDs et la catégorie des requêtes Principe: Un nœud peut déléguer le traitement de ses Requêtes Générales à un Super-Peer hybride qui contient la projection sur le noyau des métadonnées. Optimisation de la répartition de charge

28 Délégation du traitement des requêtes générales D F H G E Super-Peer Peer C A B Nœuds ayant D comme voisin Nœuds voisin de D Propagation des RG Propagation des RS

29 Bilan et perspectives Bilan –Architecture adaptée à la propagation de requête propre aux architectures Peer-to-Peer –Intégration du médiateur dans cette architecture –Exploitation de la connaissance réseau, par rapprochement logique des nœuds thématiquement proches –Exploitation de la connaissance communautaire, par le partage de lexpérience des communautés distantes Perspectives –Décentralisation du processus de sélection des Entrées Thématiques Virtuelles –Deuxième catégorie de critère de sélection des voisins (dordre géographique) –Cache personnalisé de requête –Répartition de charge: architecture dynamique basée sur des Super-Peers hybrides