La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

L E WYS : un Canevas Logiciel à Composants pour Construire des Applications de Supervision Emmanuel Cecchet*, Oussama Layaïda et Vivien Quéma INRIA Rhône-Alpes,

Présentations similaires


Présentation au sujet: "L E WYS : un Canevas Logiciel à Composants pour Construire des Applications de Supervision Emmanuel Cecchet*, Oussama Layaïda et Vivien Quéma INRIA Rhône-Alpes,"— Transcription de la présentation:

1 L E WYS : un Canevas Logiciel à Composants pour Construire des Applications de Supervision Emmanuel Cecchet*, Oussama Layaïda et Vivien Quéma INRIA Rhône-Alpes, projet SARDES *Emic Networks

2 Journées Composants /04/2005 Plan è Contexte et motivations è LeWYS Architecture Mise en œuvre è Conclusion

3 Journées Composants /04/2005 Contexte è Applications J2EE sur grappe è But : construire des systèmes autonomes Ajout/suppression dynamique de noeuds Equilibrage de charge Contrôle dadmission, etc. è Besoin : outils de supervision Internet

4 Journées Composants /04/2005 Motivations è Systèmes dobservation existants Ad-hoc : RUBiS Spécifiques à une plateforme ou à un domaine précis Pas réutilisables dans de nouveaux contextes Génériques : Supervision de ressources dans les grappes et grilles : Ganglia, NWS, JAMM, etc. Peu flexibles –Nature des données collectées –Propagation des données –Traitement des données –Pas utilisables dans notre contexte

5 Journées Composants /04/2005 Objectifs è Outils de supervision multi-plateformes è Flexible Déploiement dynamique des entités dobservation Construction des canaux de traitement et de propagation Mode danalyse des données En ligne (console) Hors ligne (stockage) è Intrusivité limitée è Conception à base de composants: (re)configurabilité

6 Journées Composants /04/2005 Plan è Contexte et motivations è LeWYS Architecture Mise en œuvre è Conclusion

7 Journées Composants /04/2005 Proposition : LeWYS è Canevas logiciel à composant pour la construction de systèmes dobservation Bibliothèque de composants Sondes Canaux à événements Observateurs (consommateurs dévénements) Implantation en Fractal Modèle de composants hiérarchiques et réflexifs Outils de déploiement : ADL Outils de contrôle : fractalexplorer

8 Journées Composants /04/2005 Observation Kernel Probe Net probe CPU probe Disk probe JMX Probe Disk probe è Sondes (probes) permettant lobservation Des ressources matérielles (CPU, mémoire, réseau, disque, etc.) Du système (interruption, processus, etc.) Des applications: JMX, JVMPI, SNMP, etc. Etc. Serveur MBean Nœuds 1 Nœuds 2 Nœuds 3

9 Journées Composants /04/2005 Déploiement Monitoring Pump Kernel probe Net probe pump thread Monitoring Pump CPU probe Disk probe pump thread Monitoring Pump JMX Probe Disk probe pump thread è Monitoring Pump sur chaque nœud Déploiement dynamique des sondes nécessaires Gestion des abonnements aux probes Collecte et estampillage des observations MBean Server Nœuds 1 Nœuds 2 Nœuds 3

10 Journées Composants /04/2005 Monitoring Pump pump thread Communications Monitoring Pump pump thread Monitoring Pump JMX Probe Disk probe è Construction via des canaux Dream Composants de communication: marshallers, TCP Socket, etc. Composants de traitements: filtres, agrégateurs, etc. è Composition dynamique selon les besoins MBean server DREAM pump thread DREAM Agrégation Filtrage Prétraitement Kernel probe Net probe CPU probe Disk probe

11 Journées Composants /04/2005 Monitoring Pump CPU probe Disk probe pump thread Observateurs (1) Monitoring Pump CPU probe Net probe pump thread Observer Boucle de contrôle Monitoring Pump JMX Probe Disk probe MBean server DREAM pump thread DREAM …… Stockage Equilibrage de charge Observer

12 Journées Composants /04/2005 Monitoring Repository Query threads Monitoring Pump CPU probe Disk probe pump thread Observateurs (2) è Cas particulier : Entrepôt (Monitoring Repository) Stockage des données pour analyse post-mortem Parcours de lhistorique Corrélation entre événements Monitoring Pump CPU probe Net probe pump thread DREAM Observer Storage thread Monitoring DB Event subscribe service

13 Journées Composants /04/2005 Plan è Contexte et motivations è LeWYS Architecture Mise en œuvre è Conclusion

14 Journées Composants /04/2005 Implémentation : sondes è Sondes matérielles: Windows, Linux, et Solaris è Sondes logicielles: JMX, (JVMPI, SNMP, etc.) è Chaque sonde réifie différentes ressources CPU : nice, idle, user, kernel LinuxSolaris /proc Hardware resources Windows.DLLCC Linux C JNI cpu, mem, disk, net, kernel, …probes cpu, … probes …… LinuxSolaris JVM Hardware resources WindowsLinux JMXJVMPI SNMP, ad-hoc, … probes JVM probes JMX based probes

15 Journées Composants /04/2005 Performances Sondes Linux è Pentium IV 1.8GHz, 512 MB RAM, 40 GB IDE disk (6 partitions), Linux è 150µs pour collecter toutes les ressources SondeNombre de ressources Temps moyen pour collecter une ressource Temps moyen pour collecter toutes les ressources CPU822.9µs23.4µs Memory1340.3µs40.7µs Disk6630.4µs31.5µs Network4825.3µs27.8µs Kernel323.0µs

16 Journées Composants /04/2005 Performances Sondes Windows è Pentium IV 2GHz, 512 MB RAM, 40 GB IDE disk (2 partitions), Windows 2000 è 16,57ms pour collecter toutes les ressources SondeNombre de ressources Temps moyen pour collecter une ressource Temps moyen pour collecter toutes les ressources CPU100,66ms0,72ms Memory90,33ms0,35ms Disk421,94ms1,95ms Network3212ms12,3ms Kernel91,19ms1,25ms

17 Journées Composants /04/2005 Implémentation : Pompe Component ProbeFactory Monitoring Pump Thread Probe MonitoringPump Manager ChannelOut ProbeManager Binding Controller Probe Repository ProbeManager OutputManager Component PullPush Multiplexer MonitoringMumpManager OutputManager TimeStamp Probe Cache CachedProbe RMI

18 Journées Composants /04/2005 Implémentation : Canaux à événements è Utilisation de Dream è Développement de filtres Approximation sous forme de fonction linéaire par morceaux dune séquence discrète de points (ti,xi) Réduction des données transmises : Uniquement les segments successifs et non les points individuels > 90% de données filtrées pour une précision de 10% Overhead CPU quasi négligeable < 0,01%

19 Journées Composants /04/2005 Conclusion è LeWYS Canevas logiciel à composants pour construire des systèmes de supervision Sondes efficaces implantées en Java Canaux de communication arbitraires construits avec Dream Projet ObjectWeb (http://lewys.objectweb.org)http://lewys.objectweb.org è Travaux futurs Développement de sondes (JVMPI, SNMP) Intégration avec CLIF Utilisation pour la construction de boucles de contrôle pour serveurs J2EE en grappe Développement dalgorithmes publish/subscribe adaptés aux hypothèses des clusters

20 Questions ?

21 Bonus slides

22 Journées Composants /04/2005 LeWYS design choices è Component-based framework probes, monitoring pump, event channels provides (re)configurability capabilities è Minimize intrusiveness on monitored nodes è No global clock timestamp generated locally by pump è Information processing in DREAM channels

23 Journées Composants /04/2005 Centralized monitoring using a monitoring repository (2) è Monitoring repository stores monitoring information service to retrieve monitoring information è Pros DB allows for storing large amount of data powerful queries correlate data from various probes at different locations resynchronize clocks browsing history to diagnose failures use history for system provisioning è Cons requires a DB (heavy weight solution)

24 Journées Composants /04/2005 Disk Registry Interface PDH Perfmon Custom App 1 LeWYS RegQueryValueEx HKEY_PERFORMANCE_DATA PerfLib Network Custom App 2 Performance monitoring applications Performance monitoring interfaces Performance monitoring components Enum, select, query, etc. Network Memory Processor System Performance Components Service 1 Service 2 Service 3 Performance Extension Components Windows hardware probes

25 Journées Composants /04/2005 JMX probes è collect monitoring information about software applications running in J2EE environments è client-server architecture instrumented applications (MBeans) JMX client è generic JMX probe JMX client that accesses all MBeans standard RMI connector è specific probes subset of relevant MBeans

26 Journées Composants /04/2005 Cartography probe è Reify resources available in a Linux node hardware: cpu, mem, disk, net, pci, … software: rpm, kernels network connections è Reify network topology matches switch/router information (SNMP) with node information

27 Journées Composants /04/2005 Linux vs Windows è Windows probes are less efficient that Linux ones JNI calls registry access some Windows performance components requires a lot of processing and memory whole data requires 95kB of memory

28 Journées Composants /04/2005 Related work è WatchTower Windows using PDH less efficient è JMX monitoring service Less general (string, counter, gauge monitors) è Ganglia No J2EE probes available Less flexible communication channels (centralized) Not online-oriented è Xampler Complementary

29 Journées Composants /04/2005 Cache filter è if value is the same as the previous one, it is filtered è precision width is tunable è probe and observer must be aware of sampling interval

30 Journées Composants /04/2005 Linear filter è data points around a line segment

31 Journées Composants /04/2005 Swing filter è dont use just the first 2 points to define the approximating line è dynamically compute optimal orientation

32 Journées Composants /04/2005 Slide filter è allow disconnected line segments è chooses optimal start point and line orientation

33 Journées Composants /04/2005 Filters overhead è processing overhead between 0.001% and 0.007% of cpu time è slide filter is O(n) because it needs to keep data points CacheLinearSwingSlide µs/data point State complexityO(1) O(n)

34 Journées Composants /04/2005 Online filters performance è Preliminary results è Up to 99.75% of data points filtered 10% precision 20% precision Cache 4.25% 3.44% Linear 5.72% 5.31% Non-optimized Swing 1.00% 0.40% Optimized Swing 0.88% 0.39% Non-optimized Slide 0.68% 0.29% Optimized Slide 0.55% 0.24%


Télécharger ppt "L E WYS : un Canevas Logiciel à Composants pour Construire des Applications de Supervision Emmanuel Cecchet*, Oussama Layaïda et Vivien Quéma INRIA Rhône-Alpes,"

Présentations similaires


Annonces Google