CLUSTERING Grappe d'ordinateurs.

Présentation au sujet: "CLUSTERING Grappe d'ordinateurs."— Transcription de la présentation:

1 CLUSTERING Grappe d'ordinateurs

2 CLUSTERING Présentation Haute disponibilité Partage de charges
Autres clusters Produits et solutions Conclusion

3 Options d'architecture Client/Serveur

4 Définition d'un cluster
Cluster : agrégat de machines dans un but de travail coopératif. Systèmes informatiques indépendants, à couplage lâche,se comportant comme un seul système. Architecture NORMA : NO Remote Memory Access Ce n'est pas une architecture SMP (machines parallèles) Architecture de cluster Systèmes en clustering : tâches réparties sur plusieurs machines (les sites web importants). Logiciels en clustering : une seule et une même tâches est répartie sur chaque machine (calculs).

5 Clustering : les besoins
Augmentation de la puissance de traitement (scalability) : on veut que la puissance de traitement suive de manière linéaire le nombre de machines du cluster. Augmentation de la disponibilité (availability): on veut minimiser les inconvénients liées aux pannes par la redondance des machines entre elles. Calcul Haute-Performance et Partage de charge : configurations à plusieurs dizaines (centaines) de nœuds.

6 CLUSTERING Présentation Haute disponibilité Partage de charges
Autres clusters Produits et solutions Conclusion

7 Clustering La haute disponibilité
Assurer un redemarrage rapide en quelques minutes en cas de problème imprévu - redondance de machines. Pas de rupture de service perceptible aux utilisateurs. Ce n'est pas de la tolérance de panne

8 Architecture physique

9 Concepts de base Baie disque partagées (SCSI / Fiber Channel)
L ’accès réseau : c’est le point de passage entre les machines du cluster et les machines de l’extérieur Le support du système de fichier : Baie disque partagées (SCSI / Fiber Channel) Disques locaux des machines Le coeur de calcul : n couples mémoire-CPU. Ressources matérielles et logicielles nécéssaires à l ’éxécution d’un service sur un nœud Un service est démarré sur un nœud que si ce dernier a accès à l ’ensemble du groupe de ressource nécessaire à l ’exécution du service.

10 CLUSTERING Présentation Haute disponibilité Partage de charges
Autres clusters Produits et solutions Conclusion

11 Clustering Partage de charge
La fonction de partage de charge peut être centralisée ou répartie. Toutes les machines éxecutent le même service simultanément.

12 Schéma général IP SLB Point d ’accès réseau FS service service service

13 Gestion par le réseau Systèmes par partage de charge grâce au DNS multiples IP pour un nom, priorités dans les entrées Mais - les entrées A sont cachées par les systèmes; - les entrées MX privilègie un serveur par rapport à l ’autre (Haute-Disponibilité).

14 Avantages Scalability : réponse à la demande Rajouts de serveurs.
Administration aisée de n serveurs absolument identiques en données

15 Cadre d'utilisation Services à données statiques : serveur web, serveur ftp (en lecture seule). Services à données dynamiques : utilisation d ’un système de fichiers « cluster ». Problèmatique de la cohérence des données. Utilisation d ’un File System spécifique qui permettent la concurrence transparente des accès (Distributed Lock Manager). Emergence de solutions pour Linux.

16 Données partagées Solution de partage de charge à données partagées : le MUST ! Mais … Les applications écrites spécifiquement sont très chères (Oracle Parallel Server) Solution BdD OpenSource : MySQL Haute-disponibilité en écriture Lecture distribuée

17 CLUSTERING Présentation Haute disponibilité Partage de charges
Autres clusters Produits et solutions Conclusion

18 Clustering Calculs scientifique
L'ensemble des nodes cumulent leur puissance de calcul pour arriver à des performance égales à celles qu'atteignent les super calculateurs. Ce cluster utilise des applications spécialisées dans la paraléllisation de calcul à travers une couche de communication commune. Il est possible de gérer la mémoire partagée accessible par l'ensemble des processeurs du système à travers ses nodes.

19 Clustering Stockage de données
Mise en place d'une vaste capacité de stockage virtuel afin de répondre à l'augmentation des flux de données et donc nécessitant une capacité de stockage supérieure à celle d'un seul disque dur. Le fichier est découpé en bloc de taille raisonnable et stocké par morceau sur plusieurs disque. Virtuellement, on a l'impression que l'espace de stockage et que notre fichier est stocké en un seul morceau sur un disque unique. Technologie : SAN et NAS

20 Clustering Stockage de données
Le but est de disribuer les données par l'entremise de plusieurs disques répartis sur les nodes du cluster : stockage combiné. L'utilisateur peut travailler avec des fichiers de très grandes tailles, tout en minimisant les tranferts, dans l'éventualité ou la taille des blocs adoptée reste raisonnable.

21 CLUSTERING Présentation Haute disponibilité Partage de charges
Autres clusters Produits et solutions Conclusion

22 Les solutions Globales
Clusters propriétaires : IBM, SUN, Hewlet Packard, Compaq, Fujtsu, .... Clusters Commerciaux : systèmes proposés par des sociétés de prestations en informatique.

23 Les solutions Microsoft
Clusters Microsoft : Windows 2000 Advanced et Datacenter Server. MSCS : haute disponibilité Network Load Balancing : répartition de charge Operating System Edition Network Load Balancing Component Load Balancing Server cluster Windows 2000 Advanced Server 32 8 2 Datacenter Server 4 Windows Server 2003 Enterprise Server

24 Les solutions linux Clusters Linux : LVS, Beowulf, PVFS, Linux HA-Project, Alinka, Mosix.

25 Clustering Microsoft Il répond aux besoins croissants des entreprises en terme de messagerie éléctronique, de base de données et depuis quelques années de serveurs web ou ftp Microsoft propose deux types de clustering : Le clustering de service, permettant de réaliser des cluster d'application et de rendu de service, c'est à dire un cluster de haute disponibilité, à tolérance aux faute. Le clustering à répartition de charge, c'est à dire une répartition de charge réseau sur un flux IP à travers un cluster constitués de 32 nodes au maximum.

26 Clustering Microsoft Les inconvénients :
Toutes les applications doivent provenir de Microsoft. Les systèmes d'exploitations proposés subissent trop souvent de correctifs. Il faut u matériel robuste, puissant et pas très nombreux(<32). Les solutions de clustering Microsoft sont particulièrement onéreuses.

27 Avantages Linux Mise en place d'un clustering répondant à toutes les attentes. Des applications Open Source de cluster son disponible sur le réseau Internet. Quasi gratuité des applications.

28 Inconvénients Linux Le système n'est pas livré clé en main.
Il faut un investissement humain considérable notamment en terme de formation De bonnes connaissances en informatique, sur le réseau et du monde Linux. Beaucoup de PATIENCE.

29 CLUSTERING Présentation Haute disponibilité Partage de charges
Autres clusters Produits et solutions Conclusion

30 Il faut savoir répondre aux questions suivantes :
Conclusion Il faut savoir répondre aux questions suivantes : Choix du système d’exploitation Quel existant ? Budget ? Choix du type de cluster Que veut on clusteriser ? Les données Les applications La charge …

31 Bibliographie et sites Internet
Architecture de l’ordinateur – Andrew Tanenbaum – InterEditions  Client serveur – S. Miranda, A. Ruols - Eyrolles