Introduction aux Grilles de Calcul

Présentation au sujet: "Introduction aux Grilles de Calcul"— Transcription de la présentation:

1 Introduction aux Grilles de Calcul
Journées du Parallélisme 2005 Introduction aux Grilles de Calcul UTIC - Heithem ABBES

2 Introduction aux Grilles de Calcul
Plan Introduction. Avantages des grilles de calcul. Applications des grilles de calcul. Évolution technologique et économique. Caractéristiques de la grille. Architecture de la grille. Problématique de recherche. Introduction aux Grilles de Calcul

3 Introduction aux Grilles de Calcul
Inspiration de la grille d’électricité (power grid) Disponibilité universelle et économie viable. Par analogie: une infrastructure matérielle et logicielle Accès fiable, cohérent et bon marché à des capacités de stockage et de calcul. Introduction aux Grilles de Calcul

4 Introduction aux Grilles de Calcul
Grille de calcul (Grid Computing) coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations (VO). [I.Foster] VO : Groupement d’utilisateurs selon leurs différents besoins et intérêts. Politique. Offre une grille de calcul pour ses utilisateurs. Introduction aux Grilles de Calcul

5 Avantages des grilles de calcul
Exploiter les ressources sous utilisées Taux d’utilisation des PC et des stations de travail 30% (milieux académiques et industriels) 5% (machines grand public) Meilleure utilisation de certaines ressources Partage des ressources spéciales Équipements spécifiques (microscope, bras robotique…) Logiciels dont le prix de la licence est élevé. Fournir une importante capacité de calcul parallèle Assurer la fiabilité et la disponibilité des services Dispersion géographique des ressources Mécanismes de contrôle et de gestion Fiabilité Continuité Introduction aux Grilles de Calcul

6 Applications des grilles de calcul (1/6)
Supercalculateur réparti (Distributed supercomputing) Agréger une importante quantité de ressources Fournir une puissance de calcul Calcul haut-débit (High-Throughput Computing) Exécution parallèle des tâches. Calcul sur demande (On-Demand Computing) Utilisation temporaire de ressources Possession permanente n’est pas rentable. Capacités de calcul, logiciels, bases de données… Introduction aux Grilles de Calcul

7 Applications des grilles de calcul (2/6)
Calcul Collaboratif (Collaborative Computing) Interaction entre humains. Environnements de simulation en temps réel. Systèmes de réalité virtuelle à objectifs éducatifs. Génération, traitement et stockage d’énormes quantités de données (Dataintensive Computing) Stockage d’une quantité importante d’informations générées. Introduction aux Grilles de Calcul

8 Applications des grilles de calcul (3/6)
CERN (European Organization for Nuclear Research) Large Hardron Collider (LHC) en 2007 Plus puissant accélérateur des particules qui n’a jamais été construit. 15 Péta byte chaque année LHC Computing grid (LCG) 5200 CPU 7,5 TB capacité du stockage 68 sites [ERCIM NEWS, OCTOBER 2004] Introduction aux Grilles de Calcul

9 Applications des grilles de calcul (4/6)
Recherche de l’Intelligence Extraterrestre. programme qui télécharge et analyse les données du télescope de la radio. Introduction aux Grilles de Calcul

10 Applications des grilles de calcul (5/6)
Prédiction de climat Simulation pour la prévision du météo à long terme. 12 semaines pour certaines simulations. Introduction aux Grilles de Calcul

11 Applications des grilles de calcul (6/6)
Bioinformatique Simulation des molécules et l’analyse de génome et d’ADN. Introduction aux Grilles de Calcul

12 Évolution technologique et économique
Les applications scientifiques demandent: Rapidité. Puissance calculatoire. Grande mémoire. Machine parallèle Super-calculateurs Inconvénients: Coût !!! Performance Évolution des performances Serveurs de calcul et de stockage Technologies réseaux et la bande passante Introduction aux Grilles de Calcul

13 Évolution technologique et économique
Réseaux vs. Performance des PC La vitesse des CPU double tous les 18 mois. La vitesse de débit double tous les 9 mois. PC: x 500 Réseaux: x 340,000 PC: x 60 Réseaux: x 4000 Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. Introduction aux Grilles de Calcul

14 Évolution technologique et économique
Autrefois… Super-calculateur Cluster (par Christophe Jacquet) Introduction aux Grilles de Calcul

15 Évolution technologique et économique
…Aujourd’hui (par Christophe Jacquet) Modèle informatique réparti : Grid Computing Introduction aux Grilles de Calcul

16 Caractéristiques des grilles de calcul
Les principales caractéristiques des grilles de calcul: Existence de plusieurs domaines administratifs Distribution géographique des ressources. Différentes organisations avec leurs propres politiques. Respecter les politiques de chaque organisation. Hétérogénéité des ressources Matérielles et logicielles Passage à l’échelle (scalability) Contraintes sur les applications et les algorithmes de gestion de ressources. Nature dynamique des ressources Changement du nombre de ressources (retrait/ajout) Tolérance aux pannes Introduction aux Grilles de Calcul

17 Caractéristiques d’une grille de calcul
Grille de calcul & Grappe de calculateurs Plusieurs institutions Plusieurs domaines administratifs Hétérogénéité des ressources Passage à l’échelle Dynamicité Une seule institution Un seul domaine administratif Introduction aux Grilles de Calcul

18 Architecture d’une grille
Modèle en couches. Couches hautes axées sur l'utilisateur. Couches basses plus orientées vers les ordinateurs et les réseaux. Introduction aux Grilles de Calcul

19 Architecture d’une grille
Couche réseau : Connectabilité des ressources sur la grille. Niveau matériel Introduction aux Grilles de Calcul

20 Architecture d’une grille
Couche ressources : constituée des ressources de la grille, Ordinateurs, systèmes de mémoire, catalogues de données électroniques, capteurs, télescopes… Introduction aux Grilles de Calcul

21 Architecture d’une grille
Couche intergiciel : Ensemble de fonctions permettant aux ressources (serveurs, mémoires, réseaux, etc.) de participer à un contexte de grille unifié. le cerveau de la grille ! Gestion de ressources Ordonnancement (scheduling) Réservation Services d’information. Introduction aux Grilles de Calcul

22 Architecture d’une grille
Couche application : située au niveau le plus élevé qui comprend: Types d’applications: scientifiques, techniques, gestion, financières, portails… C'est la couche des utilisateurs de la grille. Introduction aux Grilles de Calcul

23 Introduction aux Grilles de Calcul
Services (1/3) Certificate Authorities Service de sécurité et d’authentification Garantir la confidentialité, l’intégrité et l’authentification Clé de réussite ou d’échec de la grille Service de désignation Grande variété d’objets (ordinateurs, services, données) Espace de noms uniforme et complet à travers l’environnement distribué. User Accounts Introduction aux Grilles de Calcul

24 Introduction aux Grilles de Calcul
Services (2/3) Service d’information Environnement dynamique (endroit et type des ressources) Nécessité de la disponibilité des ressources indépendamment de l’emplacement de l’utilisateur. Environnement riche en informations sur la grille Fournir des moyens pour enregistrer et obtenir des informations sur la structure, les services, statut… Introduction aux Grilles de Calcul

25 Introduction aux Grilles de Calcul
Services (3/3) Service de communication Protocoles variés prévus pour différents types de trafic Qualité de service Garantie de la bande passante. Gestion des ressources et ordonnancement Transparence pour l’utilisateur Optimisation des performances Service de suivie de l’état de la grille et la tolérance aux pannes. Introduction aux Grilles de Calcul

26 Outils pour la gestion de grille
Economy Security System management Uniform access Data locality Scheduling and resources allocation Ressources discovery Network Management Introduction aux Grilles de Calcul

27 Étapes de déploiement d’une grille
Intégration des différents composants matériels et logiciels en une ressource globale à travers le réseau. L’implémentation d’intergiciels offrant une vue transparente et consistante à cette ressource. Développement d’outils permettant le contrôle et la gestion de l’infrastructure et des applications. Développement d’applications exploitant cette infrastructure. Introduction aux Grilles de Calcul

28 Problématiques de recherche
Gestion de ressources (Ressources Management) Ordonnancement  Économique Gestion des données (Data Management) Découverte des services et des ressources. Scheduling Economics Grid Grid Economy Introduction aux Grilles de Calcul

29 Problématiques de recherche
Qualité de service (QOS) Réservation et co-allocation Datamining & Grid Computing Operating System ??? Introduction aux Grilles de Calcul

30 Grid Computing, une nouvelle vague!
Introduction aux Grilles de Calcul