Introduction aux Grilles de Calcul Journées du Parallélisme 2005 Introduction aux Grilles de Calcul UTIC - Heithem ABBES 28-04-2005

Introduction aux Grilles de Calcul Plan Introduction. Avantages des grilles de calcul. Applications des grilles de calcul. Évolution technologique et économique. Caractéristiques de la grille. Architecture de la grille. Problématique de recherche. Introduction aux Grilles de Calcul

Introduction aux Grilles de Calcul Inspiration de la grille d’électricité (power grid) Disponibilité universelle et économie viable. Par analogie: une infrastructure matérielle et logicielle Accès fiable, cohérent et bon marché à des capacités de stockage et de calcul. Introduction aux Grilles de Calcul

Introduction aux Grilles de Calcul Grille de calcul (Grid Computing) coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations (VO). [I.Foster] VO : Groupement d’utilisateurs selon leurs différents besoins et intérêts. Politique. Offre une grille de calcul pour ses utilisateurs. Introduction aux Grilles de Calcul

Avantages des grilles de calcul Exploiter les ressources sous utilisées Taux d’utilisation des PC et des stations de travail 30% (milieux académiques et industriels) 5% (machines grand public) Meilleure utilisation de certaines ressources Partage des ressources spéciales Équipements spécifiques (microscope, bras robotique…) Logiciels dont le prix de la licence est élevé. Fournir une importante capacité de calcul parallèle Assurer la fiabilité et la disponibilité des services Dispersion géographique des ressources Mécanismes de contrôle et de gestion Fiabilité Continuité Introduction aux Grilles de Calcul

Applications des grilles de calcul (1/6) Supercalculateur réparti (Distributed supercomputing) Agréger une importante quantité de ressources Fournir une puissance de calcul Calcul haut-débit (High-Throughput Computing) Exécution parallèle des tâches. Calcul sur demande (On-Demand Computing) Utilisation temporaire de ressources Possession permanente n’est pas rentable. Capacités de calcul, logiciels, bases de données… Introduction aux Grilles de Calcul

Applications des grilles de calcul (2/6) Calcul Collaboratif (Collaborative Computing) Interaction entre humains. Environnements de simulation en temps réel. Systèmes de réalité virtuelle à objectifs éducatifs. Génération, traitement et stockage d’énormes quantités de données (Dataintensive Computing) Stockage d’une quantité importante d’informations générées. Introduction aux Grilles de Calcul

Applications des grilles de calcul (3/6) CERN (European Organization for Nuclear Research) Large Hardron Collider (LHC) en 2007 Plus puissant accélérateur des particules qui n’a jamais été construit. 15 Péta byte chaque année LHC Computing grid (LCG) 5200 CPU 7,5 TB capacité du stockage 68 sites [ERCIM NEWS, OCTOBER 2004] Introduction aux Grilles de Calcul

Applications des grilles de calcul (4/6) SETI@home Recherche de l’Intelligence Extraterrestre. programme qui télécharge et analyse les données du télescope de la radio. Introduction aux Grilles de Calcul

Applications des grilles de calcul (5/6) Prédiction de climat Simulation pour la prévision du météo à long terme. 12 semaines pour certaines simulations. Introduction aux Grilles de Calcul

Applications des grilles de calcul (6/6) Bioinformatique Simulation des molécules et l’analyse de génome et d’ADN. Introduction aux Grilles de Calcul

Évolution technologique et économique Les applications scientifiques demandent: Rapidité. Puissance calculatoire. Grande mémoire. Machine parallèle Super-calculateurs Inconvénients: Coût !!! Performance Évolution des performances Serveurs de calcul et de stockage Technologies réseaux et la bande passante Introduction aux Grilles de Calcul

Évolution technologique et économique Réseaux vs. Performance des PC La vitesse des CPU double tous les 18 mois. La vitesse de débit double tous les 9 mois. 1986 - 2000 PC: x 500 Réseaux: x 340,000 2001 - 2010 PC: x 60 Réseaux: x 4000 Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. Introduction aux Grilles de Calcul

Évolution technologique et économique Autrefois… Super-calculateur Cluster (par Christophe Jacquet) Introduction aux Grilles de Calcul

Évolution technologique et économique …Aujourd’hui (par Christophe Jacquet) Modèle informatique réparti : Grid Computing Introduction aux Grilles de Calcul

Caractéristiques des grilles de calcul Les principales caractéristiques des grilles de calcul: Existence de plusieurs domaines administratifs Distribution géographique des ressources. Différentes organisations avec leurs propres politiques. Respecter les politiques de chaque organisation. Hétérogénéité des ressources Matérielles et logicielles Passage à l’échelle (scalability) Contraintes sur les applications et les algorithmes de gestion de ressources. Nature dynamique des ressources Changement du nombre de ressources (retrait/ajout) Tolérance aux pannes Introduction aux Grilles de Calcul

Caractéristiques d’une grille de calcul Grille de calcul & Grappe de calculateurs Plusieurs institutions Plusieurs domaines administratifs Hétérogénéité des ressources Passage à l’échelle Dynamicité Une seule institution Un seul domaine administratif Introduction aux Grilles de Calcul

Architecture d’une grille Modèle en couches. Couches hautes axées sur l'utilisateur. Couches basses plus orientées vers les ordinateurs et les réseaux. Introduction aux Grilles de Calcul

Architecture d’une grille Couche réseau : Connectabilité des ressources sur la grille. Niveau matériel Introduction aux Grilles de Calcul

Architecture d’une grille Couche ressources : constituée des ressources de la grille, Ordinateurs, systèmes de mémoire, catalogues de données électroniques, capteurs, télescopes… Introduction aux Grilles de Calcul

Architecture d’une grille Couche intergiciel : Ensemble de fonctions permettant aux ressources (serveurs, mémoires, réseaux, etc.) de participer à un contexte de grille unifié. le cerveau de la grille ! Gestion de ressources Ordonnancement (scheduling) Réservation Services d’information. Introduction aux Grilles de Calcul

Architecture d’une grille Couche application : située au niveau le plus élevé qui comprend: Types d’applications: scientifiques, techniques, gestion, financières, portails… C'est la couche des utilisateurs de la grille. Introduction aux Grilles de Calcul

Introduction aux Grilles de Calcul Services (1/3) Certificate Authorities Service de sécurité et d’authentification Garantir la confidentialité, l’intégrité et l’authentification Clé de réussite ou d’échec de la grille Service de désignation Grande variété d’objets (ordinateurs, services, données) Espace de noms uniforme et complet à travers l’environnement distribué. User Accounts Introduction aux Grilles de Calcul

Introduction aux Grilles de Calcul Services (2/3) Service d’information Environnement dynamique (endroit et type des ressources) Nécessité de la disponibilité des ressources indépendamment de l’emplacement de l’utilisateur. Environnement riche en informations sur la grille Fournir des moyens pour enregistrer et obtenir des informations sur la structure, les services, statut… Introduction aux Grilles de Calcul

Introduction aux Grilles de Calcul Services (3/3) Service de communication Protocoles variés prévus pour différents types de trafic Qualité de service Garantie de la bande passante. Gestion des ressources et ordonnancement Transparence pour l’utilisateur Optimisation des performances Service de suivie de l’état de la grille et la tolérance aux pannes. Introduction aux Grilles de Calcul

Outils pour la gestion de grille Economy Security System management Uniform access Data locality Scheduling and resources allocation Ressources discovery Network Management Introduction aux Grilles de Calcul

Étapes de déploiement d’une grille Intégration des différents composants matériels et logiciels en une ressource globale à travers le réseau. L’implémentation d’intergiciels offrant une vue transparente et consistante à cette ressource. Développement d’outils permettant le contrôle et la gestion de l’infrastructure et des applications. Développement d’applications exploitant cette infrastructure. Introduction aux Grilles de Calcul

Problématiques de recherche Gestion de ressources (Ressources Management) Ordonnancement  Économique Gestion des données (Data Management) Découverte des services et des ressources. Scheduling Economics Grid Grid Economy Introduction aux Grilles de Calcul

Problématiques de recherche Qualité de service (QOS) Réservation et co-allocation Datamining & Grid Computing Operating System ??? Introduction aux Grilles de Calcul

Grid Computing, une nouvelle vague! Introduction aux Grilles de Calcul