Les Grilles de Calcul Introduction Dominique Boutigny Préparé avec Véronique Donzeau-Gouge (DSA – ST2I) Jean-Michel Muller (ENS-Lyon)

Une grille... Pourquoi ? Mettre à la disposition des utilisateurs une puissance de calcul et des capacités de stockage importantes Garantir l’efficacité et la sécurité de ces calculs et stockages Fonctionner sur un mode décentralisé

Principales caractéristiques d'une Grille de calcul Une grille est constituée d'un ensemble d'ordinateurs et d'outils logiciels destinés à les faire fonctionner de manière cohérente Les ressources sont en principe hétérogènes Chaque nœud de la grille est administré localement. Mais une coordination centralisée est indispensable pour garder le système cohérent Un système d'information (même très simple) doit être présent pour allouer les ressources informatiques adaptées aux tâches à exécuter Le réseau sur lequel s'appuie la grille est crucial Un système d'authentification et de sécurité doit être présent

Différents types de grilles Grille de calcul Grille de données Données et calcul Docking moléculaire Imagerie médicale Astronomie Physique des Hautes Énergies

Projet Decrypton AFM – CNRS – IBM Tester l'interaction entre toutes les combinaisons protéine-protéine possibles Le paradigme maître-esclave Serveur maître Réseau Esclaves Paradigme simple, mais qui correspond à beaucoup d'applications Grand nombre de tâches similaires, indépendantes entre elles, a distribuer automatiquement sur une grille de calcul.

Les grilles de données ATAGG CATAG GCTAT AGGCC AGATT AA Production de données par de nombreuses équipes distribuées géographiquement et indépendantes L'ensemble des données doit être accessibles par tous

Les utilisateurs ne veulent pas voir la complexité SRB / iRODS SRB – Un exemple de grille de données SRB DB SRB Catalogue Envoyer données Recevoir données Envoyer données SRB DB SRB Catalogue SRB DB SRB Catalogue Recevoir données Développé à SDSC

Utilisation de SRB pour les applications biomédicales Serveur pour l'exportation des données (client SRB) IRM Acquisition PC de contrôle DICOM  push DICOM DICOM Le même type de système est parfaitement utilisable pour les données de Sciences Humaines Anonymisation

La grille américaine BIRN Biomedical Informatics Research Network Imagerie cérébrale – Étude des maladie du cerveau

Le LHC – Un énorme générateur de données Concorde (15 Km) Balloon (30 Km) CD stack with 1 year LHC data! (~ 20 Km) Mt. Blanc (4.8 Km) 15 pétaoctets de données chaque année > 6000 ordinateurs haut de gamme 15 M€ 15 PO de disque coûte environ 15 M€, et il faut aussi: De la redondance pour la sécurité Assurer les traitements successifs des données Stocker les résultats des simulations Monte-Carlo Assurer la mise à disposition des données pour une communauté distribuée dans le monde entier

La Grille pour le LHC n'est pas une option …CC-IN2P3 FZK PIC NDGF NIKHEF ASCC Brookhaven Fermilab TRIUMF RAL CNAF T1 (11) T0 T3 (beaucoup) T2 (52) Île de France Clermont Nantes Strasbourg Marseille Lyon CC-IN2P3 Annecy Grenoble C'est une nécessité …

EGEE: Une architecture de grille pluridisciplinaire Archéologie Astronomie & Astrophysique Protection civile Chimie Sciences de la Planète Simulation Financière Fusion Géophysique Physique des Hautes Energies Science de la vie MultiMedia Science des matériaux … De très nombreux domaines d'applications Des milliers d'utilisateurs à travers le monde

240 sites 45 pays 41,000 CPUs 5 pétaoctets >10,000 utilisateurs >150 VOs >100,000 tâches/jour

Interopérabilité L'idée d'une grille mondiale unique est un mythe  A terme les grilles doivent pouvoir inter-opérer OGF: Organisation visant à définir des standards ouverts

Les grilles et la fracture numérique Derrière l'Europe: 6 ans: Russie, Amérique Latine 7 ans: Moyen Orient, Asie du SE 8-9 ans: Asie du SO 11 ans: Asie Centrale 12 ans: Afrique Les grilles et en particuliers les projets partenaires d'EGEE: EELA, EUChinaGrid, EUMedGrid, EUIndiaGrid contribuent à la réduction de la fracture numérique – Idem pour le modèle de calcul du LHC R. L. Cottrell and S. Khan

Recherche sur les grilles ? "Il est plus facile de tirer une charrue avec un boeuf qu'avec mille poulets" Problèmes d'ordre technique (faire coopérer des matériels différents et distants) Problèmes d'ordre logiciel (distribuer le calcul d'une application sur de nombreux processeurs, aux performances hétérogènes)

Exemples de problèmes à résoudre (1) Gestion dynamique des ressources: Les machines ne sont pas disponibles en permanence, certaines sont en panne, Les performances du réseau d'interconnexion fluctuent avec la charge et le nombre d'utilisateurs... Sécurité et données confidentielles: Il faut garantir aux utilisateurs que personne ne pourra interférer dans leur calcul ou accéder à leurs données; Cryptographie

Exemples de problèmes à résoudre (2) Optimisation des performances: Des matériels divers sont mis en oeuvre à tous les niveaux (liens de communications, mémoires, disques, processeurs); cacher cette hétérogénéité. Faire bon usage de ces matériels pour obtenir leur meilleure performance simultanément est une tâche très complexe.

Domaines de recherches Protocoles dédiés aux grilles Environnements d'exécution de calculs Systèmes d’exploitation et bases de données distribués Tolérance aux panne Sécurité Algorithmes d'ordonnancement en contexte hétérogène. Parallélisation d'applications particulières pour les grilles. …

Spécificité des grilles de recherche Grille de production : Plate-forme applicative qui fournit des services de calcul de manière constante, ininterrompue et fiable. Grille de recherche: Plate-forme pour : Développer et valider des prototypes avant leur utilisation sur une grille de production. Supporter des expérimentations menées sur tous les éléments qui la composent (réseau, logiciels d'administrations, applications,...). Elle n'est donc ni fiable, ni constante. Permettre la recherche en informatique dans de nombreux domaines: systèmes, calcul parallèle, réseaux haut débit, bases de données, sécurité,....

Grilles de recherche / Grille de production Une collaboration entre les grilles de recherche et de production est essentielle : Les grilles de recherche développent les logiciels futurs des grilles de production Les grilles de production fournissent les données permettant de tester et valider les nouveaux développements

Les grilles de recherche en France Le projet Grid5000: 5000 processeurs (but à terme) Répartis sur 9 sites: Bordeaux, Grenoble, Lille, Lyon, Nancy, Orsay, Rennes, Sophia-Antipolis, Toulouse 8 laboratoires (UMR) du CNRS impliqués Ministère de l’enseignement et de la recherche, INRIA, CNRS, Universités des sites, quelques conseils régionaux, GIP RENATER

Grid5000 Actuellement 3326 processeurs et 9 sites connectés via RENATER à 10 Gb/s Tout récemment: une connexion a été établie entre Grid5000 et la grille japonaise NAREGI

Importance du réseau RENATER GÉANT La qualité du réseau est primordiale pour le fonctionnement des grilles de calcul

Démonstration... Démonstration basée sur le logiciel jjs développé par Pascal Calvat (CC-IN2P3) Utilisation des nœuds de la grille EGEE Particulièrement adapté pour la soumission de taches courtes