Présentation préparée avec C. Germain, B. Kegl et M. Jouvin.

Présentation au sujet: "Présentation préparée avec C. Germain, B. Kegl et M. Jouvin."— Transcription de la présentation:

1 Présentation préparée avec C. Germain, B. Kegl et M. Jouvin

2 (pré)Histoire de la Grille Paris Sud (pré)Histoire de la Grille Paris Sud Les besoins de la communauté HEP Les besoins de la communauté HEP La collaboration physiciens/informaticiens La collaboration physiciens/informaticiens Le capital existant Le capital existant Les différentes ressources Les différentes ressources Activités scientifiques Activités scientifiques Les nouvelles ambitions Les nouvelles ambitions Conclusions Conclusions Griile Paris Sud 2

3 Depuis 15 ans, HEP repose sur la production et lexploitation de grandes masses de données Depuis 15 ans, HEP repose sur la production et lexploitation de grandes masses de données Volume des données simulées ~ données expérimentales Volume des données simulées ~ données expérimentales LHC : 15 PB de données expérimentales par an LHC : 15 PB de données expérimentales par an Stocker et traiter (efficacement) ces données est un défi technologique Stocker et traiter (efficacement) ces données est un défi technologique Centres de calcul isolés : Impossible, besoin dinfrastructures de calcul distribuées Centres de calcul isolés : Impossible, besoin dinfrastructures de calcul distribuées HPC et/ou GPU : essentiel des besoins inadaptés, coût élevé HPC et/ou GPU : essentiel des besoins inadaptés, coût élevé Grille : émerge comme la solution alternative Grille : émerge comme la solution alternative ~10 ans de R&D pour aboutir à une infrastructure européenne (mondiale) performante : seule infrastructure pour le LHC ~10 ans de R&D pour aboutir à une infrastructure européenne (mondiale) performante : seule infrastructure pour le LHC Griile Paris Sud 3

4 Mise en place dune ressource local conséquente : GRIF Mise en place dune ressource local conséquente : GRIF Initiative conjointe de 6 laboratoires IN2P3/CEA en 2005 Initiative conjointe de 6 laboratoires IN2P3/CEA en 2005 2 laboratoires P11 (LAL + IPNO) impliqués, 4 sur Saclay-Orsay-X 2 laboratoires P11 (LAL + IPNO) impliqués, 4 sur Saclay-Orsay-X Un des plus gros sites de la grille européenne Un des plus gros sites de la grille européenne Financé par LCG France et EGEE (core services) Financé par LCG France et EGEE (core services) GRIF depuis ses origines ouvert à de nombreuses communautés hors HEP GRIF depuis ses origines ouvert à de nombreuses communautés hors HEP Biomed, sciences de la terre, astrophysique, chimie, systèmes complexes… Biomed, sciences de la terre, astrophysique, chimie, systèmes complexes… Forte implication dans les projets européens autour de la grille depuis le début (2000) Forte implication dans les projets européens autour de la grille depuis le début (2000) Mise en place dune ressource local conséquente : GRIF Mise en place dune ressource local conséquente : GRIF Initiative conjointe de 6 laboratoires IN2P3/CEA en 2005 Initiative conjointe de 6 laboratoires IN2P3/CEA en 2005 2 laboratoires P11 (LAL + IPNO) impliqués, 4 sur Saclay-Orsay-X 2 laboratoires P11 (LAL + IPNO) impliqués, 4 sur Saclay-Orsay-X Un des plus gros sites de la grille européenne Un des plus gros sites de la grille européenne Financé par LCG France et EGEE (core services) Financé par LCG France et EGEE (core services) GRIF depuis ses origines ouvert à de nombreuses communautés hors HEP GRIF depuis ses origines ouvert à de nombreuses communautés hors HEP Biomed, sciences de la terre, astrophysique, chimie, systèmes complexes… Biomed, sciences de la terre, astrophysique, chimie, systèmes complexes… Forte implication dans les projets européens autour de la grille depuis le début (2000) Forte implication dans les projets européens autour de la grille depuis le début (2000) Griile Paris Sud 4

5 5 23/01/2012 Griile Paris Sud 5 350 sites 200K cores 50 pays 40PBytes Etc. La grille phare de lespace européen de recheche A léchelle du LHC Ouverte depuis son orgine aux autres communautés scientifiques : 3,3M jobs/mois hors HEP

6 Collaboration entre physiciens et chercheurs en informatique de luniversité dès 2002 Collaboration entre physiciens et chercheurs en informatique de luniversité dès 2002 2002-2005 : PPF Augernome-Xtremweb pour lexploration de la technologie desktop grid en // avec la grille de production 2002-2005 : PPF Augernome-Xtremweb pour lexploration de la technologie desktop grid en // avec la grille de production Thèse dinformatique dun ingénieur LAL qui devriendra un membre des projets européens desktop grid des 5 dernières années (EDGeS/EDGI) Thèse dinformatique dun ingénieur LAL qui devriendra un membre des projets européens desktop grid des 5 dernières années (EDGeS/EDGI) Thèse dinformatique avec intégration des résultats opérationnels dans le principal middleware dEGI. Thèse dinformatique avec intégration des résultats opérationnels dans le principal middleware dEGI. A partir de 2005, évolution vers la problématique du traitement des données massives A partir de 2005, évolution vers la problématique du traitement des données massives 2006-2009 : PPF DEMAIN (Des données massives aux interprétations) 2006-2009 : PPF DEMAIN (Des données massives aux interprétations) Informatique, biologie, traitement du signal, imagerie médicale Informatique, biologie, traitement du signal, imagerie médicale Mise en place du Grid Observatory : collection de données sur la grille pour alimenter la recherche en informatique, portail public daccès aux données www.grid-observatory.org Mise en place du Grid Observatory : collection de données sur la grille pour alimenter la recherche en informatique, portail public daccès aux données www.grid-observatory.org Griile Paris Sud 6

7 A partir de 2010, projets Grille Paris Sud associant ressources et expertise en traitement de données acquise dans DEMAIN A partir de 2010, projets Grille Paris Sud associant ressources et expertise en traitement de données acquise dans DEMAIN 2 MRM : 2010-2011 et 2012-2014 (en cours) 2 MRM : 2010-2011 et 2012-2014 (en cours) Ressources basées sur GRIF et XtremWeb Ressources basées sur GRIF et XtremWeb Expertise scientifique : LRI (équipe TAO) + LAL (groupe AppStat) Expertise scientifique : LRI (équipe TAO) + LAL (groupe AppStat) Griile Paris Sud 2002-2005 PPF Augernome- XtremWeb 2006- 2009 PPF DEMAIN 2010- 2011 MRM Grille Paris Sud 2012- 2014 MRM Grille Paris Sud 7

8 GRIF : une ressource de calcul et de stockage très importante GRIF : une ressource de calcul et de stockage très importante 8000 cœurs, 2,5 PB de disque dont 30% localisés dans P11 8000 cœurs, 2,5 PB de disque dont 30% localisés dans P11 1 réseau interne privé 10 Gb/s + 1 connectivité externe 10 Gb/s 1 réseau interne privé 10 Gb/s + 1 connectivité externe 10 Gb/s 6 ans dexpérience de travail en commun quotidien pour la gestion scientifique et technique du site 6 ans dexpérience de travail en commun quotidien pour la gestion scientifique et technique du site Expérience de mutualisation gagnant-gagnant Expérience de mutualisation gagnant-gagnant Cloud IaaS (à la Amazon) à partir de la participation au projet européen StratusLab Cloud IaaS (à la Amazon) à partir de la participation au projet européen StratusLab 250 cœurs, 50 TB de disque 250 cœurs, 50 TB de disque Intégration progressive dune partie des ressources de GRIF dans le cloud Intégration progressive dune partie des ressources de GRIF dans le cloud Grille XtremWeb : prête à une extension plus large sur PSud Grille XtremWeb : prête à une extension plus large sur PSud Griile Paris Sud 8

9 Equipe technique gérant ses ressources : ~15 FTEs Equipe technique gérant ses ressources : ~15 FTEs ~5 sur luniversité Paris 11 (principalement LAL) ~5 sur luniversité Paris 11 (principalement LAL) 1 grande compétence de gestion dune infrastructure de production dans le cadre dune infrastructure distribuée 1 grande compétence de gestion dune infrastructure de production dans le cadre dune infrastructure distribuée Expérience du support utilisateur avec des communautés de toute taille Expérience du support utilisateur avec des communautés de toute taille Plusieurs experts des technologies de calcul distribués impliqués dans les projets européens autour des différentes composantes Plusieurs experts des technologies de calcul distribués impliqués dans les projets européens autour des différentes composantes Grille (EGEE/EGI), Cloud (StratusLab), Desktop grid (EDGeS/EDGI) Grille (EGEE/EGI), Cloud (StratusLab), Desktop grid (EDGeS/EDGI) Expertises spécifiques aux projets, qui peuvent être mutualisées Expertises spécifiques aux projets, qui peuvent être mutualisées Visualisation (ex : mur dimage LRI + LAL) Visualisation (ex : mur dimage LRI + LAL) Gestion de données… Gestion de données… Griile Paris Sud 9

10 Cristallisation de plusieurs projets scientifiques autour du traitement et de linterprétation des données massives Cristallisation de plusieurs projets scientifiques autour du traitement et de linterprétation des données massives GRIF est un centre de calcul essentiel pour lInstitut des Systèmes Complexes GRIF est un centre de calcul essentiel pour lInstitut des Systèmes Complexes Analyse génétique de variations combinées (haplotypes) avec lINSERM ayant débouché sur un article dans Nature Genetics Analyse génétique de variations combinées (haplotypes) avec lINSERM ayant débouché sur un article dans Nature Genetics Grid Observatory : enrichissement des problématiques autour du Green Computing Grid Observatory : enrichissement des problématiques autour du Green Computing Instrumentation de la salle machine du LAL pour collecter des données énergétiques Instrumentation de la salle machine du LAL pour collecter des données énergétiques Corrélation avec les informations sur lutilisation Corrélation avec les informations sur lutilisation GO portal : www.grid-observatory.org GO portal : www.grid-observatory.org Siminole (2010-2014) : projet financé par lANR COSINUS Siminole (2010-2014) : projet financé par lANR COSINUS Rendre les simulations plus efficaces : optimisation, inference et discriminative learning Rendre les simulations plus efficaces : optimisation, inference et discriminative learning Dirigé par léquipe AppStat du LAL Dirigé par léquipe AppStat du LAL Griile Paris Sud 10

11 Poursuite des projets R&D sur les architectures matérielles et les infrastructures de calcul distribuées Poursuite des projets R&D sur les architectures matérielles et les infrastructures de calcul distribuées PetaQCD : besoins spécifiques à LQCD (calculs massivement parallèles à fort taux déchanges, 9 partenaires Physique + Informatique) PetaQCD : besoins spécifiques à LQCD (calculs massivement parallèles à fort taux déchanges, 9 partenaires Physique + Informatique) Postdoc P2IO 2011 Postdoc P2IO 2011 GridCL : impact de lintégration de ressources many-core/GPU dans les infrastructures de calcul distribuées sur des applications phares de physique GridCL : impact de lintégration de ressources many-core/GPU dans les infrastructures de calcul distribuées sur des applications phares de physique R&D P2IO 2011 R&D P2IO 2011 Gestion et accès performant à de grands volumes de données dans les infrastructures distribuées, en particulier les clouds Gestion et accès performant à de grands volumes de données dans les infrastructures distribuées, en particulier les clouds Griile Paris Sud 11

12 Griile Paris Sud 12 Faire profiter luniversité plus largement de ces moyens importants Faire profiter luniversité plus largement de ces moyens importants De plus en plus de communautés confrontées à linterprétation de données massives : les faire bénéficier de lexpérience acquise De plus en plus de communautés confrontées à linterprétation de données massives : les faire bénéficier de lexpérience acquise Les expériences réussies naissent de la rencontre dun besoin et dune expertise Les expériences réussies naissent de la rencontre dun besoin et dune expertise LUniversité Paris Sud possède les deux ! LUniversité Paris Sud possède les deux ! Une relation directe et un tutorat sont décisifs Une relation directe et un tutorat sont décisifs Lexploitation efficace des ressources globalisées nimplique pas un changement de modèle de calcul, mais demande un accompagnement Lexploitation efficace des ressources globalisées nimplique pas un changement de modèle de calcul, mais demande un accompagnement MRM : ambassadeur de la Grille Paris Sud MRM : ambassadeur de la Grille Paris Sud Faire connaitre les moyens disponibles Faire connaitre les moyens disponibles Assister les utilisateurs dans leurs premiers pas Assister les utilisateurs dans leurs premiers pas

13 Griile Paris Sud 13 Développer le pôle dexpertise en statistique computationelle et apprentissage Développer le pôle dexpertise en statistique computationelle et apprentissage Un groupe transverse LRI/INRIA + LAL aux compétences reconnues Un groupe transverse LRI/INRIA + LAL aux compétences reconnues 4 thèses co-dirigées, 15 articles co-signés depuis 2006 4 thèses co-dirigées, 15 articles co-signés depuis 2006 Un atout pour les autres communautés de luniversité Un atout pour les autres communautés de luniversité La chance dune colocalisation avec de grosses ressources et des groupes de physique avec des besoins stimulants La chance dune colocalisation avec de grosses ressources et des groupes de physique avec des besoins stimulants

14 Griile Paris Sud 14 Ambassadeur du MRM (1/2 FTE) : faire connaitre la ressource et promouvoir son utilisation dans lUniversité Paris Sud Ambassadeur du MRM (1/2 FTE) : faire connaitre la ressource et promouvoir son utilisation dans lUniversité Paris Sud Contacter les départements pour identifier des utilisateurs potentiels pouvant tirer bénéfice de la plateforme Contacter les départements pour identifier des utilisateurs potentiels pouvant tirer bénéfice de la plateforme Organiser des tutoriels sur les différentes composantes de la plateforme (grille, cloud) Organiser des tutoriels sur les différentes composantes de la plateforme (grille, cloud) Assister les utilisateurs à la fois dans leur utilisation et le developpement/portage de leurs applications Assister les utilisateurs à la fois dans leur utilisation et le developpement/portage de leurs applications Cet ambassadeur aura une expertise technique en développement dapplication Cet ambassadeur aura une expertise technique en développement dapplication Animer une coordination des réflexions autour de la technologie cloud sur luniversité Animer une coordination des réflexions autour de la technologie cloud sur luniversité Journée cloud durant lannée 2012-2013 Journée cloud durant lannée 2012-2013

15 Griile Paris Sud 15 Systèmes informatiques globalisés Statistique computationnelle, apprentissage, optimisation Données Massives Simulation Expérimentation e-science Partage Capacité de traitement Production de données sur leur propre fonctionnement Motivation Problèmes difficiles, bruités Passage à léchelle des méthodes Déploiement des traitements Optimisation des systèmes

16 Le pôle Grille Paris Sud est aussi un atout majeur pour Paris Sud dans la dynamique Université de Paris Saclay Le pôle Grille Paris Sud est aussi un atout majeur pour Paris Sud dans la dynamique Université de Paris Saclay Aucun ensemble ressource + expertise comparable chez les autres partenaires Aucun ensemble ressource + expertise comparable chez les autres partenaires Via GRIF, déjà des liens avec CEA (Irfu) et Ecole Polytechnique Via GRIF, déjà des liens avec CEA (Irfu) et Ecole Polytechnique Réflexion depuis plusieurs années dans le cadre de P2IO sur le regroupement possible de lhébergement des ressources autour dune salle machine mutualisée Réflexion depuis plusieurs années dans le cadre de P2IO sur le regroupement possible de lhébergement des ressources autour dune salle machine mutualisée En fait 1 salle sur 2 lieux pour mettre en oeuvre des problématiques de haute disponibilité En fait 1 salle sur 2 lieux pour mettre en oeuvre des problématiques de haute disponibilité Réflexion en cours sur la possibilité dune des salles dans la vallée dans le cadre du maintien de P2IO Réflexion en cours sur la possibilité dune des salles dans la vallée dans le cadre du maintien de P2IO Réutilisation/transformation d1 batiment technique existant Réutilisation/transformation d1 batiment technique existant Ouverture à dautres partenaires : discussion en cours avec la DI Ouverture à dautres partenaires : discussion en cours avec la DI Griile Paris Sud 16

17 10 ans de collaboration riche et fructueuse entre physique et informatique 10 ans de collaboration riche et fructueuse entre physique et informatique Construction dune grande infrastructure de calcul ouverte sur lUniversité Paris Sud, avec des moyens pour chercher et accompagner de nouveaux utilisateurs Construction dune grande infrastructure de calcul ouverte sur lUniversité Paris Sud, avec des moyens pour chercher et accompagner de nouveaux utilisateurs Développement dactivités de recherche autour de cette infrastructure, particulièrement linterprétation de données massives Développement dactivités de recherche autour de cette infrastructure, particulièrement linterprétation de données massives Ce pôle ressources + expertise est un atout de Paris Sud dans la dynamique de lUniversité Paris Saclay Ce pôle ressources + expertise est un atout de Paris Sud dans la dynamique de lUniversité Paris Saclay Pourrait aussi être un axe du réinvestissement de la vallée Pourrait aussi être un axe du réinvestissement de la vallée P2IO prêt à sinscrire dans une démarche plus large prenant en compte dautres besoins de lUniversité P2IO prêt à sinscrire dans une démarche plus large prenant en compte dautres besoins de lUniversité Réflexion souhaitable sur les modalités dun soutien de PSud au pôle transversal de statistique computationnelle et apprentissage Réflexion souhaitable sur les modalités dun soutien de PSud au pôle transversal de statistique computationnelle et apprentissage Griile Paris Sud 17