La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

N. Melab & E-G. Talbi -G. Contributions Multi-Objective EO (MOEO) pour la mise en œuvre de loptimisation multi-objectif Moving Objects (MO) pour les métaheuristiques.

Présentations similaires


Présentation au sujet: "N. Melab & E-G. Talbi -G. Contributions Multi-Objective EO (MOEO) pour la mise en œuvre de loptimisation multi-objectif Moving Objects (MO) pour les métaheuristiques."— Transcription de la présentation:

1 N. Melab & E-G. Talbi -G

2 Contributions Multi-Objective EO (MOEO) pour la mise en œuvre de loptimisation multi-objectif Moving Objects (MO) pour les métaheuristiques à solution unique ParadisEO pour les métaheuristiques parallèles hybrides PARAllel and DIStributed Evolving Objects Parallélisme sur supports dédiés Passage de messages (MPI, PVM) Déploiement sur réseaux de stations Multi-programmation (PThreads) Machines multi-processeurs à mémoire partagée (SMPs) Environnements parallèles et distribués Cluster of SMPs (CLUMPS) Transparence à lutilisation EO ParadisEO MOMOEO MPI ( LAM, CH ) PVMPThreads S. Cahon, N. Melab and E-G. Talbi. ParadisEO: A Framework for the Reusable Design of Parallel and Distributed Metaheuristics. Journal of Heuristics, Vol.10(3), ISSN: , pages , May Projet Européen (Geneura Team, INRIA, LIACS)

3 EO ParadisEO-G MOMOEO MPICH-G2 Re-penser le framework pour prendre en compte les caractéristiques des grilles Multi-institutionnelle, hétérogène, volatile, à grande échelle Problèmes : sécurité, performance, tolérance aux pannes, déploiement efficace, etc. Coupler ParadisEO Globus Interface de programmation (MPICH-G2) Services de gestion de ressources et des communications – authentification et autorisation, transfert efficace, information, … Services Globus GT4 ParadisEO-G : ParadisEO sur Globus N. Melab, S. Cahon and E-G. Talbi. Grid Computing for Parallel Bioinspired Algorithms. Journal of Parallel and Distributed Computing (JPDC), Elsevier Science, Vol. 66(8), Pages , Aug

4 Outil de construction dune organisation virtuelle qui fournit les services de Globus et MPICH-G2 Mission dun IR INRIA associé (4 mois) Différentes images système avec des scripts dinstallation et post-installation Utilisée au sein de Grid5000 et Naregi Couplage naturel avec ParadisEO car … … même interface entre MPICH et MPICH-G2 Transfert de données efficace entre composants ParadisEO – Différents algorithmes Projet de Master Pro 2 TIIR Démarche de gridification de ParadisEO

5 La boîte à outils Globus La bibliothèque de communication MPICH-G2 Construction dune organisation virtuelle Globus Utilisation de ParadisEO-G pour le PSP Plan

6 The Globus Toolkit The Globus Project Argonne National Laboratory USC Information Sciences Institute

7 Globus Toolkit Cest un toolkit pour la gestion de problèmes techniques pour le … … développement doutils, services et applications pour les grilles Fournit un bag of technologies Fournit une implémentation standard de protocoles et APIs pour les grilles Permet le développement incrémental doutils et applications pour les grilles Est un toolkit logiciel open source

8 Architecture en couches Applications Core Services Metacomputing Directory Service GRAM Globus Security Interface Replica Catalog GASS GridFTP Local Services LSF CondorMPI NQEPBS TCP AIXLinux UDP High-level Services and Tools CactusCondor-GMPINimrod/Gglobusrun PUNCH Grid Status I/O Solaris DRM

9 Architecture en couches (par analogie à larchitecture dInternet) Application Fabrique Contrôle local: contrôle et accès aux ressources Connectivité Communication: communication (protocoles dInternet) & sécurité Ressources Partage de ressources: négociation daccès, contrôle dutilisation Collective Coordination de ressources multiples: services dinfrastructure, services dapplication distribués Network Transport Application Lien Internet Protocol Architecture

10 La couche Fabrique Ressources partagées … Ordinateurs individuels, pools Condor, systèmes de fichiers, archives, catalogues de meta-données, réseaux, capteurs, etc. … définies par des interfaces et non pas par des caractéristiques physiques

11 GSI: La couche Connectivité Communication Protocoles dInternet : IP, DNS, routage, etc. Sécurité: Grid Security Infrastructure (GSI) Authentification, autorisation, mécanismes de protection de messages dans un environnement multi-institutionnel Public key technology, SSL, X.509, GSS-API Supporting infrastructure: Certificate Authorities, certificate & key management, …

12 La couche Ressources Grid Resource Allocation Management (GRAM) Allocation à distance, réservation, monitoring, contrôle de ressources de calcul Protocole GridFTP (extensions de FTP) Accès à et transport de données haute performance Grid Resource Information Service (GRIS) Accès à linformation de structure et détat des ressources Réservation réseau, monitoring, contrôle GridFTP: GRAM, GRIS:

13 La couche Collective Serveurs dindex et services de meta-données Courtiers de ressources (ou resource brokers) (ex., Condor Matchmaker) Découverte et allocation de ressources Services de réplication et catalogues de réplicas Services de co-réservation et co-allocation Services de gestion de workflows, … Condor:

14 Pour plus dinformation … Globus Project Grid Forum Livre (Morgan Kaufman)

15 La boîte à outils Globus La bibliothèque de communication MPICH-G2 Construction dune organisation virtuelle Globus Utilisation de ParadisEO-G pour le PSP Plan

16 Architecture de MPICH

17 MPICH-G2 Lenvironnement grille Authentification et autorisation (GSI) Transfert dexécutables entre sites (GASS) Systèmes et politiques dordonnancement différents (GRAM – ordonnanceurs locaux) Allocation de ressources sur différents sites (DUROC+GRAM) Méthodes de communication différentes (MPI ou Globus IO) MPICH-G2 permet … … de cacher lenvironnement de la grille … dutiliser les services fournis par Globus

18 (GSI) GSI: Grid Security Infrastructure GASS: Global Access to Secondary Storage MDS: Monitoring and Directory Service GRAM: Grid Resource Allocation and Management DUROC: Dynamically-Updated Request Online Co-allocator RSL: Resource Specification Language (fichier RSL) Comment MPICH-G2 marche (1)

19 Authentification (grid-proxy-init) Obtenir un certificat permettant laccès aux ressources de chaque domaine dadministration (site) Appel à GSI Sélection de ressources avec MDS Génération manuelle ou avec mpirun dun script RSL Un script par site Spécification de ressources (processeurs, …) et besoins (CPU, mémoire, …) et paramètres (localisation des exécutables, variables denvironnement, ….) Comment MPICH-G2 marche (2)

20 Appel à DUROC Déploiement à laide de scripts RSL des tâches de lapplication en utilisant des appels à GRAM Déploiement de tâches avec GRAM Chargement éventuel dexécutables GASS Communication entre processus via Globus IO ou autre Comment MPICH-G2 marche (3)

21 Compilation of MPICH-G2 based application is complete % mpirun -dumprsl -np 12 ring RSL script to stdout RSL script to stdout % mpirun -globusrsl my.rsl mpirun invokes globusrun Exécution dapplications MPICH-G2 +(&(resourceManagerContact="sdd113") (count=12) (count=12) (label="subjob 0") (label="subjob 0") (environment= (environment= (GLOBUS_DUROC_SUBJOB_INDEX 0)) (GLOBUS_DUROC_SUBJOB_INDEX 0)) (directory="/home/voxel") (directory="/home/voxel") (executable="/home/voxel/ring") (executable="/home/voxel/ring")) Avant installation … … lutilisateur doit avoir accès à Globus Compilation et exécution …

22 La boîte à outils Globus La bibliothèque de communication MPICH-G2 Construction dune organisation virtuelle Globus Utilisation de ParadisEO-G pour le PSP Plan

23 A Master-Worker Globus VO Master node contains the … … Certification Authority … Monitoring and Discovery System (MDS) and has users credentials Each slave node has … … a Globus environment ready to be activated … and MDS service activated … a GRAM for local jobs submission (fork) … RFT and GridFTP activated … a Security service activated

24 Globus deployment overview (1) Frontal Reservation tool I want 20 nodes

25 Frontal Reservation tool node-1 node-4 … node-x Globus deployment overview (2)

26 Frontal Reservation tool node-1 node-4 … node-x griddeploy Globus image Globus deployment overview (3)

27 Master Frontal Reservation tool node-1 node-4 … node-x griddeploy Globus image Globus deployment overview (4)

28 Frontal Reservation tool node-1 node-4 … node-x griddeploy Globus image Master Globus deployment overview (5)

29 slave Master slave Frontal Reservation tool user data Globus deployment overview (6)

30 Globus data transfer overview (1) slave Master slave Frontal Reservation tool user data rft –h node-11 –f transfer.xfr

31 slave Master slave Frontal Reservation tool user data Globus data transfer overview (2)

32 Globus (mutlitple) job soumission overview (1) slave Master slave Frontal Reservation tool user data globusrun-ws -submit -J -S -f multi.rsl user data

33 slave Master slave Frontal Reservation tool user data globusrun-ws -submit -J -S -f multi.rsl user data Globus (mutlitple) job soumission overview (2)

34 La boîte à outils Globus La bibliothèque de communication MPICH-G2 Construction dune organisation virtuelle Globus Utilisation de ParadisEO-G pour le PSP Plan

35 RoadMap to run the experiment (interactive mode) I. Prepare the Grid Reserve nodes … oargridsub -q deploy -w 08:00:00 lille:nodes=10,bordeaux:nodes=10,sophia:nodes=20 … and store nodes in a file: oargridstat -l 1879 > mynodes Deploy the globus Image on all sites with this command: griddeploy.sh mynodes globus4 Choose a master node (anyone), then transfer the file containing the list of nodes on the master scp mynodes : … and finally log in as root on the master and run: #./globus/install.sh mynodes [OAR_GRIDSUB] Reservation success on lille : batchId = 1995, nbNodes = 10, weight = 0, properties = "", queue = deploy [OAR_GRIDSUB] Reservation success on bordeaux : batchId = 14615, nbNodes = 10, weight = 0, properties = "", queue = deploy [OAR_GRIDSUB] Reservation success on sophia : batchId = , nbNodes = 20, weight = 0, properties = "", queue = deploy [OAR_GRIDSUB] Grid reservation id = 1879

36 II. Run the experiment Transfert data to a globus node: scp –r frontale.lille.grid5000.fr:. Dump a job description file (RSL): mpirun -dumprsl -np >.rsl cat.rsl | sed -e 's|(executable="\(.*\)")|(executable=$(GLOBUSRUN_GASS_URL)\1)|g' > test.rsl In our example : mpirun -dumprsl -np 40 para_ga.rsl cat para_ga.rsl | sed -e 's|(executable="\(.*\)") | (executable=$(GLOBUSRUN_GASS_URL)\1)|g' > test.rsl The second line with sed substitutions is only necessary to stage in your data (including binary) if they are not present on each node (you can transfer it with RFT for instance). In batch mode, all this stuff is automatically done for you RoadMap to run the experiment (interactive mode)

37 La boîte à outils Globus La bibliothèque de communication MPICH-G2 Construction dune organisation virtuelle Globus Utilisation de ParadisEO-G pour le PSP Plan

38 M3 M2 M6 M5 M4 FRONTAL M2M3M4M5M6M1 FRONTAL M2M3M4M5M6M1 FRONTAL M2M3M4M5M6M1 M3 Deployment of ParadisEO-G4 1. Reserve a pool of nodes 2. Select a master node for the Globus GRID 3. Configure the Globus GRID (certificates, user credentials, xinetd, postgresql, etc.) 4. Deploy and execute – MPICH-G2 GRID5000: A fully reconfigurable grid! The configuration phase relies on the deployment of pre-built Linux « images » having Globus and MPICH-G2 already installed. Lille, Nice-Sophia Antipolis, Lyon, Nancy, Rennes: 400CPUs Non-preemtive reservation – no interference may occur; the processor are completely available during the reservation time. CLUSTER A CLUSTER B CLUSTER C


Télécharger ppt "N. Melab & E-G. Talbi -G. Contributions Multi-Objective EO (MOEO) pour la mise en œuvre de loptimisation multi-objectif Moving Objects (MO) pour les métaheuristiques."

Présentations similaires


Annonces Google