La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Plateforme de Calcul pour les Sciences du Vivant Lenvironnement de production WISDOM.

Présentations similaires


Présentation au sujet: "Plateforme de Calcul pour les Sciences du Vivant Lenvironnement de production WISDOM."— Transcription de la présentation:

1 Plateforme de Calcul pour les Sciences du Vivant Lenvironnement de production WISDOM

2 Plateforme de Calcul pour les Sciences du Vivant 2 WISDOM (World-wide In Silico Docking On Malaria) est à lorigine une organisation qui a pour but de prouver la pertinence de lutilisation de la grille dans la recherche de médicaments contre les maladies négligées Wisdom-I Malaria Plasmepsin DataChallenge Grippe aviaire Neuraminidase Wisdom-II Malaria 4 targets DataChallenge Diabetes Alpha-amylase EGEE, Auvergrid, TwGrid, EELA, EuChina, EuMedGrid Embrace EGEE BioInfoGrid SCAI, CNU Academica Sinica of Taiwan ITB, Unimo Univ,, LPC, CMBA CERN-Arda, Healthgrid, KISTI GRIDS EUROPEAN PROJECTSINSTITUTES

3 Plateforme de Calcul pour les Sciences du Vivant Linitiative WISDOM Univ. Los Andes: Biological targets, Malaria biology LPC Clermont-Ferrand: Biomedical grid SCAI Fraunhofer: Knowledge extraction, Chemoinformatics Univ. Modena: Biological targets, Molecular Dynamics ITB CNR: Bioinformatics, Molecular modelling Univ. Pretoria: Bioinformatics, Malaria biology Academica Sinica: Grid user interface HealthGrid: Biomedical grid, Dissemination CEA, Acamba project: Biological targets, Chemogenomics Chonnam Nat. Univ. In vitro tests KISTI Grid technology

4 Plateforme de Calcul pour les Sciences du Vivant Les activités de WISDOM Activités de calcul montrer la pertinence de la grille pour la bioinformatique développer un environnement capable de monitorer les déploiements sur grille: lEnvironnement de Production Wisdom Fournir la grille aux non-experts Activités biologiques Etablir un workflow de criblage virtuel sur grille Trouver de nouveaux médicaments pour lutter contre les maladies négligées

5 Plateforme de Calcul pour les Sciences du Vivant Lenvironnement de Production Wisdom Déployer un environnement de monitoring des jobs sur grille de calcul Produire de grandes quantités de données pendant les data challenges dans un temps minimal et en utilisant un minimum de moyens humains Gérer le fait que la grille est hétérogène et dynamique un workflow de grille: soumission de job automatique, gestion des statuts de jobs, récupération des erreurs utiliser les modes push et pull https://sourceforge.net/projects/wisdom-pe/

6 Plateforme de Calcul pour les Sciences du Vivant Wisdom Production environment AMGA 2. Post- Processing WMS 3. Lab Validation User Interface WISDOM production system Job submission CE & WNs Job SEs Software Protein Compounds Results Statistics Job status / Resubmission Statistics WMS:Workload Management System CE: Computing Element SE: Storage Element DMS: Data Management System SRM: Storage Resource Management Inputs Outputs DM S SR M

7 Plateforme de Calcul pour les Sciences du Vivant Push-WPE ->> Pull-WPE AMGA PUSH WISDOM production system CE & WNs Job PULL WISDOM production system Génération des jobs avec un ensemble de tâches Génération de jobs sans tâches Retrouve les informations des tâches Retroube les tâches et leurs informations Changer le WPE pour améliorer: Flexibilité Efficacité

8 Plateforme de Calcul pour les Sciences du Vivant Performances Nombre de dockings années CPU Temps réel CPUs utilisés Quantités de données produites Crunching Factor Efficacité de distribution Modèle Malaria I 41 millions806 sem17001TB40025% Malaria II 142 millions4002,5 mois Jusquà ,6 TB200040% Avian Flu 4 millions1001,5 mois GB % (>80% DIANE) Diabetes 300, ,5 jours %PULL

9 Plateforme de Calcul pour les Sciences du Vivant Apporter la grille aux non-experts WISDOM ENVIRONMENT Complexe et inflexible Pour les gens familiers avec la grille Application de recherche de médicaments Utilisateurs Non-experts Plusieurs outils bioinfos UTILISE LES AVANTAGES DES RESSOURCES DE CALCUL ET DE STOCKAGE DE LA GRILLE …

10 Plateforme de Calcul pour les Sciences du Vivant Implémentation MIDDLEWARE DE GRILLE RESSOURCES DE GRILLE SERVICES WISDOM INTERFACE WEB SERVICES Moteur de Workflow Portail WebWS Client

11 Plateforme de Calcul pour les Sciences du Vivant Wisdom Production environment Fi le IS Bi o IS WISDOM Information System AMGA WISDOM Information System Client Services Local Data Repositor y Data Manager Local Data Repository Database Service Database Service Data Manager Data Management APIs Transfer Manager FTPHTTP EGEE SESE SESE CECE CECE DIGITAL RIBBON SESE SESE EGEE EGEE SE CE SE CE OSG Data Metadata Job Manager Job Submitter Jobs Task Manager Tasks Management APIs

12 Plateforme de Calcul pour les Sciences du Vivant Infos Biologiques Infos sur les fichiers WISDOM data manager Services de haut-niveau pour gérer les données et les métadonnées reliées aux applications et aux tâches Services qui peuvent être utilisés pour déployer et synchroniser des données sur la grille (BD incluses) ensemble dAPIs permettant daccéder et de requêter les données WISDOM information system Basé sur AMGA

13 Plateforme de Calcul pour les Sciences du Vivant Data Manager File IS Bio IS WISDOM Information System File IS Bio IS WISDOM Information System Local Data Repositor y Biodata APIs Database Service Database Service Data Manager File APIs Transfer Manager Local Data Repositor y Biodata APIs Database Service Database Service Data Manager File APIs Transfer Manager FT P HTT P FTP HTTP Data Metadata Data Metadata EGEE SESE SESE CECE CECE DIGITAL RIBBON SESE SESE CECE CECE Data Metadata Data Metadata EGEE SE CE OTHER GRID SE CE Upload Service

14 Plateforme de Calcul pour les Sciences du Vivant Système de soumission des jobs Retroube les informations du BDII concernant les CD (nombre de CPU, nombre de CPU libres,…) Définit le lancement en fonction des infos du CE Initialise the voms proxy Génère les JDL Soumet les jobss en utilisant la soumission multithreadée Jusquà ce que tous les jobs soient done (success): Récupère le statut des jobs en utilisant le checking multithreadé Resoumet les jobs si besoin est Réinitialise le voms proxy si besoin est Met à jour les informations sur AMGA

15 Plateforme de Calcul pour les Sciences du Vivant Interactions du task manager

16 Plateforme de Calcul pour les Sciences du Vivant Processus de soumission de tâches Information System (AMGA) Tool WEB SERVICE Task Manager Crée et gère les tâches Storage Element Computing Element Prend les packages de programmes correspondant et récupère les données correspondantes Prend une tâche (info sur les programmes et les paramètres) Prend les informations correspondantes 4 4 Exécute la tâche 5 5 Stocke les données résultats 6 6 Supprime la tâche

17 Plateforme de Calcul pour les Sciences du Vivant

18 Exemple Nom du service : blast.tar.gz –~/blast/ répertoire du nom du service –~/blast/createTask exécutable de création de tâche –~/blast/scripts.tar.gz scripts dutilisation dAMGA –~/blast/blast.sh shell du service Création dune tâche –~/createTask –s BLAST –u –c –a –les paramètres sont séparés par : –~/createTask –s BLAST –u reichma–c gilda –a seq.fasta:db.fasta Basé sur un fichier shell


Télécharger ppt "Plateforme de Calcul pour les Sciences du Vivant Lenvironnement de production WISDOM."

Présentations similaires


Annonces Google