L’environnement de production WISDOM

Présentation au sujet: "L’environnement de production WISDOM"— Transcription de la présentation:

1 L’environnement de production WISDOM

2 WISDOM (World-wide In Silico Docking On Malaria) est à l’origine une organisation qui a pour but de prouver la pertinence de l’utilisation de la grille dans la recherche de médicaments contre les maladies négligées 2005 2006 2007 2008 Wisdom-I Malaria Plasmepsin DataChallenge Grippe aviaire Neuraminidase Wisdom-II Malaria 4 targets DataChallenge Diabetes Alpha-amylase GRIDS EUROPEAN PROJECTS INSTITUTES EGEE, Auvergrid, TwGrid, EELA, EuChina, EuMedGrid SCAI, CNU Academica Sinica of Taiwan ITB, Unimo Univ,, LPC, CMBA CERN-Arda, Healthgrid, KISTI Embrace EGEE BioInfoGrid

3 L’initiative WISDOM LPC Clermont-Ferrand: Biomedical grid
SCAI Fraunhofer: Knowledge extraction, Chemoinformatics KISTI Grid technology CEA, Acamba project: Biological targets, Chemogenomics Univ. Modena: Biological targets, Molecular Dynamics Chonnam Nat. Univ. In vitro tests HealthGrid: Biomedical grid, Dissemination ITB CNR: Bioinformatics, Molecular modelling Academica Sinica: Grid user interface Univ. Los Andes: Biological targets, Malaria biology Univ. Pretoria: Bioinformatics, Malaria biology

4 Les activités de WISDOM
Activités de calcul montrer la pertinence de la grille pour la bioinformatique développer un environnement capable de monitorer les déploiements sur grille: l’Environnement de Production Wisdom Fournir la grille aux non-experts Activités biologiques Etablir un workflow de criblage virtuel sur grille Trouver de nouveaux médicaments pour lutter contre les maladies négligées

5 L’environnement de Production Wisdom
Déployer un environnement de monitoring des jobs sur grille de calcul Produire de grandes quantités de données pendant les data challenges dans un temps minimal et en utilisant un minimum de moyens humains Gérer le fait que la grille est hétérogène et dynamique un workflow de grille: soumission de job automatique, gestion des statuts de jobs, récupération des erreurs utiliser les modes push et pull

6 Wisdom Production environment
SEs User Interface Job submission CE & WNs WMS Software WISDOM production system DMS Protein Statistics Job Job status / Resubmission Compounds SRM Statistics Results AMGA 2. Post-Processing WMS: Workload Management System CE: Computing Element SE: Storage Element DMS: Data Management System SRM: Storage Resource Management Inputs Outputs 3. Lab Validation

7 Push-WPE ->> Pull-WPE
Changer le WPE pour améliorer: Flexibilité Efficacité CE & WNs Génération des jobs avec un ensemble de tâches Génération de jobs sans tâches PUSH Job PULL WISDOM production system WISDOM production system Retrouve les informations des tâches AMGA Retroube les tâches et leurs informations

8 Performances PUSH Malaria I Malaria II Avian Flu Diabetes 41 millions
Nombre de dockings années CPU Temps réel CPUs utilisés Quantités de données produites Crunching Factor Efficacité de distribution Modèle Malaria I 41 millions 80 6 sem 1700 1TB 400 25% PUSH Malaria II 142 millions 2,5 mois Jusqu’à 5000 1,6 TB 2000 40% Avian Flu 4 millions 100 1,5 mois 800 GB 900 50 % (>80% DIANE) Diabetes 300, 000 40 2,5 jours 7000 6000 85 % PULL

9 Apporter la grille aux non-experts
WISDOM ENVIRONMENT Complexe et inflexible Pour les gens familiers avec la grille Application de recherche de médicaments UTILISE LES AVANTAGES DES RESSOURCES DE CALCUL ET DE STOCKAGE DE LA GRILLE Utilisateurs Non-experts Plusieurs outils bioinfos 2008-…

10 INTERFACE WEB SERVICES
Implémentation Moteur de Workflow Portail Web WS Client INTERFACE WEB SERVICES SERVICES WISDOM MIDDLEWARE DE GRILLE RESSOURCES DE GRILLE

11 Wisdom Production environment
FTP HTTP File IS Bio IS WISDOM Information System AMGA Local Data Repository Data Manager Local Data Repository Data Manager Database Service Data Management APIs Client Services Transfer Manager EGEE EGEE DIGITAL RIBBON SE CE SE SE CE CE SE Task Manager OSG Tasks Management APIs Job Manager Job Submitter Data Metadata Jobs

12 WISDOM data manager Services de haut-niveau pour gérer les données et les métadonnées reliées aux applications et aux tâches Services qui peuvent être utilisés pour déployer et synchroniser des données sur la grille (BD incluses) ensemble d’APIs permettant d’accéder et de requêter les données WISDOM information system Basé sur AMGA DEUX MONDES Infos sur les fichiers Infos Biologiques

13 WISDOM Information System
Data Manager Upload Service File IS Bio IS WISDOM Information System Local Data Repository Biodata APIs Database Service Data Manager File APIs Transfer Manager FTP FTP HTTP HTTP Data Metadata EGEE SE CE DIGITAL RIBBON OTHER GRID

14 Système de soumission des jobs
Retroube les informations du BDII concernant les CD (nombre de CPU, nombre de CPU libres,…) Définit le lancement en fonction des infos du CE Initialise the voms proxy Génère les JDL Soumet les jobss en utilisant la soumission multithreadée Jusqu’à ce que tous les jobs soient done (success): Récupère le statut des jobs en utilisant le checking multithreadé Resoumet les jobs si besoin est Réinitialise le voms proxy si besoin est Met à jour les informations sur AMGA

15 Interactions du task manager
1 2 Utilisateur - Crée un nouveau service/une nouvelle tâche, spécifie les tags requis Job Liste les softs installés sur les WN (tags) Requête les tâches Task manager Crée un nouveau répertoire de tâche / service Retourne un id de tâche Liste les services possibles en fonction des tags Retourne une tâche 1 2

16 Processus de soumission de tâches
Tool WEB SERVICE Crée et gère les tâches Information System (AMGA) Task Manager Prend une tâche (info sur les programmes et les paramètres) 1 Prend les informations correspondantes 2 6 Stocke les données résultats Supprime la tâche Storage Element 5 Computing Element 3 Prend les packages de programmes correspondant et récupère les données correspondantes 4 Exécute la tâche

17

18 Exemple Nom du service : blast.tar.gz Création d’une tâche
~/blast/  répertoire du nom du service ~/blast/createTask  exécutable de création de tâche ~/blast/scripts.tar.gz  scripts d’utilisation d’AMGA ~/blast/blast.sh  shell du service Création d’une tâche ~/createTask –s BLAST –u <username> –c <contrainte> –a <paramètres> les paramètres sont séparés par : ~/createTask –s BLAST –u reichma–c gilda –a seq.fasta:db.fasta Basé sur un fichier shell