Albertine DUBOIS et Alexandre LIEGE

Présentation au sujet: "Albertine DUBOIS et Alexandre LIEGE "— Transcription de la présentation:

1 Optimisation de l’infrastructure du cluster de calcul IMNC avec HTCondor
Albertine DUBOIS et Alexandre LIEGE 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016

2 Contexte scientifique
Simulation de systèmes et d’expérience d’imagerie médicale et de radiothérapie Géométrie du système Système d’acquisition Patient numérique Sources de particules (X, électrons, noyau radioactif) Code de simulation des interactions particule-matière basé sur des techniques Monte Carlo GATE Après reconstruction tomographique, image simulée d’un examen TEP au 18F-FDG Stockage de l’information d’intérêt Imagerie : énergie, position et direction des particules simulées ayant interagit avec le détecteur Radiothérapie : dose déposée dans les tissus Carte de distribution de dose Faisceau Cible (scanner X) 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016

3 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016
Besoins Besoin en ressources de calcul importants Simulation d’un examen TEP corps entier 30 milliards 200 MBq 20 minutes 60 milliards Simulation des interactions particule-matière pour un évènement : µs – 100 µs 10000 heures de calcul, environ 400 jours Besoin d’un système de stockage performant et sécurisé Stockage des données brutes pour conserver un maximum d’informations sur les événements détectés jusqu’à plusieurs Go par simulationon 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016

4 Comment procéder ? BONS CANDIDATS POUR LE HTC =
Nos codes de calcul (Geant4, GATE) sont scalables et parallélisables ! Chaque événement simulé dans le patient numérique est statistiquement indépendant de tout autre événement BONS CANDIDATS POUR LE HTC Time splitting = 1 simulation de Tacquisition=10 min sur 1 CPU 10 simulations de Tacquisition=1 min sur 10 CPU Données fusionnées en post traitement 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016

5 Le cluster de calcul IMNC
Toutes nos machines sont hébergées dans la salle mutualisée de VirtualData Baie de stockage (20 To) Technologie NetApp (résilience et sécurisation des données) 35 nœuds au total – 700 coeurs 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016

6 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016
Notre choix : HTCondor Utilisateurs Utilisé par d’autres laboratoires du domaine ayant une bonne expérience du HTC Open source Simple et adapté à nos besoins Prise en main rapide Gère aussi bien les scripts bash ou python S’occupe de tout (scheduling, priority, ressource management) Evolutif Job Manager Scheduling, log, accounting Ressource Manager Launching, control, monitoring Nœuds de calcul 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016

7 Optimisation d’HTCondor
Une configuration devant satisfaire tous les utilisateurs du laboratoire (besoins en RAM et temps CPU différents suivant les applications) tout en offrant une certaine flexibilité Une seule queue de soumission Quelques soient les besoins de l’utilisateur en termes de CPU et de RAM Tous les nœuds du cluster sont accessibles indifféremment Pas de machine réservée à une application ou un groupe d’utilisateurs donnés Pas de timeout Job unitaire sans limite de temps 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016

8 Optimisation Une configuration devant satisfaire tous les utilisateurs du laboratoire (besoins en RAM et temps CPU différents suivant les applications) tout en offrant une certaine flexibilité Les priorités sont gérées sous forme de quotas dynamiques et par groupe Exécution des jobs suivant le nombre de CPUs et la RAM disponibles Limitation du nombre de CPUs accessibles pour un groupe donné Groupe QIM NARA IRIIB IBIV LongJob Quota (en % du nombre total de CPUs disponibles dans le cluster) 0.3 0.2 0.1 Dépassement du quota possible pour tous les groupes en cas de faible utilisation du cluster, sauf pour le groupe LongJob 10émes Journées Informatiques de l'IN2P3-IRFU septembre 2016