Optimisation de l’infrastructure du cluster de calcul IMNC avec HTCondor Albertine DUBOIS et Alexandre LIEGE dubois@imnc.in2p3.fr 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016

Contexte scientifique Simulation de systèmes et d’expérience d’imagerie médicale et de radiothérapie Géométrie du système Système d’acquisition Patient numérique Sources de particules (X, électrons, noyau radioactif) Code de simulation des interactions particule-matière basé sur des techniques Monte Carlo GATE Après reconstruction tomographique, image simulée d’un examen TEP au 18F-FDG Stockage de l’information d’intérêt Imagerie : énergie, position et direction des particules simulées ayant interagit avec le détecteur Radiothérapie : dose déposée dans les tissus Carte de distribution de dose Faisceau Cible (scanner X) 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016

10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016 Besoins Besoin en ressources de calcul importants Simulation d’un examen TEP corps entier 30 milliards 200 MBq 20 minutes 60 milliards Simulation des interactions particule-matière pour un évènement : µs – 100 µs 10000 heures de calcul, environ 400 jours Besoin d’un système de stockage performant et sécurisé Stockage des données brutes pour conserver un maximum d’informations sur les événements détectés jusqu’à plusieurs Go par simulationon 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016

Comment procéder ? BONS CANDIDATS POUR LE HTC = Nos codes de calcul (Geant4, GATE) sont scalables et parallélisables ! Chaque événement simulé dans le patient numérique est statistiquement indépendant de tout autre événement BONS CANDIDATS POUR LE HTC Time splitting = 1 simulation de Tacquisition=10 min sur 1 CPU 10 simulations de Tacquisition=1 min sur 10 CPU Données fusionnées en post traitement 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016

Le cluster de calcul IMNC Toutes nos machines sont hébergées dans la salle mutualisée de VirtualData Baie de stockage (20 To) Technologie NetApp (résilience et sécurisation des données) 35 nœuds au total – 700 coeurs 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016

10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016 Notre choix : HTCondor Utilisateurs Utilisé par d’autres laboratoires du domaine ayant une bonne expérience du HTC Open source Simple et adapté à nos besoins Prise en main rapide Gère aussi bien les scripts bash ou python S’occupe de tout (scheduling, priority, ressource management) Evolutif Job Manager Scheduling, log, accounting Ressource Manager Launching, control, monitoring Nœuds de calcul 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016

Optimisation d’HTCondor Une configuration devant satisfaire tous les utilisateurs du laboratoire (besoins en RAM et temps CPU différents suivant les applications) tout en offrant une certaine flexibilité Une seule queue de soumission Quelques soient les besoins de l’utilisateur en termes de CPU et de RAM Tous les nœuds du cluster sont accessibles indifféremment Pas de machine réservée à une application ou un groupe d’utilisateurs donnés Pas de timeout Job unitaire sans limite de temps 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016

Optimisation Une configuration devant satisfaire tous les utilisateurs du laboratoire (besoins en RAM et temps CPU différents suivant les applications) tout en offrant une certaine flexibilité Les priorités sont gérées sous forme de quotas dynamiques et par groupe Exécution des jobs suivant le nombre de CPUs et la RAM disponibles Limitation du nombre de CPUs accessibles pour un groupe donné Groupe QIM NARA IRIIB IBIV LongJob Quota (en % du nombre total de CPUs disponibles dans le cluster) 0.3 0.2 0.1 Dépassement du quota possible pour tous les groupes en cas de faible utilisation du cluster, sauf pour le groupe LongJob 10émes Journées Informatiques de l'IN2P3-IRFU - 26-29 septembre 2016