Sortir de MAUI – quelles options ? HTCondor dans un CREAM-CE Guillaume Philippon.

Présentation au sujet: "Sortir de MAUI – quelles options ? HTCondor dans un CREAM-CE Guillaume Philippon."— Transcription de la présentation:

1 Sortir de MAUI – quelles options ? HTCondor dans un CREAM-CE Guillaume Philippon

2 C’est simple ! Yum install condor Service condor start C’est fini – Mais 1 seule machine – 1 slot par cœur – Aucune sécurité

3 Les principales différences Pas de queue – Mais le CREAM-CE si Pas de gestion des groupes – Les jobs définissent le groupe Les workers acteurs de la configuration – Définissent leurs propres préférences

4 Configuration: Tout est ClassAd Qu’est ce que c’est que ce gros mot ? – clef = expression – STARTD = true – STARTD = ( x509UserProxyVOName == "ops » )

5 Le fair-share N’est pas basé sur l’historique ! – Le fair-share se fait sur la base de ce qui tourne actuellement + fini récemment Hiérarchique – Mais quoi mettre en dessous de la VO ? Le rôle ? La queue de soumission ? (atlas et le multicoeur par ex.)

6 Et le multicore ? Par défaut, 1 slot par cœur Mais possibilité de déclarer 1 slot sur plusieurs cœur – Oups ! Mon slot n’est pas partitionable !!! – 1 option et c’est réglé Et la famine ! – Un démon qui permet de défragmenter les workers – Mais d’autres approchent son testé dans certains sites

7 Juste un mot sur le développement Stable – Pas d’ajout de fonctionnalité – Essentiellement des correctifs de sécurité/stabilité Développement – Terme trompeur (dixit les développeurs) – Ajout de fonctionnalité – En production depuis 1 ou 2 mois au Nebraska

8 L’intégration au CREAM-CE Comment simuler les queues ? – De base, pas grand chose Comment gérer les groupes et les priorités ? – Aucune gestion utilisateur/groupe dans condor – Les jobs définissent leurs groupes Comment appliquer des politiques différentes suivant les queues ? Et faire tous ca façon condor – En utilisant les ClassAds

9 Heureusement un script pour nous sauver /usr/libexec/condor_local_submit_attributes.s h – Permet d’ajouter des ClassAd au job soumis – Mais assez peu pratique à utiliser Des expressions régulières pour définir l’accounting group – Pour l’instant basé sur le rôle

10 Policy group Différentes queue CREAM, différentes politiques pour le job – Queue courte/queue longue Oui, mais dans condor… pas de queue – Ajout d’une ClassAd « policy group » Utilisé pour définir les politiques

11 Et l’accounting Aujourd’hui rien de spécifique à HTCondor – On transforme les logs Condor en log PBS – On publie via le plugin PBS de appel Mais APEL travail à un plugin dédié

12 La publication Le provider BDII est vieux mais fonctionne encore mais: – Bug de publication quand on configure le multicoeur – Pas de VOView Du coup, pas de distinction VO car 1 seul queue Refait le plugin en python pour fixer le bug multicoeur – Mais encore du travail a faire pour régler les VOView

13 Et les ARC-CE Semble être la voie privilégié par la plupart des sites – HTCondor totalement intégré aux ARC-CE Installé et utilisé à l’IRFU – Mais pas d’accounting local / national

14 Et maintenant ! 2 sites (CREAM-CE) en production en France – LLR: opération 0 maui – LAL: nouveau CE ouvert et (depuis hier) en test pour ATLAS 1 sites (ARC-CE) en production en France – IRFU