EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Traitement d'incident: analyse Computing.

Slides:



Advertisements
Présentations similaires
Active Directory Windows 2003 Server
Advertisements

Implémentation de la gestion de réseau dans Windows 2000 et plus
Le Grid Computing Par Frédéric ARLHAC & Jérôme MATTERA.
DUDIN Aymeric MARINO Andrès
Point sur le DataGRID à Saclay – Mai 2001 D. Calvet, Z. Georgette, M. Huet, J-P. Le Fèvre, I. Mandjavidze, P. Micout, B. Thooris DAPNIA/SEI, CEA Saclay.
TOOLKIT INSTALLATION Disponible pour i686 uniquement sur marianne. ( Version unique pour.
Certificats Globus et DataGrid France
Grid Information Index Service D. Calvet, M. Huet, I. Mandjavidze DAPNIA/SEI CEA Saclay Gif-sur-Yvette Cedex.
Atelier System Copy.
FLSI602 Génie Informatique et Réseaux
SSH.
26 juin 2009LEFEVRE Christophe1 Module raw et connexions distantes.
Scanning.
EGEE is a project funded by the European Union under contract IST Gestion des données David Bouvet CCIN2P3 Présentation faite à partir des.
GESTION DE PARCS D’ORDINATEURS
Présentation de Windows 2000 Quest-ce que Windows 2000? 2 versions principales : 1.Windows 2000 Professionnel : Système dexploitation client (comme Windows.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks VO Fusion Pierrick Micout, CEA - DAPNIA.
Module 3 : Création d'un domaine Windows 2000
Utilisation avancée de linux
Module : Technologies des serveurs réseaux : FTP Dynamic Host Configuration Protocol Présenter par : Mounir GRARI.
Windows NT 4 Formation 8, 15, 31 janvier 2002
Plateforme de Calcul pour les Sciences du Vivant Soumission de jobs sur grille.
Active Directory Windows 2003 Server
Date : Juillet 2014 Formation : TAI Formateur : Tayeb BENDJELTI
CEDCOM architecture haute performance pour des applications “big data” Tanguy Raynaud Projet CEDAR.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Le monitoring réseau dans EGEE Guillaume.
KRIKORIAN Pierre HILMI Brahim
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks La région France et les sites de calcul EGEE.
Stéphane PREVOST Responsable Produit UTM
Expose sur « logiciel teamviewer »
Services de production grille en France Gilles Mathieu IN2P3-CC France Grilles Frédérique Chollet IN2P3-LAPP LCG France Rencontres France Grilles et LCG-France,
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Les sites de calcul EGEE en France David.
Vue d'ensemble Préparation de l'installation
Alice LCG Task Force Meeting 16 Oct 2008Alice LCG Task Force Meeting 16 Oct 2008 BARBET Jean-Michel - 1/20BARBET Jean-Michel - 1/20 LCGFR Marseille Juin.
EGEE is a project funded by the European Union under contract IST Noeud de Grille au CPPM.
Back Orifice Scénario en 3 étapes - Préparation & envoi - Infection & Installation - Prise de contrôle - Détections Possibles - Net-Based - Host-Based.
Accounting régional. Status actuel Base de données node56 : – 22GiB de données – 16 sites – 3.7TiB disponibles… Tous sites sur la base de données node56.
Gestion de données : Besoins de la VO Biomed Sorina Pop Laboratoire Creatis Université de Lyon, CREATIS; CNRS UMR5220; Inserm U1044; INSA-Lyon; Université.
Résumé CHEP 2010 Distributed processing and analysis Grid and cloud middleware Thèmes : 1.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Contact Sécurité du ROC français R. Rumler.
Module 3 : Création d'un domaine Windows 2000
EGEE-III INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks SLA, SLD, MoU et Sécurité Rolf Rumler, CC-IN2P3.
Déploiement LCG-2 Etat actuel au CC-IN2P3 Fabio Hernandez Centre de Calcul de l’IN2P3 Lyon, 22 juillet 2004.
Quattor : Opérations Courantes - G. Philippon/M. Jouvin4-5/2/2009Quattor : Opérations Courantes - G. Philippon Opérations courantes.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Transition vers EGEE-III (et EGI?) Pierre.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Rapport du ROC France Pierre Girard French.
F. Ohlsson-Malek Data GRID/WP6 meeting Lyon, 8 juillet 2002 ATLAS Data-Grid au CERN et au CCin2p3 F. Ohlsson-Malek, ISN-Grenoble et ATLAS-France.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks OSCT / OSCT-DC R. Rumler Lyon/Villeurbanne.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks TP Data Management René Météry CS Tutorial.
LHCb DC06 status report (LHCb Week, 13/09/06) concernant le CC : –Site currently fine / stable 3% of simulatated events 30% of reconstructed events –Site.
Sample Image CGGVeritas University - Massy Monday 10 December 2007 EGEODE VO meeting of GEOCLUSTER user's on the EGEE grid.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Data management David Bouvet IN2P3-CC Clermont.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Sécurité sur le GRID Ahmed Beriache (CGG)
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Sécurité sur le GRID Ahmed Beriache (CGG)
Enabling Grids for E-sciencE EGEE-III INFSO-RI Sécurité sur la Grille G. Philippon (LAL – CNRS ) Tutorial EGEE Utilisateur (DAKAR)
Intégration de BQS dans le gLite-CE. Réunion TCG Présentation des difficultés rencontrées: Installation gLite-CE et WMS –Sensibilité aux modifications.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Quelques commandes de la grille David Bouvet.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Session “Site Administrator” Pierre Girard.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Data Management René Météry CS Tutorial EGEE.
INFSO-RI Enabling Grids for E-sciencE Sécurité sur la Grille C. Loomis (LAL-Orsay) Tutorial EGEE Utilisateur (LAL) 8 octobre 2007.
EGEE is a project funded by the European Union under contract INFSO-RI Copyright (c) Members of the EGEE Collaboration Infrastructure Overview.
Mercredi 22 juin 2016 Suivi des jobs grille Colloque LCG France Mars 2007.
EGEE induction course, 22/03/2005 INFSO-RI Enabling Grids for E-sciencE Infrastructure Overview Pierre Girard French ROC deputy.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Monitoring dans EGEE Frederic Schaer ( Judit.
INFSO-RI Enabling Grids for E-sciencE Data management Daniel Jouvenot IN2P3-LAL ORSAY - 02/02/2007.
INFSO-RI Enabling Grids for E-sciencE La gestion des données Daniel Jouvenot LAL-IN2P3-CNRS 18/06/2008.
08/02/2007 Site Grille : Ambitions 2007 Pierre Girard LCG-France Tier
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Session “Site Administrator” Pierre Girard.
CREAM & ICE Réunion SA1-France 11 mars 2008
Déploiement d’un LCG CE
Transcription de la présentation:

EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Traitement d'incident: analyse Computing Element Pierre Girard French ROC deputy CC-IN2P3 administrator Activité SA1: “European Grid Support, Operation and Management”

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20092 Plan Rappel du fonctionnement du LCG-CE Installation et vérification du CE Suivi d’incident sécurité Conclusion

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20093 Fonctionnement du LCG-CE Soumission classique TCP PORT RANGE gatekeepe r Jobmanager LCAS LCMAPS gridftp GRIS/BDII 2) Authentification 3) Authorisation 1) soumission de job sur une queue 4) Fork avec l’utilisateur choisi 5) Soumet au batch et suit la progression du job

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20094 Fonctionnement du LCG-CE Fork d’un programme sur le CE TCP PORT RANGE Jobmanager LCAS LCMAPS gridftp GRIS/BDII 2) Authentification 3) Authorisation 1) globus-job-run/submit en mode fork 4) Fork avec l’utilisateur choisi JeFaisCeQueJeVeux.sh gatekeepe r

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20095 LCAS LCMAPS Fonctionnement du LCG-CE Accès au système de fichiers du CE TCP PORT RANGE Jobmanager GRIS/BDII 1) globus-url-copy/edg-gridftp-ls gsiftp://monce.fr/… gatekeepe r 2) Authentification 3) Authorisation Système de fichiers du CE gridftp 4) Accès au FS avec l’utilisateur choisi

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20096 Installation et vérification du CE Doit être paranoïaque car le lcg-CE est perméable Quelques vérifications ne font pas de mal –Droits d’accès utilisateurs réglés sur « Strict Minimum »  $HOME des comptes grille peuvent contenir les proxies  ~glite/.certs/ contient une copie du certificat serveur  Petites vérifications find /home \( -type f -o -type d \) -perm -\a+r -ls 2>/dev/null –Attention à ce que vous mettez et aux droits dans des répertoires comme /tmp –Un outil « tripwire »-like est indispensable pour les invariants –Un petit « ps » de temps en temps pour voir ce qui tourne Réglage des logs –Si possible avec redirection sur une machine  Syslogd –r; syslod-ng; etc. –Rétention de 90 jours des logs

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20097 Suivi d’incident sécurité Use Case: vol d’un certificat –Vous disposez du DN  /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Pierre Girard –De la période supposée du vol Actions 1.Bannissement du DN (LCAS) 2.Etablir l’historique d’utilisation 3.Faire des autopsies quand « core » du délit il y a 4.Nettoyer 5.Communiquer Acteurs –coordinateur sécurité  Coordonne le suivi d’incident, connaît les procédures et les réseaux de sécurité –Ingénieur système  Connaît l’installation des machines, intervient dessus et sait les faire parler, fournit des informations sur l’utilisation de la machine –Ingénieur réseau  Fournisseur d’information sur les connexions de et vers les machines visitées

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20098 Suivi d’incident sécurité Bannissement du DN (LCAS) –Sur le CE cclcgceli07_root# echo '"/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Pierre Girard"' >> /opt/glite/etc/lcas/ban_users.db –Resultat (depuis une UI) # Creation du proxy voms-proxy-init --voms dteam Enter GRID pass phrase: Your identity: /O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=Pierre Girard Creating temporary proxy Done Contacting voms.cern.ch:15004 [/DC=ch/DC=cern/OU=computers/CN=voms.cern.ch] "dteam" Done Creating proxy Done Your proxy is valid until Thu Apr 2 11:13: # Soumission globus-job-run cclcgceli07.in2p3.fr:2119/jobmanager-bqs-short /bin/hostname GRAM Job submission failed because authentication with the remote server failed (error code 7) # Accès gridftp edg-gridftp-ls gsiftp://cclcgceli07.in2p3.fr/ /opt/edg/libexec/edg-gridftp-base-ls: error globus_ftp_client: the server responded with an error Login incorrect. : globus_gss_assist: Error invoking callout 530-globus_callout_module: The callout returned an error 530-an unknown error occurred 530 End.

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/20099 Etablir l’historique d’utilisation /var/log/globus-gatekeeper.log –Mélange de logs  Globus-gatekeeper (format sur 2 lignes)  LCAS et LCMAPS  Globus-jobmanager –Plus facile à exploiter avec syslog:  Manque de doc pour les règles du syslog  Ex.: daemon.* => globus-gatekeeper + globus-jobmanager –On y trouve par commande reçue  Type (ping, jobmanager-, jobmanager-fork)  DN de l’utilisateur  IP de la machine cliente  Mapping vers le compte et groupe local  EDG_WL_JOBID (si existe)

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/ Logs du serveur GRID-FTP –Ce qu’un utilisateur a lu ou écrit sur votre CE –2 fichiers de logs, plutôt redondants, mais complémentaires  /var/log/globus-gridftp.log (presque tout) Action (TYPE: STOR, RETR, NLST) Compte local (USER) IP du client (DEST) Fichier ou directory (FILE) DATE= HOST=cclcgceli07.in2p3.fr PROG=globus-gridftp-server NL.EVNT=FTP_INFO START= USER=dteam001 FILE=/tmp BUFFER=0 BLOCK= NBYTES=167 VOLUME=/ STREAMS=1 STRIPES=1 DEST=[ ] TYPE=NLST CODE=226  /var/log/gridftp-session.log (important pour les comptes partagés) DN de l’utilisateur Compte local Hostname du client Ce qui a été accédé (mais pas comment) Etablir l’historique d’utilisation

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/ Etablir l’historique d’utilisation Les logs du LRMS –Exemple LCG-CE PBS Ryabinkin)  /opt/edg/var/gatekeeper/grid-jobmap_*: summaries of job run by lcgpbs and friends.  /var/spool/pbs/server_priv/accounting/*: Torque logs that carry most activity traces, we are mainly interested in start/end events.  /var/spool/pbs/server_logs/*: carry more verbose Torque logs, but exist only on the Torque server, not necessarily on the CE. –Doit vous permettre de retrouver l’historique des jobs sur les WNs  Facilite la vie si à la soumission le DN est « attaché » au job

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/ Autopsie de tout ce qui a été trouvé L’analyse des logs et la concertation entre acteurs –Identifier le ou les comptes locaux utilisés –Identifier les machines « visitées » –Identifier les actions entreprises via le MW –Trouver des « résidus » Sur chaque machine impactée –Pratiquer des autopsies (si possible, « in vivo »)  « lsof » sur les process de l’intrus  « strings » des binaires  Sauvegarde des logs et fichiers de l’intrus  Etc. –Vérifier s’il a pu avoir accès à des « proxies » (ex.: myvo-sgm) –Vérifier les services systèmes: cron, mail, etc. –Faite un rapport d’autopsie

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/ Nettoyer et communiquer Nettoyer ( Vous savez faire ) –« kill » des process du ou des comptes utilisés –Suppression (après sauvergarde) des fichiers de l’utilisateur que vous avez identifiés –Nettoyage des configurations (ex.: crontab) –Etc. Communiquer (coord. sécurité) –Rapport circonstancié aux instances de coordination « sécurité »  Description de l’utilisation de votre site  Liste exhaustive des machines externes contactées  Liste exhaustive des (DN, CA)s potentiellement exposés –Prévenir et obtenir des informations de vos confrères dont le site a été identifié comme « utilisé »  Ex.: Utilisation d’un WMS externe, son administrateur pourra vous fournir l’IP de l’UI –Contacter CA et VO, si vous suspectez le vol de certificats ou proxies  Ex.: Probable lors d’un mapping sur un compte partagé (dteamsgm)

Enabling Grids for E-sciencE Pierre GirardAtelier Sécurité – LCG-CE-02/04/ Conclusion LCG-CE est un agrégat de services –Tracer les agissements d’un individu demande de croiser les données sur le CE –Mais c’est faisable, voire automatisable (« parsing » de logs) Si vous centralisez les logs –Vous pouvez analyser plusieurs machines d’un coup –N’hésitez pas à fouiller avant la période supposée de l’incident  La grille a une certaine inertie… Vivement le « non-LCG »-CE –CREAM CE: plus de fork possible sur le CE Service SCAS en cours de tests (avec glexec) –Permet de gérer la politique d’authentification/authorisation de façon centralisée –Et donc de bannir un DN plus simplement