ESUP-Days 9, Paris, 5 février 2010

Présentation au sujet: "ESUP-Days 9, Paris, 5 février 2010"— Transcription de la présentation:

1 ESUP-Days 9, Paris, 5 février 2010
Etude technique « performance et haute disponibilité » de l’ENT de l'Université Paris Descartes Dominique Houdet-joly Pascal Aubry Yves Gerday Julien Marshall Olivier Waldek Richard Vatré

2 L’ENT à l’université Paris Descartes
Université pluridisciplinaire répartie sur 9 Ufr (ou facultés ) et 1 IUT 35000 étudiants 8000 personnels Enseignants, chercheurs, BIATOSS le point d’entrée unique vers les services numériques depuis fin 2008 ESUP-Days 7, Paris, 3 février 2009

3 Contexte de l’étude Installation de ESUP uPortal 2.6-dlm
au : 30 services dont 3 portlets Montée en charge sans problème sur le début l’année 2009 en moy consultations différentes par mois 35% des utilisateurs Nécessité de fiabiliser et de rendre évolutive l’architecture Un contexte de risque de crise pandémique Plusieurs incidents bloquants (sept/oct 2009) ESUP-Days 7, Paris, 3 février 2009

4 Architecture avant l’étude
Frontal web : 1 serveur virtuel OpenVZ Debian Mo RAM - 4 Go disque Serveur d’application : 1 serveur virtuel VmWare Debian 64 bits - 8 Go RAM - 20 Go disque JVM Architecture 64 bits permettant une meilleure utilisation de la mémoire disponible Frontal Serveur d’application protégé par le frontal apache mod_ajp Les connections au serveur d’application se font par le protocole ajp Bases de données Un serveur mutualisant les bases Mysql et Oracle ESUP-Days 7, Paris, 3 février 2009

5 Les incidents (sept-oct 2009)
Bug Oracle 9i un fichier de log a rempli la partition data (effet de bord de la mutualisation de MySql et Oracle) Surcharge du serveur MySQL dû à des requêtes mals formées Serveur CAS v2 JavaOutOfMemory Exception Page blanche sur le portail Cause probable : deadlock de la portlet esup-lecture v1.3.0 (le portail ne pouvait plus s’allouer de thread pour le rendu) ESUP-Days 7, Paris, 3 février 2009

6 Pourquoi cette étude ? ENT Compétences nécessaires
Mise en œuvre + optimisation + évolution P5 : une mise en œuvre rapide Compétences nécessaires Nombreuses Transversales Meilleures solutions Souvent empiriques Issues de l’expérience Un œil externe ESUP-Days 7, Paris, 3 février 2009

7 Qui ? Deux experts ESUP-Portail L’équipe de Paris Descartes
Pascal Aubry (Université de Rennes 1) Julien Marchal (Université de Nancy 2) L’équipe de Paris Descartes Yves Gerday Dominique Houdet-Joly Richard Vatré Olivier Waldek ESUP-Days 7, Paris, 3 février 2009

8 Comment ? Méthodologie Objectifs Analyse Recommandations
Intervention (transfert de compétences) Synthèse Objectifs Détecter et réparer les dysfonctionnements Consolider l’existant Préparer les évolution futures ESUP-Days 7, Paris, 3 février 2009

9 Quand ? Appel le 15 octobre Durée : trois semaines Fin le 13 novembre
Demande de la DSI Durée : trois semaines 26/10 : prise de contact (visio-conférence) 27/10 : transmission du plan d’action 29/10 : analyse du système (sur place) 2/11 : émission de recommandations 3-8 : premières modifications du système 9-10/11 : intervention sur le système Fin le 13 novembre Synthèse et dernières recommandations ESUP-Days 7, Paris, 3 février 2009

10 Plan d’action Analyse des pannes Analyse complète du système
Corrections rapides pour assurer le service Analyse complète du système Recommandations A moyen et long terme Intervention Transfert de compétences Synthèse ESUP-Days 7, Paris, 3 février 2009

11 Analyse des pannes Symptôme Cause probable
Page planche Cause probable Thread deadlock (esup-lecture 1.3.0) Script de détection des pannes inopérant ESUP-Days 7, Paris, 3 février 2009

12 Analyse du système En collaboration avec l’équipe
Compréhension des choix effectués Prise en compte des particularités locales Approche globale, complète et systématique Tout est lié ! Portail uPortal, applications, frontal CAS Webmail Backends LDAP Bases de données (Oracle & MySql) ESUP-Days 7, Paris, 3 février 2009

13 Premières recommandations
Description Importance/urgence Gains Effets de bords Aide des experts ESUP-Days 7, Paris, 3 février 2009

14 Tout le système concerné
Architecture Distribution de la charge, mise à jour frontal JVM Passage en 32 bits, optimisations CAS Mise à jour, redondance uPortal Sécurisation, optimisations LDAP Redondance Bases de données Mise à jour, architecture matérielle, structuration des données ESUP-Days 7, Paris, 3 février 2009

15 Exemple de recommandation
Frontal Apache : passer à Apache 2 et mod_proxy Description mod_jk (Apache 1.3) utilisé aujourd’hui n’est plus supporté, il doit être remplacé par mod_proxy (Apache 2) Importance/urgence Important, non urgent (à faire avant ou en même temps que le passage à plusieurs serveurs virtuels). Gains Possibilité de mise à jour pour la suite. Effets de bord Modifier le script de détection de l’activité de Tomcat. Aide des experts Configuration type de mod_proxy : LoadModule proxy_module modules/mod_proxy.so LoadModule proxy_ajp_module modules/mod_proxy_ajp.so ProxyPass / ajp://localhost:8009/ ESUP-Days 7, Paris, 3 février 2009

16 Interventions des experts
Analyse du système Une journée sur place Compréhension des contraintes locales Corrections rapides sécurité et continuité de service Émission rapide de recommandations Améliorations du système Deux journées sur place Transfert de compétences Dernières recommandations (moyen et long terme) ESUP-Days 7, Paris, 3 février 2009

17 Le point de vue des experts
Qu’attendre des experts ? La compétence Le « savoir-faire » Qu’attendent les experts ? La motivation ESUP-Days 7, Paris, 3 février 2009

18 Architecture suite à l’étude
Plus robuste Architecture Frontal web : serveur virtuel OpenVZ Debian Mo RAM - 4 Go disque Serveurs d’applications : 3 serveurs virtuels VmWare Debian 32 bits - 2 Go RAM - 10 Go disque Frontal Serveur d’application protégé par le frontal apache mod_proxy Load balancing + scripts de synchronisation Plus fiable Sécurisation du socle et des applications Monitoring des applications Par Lambda Probe Plus évolutive permet d’augmenter le nombre de serveurs d’application et de réaliser des migrations simplement ESUP-Days 7, Paris, 3 février 2009

19 Architecture à venir CAS MySql Serveurs de BDD Monitoring
Passage en v3 MySql Passage en v5 Serveurs de BDD En « Actif - Actif » entre MySQL et Oracle Monitoring Cacti/Nagios ou Munin ESUP-Days 7, Paris, 3 février 2009