Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 1 Intégration de mnoGoSearch.

Présentation au sujet: "Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 1 Intégration de mnoGoSearch."— Transcription de la présentation:

1 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 1 Intégration de mnoGoSearch sur le site de lEtat de Vaud http://www.vd.ch Jean-Luc Thirot Centre de Compétence Web Content Management System DSI / DI / Pôle Plates-formes transversales Juin 2009

2 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 2 Thèmes abordés Pourquoi changer IndexedSearch? Pourquoi mnoGoSearch? Résultats Installation et configuration

3 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 3 Indexed Search nest pas adapté Un audit en juin 2008 à clairement identifié que Indexed Search était responsable des pertes de performances du site en raison des charges sur la base de données MySQL. Il est aussi admis que ce moteur nest pas adapté pour des sites de plus de 100 pages [1]. Indexed Search gère 7 requêtes simultanées et met 10 secondes pour afficher une requête. Lindexation est la recherche sont pénalisantes.

4 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 4 Des chiffres Typo3 version 4.1.7 (actuelle 4.1.10 - 4.2.6) mnogoSearch version 3.3.7 (actuelle 3.3.8) Statistiques du mois de Juin 2008: 3 millions de pages vues (dont 30000 pages de recherche) Pointe à 200000 pages vues sur la journée la plus chargée 10% des requêtes pendant l'heure de pointe (11h) Dans le pire des cas, on a donc une pointe de fréquentation de 20000 pages en une heure Cela nous donne une moyenne de 5,5 pages par seconde

5 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 5 Conclusion de laudit « Au cours de ce test, on constate que la charge serveur est très élevée, proche de 50, avec des centaines de processus Apache en attente. La page de recherche affiche un temps de réponse démesuré (280 secondes soit près de 5 minutes). Pendant tout le test, le processus MySQL est resté à 100% de CPU ce qui montre qu'il est le point limitant. »

6 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 6 Pourquoi mnoGoSearch? Solution open source Préconisé par les auditeurs Préconisé par Dmitri Dulepov –Intégré à Typo3

7 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 7 Test de charge avec mnoGoSearch 48 x plus rapide Temps moyen pour afficher une page –Indexed Search = 6599ms –Static files = 235ms –mnoGoSearch = 135ms

8 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 8 Indexer vite DBMode = multi => 6h. DBMode= blob => 1h20 multi threads « indexer –N10 » => 40 minutes.

9 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 9 Charges lors de lindexation 5 juin 2009 Load average max de 10 durant 40 minutes

10 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 10 Architecture Serveur 1 Typo3 et MySql Serveur 2 mnoGoSearch et MySQL Indexer.conf Search.htm Cron pour lindexation journalière sr_iframe_modifie www.vd.ch Binaires (pdftotext)

11 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 11 mnoGoSearch vs Indexed Search Avantages de mnoGoSearch La vitesse La charge sur le serveur pour la recherche et lindexation Le plugin Typo3 « mnoGoSearch » [3] fait par Dmitry Dulepov [2] Utilisation dun moteur indépendant et spécialisé Désavantages de mnoGoSearch Les accès sur les pages privées ne sont pas gérés [1] Le Typo3 core travaille sur lamélioration de Indexed Search pour la version 4.3 [1] mais avec un gain en vitesse de 2 à 3x.

12 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 12 Bibliographie 1.Indexed Search Enhanced Finding results faster with full-text, Michael Stucki http://typo3.org/fileadmin/t3n/articles/t3n_nr14_indexedsearchenhan ced.pdf 2.DMITRY-DULEPOV.COM http://dmitry-dulepov.com/article/eight-performance-tips-for-your- typo3-web-site.html 3.Extension mnoGoSearch http://typo3.org/extensions/repository/view/mnogosearch/current/ 4.Mnogosearch engine with mm_forum http://techblog.evo.pl/en/2009/04/02/mnogosearch-and-mmforum/

13 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 13 Question?

14 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 14 Qualité RecherchemnoGoSearchGoogleRemarque vivarium2824 Maternité bas revenu 263557 Emploi17119540 Emplois556568 Emplois taille135143 Emplois taille 2007 86190(409) Mise en évidence+ Résumé++ Pertinence++ Version html+ L'anti dictionnaire-+

15 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 15 Divers Remarques iFrame (sr_iframe)Modifications nécessaires de lextension Taille verticale fixe Programmation de la page de recherche mnoGo Utilisation dexpression régulière pour afficher le titre Les parsersIls doivent être à jour même si les dernières versions datent Modification des templates Typo3 Ajout des balises … pour exclure des éléments de la page de lindexation.

16 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 16 Charges lors de lindexation 15 octobre 2008 Load average max de 2.9

17 Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 17 Configuration pour lindexation Configuration mnoGoSearch DBMode = multi => 6h. DBMode= blob => 1h20 multi threads « indexer –N10 » => 40 minutes. Le mode live nest pas en place (indexation+recherche simultanée) Le site est indexé à 4h00 du matin La taille des documents à indexer est limitée à 3Mo. Cette taille ne semble pas pauser de problèmes aux parsers ou à lindexer.