Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0)21 316 26 00 - Fax: ++41(0)21 316 27 26 Page 1 Intégration de mnoGoSearch.

Slides:



Advertisements
Présentations similaires
19/06/02Kikiteam-ASI3n°1 / 21 Lenchere est en hausse… Forum, FAQ, Stats ! By KiKiTeam : Maxime Chambreuil, Minh LeHoai, Samy Fouilleux, Soizic Geslin.
Advertisements

Présentation des technologies SharePoint 2007
ZOTERO logiciel de gestion bibliographique
GEF 435 Principes des systèmes d’exploitation
ALMA Application Lifecycle Management Association
Association des Parents d'Élèves
Prise en charge des AES aux urgences
Département Édition - Intégration SEMINAIRE SOA Migration du canal Esup MonDossierWeb Olivier Ziller / Charlie Dubois Université Nancy 2 16 octobre 2007.
Conception Utilise le CMS opensource Wordpress (Utilisé par 14% du 1 er million 1 ; «Open Source CMS Award 2 » en 2007 et prix du meilleur CMS.
Synthèses de la législation européenne: une introduction 2008.
Synthèses de la législation européenne: une introduction 2009.
ACTIVITES Le calcul littéral (3).
Le developpement web  Préparé par : ASSAL Lamiae JAMALI Zakarya
Serveurs web pour JSP et Servlets
Guillaume KRUMULA présente Exposés Système et Réseaux IR3 Mardi 5 Février 2008.
Vote électronique par internet, du 13 au 20 octobre 2011 Le nouveau cadre des élections professionnelles 2011.
IronWEB : Une architecture distribuée
JOME, un Composant Logiciel pour le Télé-Enseignement des Mathématiques via le WEB, Compatible OpenMath et MathML Laurent DIRAT OVE / I3S-UNSA.
Les moteurs de recherche Par Pauline RAUDET
Introduction aux CMS.
Les Raccords sur Circuits AC Cuivre SPLITS – MULTI - DRV
Gestion de la communication par établissement sur le site ville
1 5 octobre 2011 / paw Présentation du 7 octobre 2011.
Comparatif des différents CMS Les CMS de E-commerce.
Dream Factory: Enguerran Poulain Paul Fontaine Akram Benayaha
> a patent search service supplied by Patents & Technology Surveys Ltd PROFESSIONAL ONLINE PATENT INFORMATION SERVICE.
Control des objectifs des technologies de l’information COBIT
Que faut-il pour créer et soutenir une banque de données Denis Guedez Thomson Reuters ABJS VjBS - Zürich 11 Avril 2008 denis.guedez[at] thomson.com.
Présenté par : Kalleli Dhouha
Lycée Louis Vincent Séance 1
1 Guide de lenseignant-concepteur Vincent Riff 27 mai 2003.
IUT2 de Grenoble Université Pierre Mendès France
1 SITLOR Nouvelle fonctionnalité logicielle à venir ! Modification de la saisie et de lexploitation des Horaires 1 Nouveau !!
Annuaires et moteurs de recherche d’information sur Internet
CAS DE RECHERCHE SUR LES BASES - Mme Nafissa BELCAID (OMPIC) -
Département fédéral de lintérieur DFI Office fédéral de la statistique OFS La qualité de lemploi en Suisse Silvia Perrenoud Journées suisses de la statistique.
1 CLUB DES UTILISATEURS SAS DE QUÉBEC COMMENT TRANSFORMER UN PROGRAMME SAS EN TÂCHE PLANIFIÉE SOUS WINDOWS Présentation de Jacques Pagé STRiCT Technologies.
SITES E-COMMERCE RESPONSIVE
Créer et publier des exercices interactifs avec Hot Potatoes
Internet : la mémoire courte ? Capture de sites Web en ligne Conférence B.N.F, Avril 2004 Xavier Roche(HTTrack)
A L I M E N T A T I O N A G R I C U L T U R E E N V I R O N N E M E N T Réseau BD 11/12/08 Hibernate Search Réunion dunité – 23/10/2008 Erik Kimmel.
Développement d’application web
Projet Génie Logiciel & UML, Bases de Données & Interfaces
PLD GHome H4214 Piccolo Thomas Gu Lei Deville Romain Huang Yachen
Lévolution du Web et les implications dun crawler incrémental Basé sur : « The Evolution of the Web and Implications for an Incremental Crawler», Junghoo.
Prédiction multi-step de la volatilité : le modèle ARIMA-GARCH appliqué aux séries temporelles d’affaiblissement par la pluie sur les liaisons Terre-Satellite.
Typo3 sur Bonjourquebec.com Publier un site dynamique en version statique ou presque…
Typo3 - Organisation du canton de Vaud Sébastien Charrière DSI / DI / Pôle Plates-formes transversales Sébastien Charrière Responsable CC WCMS à la DSI.
Info FPDS, juillet 2010Page 1OIT DINF-VD Information sur la gestion des fiches signalétiques de points fixes (catégories 1 et 2) Office de linformation.
Nouveaux Composants pour Joomla Auteurs El Khalil El MOUNTASSIR Yassine BENCHEKROUN 08 Janvier 2008 I.U.P. G.M.I. d'Avignon Tuteur Michel BENOIT.
2 Développer, tester et déployer un site web avec WebMatrix (RIA101) Christine Dubois 9 février 2011.
LA GESTION COLLABORATIVE DE PROJETS Grâce aux outils du Web /03/2011 Académie de Créteil - Nadine DUDRAGNE 1.
Ipchains TP 1 TP 2 TP 3 Installer un serveur web sur votre poste,
QUALITY PARTNER FOR YOUR EXPANSION t-CARTOGRAPHY.
L'application Social Buddies Powered by V2.5 ( )
Serveur WEB TAGC SPIP 1.9.2d [11132] est un logiciel libre distribué sous licence GPL. Pour plus d'informations, voir le site
Bases de données Open Source Pierre Crépieux 13/03/2008.
France Bilodeau et Catherine Lamy 17 octobre 2014 La recherche dans les bases de données Repère, Cairn, Érudit et Google Scholar.
Greta des monts du cantal
09/11/2006 CMS Content Management System Système de Gestion de Contenu.
Plus simple à utiliser Une interface d’administration entièrement remaniée rend plus facile l'apprentissage de Drupal.
S'initier au HTML et aux feuilles de style CSS Cours 5.
Thibault ROY Université de Caen / Basse-Normandie Laboratoire GREYC – Equipe ISLanD Apport d’outils d’informatique documentaire à l’analyse de forums de.
Direction des systèmes d’information Avenue de Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Document de travail Page.
Les systèmes de gestion de contenu
Gestion des documents internes avec SQL Server 2005 Date de publication : janvier 2006.
1 CEC A.-CHAVANNE Sites Web et bases de données. 2 UNE BASE DE DONNÉES : POURQUOI ? Manipulation de grandes quantités d’information – représentation des.
Développement des templates Quattor de gLite à EMI Guillaume PHILIPPON.
Un espace collaboratif pour le CODEV quelles fonctionnalités?
Transcription de la présentation:

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 1 Intégration de mnoGoSearch sur le site de lEtat de Vaud Jean-Luc Thirot Centre de Compétence Web Content Management System DSI / DI / Pôle Plates-formes transversales Juin 2009

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 2 Thèmes abordés Pourquoi changer IndexedSearch? Pourquoi mnoGoSearch? Résultats Installation et configuration

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 3 Indexed Search nest pas adapté Un audit en juin 2008 à clairement identifié que Indexed Search était responsable des pertes de performances du site en raison des charges sur la base de données MySQL. Il est aussi admis que ce moteur nest pas adapté pour des sites de plus de 100 pages [1]. Indexed Search gère 7 requêtes simultanées et met 10 secondes pour afficher une requête. Lindexation est la recherche sont pénalisantes.

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 4 Des chiffres Typo3 version (actuelle ) mnogoSearch version (actuelle 3.3.8) Statistiques du mois de Juin 2008: 3 millions de pages vues (dont pages de recherche) Pointe à pages vues sur la journée la plus chargée 10% des requêtes pendant l'heure de pointe (11h) Dans le pire des cas, on a donc une pointe de fréquentation de pages en une heure Cela nous donne une moyenne de 5,5 pages par seconde

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 5 Conclusion de laudit « Au cours de ce test, on constate que la charge serveur est très élevée, proche de 50, avec des centaines de processus Apache en attente. La page de recherche affiche un temps de réponse démesuré (280 secondes soit près de 5 minutes). Pendant tout le test, le processus MySQL est resté à 100% de CPU ce qui montre qu'il est le point limitant. »

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 6 Pourquoi mnoGoSearch? Solution open source Préconisé par les auditeurs Préconisé par Dmitri Dulepov –Intégré à Typo3

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 7 Test de charge avec mnoGoSearch 48 x plus rapide Temps moyen pour afficher une page –Indexed Search = 6599ms –Static files = 235ms –mnoGoSearch = 135ms

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 8 Indexer vite DBMode = multi => 6h. DBMode= blob => 1h20 multi threads « indexer –N10 » => 40 minutes.

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 9 Charges lors de lindexation 5 juin 2009 Load average max de 10 durant 40 minutes

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 10 Architecture Serveur 1 Typo3 et MySql Serveur 2 mnoGoSearch et MySQL Indexer.conf Search.htm Cron pour lindexation journalière sr_iframe_modifie Binaires (pdftotext)

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 11 mnoGoSearch vs Indexed Search Avantages de mnoGoSearch La vitesse La charge sur le serveur pour la recherche et lindexation Le plugin Typo3 « mnoGoSearch » [3] fait par Dmitry Dulepov [2] Utilisation dun moteur indépendant et spécialisé Désavantages de mnoGoSearch Les accès sur les pages privées ne sont pas gérés [1] Le Typo3 core travaille sur lamélioration de Indexed Search pour la version 4.3 [1] mais avec un gain en vitesse de 2 à 3x.

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 12 Bibliographie 1.Indexed Search Enhanced Finding results faster with full-text, Michael Stucki ced.pdf 2.DMITRY-DULEPOV.COM typo3-web-site.html 3.Extension mnoGoSearch 4.Mnogosearch engine with mm_forum

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 13 Question?

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 14 Qualité RecherchemnoGoSearchGoogleRemarque vivarium2824 Maternité bas revenu Emploi Emplois Emplois taille Emplois taille (409) Mise en évidence+ Résumé++ Pertinence++ Version html+ L'anti dictionnaire-+

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 15 Divers Remarques iFrame (sr_iframe)Modifications nécessaires de lextension Taille verticale fixe Programmation de la page de recherche mnoGo Utilisation dexpression régulière pour afficher le titre Les parsersIls doivent être à jour même si les dernières versions datent Modification des templates Typo3 Ajout des balises … pour exclure des éléments de la page de lindexation.

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 16 Charges lors de lindexation 15 octobre 2008 Load average max de 2.9

Direction des systèmes dinformation Avenue Recordon 1, CH-1014 Lausanne Tél: ++41(0) Fax: ++41(0) Page 17 Configuration pour lindexation Configuration mnoGoSearch DBMode = multi => 6h. DBMode= blob => 1h20 multi threads « indexer –N10 » => 40 minutes. Le mode live nest pas en place (indexation+recherche simultanée) Le site est indexé à 4h00 du matin La taille des documents à indexer est limitée à 3Mo. Cette taille ne semble pas pauser de problèmes aux parsers ou à lindexer.