Lévolution du Web et les implications dun crawler incrémental Basé sur : « The Evolution of the Web and Implications for an Incremental Crawler», Junghoo Cho et Hector Garcia-Molina

Plan Introduction Définition Types Expérience Configuration Résultats Architecture dun Crawler Incrémental Conclusion

Introduction

Quest-ce quun crawler ? Programme qui collecte automatiquement des pages web pour construire un index ou une collection locale.

Fonctionnement dun crawler Généralement : Seed Urls Récupération des pages (à partir des seed) Extraction des Urls contenues dans ces pages Addition de celles-ci aux Urls à scanner

Illustration Seed Urls Index / collection locale File de pages à visiter Ajout dans lindex Ajout des Urls récoltées lors du parcours des pages

Types différents de crawler 2 types : Le crawler periodique Quand nous avons besoin de raffraîchir la collection, il recommence de zéro et remplace la collection par celle trouvée Le crawler incrémental Continue à visiter les pages, même après latteignabilité de la taille maximum de la collection, puis lorsque lon demande de remettre à jour la collection on remplace les pages selon leur «importance».

Types différents de crawler Le crawler incrémental est plus efficace que le crawler periodique. Par exemple le crawler incrémental naura besoin que de vérifier les pages ayant changées (probabilité) Donc la page à indexer sera indexée en moins de temps à laide de ce type de crawler

Expérience Configuration

Configuration de lExpérience Questions importantes : Quelle est la fréquence de changement dune page ? Quelle est la durée de vie dune page ? Combien de temps est nécessaire au WEB pour changer 50 % de ces pages ?

Configuration de lExpérience Analysé pages depuis 270 sites pendant 5 mois. Séléction des sites faites selon un critère de « popularité » exemple: etc… Le nombre maximum de pages parcouru depuis ces sites est de 3000.

Expérience Résultats

Quelle est la fréquence de changement dune page ? Si vous mesurez 5 changements et que la page est présente 20 jours dans la sélection des pages nous obtenons une valeur de 20/5 = 4. Ce qui signifie que la page change tout les 4 jours.

Résultats

Quelle est la durée de vie dune page?

Résultats Quelle est la durée de vie dune page? 2 méthodes différentes pour calculer celle-ci : Calcul de la longueur normal (cest-à-dire le temps que la page se trouve dans la fenêtre) On calcule le temps comme 2s (où s est la période de temps où la page est présente dans la fenêtre)

Résultats

Combien de temps est nécessaire au WEB pour changer 50 % de ces pages? Remarque: Lorsque une page disparaît de notre fenêtre danalyse, elles sont considérées comme changée

Résultats

Architecture dun Crawler Incrémental

Algorithme : Crawler Incrémental

Architecture

Conclusion

Nous venons de voir comment implémenter un crawler incrémental et comme nous lavons vu celui-ci possède de nombreux avantages par rapport au crawler périodique

Références « The Evolution of the Web and Implications for an Incremental Crawler », Junghoo Cho, Hector Garcia-Molina Cours dalgorithmes pour le Web , J.Rolim er