Internet : la mémoire courte ? Capture de sites Web en ligne Conférence B.N.F, Avril 2004 Xavier Roche(HTTrack)

Présentation au sujet: "Internet : la mémoire courte ? Capture de sites Web en ligne Conférence B.N.F, Avril 2004 Xavier Roche(HTTrack)"— Transcription de la présentation:

1 Internet : la mémoire courte ? Capture de sites Web en ligne Conférence B.N.F, Avril 2004 Xavier Roche(HTTrack) http://www.httrack.com

2 Internet : la mémoire courte ? 2 Pourquoi copier des sites web? Archivage pour conservation et/ou historisation Archivage pour raisons légales Miroirs de sites pour des raisons de redondance Copies pour une mise à disposition non connectée Copies par des particuliers (copie privée) Agents intelligents, stress de réseaux, validation de liens cassés ou des liens externes, plan du site…

3 Internet : la mémoire courte ? 3 Le « Web », quest-ce que cest ? Internet WWW HTTP https: HTTPS news: FTP mailto : Email ftp: News Ressources locales (fichiers) http: file: Fichiers

4 Internet : la mémoire courte ? 4 Un « serveur Web », quest-ce que cest? Fichiers, archives Base de données Traitements Éléments extérieurs (capteurs, etc.) Serveur Web ContenusRequêtes et contenus Client

5 Internet : la mémoire courte ? 5 Le serveur web: un « livreur » de contenus Fichiers, archives Base de données Traitements Éléments extérieurs (capteurs, etc.) Serveur Web ContenusRequêtes et contenus Client « Page Web» table_001 template.php

6 Internet : la mémoire courte ? 6 Les documents hypertexte

7 Internet : la mémoire courte ? 7 Les liens hypertexte

8 Internet : la mémoire courte ? 8 Copie locale dun « site Web» ?

9 Internet : la mémoire courte ? 9 Ressources locales (fichiers) Copie locale dun « site Web» template.php template2.php … table_001 table_002 … Serveur Web disque local

10 Internet : la mémoire courte ? 10 Le « nommage » local des fichiers en ligne copiés

11 Internet : la mémoire courte ? 11 Nommage des fichiers copiés -Exemple: fichier html Windows Linux/Unix

12 Internet : la mémoire courte ? 12 Nommage : restrictions -Nommage des fichiers comportant des « caractères spéciaux »

13 Internet : la mémoire courte ? 13 Nommage : duplications -Duplication de noms +

14 Internet : la mémoire courte ? 14 Nommage : solutions -Résoudre les collisions + +

15 Internet : la mémoire courte ? 15 Modification des liens hypertexte

16 Internet : la mémoire courte ? 16 Les problèmes apparaissent!

17 Internet : la mémoire courte ? 17 Les problèmes apparaissent! -Les liens: <a href= "page 2.html"> >

18 Internet : la mémoire courte ? 18 Les problèmes apparaissent! -Les formulaires:

19 Internet : la mémoire courte ? 19 Les problèmes apparaissent! -Les formulaires (suite) :

20 Internet : la mémoire courte ? 20 Les problèmes apparaissent! -Javascript :

21 Internet : la mémoire courte ? 21 Les problèmes apparaissent! -Java :

22 Internet : la mémoire courte ? 22 Les problèmes apparaissent! -Flash :

23 Internet : la mémoire courte ? 23 Les problèmes apparaissent! -Fichiers hypertextes vs binaires (Java/Flash) : un fichier html un fichier « flash »

24 Internet : la mémoire courte ? 24 Les problèmes apparaissent! -« Horodatage » intégré aux liens hypertexte http://www.example.com/page2.html?t=19993112235959999 -Liens multiples vers un seul document http://www.example.com/forum/article.php?id=1234 http://www.example.com/forum/article.php?id=1233&next http://www.example.com/forum/article.php?id=5678&previous http://www.example.com/forum/article.php?id=6548&previous10 http://www.example.com/forum/article.php?id=879&next10... -Etc etc etc

25 Internet : la mémoire courte ? 25 Aperçu de quelques autres problèmes Taille limite des fichiers Gestion des erreurs, des liens cassés Sites protégés par mot de passe Sites utilisant des « cookies » / des sessions Fichiers locaux « Intranet » (file://) Sites sécurisés (HTTPS) Sites ftp Sites accessibles via Ipv6 uniquement (recherche, universités)

26 Internet : la mémoire courte ? 26 Mise à jour ?

27 Internet : la mémoire courte ? 27 Mise à jour ? Document capturé le 15/01/2004 à 17h32 Une version plus récente est-elle disponible aujourdhui ? Économie de bande passante Économie de temps Économie despace de stockage

28 Internet : la mémoire courte ? 28 Mise à jour « incrémentale » (1) document mis à jour depuis le 15/01/2004 à 17h32? interrogation du système de fichiers oui, nouveau document disponible

29 Internet : la mémoire courte ? 29 Mise à jour « incrémentale » (2) le document « 098f6bcd4621 d373cade4e832 627b4f6 » est il périmé ? interrogation de la base de donnée oui, je vous transmet le document « ad023482920 5b9033196ba81 8f7a872b»

30 Internet : la mémoire courte ? 30 Les précautions à prendre lors de la capture dun site

31 Internet : la mémoire courte ? 31 Les précautions à prendre : surcharge du site Limiter la bande passante et le nombre de connexions simultanées!

32 Internet : la mémoire courte ? 32 Les précautions à prendre : aspects légaux ? Copie privée / publique ? Protection du site ? (loi n°95-597 du 1er juillet 1992, art l 353-3 du CPI) Statut dun aspirateur de sites Web ? Navigateur?Robot?Proxy-cache?

33 Internet : la mémoire courte ? 33 Conclusion …