Recherches sur Internet: méthode et astuces destin

Présentation au sujet: "Recherches sur Internet: méthode et astuces destin"— Transcription de la présentation:

1 Recherches sur Internet: méthode et astuces http://www. destin
Présentation au REWICS par Christophe Dupriez, Développement de Systèmes de Traitement de l’INformation 19 mars 2007

2 Recherches sur Internet
Mise en situation Moteur de Recherche Google Méthode : Recherche spécifique ou recherche par sujet ? Astuces : Recherche de codes, lieux, organismes, personnes, concepts, sources, dates, nombres, etc. Pour aller plus loin…

3  Mise en situation Pourquoi cherche-t-on ?
Chercher soi-même ou déléguer ? Comment font les autres ? Ne pas se perdre en chemin…

4  Pourquoi cherche-t-on ?
Parce qu’on en retire un bénéfice… C’est une action qui apportera ce bénéfice. Action qui a des coûts en temps, en efforts, en argent… Pour décider de l’action appropriée, il faut obtenir des informations. Les informations ont comme valeur, le bénéfice des actions qu’elles permettent. Les investissements en recherche doivent rester inférieurs à ce bénéfice !

5  Chercher soi-même ou déléguer?
Auto-formation: Cycle de rétroaction court (trop court?) Accompagnement (binôme): Expliquer ses idées à l’autre, c’est déjà les formaliser… Complémentarité des expériences et des connaissances terminologiques Second regard d’un autre sur sa démarche (acteur/spectateur) Nécessité d’une méthodologie Délégation: Exprimer son besoin (« cahier des charges ») Evaluer le résultat Cycle de rétroaction long (trop long?)

6 Un exemple de délégation: http://www.guichetdusavoir.org/GdS/

7  Comment font les autres. http://www. harvestdigital. com/fact_sheets
94% utilisent Google 47% passent plus de 3 heures/semaine rien qu'en recherches 68% expriment leur recherche en utilisant mots ou plus 36% imputent leurs échecs à des mots mal choisis, 32% les imputent à une demande trop spécialisée, 8% pensent que cela peut être dû au moteur de recherche. 24% des internautes n'apprécient pas la présence de liens sponsorisés. Pour sélectionner un lien dans le résultat: 43% ne regardent que la première page de résultats 32% choisissent en fonction du résumé associé au lien 17% ne regardent que les quelques premiers liens 8% tiennent surtout compte de la réputation du site lié Pour améliorer les résultats : 50% demandent plus d'entraînement et d'expérience, 9% utiliseraient plusieurs moteurs, 5% voudraient de meilleurs moteurs.

8  Ne pas se perdre en chemin…
L’éparpillement nous guette: il y a tant de problèmes et tant de solutions, juste à portée de souris… Notre mémoire ne peut pas faire face à la masse d’informations. Il faut l’aider: Crayon et carnet pour noter un mot ou l'autre, faire des schémas… Outil de marquage, de classement et d’enregistrement des pages visitées: Personnel: Partagé: Une méthode pour toujours savoir ce qu’on fait « ensuite », pour nous accompagner jusqu’à la communication de nos résultats de recherche.

9 Onglets dans Firefox et IE 7
~query expansion terminology ~management "database search" OR "internet search"

10  Les Moteurs de Recherche
En gros, comment ça marche ? Des idées aux mots, des mots aux idées… Ce qui n’est pas indexé n’est pas trouvé… Ce qui est caché non plus! Le moteur de recherche Google

11  En gros, comment ça marche?
Google : ordinateurs

12  Des idées aux mots, des mots aux idées…
L’Auteur a des idées qu’il transcrit par des enchaînements de mots dans un ou plusieurs documents inter-reliés. Les documents sont relativement statiques: ils contiennent, en quelque sorte, des réponses préparées à l'avance pour des questions qui ne sont pas toujours formulées. L’Internaute a des besoins mais ce qu'il cherche ce sont des solutions… « Quels sont les mots que les auteurs ont bien pu utiliser pour décrire des réponses à mes questions, des solutions à mes besoins ? » Les idées de l'auteur et les besoins de l'internaute sont séparés par: Le vocabulaire et la langue de l'auteur, Les hypothèses, les axes de solution à ses besoins que l'internaute est capable d'imaginer, La langue et le vocabulaire de l'internaute. Comment gérer cette fracture entre les auteurs et les internautes ?

13  Ce qui n’est pas indexé ne peut pas être trouvé…
Dans le Web « invisible », on (ne) trouve (pas): ce qui n'est pas écrit (images, sons…), un serveur inaccessible de l’Internet, un serveur inconnu de Google, ce qui n'est pas lié au document « racine » d’un serveur, en un nombre limité d’étapes (ou directement par un document extérieur), ce qui est produit dynamiquement en réponse à des données soumises au moyen d’un formulaire, ce qui n’est pas accessible gratuitement, ce qui est « non grata » pour le service d’indexation et de recherche (censure de certains sujets en Chine, journaux francophones belges…) Ce qui est caché non plus !

14 La documentation de Google sur son interprétation des requêtes est pour le moins spartiate. L’évolution du fonctionnement observé montre que ceci est sans doute à dessein pour garder une liberté de changement maximale. GoogleGuide.com donne un très bon inventaire des possibilités avec différents exemples : On évoquera ici: Qu’est ce qu’un « mot » ? Formulation d’un mot à chercher Chercher une suite de mots Opérateurs logiques (booléens) Langue de l’utilisateur Localisation de l’Internaute Tri du résultat Algorithme PageRank La « valeur » d’un mot Limites de Google

15 Qu’est ce qu’un mot ? Une suite continue d’au plus 128 lettres OU chiffres OU « _ » (souligné), sans aucun caractère de ponctuation, espace ou balise <HTML> Les lettres peuvent être dans différents alphabets (russe, grec, chinois, etc.) H2O est donc cherché comme un seul mot: Google ne trouve alors pas les documents avec H 2 O ou H2O dans leur texte (l’indice est marqué par une balise <html>). Pour trouver ceux-ci, il faut demander "H 2 O" ou mieux H-2-O qui fonctionne aussi pour les mots de plus d’une lettre (comme dans H-2-SO-3).

16 Formulation d’un mot à chercher
mot : Un mot et ses variantes singulier/pluriel - masculin/féminin – avec/sans accents. Par exemple chevaux d’arçon retrouve cheval d’arçon: cet algorithme fonctionne en français, en anglais mais mal en néerlandais. Attention : la variante que vous spécifiez est favorisée dans le tri des documents présentés (y compris l’accentuation). ~mot : Un mot et ses synonymes. Fonctionne avec un dictionnaire anglais même sur les recherches en français et néerlandais ! Essayer ~automobile -automobile pour voir les mots trouvés en dehors du terme strict automobile. ~arabic retourne Egypt, Lebanon, Arab et … Hindu ! Permet de mieux cibler le genre de résultat désiré. Par exemple: ~definition, ~comparaison, ~problem "mot" : Un mot exact sans variantes. Google ne tient pas compte de l’accentuation pour la recherche mais favorise la forme spécifiée lors du tri des documents présentés. +mot : chercher ce mot même si c'est un mot vide dans la langue de l'utilisateur ( +de en français par exemple) et le chercher en tenant compte des accents ( +dés par exemple). Un « + » est assumé si un seul mot est cherché : thé seul agit comme si on avait tapé +thé. (Cette forme a donc une signification très différente de celle de Altavista où le "+" indiquait des mots obligatoires) Lors du tri des documents, Google donne une certaine préférence à la forme tapée : l’opérateur « + » n’a donc plus beaucoup d’intérêt.

17 Chercher une suite de mots
"mot1 mot2 … motn" : une suite de mots spécifiques, une expression * : une étoile dans une suite de mots entre guillemets (et seulement là) peut être mise à la place de quelques mots complets qu'on ne désire pas spécifier. Par exemple : "ministère du * et du commerce" chiffres1-chiffres2-…-chiffresn : équivaut à "chiffres1 chiffres2 … chiffresn" lettres1-lettres2-lettresn: chercher un terme composé de plusieurs mots, qu'il soit écrit avec des tirets, des espaces ou même sans espace du tout: gratte-ciel trouve gratte ciel, gratte-ciel et gratteciel . gratte-ciel ne signifie pas du tout la même chose que gratte -ciel (voir l'opérateur logique " -"). Attention: ceci ne fonctionne bien qu'avec des mots et pas avec des nombres. ca-va-seul fonctionne maintenant et montre l’utilité de ce type de recherche pour chercher des marques de commerce aux frontières de mots pas toujours constantes. ne trouve plus intitle:"mot … mot" : une suite de mots spécifiquement dans le titre du document (balise <title>…</title> ou première balise <h1>…</h1>)

18 Opérateurs logiques (booléens)
espace : les documents doivent contenir ce qui est à droite ET ce qui est à gauche. OR ou | : les documents peuvent contenir ce qui est à droite OU ce qui est à gauche. Attention : OR doit être écrit en majuscules ! espace- (signe moins précédé d’un espace) : exclure les documents contenant le mot qui suit (SAUF) Peut exclure beaucoup plus que ce qui est désiré. (mot -motIdentifiantUnContexte) : Une variante de signification peut être supprimée en excluant un contexte où elle apparaît. Par exemple: baleine –parapluie ou encore pied –va-nu-pied ( … ) : sous-expression à évaluer avant de faire les opérations avoisinantes

19 Google trie en favorisant la langue de l’utilisateur: http://www
Il est essentiel de faire ses recherches en changeant sa langue d'utilisateur en fonction de la langue des mots cherchés: Tri des résultats qui favorise cette langue Algorithme adéquat pour rendre équivalents le singulier et le pluriel, le féminin et le masculin (le néerlandais n’est pas bien traité). Utilisation (peut-être un jour) du bon dictionnaire de synonymes

20 Localisation de l’internaute: http://www. google. com/language_tools
Il est réellement important de choisir la « localisation » de ses recherches car le tri favorise les pages “proches” de cette localisation.

21 Google.be /search?q=python
Google.fr /search?... &hl=en &hl=fr

22 Tri du résultat La qualité de Google vient de sa capacité à montrer en premier les pages jugées les plus pertinentes en général et les plus pertinentes à une recherche en particulier. Google trie les documents trouvés en fonction: de mesures de qualité du site en général et aussi de chacune des pages (cohérence des méta-informations avec le texte visible de la page par exemple). Ces mesures ne sont pas ou peu documentées. une mesure du poids de chacune des pages indexées (algorithme PageRanks) d'un calcul de la pertinence de la page vis-à-vis de la recherche effectuée. Ceci se fait en tenant compte: de la présence dans la page (ou dans les liens vers cette page) des mots de la recherche (éventuellement élargis à leurs synonymes ou à leurs variantes singulier/pluriel) de l'emplacement de ces mots dans la page (intitle:titre, méta-données, texte, inanchor:liens vers cette page) pour chaque mot, de son poids “informationnel” de la distance dans la page entre les mots cherchés: plus ils sont proches l'un de l'autre, plus la page est jugée pertinente vis-à-vis de la recherche effectuée. de la langue de l'utilisateur qui devrait être aussi celle des mots cherchés : Pour changer la langue de l'utilisateur selon la langue des mots chercher, il faut modifier « à la main » l'URL de Google en changeant &hl=xx (xx étant le code en deux lettres de la langue désirée). du pays indiqué par l’URL d’accès à Google : google.be accorde une nette préférence aux sites belges, google.fr aux sites français, google.com aux sites américains et google.co.uk aux sites anglais…

23 Algorithme PageRank: un star system…
Favoriser les pages jugées les plus pertinentes en général, les vedettes : Pages les plus référencées par des pages elles-mêmes très référencées Cherchez-vous réellement à ne lire que des documents vedettes ? Cité de Google: We assume page A has pages T1...Tn which point to it (i.e., are citations). The parameter d is a damping factor which can be set between 0 and 1. We usually set d to 0.85. C(A) is defined as the number of links going out of page A. The PageRank PR(A) of a page A is given as follows: PR(A) = (1-d) + d (PR(T1)/C(T1) PR(Tn)/C(Tn)) Note that the PageRanks form a probability distribution over web pages, so the sum of all web pages' PageRanks will be one. PageRank can be calculated using a simple iterative algorithm, and corresponds to the principal eigenvector of the normalized link matrix of the web. Voir aussi:

24 Limites de Google Les requêtes sont limitées à 32 mots.
Les mots sont limités à 128 caractères. Seuls les 1000 premiers résultats pertinents pour une requête sont accessibles, et ce même si les correspondances sont plus nombreuses. Les résultats peuvent même parfois être moins de 1000 en raison de la suppression des pages provenant d’un même site. D’après Google, obtenir plus de 1000 résultats entraînerait une lourde charge supplémentaire pour une demande finalement assez rare. On nous dit que le tri assure que les références les plus utiles sont en premier. Effectivement, le tri se fait sur les 1000 résultats (et peut donc être très sophistiqué), mais comment se fait la sélection préalable ?

25  Méthode : Recherche spécifique ou Recherche par sujet ?
Quand on connaît un titre, un nom, un code, une date, un numéro, on cherche quelque chose de spécifique, on rencontre alors principalement des problèmes lexicaux traités plus loin (Astuces). Quand on cherche sur des thèmes, des sujets, on rencontre les différences de terminologie entre auteurs et internautes. La méthode qui suit prend alors tout son sens.

26 Stratégie: Identifier les outils et les sujets pour sa Recherche
Rédiger une expression de son besoin (Quoi? Pour quoi? Qui? Pour qui? Comment? Où? Quand?) Rassembler quelques documents qui parlent de son besoin et qui évoquent des axes de solution. S’imprégner des principaux concepts du domaine. Rédiger une expression du sujet de la recherche pour chaque axe de solution possible. Pour chaque langue que l'on comprend, indépendamment, choisir de bons mots clés. Identifier des sources adéquates: auteurs, institutions, entreprises, banques de données ou sites spécialistes du problème à résoudre (chercher à atteindre le Web invisible en utilisant les outils de recherche de sites spécialisés) Trouver et classer les documents qui apportent l'un ou l'autre élément de réponse à son besoin.

27 La terminologie pour un sujet…
Pour chaque concept à chercher, le choix des termes (un terme étant formé d’un ou de plusieurs mots) est critique. On trouve assez facilement des documents avec les termes que l’on utilise soi-même. Le défi est de trouver ceux avec les termes que d'autres utilisent pour le même concept: Variantes orthographiques, Synonymes, Abréviations, Spécifiques ou Génériques, Changement du nom à travers l'histoire ou selon les auteurs (écoles de pensée), Traductions dans d’autres langues que l’on comprend. On s’aidera de glossaires, de dictionnaires, de textes explicatifs, etc.: (Trésor de la Langue Française) (français et anglais) (anglais) (anglais) (traductions) Il serait tellement pratique d’être assisté par des dictionnaires automatiques dans la rédaction de ses requêtes… Google ne fonctionne que pour l’anglais, sans contrôle, et de manière insatisfaisante…

28 Rédiger sa requête au Moteur de recherche
Identifier les différents concepts qui entrent dans l'expression du sujet de la recherche: Par exemple: durée du congé de maternité Exhaustivité: Pour chacun de ces concepts, rassembler un maximum de manière de l'exprimer et faire un OU (union) entre chaque mot: durée | longueur | semaines | mois Avec Google (en anglais jusqu’à présent), on peut utiliser le tilde avant un mot pour qu'il mette lui-même des synonymes de ce mot: ~duration | length | weeks | months Si l’expression qui exprime un concept est composée de plusieurs mots, il faut réunir ceux-ci par des guillemets ("congé de maternité") sans quoi on recevra aussi les pages où ces mots ne sont pas consécutifs. Précision: Mettre ces expressions de recherche d'un concept côte à côte pour obtenir seulement les documents qui possèdent cette combinaison de concepts (ET implicite entre les groupes) ( durée | longueur | semaines | mois ) ( congé | pause | vacances ) ( maternité | accouchement | naissance ) Bémol: Le tri de Google semble donner la préférence aux documents qui mentionnent plusieurs des termes réunis par un OU (OR)

29 Élargir avec variantes et synonymes, Restreindre en combinant les concepts
(congé OR pause OR vacances)1 (maternité OR accouchement OR naissance)2 Congé OR Pause OR Vacances 1 2

30 Google: 1 750 000 pages en France
(durée | longueur |semaines | mois) (congé | pause | vacances ) ( maternité | accouchement | naissance )

31  Niveau lexical: Astuces
La Tactique… Noms: communs Lieux Organismes Personnes Sources (sites Internet) Codes Numéro de téléphone ISBN CAS Nombres Dates

32 Noms communs la frontière entre les mots: où commencent-ils, où finissent-ils ? pipe-line ou pipeline ? H2O ou H 2 O ? l'allemand et le néerlandais permettent de réunir plusieurs mots en un seul: impossible de les trouver sans troncature à gauche… les alphabets différents d'une langue à une autre: un même nom propre peut être orthographié différemment dans l'alphabet arabe, cyrillique ou japonais les accents: "The" vs "thé", "de" vs "dé", "poisson sale" vs "poisson salé", etc.

33 Un lieu Terminologie: Identifier les synonymes, les abréviations, les traductions et les spécifiques. Par exemple : Belgique|Bruxelles|Anvers|Gand|Liège|Namur Les noms de lieux ont souvent des variantes selon la langue qui sert à les nommer Liège|Luik Moscou|Moscow|Москов Plusieurs langues admettent les déclinaisons qui font varier la fin d'un mot: l'opérateur de troncature * serait alors bien utile. Quelles sont les exportations de la République de Macédoine ? ~importation (république | republic) (macédoine | macédonien | macedonia | macedonian | makedonia | "F Y R O M")

34 Une organisation Terminologie: il faut identifier:
les synonymes, les sigles, les traductions, les entités englobantes ou les subdivisions, les changements de nom à travers l'histoire (fusions) Il n'est pas nécessaire de faire "I B M" | IBM car Google le fait automatiquement pour les mots de une lettre. Il suffit de taper "I B M"

35 Une personne Identifier : Abréviations, ordre/absence des prénoms, d'une initiale (anglo-saxons) Chercher quelqu'un s'appelant "Prénom Initiale Nom": "Prénom I Nom" | "P I Nom" | "Nom Prénom I" | "Nom P I" Google cherche alors automatiquement aussi bien "P I" que "PI". Si PI est un mot fréquent (et introduit donc du bruit dans la recherche), vous pouvez écrire: "Prénom I Nom" | "+P +I Nom" | "Nom Prénom I" | "Nom +P +I" On peut aussi exiger une accentuation spécifique pour discriminer entre des textes de différentes langues: +mélanie par exemple ne trouve pas Melanie Griffith.

36 Source – Site Internet Les sites Internet sont identifiés par un nom de domaine. Ce dernier va, de gauche à droite, du spécifique au générique, du nom d’un serveur (www) au code d’un pays (be) en passant par le nom de l’organisme. Vous pouvez restreindre une recherche en indiquant site:domaine. Comme tous les niveaux de domaines sont permis, vous pouvez chercher, par exemple: site:db.amazone.be pour les banques de données de l’ASBL Amazone site:amazone.be pour tout le site de l’ASBL Amazone site:qc.ca pour un site québécois site:ca pour un site canadien site:ac.be pour un site académique belge site:co.uk pour un site commercial du Royaume Uni Vous pouvez faire OR pour unir plusieurs domaines: site:co.uk | site:com | site:biz pour exiger un site commercial

37 Numéro de téléphone Le problème vient ici des nombreuses variations dans le regroupement des chiffres. Google vient tout juste de changer: (tirets entourés de chiffres) équivaut maintenant seulement à " " et ne trouve plus Pour trouver tous les documents mettant en contact avec une grande firme à Bruxelles, on doit énumérer de nombreuses façons de l’écrire : "I B M" " " | " "   | " " | " "   | " " | " " Ce qui retrouve: « Pour toute question générale sur IBM Belgium/Luxembourg, appelez le  » « IBM - Bruxelles (HQ) Avenue du Bourget/Bourgetlaan, 42 B-1130 Bruxelles Tel:  » « Contact Info de contact générale  »

38 Code ISBN Identifie un livre Deux variantes à chercher:
Sans ponctuation mais avec chiffre preuve (10 chiffres) Avec ponctuation mais sans chiffre-preuve (9 chiffres en 3 groupes). Par exemple: | Génère souvent une proposition erronée:

39 Code CAS (Chemical Abstract Service Number)
Identifie un composé chimique Très discriminant: on peut souvent omettre de spécifier « CAS » Par exemple: "C A S " : 53 documents "C A S" : 645 documents : 741 documents

40 Nombres Google est capable de chercher sur un intervalle de nombre. Mais ceux-ci doivent être dans la forme nord américaine ( ) et non pas européenne ( ,9999) ! Ethnocentrisme patent mais Google évolue… A terme cet opérateur pourrait justement convertir les références aux nombres en tenant compte des différentes conventions tant des internautes que des auteurs. On peut chercher sur un intervalle noté minimum..maximum (minimum et maximum pouvant avoir des décimales). On peut aussi écrire numrange:minimum-maximum (minimum ou maximum peut alors être omis pour indiquer un intervalle ouvert). On ne peut pas chercher des nombres négatifs (commençant par un "-") !

41 Dates dans le texte Grand nombre de variantes selon le pays, le contexte et la langue Aucune aide dans les moteurs de recherche actuel Par exemple: | | |   | "27 mai 1958" | "may 27th 1958" | "may " | "27 may 1958"   | " " | " " | |

42 Date de modification du document
Google: Lors d'une recherche par dates, la date est celle de l'indexation dans la banque de données (i.e. la visite du « spider » Google) et non celle de la publication effective de la page (telle que fournie par le serveur Dans le formulaire de recherche avancée, vous pouvez faire une recherche sur les derniers 3, 6 et 12 mois. L’opérateur daterange:date julienne-date julienne permet de spécifier un autre intervalle de dates. Une date julienne est le nombre de jours écoulés depuis le début de notre ère: le site peut vous aider à le calculer. Pas facile! Les moteurs de recherche pourraient conserver comme « date de modification » la date de dernière visite du « spider » avec des changements significatifs dans le contenu de la page…

43  Pour aller plus loin… http://www.destin.be/solutions/search.fr.shtml
Aeris, Aide aux étudiants pour la recherche d'information scientifique, Guillemette Lauters, , CERISE, Conseils aux Etudiants pour une Recherche d'Information Spécialisée Efficace, URFIST de Paris, 1999, Infosphère, Apprendre à faire une recherche d'information efficace, Service des bibliothèques de l'UQAM, 2004, SAPRISTI, des Sentiers d'Accès et des Pistes de Recherche d'Information Scientifiques et Techniques sur Internet, Doc'INSA, INSA de Lyon, , University of California Berkeley Library "Teaching Library Internet Workshops"