WordNet : une base de connaissances lexicales La mère (le père) de tous les réseaux de mots ?

Présentation au sujet: "WordNet : une base de connaissances lexicales La mère (le père) de tous les réseaux de mots ?"— Transcription de la présentation:

1 WordNet : une base de connaissances lexicales La mère (le père) de tous les réseaux de mots ? http://www.cogsci.princeton.edu/~wn/

2 WordNet ? 1/4 Inspirée par des théories psycholinguistiques et informatiques sur la mémoire lexicale humaine (Miller 85) Fournir une recherche conceptuelle dans un dictionnaire Donc organiser linformation lexicale en terme de signification de mots Approximativement 155300 formes de mots et 117 600 concepts (synsets) Version 1.0 en juin 1991. En 2006, version 2.1

3 Représentation sous forme de matrice lexicale WordNet ? 2/4 Formes des mots : désignation de lexpression physique Sens des mots : désignation du concept lexical que la forme peut exprimer

4 En,pSn …… E3,3S3 E2,2S2 E1,1 E1,2S1 Formes des mots F1 F2 F3 … Fp Sens des mots WordNet ? 3/4

5 Relations entre les significations des mots - Hyperonymie / Hyponymie (tree / plant) - Méronymie Relations entre les formes des mots - Synonymie - Antonymie (rich/poor) WordNet ? 4/4 Organisée par des relations sémantiques (pointeurs vers des synsets) ou relations lexicales :

6 Organisation des noms 1/5 Une hiérarchie sémantique ( ~ 12 niveaux) 117 100 formes de mots pour 81 400 significations de mots, et 145100 paires (mot- sens) Pas un seul réseau : distinction des noms par 25 domaines sémantiques

7 ProcessFeeling, emotion PossessionEvent, happening TimePlant, floraCommunication Person, human being Natural phenomenon Cognition, knowledge … SubstanceNatural objectBody, corpus … State, ConditionMotiveAttribute, property ShapeLocation, placeArtifact… RelationGroup, collectionAnimal, fauna … Quantity, amountFoodAct, action, activity Organisation des noms 2/5

8 Organisation des noms 3/5 Trois sortes de caractéristiques : Les attributs Adjectifs qui modifient le nom Les parties Relation de méronymie Les fonctions Information fonctionnelle Relation dopposition : antonymie Collocations

9 Hypernym (inv. Hyponym): X is a hypernym of Y if Y is a (kind of) X Meronym (inv. Holonym): X is a meronym of Y if X is a part of Y or X is a substance of Y or X is a member of Y plant / tree walk / march mouth / face tree / forest Antonym : an opposition lexical relation rich / poor happyness / unhappyness Organisation des noms 4/5

10 PersonGroupNatural ObjectSubstance FamilyRelativeBodyOrganic Substance ArmSisterBrotherLegFleshBone Hyponyme Méronyme Antonyme Organisation des noms 5/5

11 Exemple : House 1. house -- (a dwelling that serves as living quarters for one or more families; "he has a house on Cape Cod"; "she felt she had to get out of the house") 2. house -- (an official assembly having legislative powers; "the legislature has two houses") 3. house -- (a building in which something is sheltered or located; "they had a large carriage house") 4. family, household, house, home, menage -- (a social unit living together; "he moved his family to Virginia"; "It was a good Christian household"; "I waited until the whole house was asleep"; "the teacher asked how many people made up his home") 5. theater, theatre, house -- (a building where theatrical performances or motion-picture shows can be presented; "the house was full") 6. firm, house, business firm -- (members of a business organization; "he worked for a brokerage house") 7. house -- (aristocratic family line; "the House of York") 8. house -- (the members of a religious community living together) 9. house -- (the audience gathered together in a theatre or cinema; "the house applauded"; "he counted the house") 10. house -- (play in which children take the roles of father or mother or children and pretend to interact like adults; "the children were playing house") 11. sign of the zodiac, star sign, sign, mansion, house, planetary house -- ((astrology) one of 12 equal areas into which the zodiac is divided) 12. house -- (the management of a gambling house or casino; "the house gets a percentage of every bet")

12 Exemples : synonymes Results for "Synonyms, ordered by estimated frequency" search of noun "computer" 2 senses of computer Sense 1 computer, computing machine, computing device, data processor, electronic computer, information processing system -- (a machine for performing calculations automatically) => machine -- (any mechanical or electrical device that transmits or modifies energy to perform or assist in the performance of human tasks) Sense 2 calculator, reckoner, figurer, estimator, computer -- (an expert at calculation (or at operating calculating machines)) => expert -- (a person with special knowledge or ability who performs skillfully)

13 Hyperonymes Results for "Hypernyms (this is a kind of...)" search of noun "computer" Sense 1 computer, computing machine, computing device, data processor, electronic computer, information processing system -- (a machine for performing calculations automatically) => machine -- (any mechanical or electrical device that transmits or modifies energy to perform or assist in the performance of human tasks) => device -- (an instrumentality invented for a particular purpose; "the device is small enough to wear on your wrist"; "a device intended to conserve water") => instrumentality, instrumentation -- (an artifact (or system of artifacts) that is instrumental in accomplishing some end) => artifact, artefact -- (a man-made object taken as a whole) => object, physical object -- (a tangible and visible entity; an entity that can cast a shadow; "it was full of rackets, balls and other objects") => entity, physical thing -- (that which is perceived or known or inferred to have its own physical existence (living or nonliving)) => whole, whole thing, unit -- (an assemblage of parts that is regarded as a single entity; "how big is that part compared to the whole?"; "the team is a unit") => object, physical object -- (a tangible and visible entity; an entity that can cast a shadow; "it was full of rackets, balls and other objects") => entity, physical thing -- (that which is perceived or known or inferred to have its own physical existence (living or nonliving))

14 Organisation des verbes 1/5 La plus importante catégorie lexicale et syntaxique du langage et la plus difficile à étudier 21 000 verbes et approximativement 8 400 synsets Répartition des verbes dans 15 fichiers distincts qui correspondent chacun à un domaine sémantique

15 Stative verbs Emotion or psych verbs Verbs of changeMotion verbs Cognition verbsPerception verbs Verbs of communicationVerbs of possession Competition verbsVerbs of social interaction Consumption verbsWeather verbs Contact verbsCreation verbs Verbs if bodily functions and care Organisation des verbes 2/5

16 Relations sémantiques : interaction avec implication stricte (entailment) "Someone V1" implique "Someone V2" A verb X entails Y if X cannot be done unless Y is, or has been, done Exemple : "He is snoring" implique "He is sleeping" Organisation des verbes 3/5

17 Entailment Temporal inclusionNo temporal inclusion + Troponymy (co-extensiveness) - Troponymy (proper inclusion) ( limp – walk )( snore – sleep ) Troponym : X is a troponym of Y if to X is to Y in some manner Organisation des verbes 4/5

18 Entailment Temporal inclusionNo temporal inclusion CauseBackward presupposition ( feed – eat ) ( fail – try ) Cause : A verb X causes Y If X denotes the causation of the state or activity referred to by Y Organisation des verbes 5/5

19 Exemple : Entailment Results for "This entails doing..." search of verb "eat" Sense 1 eat -- (take in solid food; "She was eating a banana"; "What did you eat for dinner last night?") => chew, masticate, manducate, jaw -- (chew (food); "He jawed his bubble gum"; "Chew your food and don't swallow it!"; "The cows were masticating the grass") => swallow, get down -- (pass through the esophagus as part of eating or drinking; "Swallow the raw fish--it won't kill you!")

20 Organisation des adjectifs Adjectifs descriptifs : big, possible, … Adjectifs relationnels : variantes stylistiques des modifieurs de noms 19 500 adjectifs organisés dans 1000 synsets

21 Exemple d application Expansion sémantique de requête Manuelle [Voorhees, 1998] Fournit un plafond pour l'expansion sémantique. Collection de test de TREC (1993). Exemple : research, development, testing and evaluation of a new anti-cancer drug developed anywhere in the world {cancer}, {skin_cancer}, {pharmaceutical}. Vecteurs multi-partites : termes de départ, synonymes, hyponymes, collocations... Le poids de chaque partie peut varier. L'expansion améliore les requêtes « courtes » mais dégrade les « longues ».

22 Expansion sémantique de requête Automatique [Voorhees, 1998] Pour (tenter de) rendre compte des concepts importants de la requête sont expansés les termes inférieurs à un plafond N dans la base de documents un terme est ajouté s'il est lié à au moins deux termes originels de la requête. Les sens effectifs d'une requête courte sont rarement reliés. Les mots les reliant risquent d'être très généraux (system). Là encore, l'obstacle est la désambiguïsation sémantique automatique.

23 WordNet : critiques WordNet : 12% des entrées sont polysémiques, soit 15 400 formes [Leacock & Chodorow, 1998]. Le grand écart des fréquences. Exemple : environ 1 400 occurrences de vendre dans 14 millions de mots (numéros du Monde tirés au hasard en 1987, 1989, 1991, 1993 et 1995). Pas une apparition du sens trahir, pourtant présent dans tous les dictionnaires. La constitution de corpus suffisamment vastes pour représenter correctement tous les sens des mots polysémiques est hors de portée. Concordance sémantique (SemCor) : 167 occurrences de 11 sens de serve. 4 de ces sens totalisent 10% des occurrences (2-3% chaque). S'entraîner à les reconnaître est impossible. Le plafond est alors de 90%.

24 Limites connues de WordNet Pas d'informations sur les propriétés syntaxiques de mots. Pas de liens entre parties du discours. Noms, verbes et adjectifs sont des continents séparés. Pas de savoir « encyclopédique ». Pas d'indications de domaine (« tennis problem ») : pas de lien direct entre raquette, balle et filet. Densité variable. Grain très (trop ?) fin de distinction de sens (break : 63 sens !)

25 Bibliographie Livres : WordNet An Electronic Lexical Database – Christiane Fellbaum 1998 EuroWordNet : a multilingual database with lexical semantic networks – Piek Vossen 1998 Adresse http : http://wordnet.princeton.edu/