On the recommending of citations for Research Papers

Présentation au sujet: "On the recommending of citations for Research Papers"— Transcription de la présentation:

1 On the recommending of citations for Research Papers
- Revue de Lecture - Présenté par Mikaël Perreault École Polytechnique Montréal 19 septembre 2017

2 Plan de la présentation
Objectifs de l’article « Citation Web» Nomenclature (article vs citation) et hypothèses Approches explorées et algorithmes Méthodologie expérimentale Résultats et discussion Conclusion et suggestion de travaux futurs Recommending Research Papers Polytechnique Montréal

3 Objectifs, « citation web» et nomenclature
But, problème et hypothèses Impulse Polytechnique Montréal

4 Objectifs Explorer l’usage de filtres collaboratifs (FC) pour recommander des citations pour plusieurs scénarios Utilisation d’une méthode qui ne souffre pas de problèmes de « cold start» (création peu d’utilisateurs aucun vote) Recommending Research Papers Polytechnique Montréal

5 « Citation Web» Se dit du réseau social formé par le graphe des citations Pour un article visé : quels articles le citent + quels articles sont cités Suppression du probème de « cold start» en populant le FC avec ces données Disponibles sur ResearchIndex (l’algorithme déjà en place est limitant) Recommending Research Papers Polytechnique Montréal

6 Hypothèse Les systèmes de recommandation, surtout ceux basés sur du FC, vont découvrir des relations plus puissantes dans la « Citation Web» que les méthodes existantes (ResearchIndex+Google) Recommending Research Papers Polytechnique Montréal

7 Nomenclature citations vs articles
Citation : référence quelconque (on peut posséder le texte complet ou non) Article : citation dont nous avons accès au texte complet, y compris les citations de cet article Un article peut exister sans être considéré comme une citation (pas assez d’informations sur auteurs, date, statut) Recommending Research Papers Polytechnique Montréal

8 Approches explorées Tentatives, méthode sélectionnée, algorithmes
Impulse Polytechnique Montréal

9 Approches tentées Classique Utilisateur-Item; U=auteur, I=citation
« cold start» On choisit de miner directement la « Citation Web» Même approche, mais matrice de vote populée par la «Citation Web» : problème de généralisation (ex: Ben Shneiderman) et sérempidité non voulue dans le domaine Recommending Research Papers Polytechnique Montréal

10 Approche utilisée Utilisateur = Article, Item = citation
Les articles « votent» pour les citations qu’ils contiennent, vote guidé par la « Citation Web» (population statique) Input : Lot de citations (citations présentes dans un article visé) Output: Liste ordonnée de citations recommandées (ne peut recommander des citations du lot initial) Recommending Research Papers Polytechnique Montréal

11 Algorithmes testés 1) Co-citation matching 2) User-Item CF
Item-Item CF Naïve Bayesian Classifier Localized Citation Graph Search (Baseline) Keyword Search Google (Baseline) Recommending Research Papers Polytechnique Montréal

12 Méthodologie expérimentale, résultats et discussion
Expérience offline/online Impulse Polytechnique Montréal

13 Expérience offline Pour chaque article, on retire aléatoirement une citation On vérifie si l’algorithme est capable de prédire la citation Limitations : Aucune garantie qu’il n’existe pas des citations plus pertinentes que celle enlevée. 5 des 6 algorithmes sont testés (sauf Google, car trop demandant en ressource) Recommending Research Papers Polytechnique Montréal

14 Métriques Rang: position de la citation test dans la liste de recommandation (précision) Couverture : % des cas où l’algorithme a été capable de fournir une recommandation incluant la citation test (rappel) Rang Effectif : Pénalité sur la couverture si le rang est en deçà d’un certain niveau (F1 score) Recommending Research Papers Polytechnique Montréal

15 Résultats de l’expérience offline
Recommending Research Papers Polytechnique Montréal

16 Discussion de l’expérience offline
Graphe : très bonne précision, moins bon rappel: choix facilement recommandables seulement Bayes : malgré des performances mitigées, il possède la meilleure couverture (beaucoup de recommandations) User-item semble être le meilleur choix général Recommending Research Papers Polytechnique Montréal

17 Expérience online Sondage où les auteurs notent la pertinence des citations recommandées pour un article qu’ils ont écrit 6 algorithmes utilisés, 5 recommandations présentées Les questions sont centralisées sur 2 thèmes : La pertinence La nouveauté Métrique : Compte des votes qualitatifs Recommending Research Papers Polytechnique Montréal

18 Résultats de l’expérience online
Recommending Research Papers Polytechnique Montréal

19 Résultats de l’expérience online
Recommending Research Papers Polytechnique Montréal

20 Discussion de l’expérience online
Google/Bayes/Graphe : Pertinent (50%) Item-Item/User-Item/co-citation : Non pertinent (25%) Inverse pour la nouveauté (corrélation pertinence-nouveauté = -0.51) Qualité : Graphe Utilité : Google Nouveauté : User-Item Général : Graphe Recommending Research Papers Polytechnique Montréal

21 Discussion de l’expérience online
60% des utitlisateurs ont reçu au moins une recommandation qu’ils considéraient comme une bonne addition FC réussit à faire des recommandations sur tous les articles vs Graphe échoue sur 19% et Google échoue sur 39% Algorithmes de baseline fonctionnent bien, mais seulement sur la couverture limitée qu’ils possèdent Peu de nouveauté Recommending Research Papers Polytechnique Montréal

22 Conclusion Aucun algorithme absolu
Corrélation inverse pertinence-nouveauté (-0.51) Choix optimal d’un algorithme en fonction d’un scénario : Complément de références pour un article = Google ou Bayes (pertinence maximisée) Groupe de lecture = User-Item (nouveauté maximisée) Nouveau chercheur voulant une compréhension générale = User-Item (combinaison maximisée) ou hybride Recommending Research Papers Polytechnique Montréal

23 Travaux futurs Algorithmes basés sur le texte et hybrides (plus de textes disponibles) Entraînement du modèle en fonctions des préférences Adapter les systèmes pour trouver des réviseurs d’articles Recommending Research Papers Polytechnique Montréal

24 Références McNee, S. M., Albert, I., Cosley, D., Gopalkrishnan, P., Lam, S. K., Rashid, A., Konstan, J. A., and Riedl, J  On the recommending of citations for research papers. In Proceedings of the 2002 ACM Conference on Computer Supported Cooperative Work (New Orleans, Louisiana, USA, November , 2002). CSCW '02. ACM, New York, NY, DOI= Recommending Research Papers Polytechnique Montréal

25 QUESTIONS? Recommending Research Papers Polytechnique Montréal