On the recommending of citations for Research Papers - Revue de Lecture - Présenté par Mikaël Perreault École Polytechnique Montréal 19 septembre 2017

Plan de la présentation Objectifs de l’article « Citation Web» Nomenclature (article vs citation) et hypothèses Approches explorées et algorithmes Méthodologie expérimentale Résultats et discussion Conclusion et suggestion de travaux futurs Recommending Research Papers Polytechnique Montréal

Objectifs, « citation web» et nomenclature But, problème et hypothèses Impulse Polytechnique Montréal

Objectifs Explorer l’usage de filtres collaboratifs (FC) pour recommander des citations pour plusieurs scénarios Utilisation d’une méthode qui ne souffre pas de problèmes de « cold start» (création peu d’utilisateurs aucun vote) Recommending Research Papers Polytechnique Montréal

« Citation Web» Se dit du réseau social formé par le graphe des citations Pour un article visé : quels articles le citent + quels articles sont cités Suppression du probème de « cold start» en populant le FC avec ces données Disponibles sur ResearchIndex (l’algorithme déjà en place est limitant) Recommending Research Papers Polytechnique Montréal

Hypothèse Les systèmes de recommandation, surtout ceux basés sur du FC, vont découvrir des relations plus puissantes dans la « Citation Web» que les méthodes existantes (ResearchIndex+Google) Recommending Research Papers Polytechnique Montréal

Nomenclature citations vs articles Citation : référence quelconque (on peut posséder le texte complet ou non) Article : citation dont nous avons accès au texte complet, y compris les citations de cet article Un article peut exister sans être considéré comme une citation (pas assez d’informations sur auteurs, date, statut) Recommending Research Papers Polytechnique Montréal

Approches explorées Tentatives, méthode sélectionnée, algorithmes Impulse Polytechnique Montréal

Approches tentées Classique Utilisateur-Item; U=auteur, I=citation « cold start» On choisit de miner directement la « Citation Web» Même approche, mais matrice de vote populée par la «Citation Web» : problème de généralisation (ex: Ben Shneiderman) et sérempidité non voulue dans le domaine Recommending Research Papers Polytechnique Montréal

Approche utilisée Utilisateur = Article, Item = citation Les articles « votent» pour les citations qu’ils contiennent, vote guidé par la « Citation Web» (population statique) Input : Lot de citations (citations présentes dans un article visé) Output: Liste ordonnée de citations recommandées (ne peut recommander des citations du lot initial) Recommending Research Papers Polytechnique Montréal

Algorithmes testés 1) Co-citation matching 2) User-Item CF Item-Item CF Naïve Bayesian Classifier Localized Citation Graph Search (Baseline) Keyword Search Google (Baseline) Recommending Research Papers Polytechnique Montréal

Méthodologie expérimentale, résultats et discussion Expérience offline/online Impulse Polytechnique Montréal

Expérience offline Pour chaque article, on retire aléatoirement une citation On vérifie si l’algorithme est capable de prédire la citation Limitations : Aucune garantie qu’il n’existe pas des citations plus pertinentes que celle enlevée. 5 des 6 algorithmes sont testés (sauf Google, car trop demandant en ressource) Recommending Research Papers Polytechnique Montréal

Métriques Rang: position de la citation test dans la liste de recommandation (précision) Couverture : % des cas où l’algorithme a été capable de fournir une recommandation incluant la citation test (rappel) Rang Effectif : Pénalité sur la couverture si le rang est en deçà d’un certain niveau (F1 score) Recommending Research Papers Polytechnique Montréal

Résultats de l’expérience offline Recommending Research Papers Polytechnique Montréal

Discussion de l’expérience offline Graphe : très bonne précision, moins bon rappel: choix facilement recommandables seulement Bayes : malgré des performances mitigées, il possède la meilleure couverture (beaucoup de recommandations) User-item semble être le meilleur choix général Recommending Research Papers Polytechnique Montréal

Expérience online Sondage où les auteurs notent la pertinence des citations recommandées pour un article qu’ils ont écrit 6 algorithmes utilisés, 5 recommandations présentées Les questions sont centralisées sur 2 thèmes : La pertinence La nouveauté Métrique : Compte des votes qualitatifs Recommending Research Papers Polytechnique Montréal

Résultats de l’expérience online Recommending Research Papers Polytechnique Montréal

Résultats de l’expérience online Recommending Research Papers Polytechnique Montréal

Discussion de l’expérience online Google/Bayes/Graphe : Pertinent (50%) Item-Item/User-Item/co-citation : Non pertinent (25%) Inverse pour la nouveauté (corrélation pertinence-nouveauté = -0.51) Qualité : Graphe Utilité : Google Nouveauté : User-Item Général : Graphe Recommending Research Papers Polytechnique Montréal

Discussion de l’expérience online 60% des utitlisateurs ont reçu au moins une recommandation qu’ils considéraient comme une bonne addition FC réussit à faire des recommandations sur tous les articles vs Graphe échoue sur 19% et Google échoue sur 39% Algorithmes de baseline fonctionnent bien, mais seulement sur la couverture limitée qu’ils possèdent Peu de nouveauté Recommending Research Papers Polytechnique Montréal

Conclusion Aucun algorithme absolu Corrélation inverse pertinence-nouveauté (-0.51) Choix optimal d’un algorithme en fonction d’un scénario : Complément de références pour un article = Google ou Bayes (pertinence maximisée) Groupe de lecture = User-Item (nouveauté maximisée) Nouveau chercheur voulant une compréhension générale = User-Item (combinaison maximisée) ou hybride Recommending Research Papers Polytechnique Montréal

Travaux futurs Algorithmes basés sur le texte et hybrides (plus de textes disponibles) Entraînement du modèle en fonctions des préférences Adapter les systèmes pour trouver des réviseurs d’articles Recommending Research Papers Polytechnique Montréal

Références   McNee, S. M., Albert, I., Cosley, D., Gopalkrishnan, P., Lam, S. K., Rashid, A., Konstan, J. A., and Riedl, J. 2002. On the recommending of citations for research papers. In Proceedings of the 2002 ACM Conference on Computer Supported Cooperative Work (New Orleans, Louisiana, USA, November 16 - 20, 2002). CSCW '02. ACM, New York, NY, 116-125. DOI=http://doi.acm.org/10.1145/587078.587096 Recommending Research Papers Polytechnique Montréal

QUESTIONS? Recommending Research Papers Polytechnique Montréal