recherche & développement étude de la pertinence de critères de recherche en recherche d'informations sur des données structurées Kris JACK et Florence DUCLAYE France Télécom Recherche & Développement PeCUSI (Prise en compte de l'utilisateur dans les systèmes d'information) INFORSID'07 22/05/07

recherche & développement Groupe France Télécom sommaire 1. problématique 2. contexte de l'étude 3. FTSem : un système de recherche d'informations personnalisées 4. étude 1 : La pertinence relative des caractéristiques 5. étude 2 : étude à l'évaluation de FTSem personnalisé 6. conclusions

recherche & développement Groupe France Télécom 1 problématique

recherche & développement Groupe France Télécom problématique contexte FTSem étude 1 étude 2 conclusions problématique trouver une émission de télévision parmi un grand nombre de programmes proposés est difficile les méthodes de recherches classiques (ex : feuilleter un programme télé ou zapper) peuvent être laborieuses prendre beaucoup de temps le téléspectateur ne trouvera pas forcément l'émission la plus appropriée solution possible la personnalisation

recherche & développement Groupe France Télécom problème abordé pour choisir une émission, le téléspectateur va se baser sur plusieurs caractéristiques parmi lesquelles : le genre, le réalisateur, etc. lors de la recherche d'une émission, deux personnes peuvent donner à ces caractéristiques différentes valeurs ex : une personne trouvera le réalisateur plus pertinent, tandis qu'une autre personne trouvera que c'est le genre est-il possible pour un système de recherche d'informations de prendre en compte la pertinence relative de la caractéristique? problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom 2 contexte de l'étude

recherche & développement Groupe France Télécom profil utilisateur un système d'information est normalement personnalisé en créant un profil utilisateur pour chaque personne lors d'une recherche le système consulte ce profil afin de personnaliser ses réponses différentes manières de le créer et de le mettre à jour : en entrant des données explicitement (Gaush et al., 2003) par apprentissage automatique (DeLuca et al., 2005) en sauvegardant les opinions (Yu et al., 2004) en dialoguant (Krulwich, 1997) de nombreuses informations peuvent être enregistrées les données personnelles, le style cognitif ou d'apprentissage, les données concernant le but, l'expérience du système et du domaine problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom préférences les préférences are multiple, heterogeneous, changing (and) even contradictory (Vallet et al., 2006) différentes classification existent : qualitative vs. quantitative (Chomicki, 2003) persistante vs. éphémère (Sugiyama et al., 2004) dure vs. douce (Berners-Lee et al., 2001) indépendante vs. prioritaire (Siberski et al., 2006) présente vs. positive vs. négative (Koutrika et al., 2005) présente vs. absente (Koutrika et al., 2005) exacte vs. élastique (Koutrika et al., 2005) bruyante vs. pertinente (Vallet et al., 2006) les préférences sont dépendantes du contexte (Vallet et al., 2006) problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom 3 FTSem : un système de recherche d'informations personnalisées

recherche & développement Groupe France Télécom introduction de FTSem FTSem est un système sémantique de recherche dinformation qui opère sur des données structurées lors dune requête FTSem cherche le résultat le plus pertinent dans sa base de données il contient un profil pour chaque utilisateur le profil utilisateur est consulté afin de trouver le résultat le plus pertinent problématique contexte FTSem intro requête dist. pert. apprentis. étude 1 étude 2 conclusions Profil de JackActeur principalGenre Niveau de pertinenceTrès pertinentPertinent AimeArnold SchwarzeneggerAction Naime pasWoody AllenComédie

recherche & développement Groupe France Télécom la requête lutilisateur effectue une requête [*, *, *, *] le système compare la requête a chaque donnée en utilisant le profil utilisateur afin de trouver la distance entre une requête et une réponse nous devons dabord trouver la distance pertinente entre leurs propres éléments problématique contexte FTSem intro requête dist. pert. apprentis. étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom distance pertinente sachant que la pertinence dune caractéristique est marquée sur une échelle à 3 niveaux, très pertinent (r = 1), pertinent (r = 2) ou pas pertinent (r = 3). la distance pertinente entre * et un paramètre, dépend de lintérêt de lutilisateur pour ce paramètre (goût, pertinence) problématique contexte FTSem intro requête dist. pert. apprentis. étude 1 étude 2 conclusions Profil de JackActeur principalGenre Niveau de pertinenceTrès pertinentPertinent AimeArnold SchwarzeneggerAction Naime pasWoody AllenComédie

recherche & développement Groupe France Télécom 1 r = r = 1 r = 3 r = 1 r = 3 aime n'aime pas distance pertinente distance pertinente entre * et Arnold Schwarzenegger pour Jack = 1 distance pertinente entre * et Woody Allen pour Jack = 6 distance pertinente entre * et Action pour Jack = 2 distance pertinente entre * et Comédie pour Jack = 5 très pertinent (r = 1) pertinent (r = 2) pas pertinent (r = 3) Profil de JackActeur principalGenre Niveau de pertinenceTrès pertinentPertinent AimeArnold SchwarzeneggerAction Naime pasWoody AllenComédie

recherche & développement Groupe France Télécom r = r = 1 r = 3 r = 1 r = 3 aime n'aime pas distance pertinente Profil de JackActeur principalGenre Niveau de pertinenceTrès pertinentPertinent AimeArnold SchwarzeneggerAction Naime pasWoody AllenComédie distance pertinente entre * et Arnold Schwarzenegger pour Jack = 1 distance pertinente entre * et Woody Allen pour Jack = 6 distance pertinente entre * et Action pour Jack = 2 distance pertinente entre * et Comédie pour Jack = 5 très pertinent (r = 1) pertinent (r = 2) pas pertinent (r = 3)

recherche & développement Groupe France Télécom r = r = 1 r = 3 r = 1 r = 3 aime n'aime pas distance pertinente distance pertinente entre * et Arnold Schwarzenegger pour Jack = 1 distance pertinente entre * et Woody Allen pour Jack = 6 distance pertinente entre * et Action pour Jack = 2 distance pertinente entre * et Comédie pour Jack = 5 très pertinent (r = 1) pertinent (r = 2) pas pertinent (r = 3) Profil de JackActeur principalGenre Niveau de pertinenceTrès pertinentPertinent AimeArnold SchwarzeneggerAction Naime pasWoody AllenComédie

recherche & développement Groupe France Télécom distance pertinente la distance entre la requête et la réponse est la somme des distances pertinentes entre chacun des éléments donc une requête, r, dans laquelle chaque paramètre est, *, et chaque donnée, i = {f 1, f 2 …f n }, a pour distance totale entre ses éléments : total_distance(r, i) = plus un paramètre apprécié est pertinent plus la distance est petite plus un paramètre non aimé est pertinent plus la distance est grande problématique contexte FTSem intro requête dist. pert. apprentis. étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom apprentissage de valeurs pertinentes le système peut apprendre des valeurs pertinentes grâce a une liste ordonnée de données et les goûts de l'utilisateur problématique contexte FTSem intro requête dist. pert. apprentis. étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom apprentissage de valeurs pertinentes ordretitreacteur principalgenre 1The TerminatorArnold Schwarzeneggeraction 2PredatorArnold Schwarzeneggeraction 3Terminator TimeArnold Schwarzeneggercomedie 4Kindergarten CopArnold Schwarzeneggercomedie 5Lone TerminatorWoody Allenaction 6Rampant SageWoody Allenaction 7Help a TerminatorWoody Allencomedie 8The BluesWoody Allencomedie profil de Jacktitleacteur principalgenre niveau de pertinence aime*Terminator*Arnold Schwarzeneggeraction n'aimes pas*Love*Woody Allencomedie

recherche & développement Groupe France Télécom apprentissage de valeurs pertinentes ordretitreacteur principalgenre 1The TerminatorArnold Schwarzeneggeraction 2PredatorArnold Schwarzeneggeraction 3Terminator TimeArnold Schwarzeneggercomedie 4Kindergarten CopArnold Schwarzeneggercomedie 5Lone TerminatorWoody Allenaction 6Rampant SageWoody Allenaction 7Help a TerminatorWoody Allencomedie 8The BluesWoody Allencomedie profil de Jacktitleacteur principalgenre niveau de pertinenceplus pertinent aime*Terminator*Arnold Schwarzeneggeraction n'aimes pas*Love*Woody Allencomedie

recherche & développement Groupe France Télécom apprentissage de valeurs pertinentes ordretitreacteur principalgenre 1The TerminatorArnold Schwarzeneggeraction 2PredatorArnold Schwarzeneggeraction 3Terminator TimeArnold Schwarzeneggercomedie 4Kindergarten CopArnold Schwarzeneggercomedie 5Lone TerminatorWoody Allenaction 6Rampant SageWoody Allenaction 7Help a TerminatorWoody Allencomedie 8The BluesWoody Allencomedie profil de Jacktitleacteur principalgenre niveau de pertinenceplus pertinentpertinent aime*Terminator*Arnold Schwarzeneggeraction n'aimes pas*Love*Woody Allencomedie

recherche & développement Groupe France Télécom apprentissage de valeurs pertinentes ordretitreacteur principalgenre 1The TerminatorArnold Schwarzeneggeraction 2PredatorArnold Schwarzeneggeraction 3Terminator TimeArnold Schwarzeneggercomedie 4Kindergarten CopArnold Schwarzeneggercomedie 5Lone TerminatorWoody Allenaction 6Rampant SageWoody Allenaction 7Help a TerminatorWoody Allencomedie 8The BluesWoody Allencomedie profil de Jacktitleacteur principalgenre niveau de pertinencemoin pertinentplus pertinentpertinent aime*Terminator*Arnold Schwarzeneggeraction n'aimes pas*Love*Woody Allencomedie

recherche & développement Groupe France Télécom 4 étude 1 : pertinence relative des caractéristiques

recherche & développement Groupe France Télécom pertinence relative des caractéristiques personnaliser FTSem n'est utile que si les utilisateurs ont des opinions différentes sur ces même caractéristiques une étude a été effectuée auprès d'individus afin de découvrir s'il y a une vraie variété dopinions dans ce domaine 31 participants ont été recrutés chacun a reçu un questionnaire 26 caractéristiques de film (ex: titre, chaîne, etc.) nous avons demandé a chaque participant dindiquer le niveau de pertinence de chaque caractéristique pour sélectionner le film qu'il souhaite regarder à la télévision (pas pertinent, pertinent ou très pertinent). problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom pertinence relative des caractéristiques résultats les 31 participants ont répondu (N= 31) chaque caractéristique a reçu une note en fonction de sa pertinence (pas pertinent = 0, pertinent = 1, très pertinent = 2) problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom pertinence relative des caractéristiques la pertinence générale est calculée (la majorité indique la même valeur) very relevant relevant not relevant

recherche & développement Groupe France Télécom pertinence relative des caractéristiques les classements sont-ils différents pour chaque participant? 51% de la pertinence classée par les participants est la même que la pertinence générale par conséquent si un système considère les caractéristiques avec la même pertinence pour tous les utilisateurs, au mieux, il pourra prédire correctement 51% des opinions de lutilisateur les résultats confirment que la perception de la pertinence des caractéristiques par les utilisateurs varie considérablement lors de la recherche dun film problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom 5 étude 2 : étude de l'évaluation de FTSem personnalisé

recherche & développement Groupe France Télécom étude de l'évaluation de FTSem personnalisé puisque les opinions des individus sur la pertinence des caractéristiques diffèrent nous avons testé notre système pour voir sil pouvait les exploiter une étude a été conduite : 24 participants ont été recrutés les participants ont complété un questionnaire sur ordinateur questionnaire portant sur 4 caractéristiques de films (genre, chaîne, réalisateur et acteurs) problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom données de l'utilisateur problématique contexte FTSem étude 1 étude 2 conclusions utilisateur questionnaire

recherche & développement Groupe France Télécom données de l'utilisateur problématique contexte FTSem étude 1 étude 2 conclusions utilisateur questionnaire 3 listes de films profil utilisateur (explicite) exemples aimes et n'aimes pas pertinence des caractéristiques (explicite)

recherche & développement Groupe France Télécom données de l'utilisateur problématique contexte FTSem étude 1 étude 2 conclusions utilisateur questionnaire 3 listes de films profil utilisateur (explicite) 3 listes de films (ordonnées) exemples aimes et n'aimes pas pertinence des caractéristiques (explicite)

recherche & développement Groupe France Télécom données de l'utilisateur problématique contexte FTSem étude 1 étude 2 conclusions utilisateur questionnaire 3 listes de films profil utilisateur (explicite) 3 listes de films (ordonnées) 3 listes de films (ordonnées et appréciées) exemples aimes et n'aimes pas pertinence des caractéristiques (explicite)

recherche & développement Groupe France Télécom étude de l'évaluation de FTSem personnalisé étude réalisée : FTSem personnalisé a été testé pour déterminer dans quelle mesure il permettait de prédire l'ordre des descriptions de films produites par les participants les valeurs du profil relatives à la pertinence ont été fixées à l'aide de 2 méthodes : d'après des notations fournies explicitement par le participant apprises en utilisant les listes ordonnées problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom données du système problématique contexte FTSem étude 1 étude 2 conclusions utilisateur questionnaire 3 listes de films profil utilisateur (explicite) 3 listes de films (ordonnées) 3 listes de films (ordonnées et appréciées) exemples aimes et n'aimes pas pertinence des caractéristiques (explicite)

recherche & développement Groupe France Télécom données du système problématique contexte FTSem étude 1 étude 2 conclusions 3 listes de films (ordonnées) système profil utilisateur (explicite) exemples aimes et n'aimes pas pertinence des caractéristiques (explicite) pertinence des caractéristiques (appris)

recherche & développement Groupe France Télécom étude à l'évaluation de FTSem personnalisé résultats : 22 participants sur 24 ont répondu à tout le questionnaire (N=22) l'ordre des films qu'un participant ne veut pas voir est ignoré car il n'est pas significatif principaux tests : test de différents systèmes de scoring comparaison de la pertinence donnée explicitement par les participants avec la pertinence apprise problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom tests du système problématique contexte FTSem étude 1 étude 2 conclusions 3 listes de films (pas ordonnées) système exemples aimes et n'aimes pas pertinence des caractéristiques (explicite) pertinence des caractéristiques (appris) 3 listes de films (ordonnées par utilisateur)

recherche & développement Groupe France Télécom tests du système problématique contexte FTSem étude 1 étude 2 conclusions 3 listes de films (pas ordonnées) système exemples aimes et n'aimes pas pertinence des caractéristiques (explicite) pertinence des caractéristiques (appris) 3 listes de films (ordonnées par utilisateur) 3 listes de films (ordonnées par système) 3 système de scorings

recherche & développement Groupe France Télécom tests du système problématique contexte FTSem étude 1 étude 2 conclusions 3 listes de films (pas ordonnées) système exemples aimes et n'aimes pas pertinence des caractéristiques (explicite) pertinence des caractéristiques (appris) 3 listes de films (ordonnées par utilisateur) 3 listes de films (ordonnées par système) 3 système d'apprentissage s

recherche & développement Groupe France Télécom comparaison de systèmes de scoring résultats des test des systèmes de scoring (pour les pertinences données explicitement): scoring à 3 pas (pas pert., pert., très pert.) scoring à 4 pas (classement de 1 à 4) scoring à 12 pas (combinaison des deux précédents) problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom comparaison de résultats d'apprentissages résultats de la comparaison entre pertinence donnée explicitement et pertinence apprise : le système apprend le score de pertinence d'un participant à partir d'une ou deux listes et prédit la troisième problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom profil Aacteurchaîneréalisateurgenre pertinence aimeKeanu Reeves M6 Steven Spielberg Fantastique n'aime pasWoody Allen France 3 Abel Ferrara Erotique profil Bacteurchaîneréalisateurgenre pertinence aimeBrad PittFrance 2Tim BurtonSci-fi n'aime pasTom CruiseTF1James CameronRomance six films ordonnés par participant A Ordre Donnée acteurchaîneréalisateurgenreScore AScore B 1Keanu ReevesM6Steven SpielbergFantastique2022 2Keanu ReevesFrance 3Steven SpielbergFantastique2123 3Woody AllenM6Steven SpielbergFantastique3240 4Woody AllenFrance 3Steven SpielbergFantastique3341 9Keanu ReevesM6Steven SpielbergErotique Keanu ReevesFrance 3Steven SpielbergErotique3835

recherche & développement Groupe France Télécom profil Aacteurchaîneréalisateurgenre pertinence aimeKeanu Reeves M6 Steven Spielberg Fantastique n'aime pasWoody Allen France 3 Abel Ferrara Erotique profil Bacteurchaîneréalisateurgenre pertinence aimeBrad PittFrance 2Tim BurtonSci-fi n'aime pasTom CruiseTF1James CameronRomance six films ordonnés par participant B Ordre Donnée acteurchaîneréalisateurgenreScore AScore B 1Brad PittFrance 2Tim BurtonSci-fi2022 2Brad PittFrance 2Tim BurtonFantastique3734 3Brad PittTF1Tim BurtonSci-fi2123 4Brad PittTF1Tim BurtonFantastique3835 5Tom CruiseFrance 2Tim BurtonSci-fi3240 6Tom CruiseTF1Tim BurtonSci-fi3341

recherche & développement Groupe France Télécom étude à l'évaluation de FTSem personnalisé le FTSem personnalisé peut-il exploiter la pertinence des caractéristiques pour améliorer ses résultats ? oui. l'ordre des films peut être amélioré en prenant en compte la pertinence des caractéristiques : plus la granularité de l'échelle est fine, plus les résultats sont bons plus il y a de données apprises, plus les résultats sont bons l'apprentissage de la pertinence des caractéristiques permet de meilleurs résultats que l'utilisation d'une pertinence des caractéristiques fournies explicitement problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom 6 conclusions

recherche & développement Groupe France Télécom conclusions les individus considèrent que les caractéristiques ont des degrés de pertinence différents. un système peut le prendre en compte et ainsi améliorer sa réponse à la requête la connaissance de la pertinence des caractéristiques pour un utilisateur donné peut permettre au système de personnaliser ses réponses pour cet utilisateur problématique contexte FTSem étude 1 étude 2 conclusions

recherche & développement Groupe France Télécom Fin Merci de votre attention.