Agent-Assisted Task Managment that Reduces Email Overload Andrew Faulring, Brad Myers, Ken Mohnkern, Bradley Schmerl, AaronAteinfeld, John Zimmerman, Asim.

Présentation au sujet: "Agent-Assisted Task Managment that Reduces Email Overload Andrew Faulring, Brad Myers, Ken Mohnkern, Bradley Schmerl, AaronAteinfeld, John Zimmerman, Asim."— Transcription de la présentation:

1 Agent-Assisted Task Managment that Reduces Email Overload Andrew Faulring, Brad Myers, Ken Mohnkern, Bradley Schmerl, AaronAteinfeld, John Zimmerman, Asim Smailagic, Jeffery Hansen, and Daniel Siewiorek Cours : INF 6304, interfaces inteligents - Présenté par : M. Cherif HACHANI 1

2 >Introduction >RADAR >RADAR fonctionnement >RADAR, sondage, résultats et solutions >Similaires à RADRA >RADAR (task centric email processing) >RADAR (task ordering advice) >Evaluation et discussion >Conclusion et travaux futurs Plan : 2Agent-Assisted Task Managment that Reduces Email Overload

3 >Logiciels client passifs >Quel ordre de traitement ? Méthode centrique inefficace >Une solution intermédiaire : logiciels clients proposant la gestion des taches non prise en charge des facteurs temporels Courriels ? 3Agent-Assisted Task Managment that Reduces Email Overload

4 >Systeme Multi-Agents (intelligence artificielle) pour l'apprentissage >Aide les agents de bureau à gérer d'imense quantité de courriels >Observe des experts et déduit un modele >Classificateur : cherche des taches dans les courriels, puis cherche des courriels avec des taches similaire Reflective Agents with Distributed Adaptive Reasoning 4Agent-Assisted Task Managment that Reduces Email Overload

5 Fonctionnement de RADAR : the mixed-initiative 5Agent-Assisted Task Managment that Reduces Email Overload choix des experts Le classificateu r observe les types de taches Apprentissage d'un Modele Tests sur le modele MCA observe le traitement des taches par les experts Apprentissag e du modele Assiste les utilisateurs sur les ensembles de taches similaires Conseils, suggestions sur l'ordre, Alert en cas de déviation du modele Conseils, suggestions sur l'ordre, Alert en cas de déviation du modele moins de temps de traitement. Meuilleurs acomplisseme nt des taches moins de temps de traitement. Meuilleurs acomplisseme nt des taches

6 RADAR, plus encore... 6Agent-Assisted Task Managment that Reduces Email Overload RADAR Grand projet interdeciplinaire Plus de 100 étudiants et chercheurs Contient plusieurs modules : - Email Classifier, - MultiTask Coordination Assistant, - Natural Language Processor, - Knowledge Base, - Schedule Optimizer, - Webmaster, - Briefing Assistant, - Task Managment Architecture

7 RADAR, plus encore... 7Agent-Assisted Task Managment that Reduces Email Overload Mesure de performance : - Tests d'évaluation de 3 versions sur 3 ans. - Utilisation de données quantitatives d'évaluation. - Recours au sondage post-essai pour recueil des satisfactions clients.

8 RADAR, résultat du sondage 8Agent-Assisted Task Managment that Reduces Email Overload - le moteur IA a eu un impact sur les utilisateurs. - incorpore un classificateur de courriel. - les taches sont ajoutées comme objets aux courriels. - I'interface utilisateur n'est pas ergonomique. - l'interface contient des mesures de performance. - les utilisateurs sont peu confiant. RADAR 1.1RADAR 2.0 - un client courriel avec une approche centrique de taches. - interface utilisateur contient un compartiment pour la liste des taches. - le moteur IA a un impact positif sur l 'experience client. * sentiment d'avoir trouvé toutes les taches et de les avoirs toutes bien accomplis. - clients insatisfaits lors du traitement sur groupes de taches. RADAR 3.0 - utilisation du Multitasks Coordination Assistant. - utilisation des calendriers. - plus d'importance aux taches importantes. - variance minimale avec le modele basé sur l'apprentissage sur experts.

9 RADAR, résultat du sondage 9Agent-Assisted Task Managment that Reduces Email Overload IA, bonne approche mais : diminue le controle et le monitoring du systeme de part l'utilisateur. en cas d'erreur de la recommandation, l'utilisateur ne s'appercevra pas et ne corrigera pas l'erreur. Problemes liés à la mesure de performance : quand le systeme agit correctement ? l'utilisateur vera ce que le systeme avait fait ? l'utilisateur comprendra la suggestion ? Prédiction & compréhension Automatisation

10 RADAR, solution 10Agent-Assisted Task Managment that Reduces Email Overload Detecte automatiquement les taches par courriel. Met les taches dans une listView. Etabli une recommandation sur l'ordre des taches dans cette liste. Incorpore une ProgressBar pour le suivi de la progression de l'accomplissement des taches et les taches futures. Flexibilité par rapport au comportement de l'utilisateur / évite les érreurs couteuses et la fuite de confidentialités.

11 RADAR, résultat du sondage 11Agent-Assisted Task Managment that Reduces Email Overload 37% des taches sont mieux accomplies chez les utilisateurs avec interfaces comportants l'assistance de l'IA. 89% des taches que le classificateurs suggere anormalement sont corrigées par les utilisateurs contre 11% sans l'assistance de l'IA. Les utilisateurs avec assistant ont fait 2.6 taches erronées contre 10.3 taches en moyenne chez les utilisateurs sans l'assistant, soit environ 20% de l'ensemble des taches.

12 >TaskMaster : n'utilise pas de IA, utilise la liste " to-do tasks". >TaskView : organise bien les taches en arrageant les courriels dans une grille (temps - expediteur/objet), entrée manuelle des informations. >PExA : offre soit à l'utilisateur ou logiciel agent d'extraire les taches des courriels. >The SmartMail System : identifies les phrases qui impliquent des taches et marque les courriels par des drapeaux, mais aucun classement ni par types ni sur une liste des taches. >Logiciels à base de priorité : utilisent l'entete pour identifier l'urgence du courriel, mais n'extrait pas les taches et les analyse. Travaux similaires 12Agent-Assisted Task Managment that Reduces Email Overload

13 Etude Contextuelle RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING) 13Agent-Assisted Task Managment that Reduces Email Overload

14 Pour comprendre la problematique :  24 travailleurs.  emergence de 2 roles : les initiés (personnes en besoin d'aide), HSA (personnes qui fournissent l'aide).  Méthode de travail pour les HSA :  réception courriel (consiste à remplir des formulaires). conception de la : Action list interface.  rassemblent les taches par petits ensembles puis les traitent. Resultat : Conception d'une action list interface par une approche autour des taches (TASK-CENTRIC) au lieu du courriel (EMAIL-CENTRIC). Avantages : Une vue de toutes les taches à traiter. Pouvoir appliquer une prise en charge des priorité sur les ensembles de taches. RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING) 14Agent-Assisted Task Managment that Reduces Email Overload

15 L' Action List RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING) 15Agent-Assisted Task Managment that Reduces Email Overload

16 Sert à : création et suivi de la liste des taches issues des courriels. le classificateur examine le contenu de chaque courriel et déduit une liste de taches selon les huit types existants. Le classificateur parcourt le courriel rassemble tout les mots dans un modele puis utilise un algorithme (RLRA) puis attribue 0, 1 ou plusieurs étiquettes de tache au courriel. Limitation : le RLRA ne peut détecter plusieurs taches de me types dans le meme courriel. Solution : Scone (base de connaissance de RADAR) rajoute des informations en plus (utilisation du principe de l'onthologie). RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING) 16Agent-Assisted Task Managment that Reduces Email Overload

17 Résultats : L'évaluateur de RADAR est paramétré pour les utilisateurs novices qui ignore si le classificateur a fait un bon classement :donc beaucoup de faux positifs ne sont pas remarqués par les utilisateurs. Classificateur avec une meilleurs precision : un meilleurs classement a été opéré. Une précision de 0.887 donne un taux de rappel de 0.461. Chaque étiquette de tache, un objet tache est crée par le TaskManager. RADAR, fonctionnement ( TASK-CENTRIC EMAIL PROCESSING) 17Agent-Assisted Task Managment that Reduces Email Overload

18 RADAR, fonctionnement (TASK-CENTRIC EMAIL PROCESSING) Taches Courriels 18Agent-Assisted Task Managment that Reduces Email Overload

19 >RADAR 2.0 : >Task-centric workflow aide les utilisateurs à organiser les courriels par taches mais seulement les professionnels. Les novices ne trouvent pas une stratégie gagnante (importance, temps de traitement, dependences entre les taches). >RADAR 3.0 : >Avenement du MCA pour résoudre ce probleme. >Prend en charge l'ordre des taches et la limitation du temps de traitement (de 1 à 8 heures : équivalent à une journée de travail d'un HSA). >Par le moyen d'une bar de progression. RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE) 19Agent-Assisted Task Managment that Reduces Email Overload

20 >RADAR 3.0 : >le MAC recommande les taches à accomplir à partir du point (C). RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE) 20Agent-Assisted Task Managment that Reduces Email Overload

21 >RADAR 3.0 : Entrainnement du MCA, >Se fait sur le meme interface utilisateur. >Se fait sur l'ensemble des utilisateurs experimentés. >Se fait pendant 2 heures de temps, sur une version autre que celle de recommandation. >Auncune personne connaissant le fonctionnement de RADAR n'entraine le MCA. >Buts : >Trouver le temps moyen de traitement par type de tache. >Identifier les taches urgentes avec un temps d'attente minimal. >Identifier la PHASE : l'ensenble des types de taches entre deux taches urgentes. >Identifier le comment et le pourquoi du passage d'un type de tache à un autre type. >Identifier l'ordonnacement des taches selon les types. >Identifier le nombre moyen de tache par courriel et par type. RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE) algorithmes statistiques 21Agent-Assisted Task Managment that Reduces Email Overload

22 >RADAR 3.0 : Generation du calendrier de suggestions >génération des taches et des délais représentatifs comme ceux d'un experts, selon les étapes suivantes : -génération de nouvelles taches par la considération des dépendances. -le Advice Integrator calcule l'ordre des taches sur les differents types (taches incompletes, taches attendues, taches non traitées,...). -le TaskChedder pondere la taches par une durée et une importance selon la pondération de l'Expert. RADAR, fonctionnement (PROVIDING TASK ORDERING ADVICE) 22Agent-Assisted Task Managment that Reduces Email Overload

23 >Utilisation d'un planning de conférence pour des utilisateurs novices sur RADAR 3.0. >Spécification : -les taches doivent etre heterogenes (comme dans la réalité). -quelques taches sont simples alors que d'autres nécessitent plus d'éfforts. -quelques taches sont interdépendantes, le non respecet de l'ordre genere une perte de temps et un résultat faux. -l'approche email-centric n'est pas d'une aide. -les utilisateurs n'ont pas un délais fixe pour l'accomplissement des taches. RADAR, fonctionnement (EVALUATION) 23Agent-Assisted Task Managment that Reduces Email Overload

24 >Déroulement de l'experience : >Un ensemble de particiants >Gestion du calendrier de planning d'une conférence de 4 jours >Divers activités durant la conférence >Exemples d'un boite de réception de Blake : -Calendrier : les exigences, les repas, la disponibilités des participants,... -Le siteWeb : la prise en charge du siteWeb da la conférences par les utilisateurs. -L'information : les participants demande les mises à jours du calendrier et doivent recevoir une réponse. -Les fournisseurs : les participants spéfifient la préférences des repas, les founisseurs doivent etre contactés par leur formulaires. -Le briefing : le président de la conférence demande la progession des participants, un seul courriel de ce type est envoyé. RADAR, fonctionnement (EVALUATION) le tout ce reçoit par courriel 24Agent-Assisted Task Managment that Reduces Email Overload

25 Autres donnéesde l'experience : >quelques taches prennent une minute de traitement. >quelques taches prennent 15 ou 20 minutes de traitement. >quelques courriel contiennent 20 taches. >quelques taches necessitent l'accomplissement d'autres taches avant. >quelques taches necessitent une réponse externe : exemple la réponse d'un fournisseur pour un bon de commande. >quelques courriel n'ont aucun rapport avec la conférence. Un test dur, sur 3 ans, environ 400 personnes ont participé sur les 4 évaluations de RADAR 3.0, 300 autres sur l'évaluation intermédiaire. Aucun des personnes, meme les cherchers sur RADAR n'ont pu terminer l'experience. RADAR, fonctionnement (EVALUATION) 25Agent-Assisted Task Managment that Reduces Email Overload

26 Résultats graphiques RADAR, fonctionnement (EVALUATION) 26Agent-Assisted Task Managment that Reduces Email Overload

27 Résultats graphiques RADAR, fonctionnement (EVALUATION) 27Agent-Assisted Task Managment that Reduces Email Overload

28 >RADAR donne des résultats trés satisfaisant sous un HSA's workload. >Mais avec des limitations : -Projet clinique : testé seulement en labo. -Un systeme MultiAgents restreint, pas assez robuste pour un environnement réel. -HAS's workload utilisé représente un sous-ensemble du travail global. Conclusion & travaux futurs Travaux futurs : >Appliquer ces techniques sur un éspace réel de courriel avec un apprentissage en ligne. >Voir le comprtement de l'algorithme sur d'autre workload. Travaux futurs : >Appliquer ces techniques sur un éspace réel de courriel avec un apprentissage en ligne. >Voir le comprtement de l'algorithme sur d'autre workload. 28Agent-Assisted Task Managment that Reduces Email Overload

29 Merci pour votre attention. des questions ? 29Agent-Assisted Task Managment that Reduces Email Overload mohamed-cherif.hachani@polymtl.ca