La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Mémoire Miriano Romualdi STAF 2004 De la planification à la recherche dans un système d'aide. La RI pour des cibles simples et complexes à deux différents.

Présentations similaires


Présentation au sujet: "Mémoire Miriano Romualdi STAF 2004 De la planification à la recherche dans un système d'aide. La RI pour des cibles simples et complexes à deux différents."— Transcription de la présentation:

1 Mémoire Miriano Romualdi STAF 2004 De la planification à la recherche dans un système d'aide. La RI pour des cibles simples et complexes à deux différents niveaux de navigation. Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

2 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

3 Mémoire Miriano Romualdi STAF 2004 Questions de recherche. Même si les systèmes daide comme celui de Word 2000 atteignent un niveau technique très sophistiqué, ils ne sont pas toujours ergonomiques, et en général ne sont pas souvent consultés. On suppose que la majeure partie des problématiques dutilisation des aides soit liée au fait que ces systèmes ne facilitent pas le passage de l'exécution de la tâche à la planification d'un objectif de recherche et ensuite à la recherche. En effet les difficultés liées à ces processus cognitifs ne sont pas prises en compte explicitement par les développeurs. Vu que ce passage a lieu très souvent pendant la résolution d'une situation problème (au travail sous pression temporelle), et que cette situation est prioritaire pour l'utilisateur qui n'est pas vraiment intéressé à apprendre les nouvelles fonctionnalités du programme, cela complique ultérieurement l'activité de planification de la recherche d'information dans l'aide. On va donc étudier comment un utilisateur devant un problème à l'écran planifie ses objectifs et ensuite, grâce à une verbalisation dirigée, on va analyser sa formulation de la recherche dans l'aide et si elle est pertinente. Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

4 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt Hypothèse 1 Pendant lexécution dune tâche de transcription à lordinateur, sous contrainte temporelle, si lutilisateur ne connaît pas la fonctionnalité requise pour transcrire une cible donnée et on lui demande dinterrompre la transcription et de rechercher cette fonctionnalité dans laide : - il aura des difficultés à planifier ses objectifs (évaluation du problème, sélection dune stratégie) - il aura des difficultés dans la définition des critères de sa recherche (traitement) - il aura de difficultés à trouver la page cible (voir définition). Le participant passe de l'exécution, à la planification et à la recherche pour toutes les cibles avec difficulté. En particulier la difficulté sera accrue pour les cibles dites "complexes" (leur dénomination est unique et elles ont moins dindices verbaux pour la recherche, (voir définition). Pour ces cibles complexes la planification sera évidemment plus longue et la verbalisation pas immédiate ou incertaine. Si le participant connaît un indice verbalisable de lélément à transcrire ou à reproduire, (Ex: « oui une lettre grecque, ou delta comme la voiture »), le passage de la planification à la recherche à travers une verbalisation dirigée est simplifié, car tel indice peut être utilisé à plusieurs niveaux (planification, verbalisation, recherche).

5 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt Hypothèse 2 Le facteur nombre de clicks (voir définition) pour atteindre une cible à travers le parcours optimal n'affecte pas la difficulté de la tâche de recherche. Le nombre de click influencera la variable temps (VD1) et le nombre de nœuds ouverts par cible (VD3), et non pas le nombre déchec/réussite par page Cible (VD 2) et le cycles de recherche (VD 4). La recherche dune page- cible (sans distinction entre simple et complexe) qui se trouve à un niveau de navigation plus bas ou dans un hypertexte avec un parcours idéal plus long ne sera pas différente de celle dune cible qui se trouve à un niveau de navigation plus élevé ou dans un hypertexte avec un parcours idéal plus court.

6 Mémoire Miriano Romualdi STAF 2004 Variables indépendantes : 2 VI par rapport au type de cible: - 1 : modalité cible/item simple vs cible/item complexe - 2. modalité cible/item à 3 niveau vs cible/item à 4 niveau. Variables dépendantes : - VD1 temps pour recherche page cible dans l'aide (variable de performance) - VD2 échec/réussite recherche page cible - VD3 nombre de nœuds ouverts pendant la recherche d'une cible (variable de performance) - VD4 cycle de recherche pendant la recherche de la même page cible. Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

7 Mémoire Miriano Romualdi STAF 2004 LOrdre de présentation des cibles sera le suivant: simple - complexe - complexe - simple Dénominations exactes de cibles: - C1 symbole/lettre grecque (simple) (3 niveaux) - C2 indice (complexe) (3 niveaux) - C3 lettrine (complexe) (4 niveaux) - C4 Bordure/ contour/ cadre (simple) (4 niveaux) Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

8 Mémoire Miriano Romualdi STAF 2004 Procédure: Les participants étaient installés individuellement devant l'ordinateur Word 97 et l'aide est déjà ouvert. Q1: Un premier questionnaire Q1 nous permet de récolter des données sur l'âge, le sexe, le niveau informatique et la fonction dans l'entreprise, ainsi que leur niveau de connaissance des aide en ligne Likert 1-4 très utilisé - pas utilisé. On lit ensuite la consigne et on montre comme prévu les fonctionnalités de l'aide (Navigation, Index, recherche), la présentation est identique. On lance RoboDemo, qui enregistre les activité dans le système daide. Session expérimentale 1 participant même condition ou VI en intrasujet Durée prévu sur la base des pré-tests: 20/25 minutes. Le participant commence à transcrire, il s'arrête devant une cible et doit aller chercher la réponse- procédure dans l'aide, entre sa planification et la recherche le participant est interrogé V1: - on doit déterminer pour C1/C2/C3/C4 ce que il cherche et la forme de sa recherche - Pendant la recherche; les actions des utilisateurs sont aussi observés à l'aide d'une grille (style de recherche, le tout est enregistré,…) - les temps pour chaque recherche de cibles sont pris avec un chronomètre, RoboDemo pas fiable à 100%. Q2 enfin un questionnaire d'évaluation subjectif de la tâche (pour chaque cible et pour sa recherche dans l'aide) terminait l'expérience et permettait sur la base d'une échelle de Licket de sur 12 centimètres de savoir s'ils jugeaient la cible très facile, facile, moyenne, difficile très difficile et /ou ensuite la recherche correspondante. Q2a avant recherche Q2b après recherche cible V2 et Q3 avant de terminer Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

9 Mémoire Miriano Romualdi STAF 2004 Analyse Quantitative Sur la base des enregistrements et des observations on codifie les performances avec des grilles quantitatives (temps, taux d'échec/réussite, nombre cycle de recherche et des nœuds ouverts) et sur la base des entretiens et des observations on analyse les résultats qualitatives (les réponses, le style de recherche, le type de recherche) pour établir éventuellement de corrélations avec les performances (VD). Les résultats quantitatifs ont été analysés avec les méthodes suivants: Comparer les moyennes T-Test pour données à intervalle (Paired –Samples T test) Wilcoxon pour les données ordinaux Mesure de lassociation-correlation entre 2 variables : Pearson à intervalle/Spermans rho ordinal Modèle Anova pour les mesures répétées Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

10 Mémoire Miriano Romualdi STAF 2004 Analyse Quantitative Hypothèse 1 Lhypothèse est confirmée. Le cibles complexe C2, C3, qui ont une dénomination unique et moins dindices verbaux par rapport aux cibles simples C1, C4 ont été trouvé en plus de temps, avec plus de cycles de recherche et avec louverture de un nombre supérieur de nœuds dans le système daide. Les échecs dans la recherche des pages cible C2, C3 sont aussi supérieurs. Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

11 Mémoire Miriano Romualdi STAF 2004 Hypothèse 2 Lhypothèse nest pas confirmée. Le facteur nombre de clicks pour atteindre une cible à travers le parcours optimal affecte la difficulté de la tâche de recherche. Influence donc toutes les VD 1, VD 3, VD 2 et VD 4. La recherche dune cible qui se trouve à un niveau de navigation plus bas ou dans un hypertexte avec un parcours idéal plus long est donc différente de celle dune cible qui se trouve à un niveau de navigation plus élevé ou dans un hypertexte avec un parcours idéal plus court. Le cibles avec parcours idéal à 4 clicks C3, C4 ont été trouvé en plus de temps, avec plus de cycles de recherche et avec louverture de un nombre supérieur de nœuds dans le système daide que le cibles à 3 clicks. Les échecs dans la recherche des pages cible C3, C4 sont aussi supérieurs. Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

12 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt Résultats Hypothèse 2

13 Mémoire Miriano Romualdi STAF 2004 Qualitatif : Analyse données Q3 Le questionnaire nous a permis de connaître avec une verbalisation consécutive si les participants connaissaient la/les dénominations exactes et les indices pour chaque cible et sils les avaient déjà utilisés dans leurs activités professionnelles. La somme de réponses négatives est supérieure pour les cibles complexes, fait qui confirme la pertinence de notre pré-test pour définir les cibles complexes ou simples. Ce résultat danalyse qualitative va donc soutenir notre hypothèse 1 et notre plan expérimental. Au même temps les cibles à 4 clicks C3 et C4 ont plus de réponses négatives des cibles à 3 clicks C1 et C2. Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

14 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt Qualitatif : Analyse des données de questionnaire Q2a/2b On analyse le rapport entre la différence dans la perception de la difficulté de la cible avant et après la recherche et le taux déchec et la performance. Les sujets qui changent le plus fortement dévaluation, différence entre Q2b-Q2a, ont des performances inférieures par rapport à la moyenne : plus de temps, plus déchecs, plus de cycles de recherche et plus de nœuds ouverts. Ces participants en ayants probablement aussi très peu dexpérience dans lutilisation des systèmes daide ne sont pas capable dévaluer la difficulté dune recherche à lavance. (ex. excel)

15 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt Qualitatif : Analyse des données de VerbalisationV1 Le fait que le participant répond positivement à la première question (« est-ce que vous sauriez le faire sans laide »), environ 50% de cas, compris le réponses « en cherchant », na pas dinfluence positive sur les performances de RI (pas de corrélation positive entre la réponse et les performances). Une minorité cherche en suivant le parcours proposé dans le menu de WORD et donc en utilisant de « demande de guidage global » (voir grille) par exemple barre de navigation « Format/caractères spéciaux/… ». (esempi excel) Donc ou les participants ne se souviennent pas de ce parcours. Ils utilisent peut-être les icônes pour travailler et ils les mémorisent avec des termes différents (ou pas verbalement) ; ou ils mémorisent évidemment des infos procédurales, quils nutilisent pas dans la « recherche ». En tout cas le problème reste et il faudrait laffronter avec une amélioration de la terminologie dans ces systèmes. Quand le sujet formule verbalement sa recherche dans plus de 80% de cas utilise un nom (Info statique) et pas une action (info dynamique voir grille type de recherche), mais au même temps plusieurs participants dans la V2 se plaignent du fait que ils ne trouvent pas une structure daccès au informations procédurale. Personne utilise des « info sémantique ». Evidemment à partir du deuxième cycle de recherche pour la même cible ils passent au type « Info successives », pour approfondir la recherche…

16 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt Qualitatif : Analyse des données de VerbalisationV2 Considération sur la base de V2 : Sur la base de mots clés et des phrases quon a mis en évi dence on a limpression que les participants nutilisent pas trop les systèmes daides (opinion confirmé par les réponses au Q1). Ils lutilisent pour la recherche des éléments/fonctionnalités très techniques comme dans Excel ou dans des programmes dassurance, dont ils connaissent les dénominations précises. Lindex nest pas du tout utilisé et même pendant lexpérience, très peu de pages cible ont été trouvés à travers lIndex ou le menu ; certains participants affirment quils utilisent lIndex juste pour savoir comment commencer la recherche avant de passer dans le champ « recherche » Souvent ils parlent de désorientation et de se perdre, fait qui pourrait confirmer un effet de désorientation pour la C4; de plus cette surcharge cognitive, voir Rouet, peut porter à désactiver la représentation du but et donc à léchec, voir type de stratégies. Pour ce qui concerne les stratégies de recherche de participants (sur la base de V2 et des films RoboDemo, en général, entre les catégories a) et b) les participants montrent dans la majorité des cas « une correspondance avec V1 » dans leur type de recherche, même si un 20% des sujets change sa propre formulation et rentre ainsi dans la catégorie « non correspondance avec V1 », ils utilisent dans ce cas souvent un terme proche « encadrement » à la place de « cadre »….

17 Mémoire Miriano Romualdi STAF 2004 Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt Conclusion Les participants affirment avoir une connaissance moyenne 2,6 sur 5 des systèmes daides, mais si on enlève les connaissances des programmes très techniques Excel ou programmes dassurances, ces connaissances seraient beaucoup moins élevées. Par contre il faut dire que notre échantillon a des très bonnes connaissance de linformatique et dInternet (considéré comme système Hyper textuel), on peut donc supposer que le grand public, dans la même situation dynamique, aurait des performances plus basses que nos participants. Les résultats de cette expérience confirment les recherches et les études empiriques dans le domaine et montrent la nécessité de revoir la conception et le développement des systèmes daides. Il est indispensable de les laméliorer sur tout par rapport à la RI et à leur utilisation dans de situations dynamiques » pendant le travail.


Télécharger ppt "Mémoire Miriano Romualdi STAF 2004 De la planification à la recherche dans un système d'aide. La RI pour des cibles simples et complexes à deux différents."

Présentations similaires


Annonces Google