« Évaluation des aides techniques»

Présentation au sujet: "« Évaluation des aides techniques»"— Transcription de la présentation:

1 « Évaluation des aides techniques»
Pr. Éric Brangier Université de Metz Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

2 Plan de l’exposé 1. Introduction
Handicap et assistance 2. L’évaluation de l’usage des dispositifs 3. Les techniques d’évaluation méthodes d’inspection, enquêtes d’usage, tests d’utilisabilité 4. Conclusion Perspectives Handicap et innovation pour tous Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

3 1 Introduction : contexte de l’évaluation des assistants
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

4 Problème posé Caractéristiques des grands handicapés
privation des ressources réduction des relations Développer le confort confort fonctionnel confort émotionnel Idée: Assistance… « performance du facteur humain » Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

5 L’assistance à l’utilisateur
Assister un opérateur, c’est estimer qu’il risque de rencontrer des difficultés et que l’aide apportée améliorera la réalisation de sa tâche. L’assistance = réunion de trois éléments une tâche, un opérateur chargé de réaliser la tâche et un assistant (humain ou technique) chargé d’aider le premier dans sa tâche. Définition large: logiciels de supervision ou d’aide à la décision, supports écrits de formation au poste de travail, et les interfaces humain-machine. Types: Informative Coopérative Palliative Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

6 Assistance informative
donner des informations, souvent de nature procédurale organise le champ informationnel de l’opérateur Les aides textuelles, graphiques, au travail, par la diversité des formats de présentation et de leur contenu sont de bons exemples d’aide informative. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

7 Assistance collaborative
collaboration entre un agent d’assistance, humain ou technique, et un utilisateur disposant de ressources limitées. L’assistant effectue un tri des informations, traite les informations estimées pertinentes et conseille l’opérateur. L’assisté va construire ses connaissances et raisonnements au fur et à mesure des interactions avec l’assistance et, pour finir, opter pour une action ou décision. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

8 Assistance palliative
Personne malade En fin de vie Contexte Technologie EDITH prend la place de l’homme dans un certain nombre de tâches qu’il ne peut réaliser. conçue pour pallier les déficiences humaines (handicaps moteurs ou sensoriels) ou l’inaccessibilité d’une situation (télésurveillance, robotique…). prend en charge une grosse partie du travail d’exécution, l’opérateur devant pour sa part piloter l’aide qui pallie ses insuffisances ou impossibilités. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

9 2 L’évaluation de l’usage des dispositifs d’assistance
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

10 Que faut-il évaluer? « You know it won't work because you form a conceptual model of the device and mentally simulate its operation. » D. Norman. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

11 Évaluation de l’assistance: orientations générales
Fonctionnalités Usage dépend de l’adaptation à la fonction Ensemble adapté de fonctions destinées à l’activité Utilisabilité Facilité d’utilisation « degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction » (ISO 9241) Emotionnalité Attachement suscité par l’usage d’un produit Capacité d’un produit à générer un sentiment agréable ou désagréable, conditionnant l’usage du produit. Régulation socio-organisationnelle Acceptation sociale Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

12 Critères d’acceptabilité
Ergonomie du produit Fonctionnalité Utilisabilité Emotionnalité Ergonomie du contexte Utile? Facile? Agréable? Plaisir physique, psychologique, social, idéologique Relation affective Employabilité etc… Service rendu, Utilité Opérationnalité Ergonomie Compatibilité cognitive Adaptation IHM Régulation sociale Environnement, Contexte, Appuis socio-affectifs… Performances de la relation Humain- Aide technique- Contexte Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

13 Structure générale de la norme ISO 9241.11
Résultats de l'utilisation utilisateur tâche équipement environnement Résultat escompté OBJECTIFS Élaboration des caractéristiques de l’utilisabilité du produit de manière à atteindre un niveau défini d’efficacité, d’efficience et de satisfaction. Contexte des interactions entre l’homme, la technologie et l’organisation produit Évaluation de l'utilisabilité (efficacité, efficience, satisfaction) du produit Niveau d’adéquation entre les objectifs et les performances atteintes Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

14 Données élémentaires du contexte d’utilisation
Nombre d’utilisateurs Aptitude physique Habilité cognitive Déficits et limitations physiques et cognitifs Motivation Attitude à l’égard de la tâche Ethnies, cultures, habitudes et compétences linguistiques Utilisateurs directs, indirects, occasionnels, experts, novices… Qualification et diplômes Formation initiale, formation continue Expérience de l’environnement Compétences dans le domaine Compétences sur le produit Expérience de la tâche Âge, sexe Fonctions exercées Niveau d’autonomie Identification du matériel Description du produit Types d’application possibles Spécifications informatiques (logiciels…) Incompatibilité avec d’autres matériels Signaux formels et informels émis par la machine Principales fonctionnalités Implantation architecturale Support papier, Documentations Nuisances évidentes Signalétique utilisateur équipement Contexte des interactions entre l’homme, la technologie et l’organisation équipement utilisateur Identification de la tâche Nom de la tâche Durée de la tâche Flexibilité de la tâche Fréquence d’exécution de la tâche Risques potentiels attachés aux erreurs Exigences physiques, cognitives et sociales liées à la tâche Exigences d’hygiène et de sécurité Objectifs de la tâche Pré-requis et post-requis de la tâche Décomposition hiérarchique de la tâche Interruptabilité des tâches tâche environnement Organisation du travail Culture organisationnelle Modalités de communication Organisation des temps et horaires Travail de groupe et mode de coopération Structure du pouvoir et du management Organisation des relations professionnelles et de leurs représentations Ambiances physiques de travail (bruit, température, vibration, lumière…) Aménagement des postes de travail (emplacement, posture, déplacement, design…) Évaluation des risques professionnels Port d’équipement de protection individuelle tâche environnement Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

15 Conception centrée sur l’utilisateur ISO 13407
Étude préalable pour identifier les avantages d’une conception centrée sur l’utilisateur (compromis entre exigences, coûts, contraintes et bénéfices) Compréhension du contexte des interactions entre l’homme, la technologie et l’organisation équipement utilisateur tâche environnement Expression des besoins de l’utilisateur final par rapport au produit et au contexte d’utilisation (étude des exigences de l’activité de l’opérateur, de la technologie et de l’organisation). produit Cycle de conception/réalisation du produit: maquette, prototype, produit fini. produit Cycle itératif de test (inspection de l’utilisabilité, enquête d’usage, expérimentation) jusqu’à l’adéquation du produit aux besoins des utilisateurs et de l’organisation Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

16 Pratiques de conception/évaluation
Conception centrée utilisateur (ISO 13407) Conception par l’usage Conception participative Conception universelle…. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

17 Les objectifs de l’évaluation
Dimensions de l’utilisabilité que l’on souhaite évaluer « ISO  » : un système est utilisable lorsque l’utilisateur peut accomplir sa tâche (efficacité), avec un minimum de ressources pour le faire (efficience) et que le système est estimé agréable à utiliser (satisfaction). la facilité d’apprentissage la tolérance du système aux erreurs de l’utilisateur. Cycle de développement d’un produit Type de besoins que le produit doit satisfaire  Caractéristiques des utilisateurs ciblés par le produit  Contexte global d’usage du produit Contraintes de coûts ou de temps. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

18 Préciser les dimensions de l’utilisabilité à évaluer (1)
Efficacité Examiner si les buts visés par l’utilisateur sont atteints. Vérifier la capacité du système à satisfaire les intentions. Efficience Mesurer les ressources nécessaires pour atteindre les objectifs. Quantifier le nombre de fonctions utilisées. Comptabiliser le nombre de modes opératoires effectués pour accomplir une tâche donnée. Calculer le temps mis par l’utilisateur pour réaliser la tâche. Satisfaction Apprécier si le système est agréable à utiliser. Mesurer le nombre de fois qu’un utilisateur exprime de la frustration ou de la satisfaction. Comptabiliser les remarques positives et/ou commentaires négatifs, à travers un questionnaire ou par l’intermédiaire d’un entretien. Observer et comptabiliser les attitudes physiques favorables et/ou défavorables de l’utilisateur (gestes, mimiques, signes d’énervement ou d’agacement…). Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

19 Préciser les dimensions de l’utilisabilité à évaluer (2)
Facilité d’apprentissage Mesurer la capacité du produit à être découvert naturellement. Mesurer le temps de latence entre la consigne de l’évaluateur et le début d’une utilisation correcte. Compréhension correcte et assimilation rapide du mode de fonctionnement. Tolérance aux erreurs Comptabiliser le nombre d’erreurs commises par l’utilisateur et le nombre de récupérations. Quantifier le nombre de bonnes ou de mauvaises applications mentionnées par l’utilisateur. Mesurer les temps nécessaires à la correction des erreurs. Évaluer le système d’aide (compréhension de la documentation, facilité d’usage de l’aide informatisée…). Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

20 Types d’évaluation Moments de l’évaluation Évaluation et cycle de vie
Évaluer pour prévoir : l’évaluation prospective. anticiper les modes d’usages de produits à partir de l’analyse d’une situation donnée de manière à prévoir de nouveaux usages en concevant de nouveaux objets. Évaluer pour valider : l’évaluation consécutive. confirmer ou infirmer les orientations prises par la conception. Évaluer pour améliorer en continu : l’évaluation itérative. les processus de conception et d’évaluation sont liés et mutuellement dépendants  Évaluation et cycle de vie lors de la première phase de la conception. maquettage ou du prototypage. conception définitive (comparaison avec le cahier des charges) sur des produits existants à des fins comparatives(concurrence). du produit et sa maintenance. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

21 Connaître les utilisateurs cibles et les besoins à satisfaire
Besoins des utilisateurs : l’accessibilité physique, l’apprentissage, l’audition, la vision, la cognition, la communication, l’écriture, la lecture, la mobilité, leur profession, leur santé et soins personnels ou encore leurs besoins récréatifs… La connaissance des besoins à satisfaire qui orientera l’évaluation. Quel est le degré d’importance de l’amélioration apportée à l’utilisateur final ? Quel est de degré de satisfaction du besoin par la technologie ? Quels nouveaux besoins peuvent apparaître ? Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

22 Maîtriser les biais et attitudes de l’évaluateur
L’évaluateur ne biaise-t-il pas les résultats ? Neutralité, bienveillance… Qui évalue ? Par soucis de validité et de fidélité, l’évaluation de l’utilisabilité doit-elle être réalisée par des spécialistes désengagés de la conception. Que doivent indiquer les évaluations? Que le produit satisfait l’utilisateur? NON! Que le produit n’est pas satisfaisant. flatter le narcissisme des concepteurs ? proposer des recommandations qui l’amélioreront. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

23 3 Les techniques d’évaluation
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

24 Les méthodes d’évaluation
La source du savoir collecté : utilisateurs ou experts ? La situation d’évaluation : artificielle ou réelle ? La situation d’évaluation Réelle Artificielle Expert Utilisateur La source du savoir collecté LES INSPECTIONS ENQUETES D’USAGE LES TESTS Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

25 Les grandes catégories de méthodes d’évaluation.
Analyser la situation réelle avec l’utilisateur : les enquêtes d’usage. déterminer les objectifs et les tâches d’utilisateur, interpréter les conduites et élaborer des préconisations Examiner l’utilisabilité sans utilisateur : les techniques d’inspection. examiner, selon des critères éprouvés, l’utilisabilité d’un produit, mais sans utilisateur. récapituler les sources d’inutilisabilité et proposer des solutions correctrices. Impliquer l’utilisateur pour améliorer ou valider : les tests d’utilisabilité effectuer des tâches représentatives avec le produit testé. rédiger un rapport énumérant les problèmes et énonçant des recommandations basées sur les résultats des expériences. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

26 Les enquêtes d’usage Découverte de données sur les usages
Double objectif: D’innovation D’aménagement A la différence des autres méthodes d’évaluation, les enquêtes d’usage insistent sur : Le rôle du contexte dans l’apparition d’un comportement d’un utilisateur. L’observation de la réalité telle qu’elle est L’idée que la technologie n’existe pas en soi, mais se réfère toujours à un usage. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

27 Illustrations de techniques
Analyse ethnographique L’analyse de la situation d’utilisation Les groupes de discussion « focus group » L’entretien structuré Questionnaire L’observation Retour d’expérience (REX) Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

28 Le monitoring de l’utilisation
« Tracer » l’utilisateur par des mouchards électroniques. Quantifier les durées d’utilisation Évaluer les fonctionnalités utilisées ou non Recenser les difficultés à partir de la connaissance des opérations qui ne sont pas ou mal faites par l’utilisateur Mesurer le taux global d’utilisation Visualiser les séquences réelles d’action problèmes Problèmes déontologique  interprétatif Edith environnement digital de téléactions pour handicapés Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

29 Les techniques d’inspection
Porter un jugement sur ses capacités à être efficace, efficient, tolérant aux erreurs, facile à apprendre et satisfaisant pour ses utilisateurs. Évaluateurs experts en facilité d’usage l’inspection dépend de la qualité et de la quantité d’évaluateurs. à privilégier pour dégrossir les problèmes d’utilisabilité et préparer des tests Les techniques d’inspection reposent sur une conception classique de l’ergonomie n’intègre ni l’analyse du travail, ni les dimensions organisationnelles, sociales ou culturelles du travail. « machine humaine »  Techniques relatives Aux connaissances de l’évaluateur A des outils pour appréhender l’utilisabilité du produit A des modèles et théories de la performance humaine. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

30 Illustration des types d’inspection
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

31 Les tests d’utilisabilité
Mesure expérimentale de l’adéquation d’un dispositif aux utilisateurs cibles Méthode pour évaluer un dispositif qui permet : D’observer directement la manière dont des utilisateurs s’en servent ; D’identifier les difficultés qu’ils rencontrent ; De recueillir leurs verbalisations ; De recenser leurs attitudes à l’égard du produit ; D’impliquer d’autres partenaires que les utilisateurs. Déroulement Fixer et justifier les objectifs du test d’utilisabilité Préparer le test d’utilisabilité (empiriques et théoriques) Constituer un échantillon d’utilisateurs 5 utilisateurs d’une catégorie donnée suffisent à détecter 80% des problèmes, MAIS parfois 5 utilisateurs ne sont pas suffisants… En prévoir 49 ! Choisir des utilisateurs représentatifs Veiller à la représentativité des situations d’utilisation Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

32 Utiliser un laboratoire d’utilisabilité (Pergolab)
Zone d’accueil 4 salles 3 types d’intervenants Déontologie Déterminer le type de test à mener Test de performance. Test d’utilisation. Test d’anticipation. Test des systèmes d’aide à l’apprentissage. Test de confrontation. Le test de déploiement du produit. Etc. Zone technique Couloir Fenêtres Miroirs sans tain Zone de test Zone d’observation Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

33 La restitution de l’évaluation
L’analyse des données recueillies 1. verbales 2. d’observations 3. quantitatives La validation des propositions L’élaboration de recommandations Produire des connaissances appropriables par l’ensemble des acteurs La restitution du rapport d’évaluation L’évaluation n’est pas seulement un constat, ce sont des résultats et analyses avec lesquels on décide. L’utilisateur est au centre de la restitution. le document écrit, la présentation orale. Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

34 4 Conclusion & perspectives
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

35 Conception centrée utilisateur
Si vous voulez qu’un utilisateur comprenne votre dispositif d’assistance, vous devez d’abord comprendre l’utilisateur. Comment votre assistant « parle »-t-il à l’utilisateur ? Qu’est-ce que vous voulez que votre produit fasse pour l’utilisateur ? Qu’est-ce que l’utilisateur va faire avec votre produit ? Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

36 Contexte organisationnel
Cadre de l’évaluation Évaluer par: Respect aux standards Techniques et méthodes La comparaison à des modèles cognitifs Utilisateur Accommodement Technologie Fonctionnalités Interface Utilisabilité Contexte organisationnel Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

37 Perspectives Humain Contexte Machine Usage Reconception Adaptation
Interactif Usage Reconception Adaptation Symbiotique Exemple: Téléphone portable Handicap : Tous concernés + Généralisation aux utilisateurs « sains » Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

38 Peut-on faire « sans » ergonomie?
Oui, mais bon courage à vous! Comment font les entreprises à « hi-tech »? Compagnies Secteur Date Nb salles Ameritech Communications service 1989 7 Bellcore Telco software 1985 BT (British Telecom) Telephone service 1988 3 IBM Computer systems 1981 14 MAYA Design Group Design consultants 1990 Microsoft Corp. PC software 19 NCR 1966 Philips Consumer electronics 5 SAP Standard business apps 1992 2 SunSoft Workstation software 8 Symantec Taligent PC operating systems (D’après Nielsen, 1994) Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz

39 Entre les deux mon cœur balance
Équipe Transdisciplinaire sur l’Interaction et la Cognition Université de Metz