IF-05 Qualité ergonomique des logiciels Pascal Salembier

Plan Qualité et qualité… : génie logiciel et qualité d’usage Qualité ergonomique et utilisabilité Comment évaluer l’utilisabilité ? Inspection ergonomique et test utilisateur Normalisation Au-delà de l’utilisabilité : « new usability » et « user experience » Concepts Méthodes Limites Exemples de conception basés sur un point de vue enrichi de l’utilisabilité

Quelques mauvais exemples…

Désorientation perceptivo-cognitive Je regarde où ?…

Quelle heure est-il ?…

A quelle vitesse ?…

Qu’est-ce que c’est ?…

Codes multiples

Quel numéro ?…

Facteurs secondaires de détermination de la qualité d’usage Top-loading VCR

Situations professionnelles « à risque » Three Miles Island Les opérateurs ne parviennent pas à identifier que la vanne de suppression est coincée en position « ouverte  » Les opérateurs ont été induits en erreur par les indications du pupitre de commande : l’indicateur lumineux présent indique uniquement si la fermeture de la vanne a été commandée ou non ; il ne donne pas directement l’état de la vanne.

Prolifération des sites web… pour le meilleur et pour le pire… (1670 liens sur la page !)

Abstraction de cas singuliers problématiques Des objets/commandes qui ne fonctionnent pas comme on s’y attend Des objets/supports d’affichage/commandes différents qui apparaissent comme trop semblables Des informations trop difficiles à voir/interpréter Des objets incompatibles entre eux Des objets difficiles à manipuler Des informations/commandes difficiles à mémoriser

Abstraction de cas singuliers problématiques Des informations trop longues à s’afficher Des informations qui ressemblent à des commandes Des commandes placées de manière inattendue Des commandes disposées trop loin des dispositifs qu’ils contrôlent Des commandes cachées Des commandes « destructrices » trop faciles à activer Des signes ambigus Des informations manquantes …

Qualité et qualité…

Optique « Génie logiciel » Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels Optique « Génie logiciel » Relativement bien cadrée Appréhendable par la série de normes ISO SQuaRE (norme de référence ISO/IEC 25000:2005 - Ingénierie du logiciel - Exigences de qualité et évaluation du produit logiciel ; normes annexes) ISO/IEC 25001:2007 - Planification et gestion ISO/IEC 25020:2007 - Modèle de référence de mesure et guide ISO/IEC TR 25021: 2007 - Éléments de mesure de la qualité ISO/IEC 25030: 2007 - Exigences de qualité ISO/IEC 25051: 2006 - Exigences de qualité pour les progiciels et instructions d’essai ISO/IEC 25062: 2006 - Format commun de l’industrie (CIF) pour les rapports d’essai et de rentabilité (propose un guide pour présenter les résultats des test utilisateurs)

Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels Optique « Usage » « Le concept de «qualité à l’usage» a été employé dans l’ISO/CEI 14598-1 afin d’opérer une distinction entre la qualité considérée comme caractéristique inhérente d’un produit logiciel, et la qualité atteinte lors de l’utilisation d’un produit logiciel dans des conditions définies, c’est-à-dire dans un contexte d’utilisation spécifique. Cette définition de la «qualité à l’usage» est très proche de celle de l’utilisabilité énoncée dans l’ISO 9241-11:1998. L’emploi du terme «qualité à l’usage» implique par conséquent la nécessité de prendre en compte les problèmes centrés sur l’opérateur humain lors de l’évaluation des produits logiciels. » NOTE La qualité à l’usage est définie comme «le degré auquel un produit peut être utilisé par des utilisateurs donnés pour répondre de manière efficace et satisfaisante à leurs besoins et satisfaire des objectifs déterminés, dans un contexte d’utilisation spécifique». ISO/CEI 14598-1

Qualité ergonomique des systèmes interactifs Qualité ergonomique ou « utilisabilité » Ergonomie (définition de l’IEA) « L’ergonomie (ou l’étude des facteurs humains) est la discipline scientifique qui vise la compréhension fondamentale des interactions entre les êtres humains et les autres composantes d’un système, et la mise en oeuvre dans la conception de théories, de principes, de méthodes et de données pertinentes afin d'améliorer le bien-être des hommes et l'efficacité globale des systèmes. » « Les ergonomes contribuent à la conception et à l’évaluation des tâches, du travail, des produits, des environnements et des systèmes en vue de les rendre compatibles avec les besoins, les compétences et les limites des personnes. »

«Utilité» et «utilisabilité» Utilité : propre à la vision ergonomique liée à la notion de besoin fonctionnel (existence de points de vue différents : cf approches marketing) Utilisabilité : notion faussement simple qui intègre plusieurs facettes et déterminants Définition ISO 9241-11 (Exigences ergonomiques pour le travail de bureau avec les terminaux à écrans d evisualisation - Partie 11) « L’utilisabilité est le degré selon lequel un produit peut-être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d’utilisation spécifié. »

Utilisabilité Efficacité : représente ce qui produit l’effet attendu par l’utilisateur. Elle concerne la précision ou degré d’achèvement selon lesquels l’utilisateur atteint des objectifs spécifiés Efficience : représente la capacité à réaliser une tâche donnée avec le minimum d’effort ; plus l’effort est faible, plus l’efficience est élevée. Elle concerne le rapport entre les ressources dépensées, la précision et le degré d’achèvement selon lequel l’utilisateur atteint des objectifs spécifiés

Utilisabilité Satisfaction Initialement notion « fourre-tout », mal spécifiée, appréhendable selon des méthodes approximatives (échelles de satisfaction, questionnaires,…) Origine : incapacité à rendre compte de certains phénomènes avec les seuls critères d’efficacité et d’efficience, associés à des métriques non discriminantes Incorporation progressive de dimensions d’évaluation supplémentaires par rapport à la norme ISO 9241-11 : facilité d’apprentissage, facilité de mémorisation

Utilisabilité Facilité d’apprentissage Facilité de mémorisation « La facilité d’apprentissage est ce qui permet à un utilisateur débutant de se consacrer rapidement à son travail, en diminuant le temps nécessaire à l’apprentissage de l’application. La facilité d’apprentissage et la facilité d’utilisation sont généralement obtenus par différentes techniques qui permettent un guidage plus ou moins étroit de l’utilisateur. » Facilité de mémorisation « La facilité de mémorisation est ce qui permet à l’utilisateur, après une période plus ou moins longue de non-utilisation, d’effectuer ses tâches sans avoir à réapprendre le fonctionnement de l’application. Cet attribut est d’autant plus important que l’application n’est utilisée qu’occasionnellement. Une application dont le fonctionnement est facile à retenir ne nécessite pas ou peu de réapprentissage. On voit ici que la facilité d’utilisation est liée à la facilité d’apprentissage. »

Evaluation de l’utilisabilité Comment évaluer l’utilisabilité d’un système interactif ? Approche centré sur le système : inspection ergonomique, évaluation experte Approche centrée sur le couplage utilisateur/caractéristiques du système : tests utilisateurs

Inspection ergonomique : opérationnalisation de la notion d’utilisabilité Conditions de l’utilisabilité d’un système interactif : respect de critères (ergonomiques) utilisables pour la conception et l’évaluation des dispositifs Tentative d’assemblage opérationnel de résultats de travaux expérimentaux dispersés Organisation d’un corps de recommandations existantes Mise en oeuvre des critères d’évaluation lors de l’analyse d’une IHM doit permettre de se passer de tests utilisateurs Applicables par des non-spécialistes : « discount method » Niveau d’explicitation suffisant pour permettre des mesures Niveau de standardisation suffisant pour permettre la réplicabilité de la démarche

Critères ergonomiques d’évaluation des IHM

Critères ergonomiques 1. Guidage 1.1. Incitation 1.2. Groupement/Distinction entre items 1.2.1. Groupement/Distinction par la localisation 1.2.2. Groupement/Distinction par le format 1.3. Feedback immédiat (p.53) 1.4. Lisibilité 2. Charge de travail 2.1. Brièveté 2.1.1. Concision 2.1.2. Actions minimales 2.2. Densité informationnelle 3. Contrôle explicite 3.1. Actions explicites 3.2. Contrôle utilisateur

Critères ergonomiques 4. Adaptabilité 4.1. Flexibilité 4.2. Prise en compte du niveau d’expérience de l’utilisateur 5. Gestion des erreurs 5.1. Protection contre les erreurs 5.2. Qualité des messages d’erreur 5.3. Correction des erreurs 6. Homogénéïté/Cohérence 7. Signifiance des codes et dénominations 8. Compatibilité

Critères ergonomiques Catégorisation intensionnelle, extensionnelle, par différentiation Validations expérimentales avec différents groupes de spécialistes facteurs humains de certaines propriétés des critères : Complétude (couvre ts les problèmes rencontrés) Indépendance (pas de recouvrement entre critères) Applicabilité (tous les critères sont utilisés) Limites des règles de conception/évaluation Trop générales Trop singulières Travail d’adaptation à réaliser Quid des nouvelles technologies pour lesquelles pas de critères ?

Tests utilisateur Inspection ergonomique basée sur les critères ne se substitue pas à d’autres méthodes d’évaluation (tests utilisateurs) La « qualité » ergonomique du système va être évaluée par des mesures de performance de l’usage du dispositif Le problème est donc de trouver des indicateurs de performance pertinents Classiquement : mesures de performance comportementale censés renvoyer à documentation de processus perceptifs/cognitifs (approche psychologie cognitive expérimentale classique) Plus mesures de la « satisfaction » estimée par échelles de Likert (typique psychologie sociale expérimentale)

Tests utilisateur Élaborer un test utilisateur (différentes phases) Définir les objectifs du test Choisir et recruter les participants Sélectionner et organiser les tâches à réaliser Créer des scénarios de test Choisir quelles dimensions de l’utilisabilité évaluer Préparer le matériel et l’environnement de test Choisir les expérimentateurs Conduire le test (consignes, accompagnement, interventions,…) Développer et faire passer des questionnaires de statisfaction Analyser les données Présenter les résultats

Tests utilisateurs : normalisation Normalisation de la passation de tests utilisateurs, du choix des méthodes, du format des CR ISO/IEC 25062: 2006 ; ISO 16982 Permettent d’assurer la traçabilité et l’historiques des campagnes de test Elaborées pour permettre la comparaison entre résultats de tests utilisateurs, et la capitalisation de connaissances relatives à l’utilisabilité des systèmes interactifs Basée sur la norme US ANSI NCITS 354-2001 Permet de standardiser le rendu des résultats de tests utilisateurs Donne un exemple de cartouche de rapports et précise les informations minimales que ce type de rapport doit contenir Propose une checklist pour le suivi de la complétude de la passation (p.5) et du rapport (pp. 25-29)

Méthodes pour les tests utilisateurs (ISO 16982)

Exemples de mesures Extraits de la norme 9241 -11

Méthodes : choix en fonction des caractéristiques des utilisateurs (ISO 16982)

Méthodes : choix en fonction des caractéristiques des tâches (ISO 16982)

L’utilisabilité épuise-t-elle la qualité ergonomique d’un système interactif ?… Le respect des critères ergonomiques et de « bons » résultats à des tests utilisateurs garantissent-ils la qualité ergonomique d’un système ? Même avec enrichissement des dimensions d’évaluation (apprentissage ; mémorisation) : incapacité à rendre compte de certains résultats Ex : visioconférence vs. Audioconférence (Ohlson et al.) Ex : échec commercial de certains produits grand-public Ex : refus d’utilisation de sytèmes d’aide à la décision dans environnements critiques Nouvelle étape : intégration des aspects économiques, esthétiques, émotionnels, interactionnels, liés à la confiance,… => « New usability » ; « User experience »

« New usability » ACM Transactions on Computer-Human Interaction, Vol « New usability » ACM Transactions on Computer-Human Interaction, Vol.9, n°2, June 2002 Evolution du statut de l’utilisateur User ---> Digital consumer (plus complexe à appréhender) Extension des domaines d’application Environnements domestiques Ludo-éducatif, Loisirs Extension des domaines technologiques Terminaux mobiles (cadre classique de l’interaction modifié) Intelligence ambiante (problème de l’attention, de l’interaction incidente et implicite) Informatique ubiquitaire Extension de l’empan temporel de l’évaluation Appropriation Usages émergents «Innovation ascendante»

« User Experience » Behaviour & Information Technology, Vol « User Experience » Behaviour & Information Technology, Vol.25, n°2, 2006 Approche holistique équilibre entre les aspects pragmatiques liés à l’accomplissement d’une tâche et les aspects indépendants de la tâche (« hédoniques ») Réintégration de dimensions esthétiques, émotionnelles, développementales, sociales,… La situation (caractère « ici et maintenant » de l’expérience devient l’unité pertinente d’analyse) Focus sur le « subjectif » (vs. « objectif » de la usability traditionnelle) oriente le choix des méthodes et des paradigmes de référence (psycho-sociologie, micro-sociologie, phénoménologie plutôt que psychologie cognitive) Accent sur le « + » plutôt que sur le « - » Reconnaissance de la variation dynamique des critères (ex : centration sur les objectifs liés à la tâche puis sur incitation à l’exploration) Equilibre « harmonieux » entre l’intérêt de l’utilisateur et l’intérêt commercial de l’entreprise (faire intervenir le jugement de tiers dans l’évaluation)

« New usability » et « User experience » Caractère inapproprié des approches classiques de usability engineering Situations de laboratoire vs. études de terrain Paradigme HCI classique (1 ordinateur+1 utilisateur dans un lieu fixe interagissant de manière intentionnelle et visible) vs. nouveaux paradigmes (appliances disséminées dans l’environnement interagissant de manière implicite ou incidente avec plusieurs acteurs) Echelle de temps différentes Multi-dimensionnalité de l’utilisabilité (de l’utilisateur professionnel au consommateur numérique) : intérêt (« value ») de l’interaction est de nature variable (plaisir dans l’interaction, réalisation rapide d’un objectif, émotion esthétique, acquisition de connaissances,…)

Méthodologie d’évaluation « enrichie » Modifications des dispositifs de recueil des données (ex : observation)

Méthodologie d’évaluation « enrichie » Questionnaires Tests psychotechniques/Grilles de personnalité Entretiens Recueil de commentaires sur l’expérience d’interaction

Entretiens d’Explicitation et d’Autoconfrontation Verbalisations consécutives à l’activité Sans traces : Explicitation Guidage par l’intervieweur : focalisation et relances sur les points importants ; techniques d’entretien spécifiques Assistées par les traces : Autoconfrontation Eviter les rationnalisations a posteriori (justifications) Relances adaptées pour éviter ce type de biais

Méthodologie d’évaluation « enrichie » Questionnaires Tests psychotechniques/Grilles de personnalité Entretiens Recueil de commentaires sur l’expérience d’interaction Délégation du recueil de données aux sujets (diary reports, scrapbooks,…)

Limite actuelles de la notion de « user experience » Approche pré-théorique (voire a-théorique…) Pas de concepts et de langage de description ancrés dans un arrière-plan théorique Quelques candidats possibles Théories instrumentales de l’Activité : accent sur le « développement » psychique du sujet ; ré-actualisation dans le concept « d’extension du pouvoir d’agir » Psycho-phénoménologie et neuro-phénoménologie (en liaison avec les travaux sur la conscience) Développement de méthodes dédiées Démonstration systématique de l’intérêt des évaluations basées sur l’UX et lien avec les problématiques de « qualité »

Documents associés au cours Norme ANSI NCITS 354 - 2001 Common Industry Format for Usability Test Reports (CIF). Similaire à la norme ISO/IEC Exigences de qualité et évaluation du produit logiciel (SQuaRE) - Formation commun de l’industrie (CIF) pour les rapports d’essai et de rentabilité. Critères Ergonomiques de Bastien & Scapin, 1993 (rapport INRIA) Norme ISO 13407 Processus de conception centrée sur l’opérateur humain pour les systèmes interactifs Norme ISO/TR 16982 Méthodes d’utilisabilité pour la conception centrée sur l’opérateur humain

Le site de Jakob Nielsen http://www.useit.com/jakob/index.html Les ouvrages de Don Norman