Méthodes et outils pour la démarche expérimentale Séance 1 Nadine Mandran Formation doctorants Janvier-Mars 2011

Organisation des séances Cinq à six séances sur les protocoles expérimentaux et les méthodes qualitatives Séance 1 cours : Présentation de la démarche expérimentale et étape d'un protocole expérimental Pratique : formulation de vos objectifs ou de vos hypothèses et premier jet d'un protocole Séance 2 cours : construire un protocole expérimental - objectif - cible  - facteurs expérimentaux – méthodes usuelles pratique : Construire un protocole plus précis, les activités associées et une grille d'animation Séance 3 Cours : Méthodes pour construire un outil de recueil des données,  questionnaires ou grilles d'entretiens pratique : Rédiger un outil de recueil , Séance 4 Cours : règles pour la passation d’un entretien ou pour mener un focus group Pratique : Faire des entretiens Séance 5 Cours : Méthode pour l’analyse des données qualitatives Pratique : Analyse et présentation des résultats Quatre ou cinq séances sur les aspects quantitatifs => analyses statistiques Formation démarche expérimentale - Marvelig - 2010

Tour de table Prénom Equipe Problématique : une phrase Année de thèse Idées à débroussailler, à explorer ou à valider Formation démarche expérimentale - Marvelig - 2010

Constat … Au niveau des articles de recherches et des thèses des besoins en évaluation et traitements des données Peu de connaissances en termes de méthodes pour analyser le comportement humain Vers une formation des doctorants et une capitalisation des expériences passées et futures… Méthodes et outils d'analyse pour l'évaluation d’applications ou de concepts en adéquation aux comportements et attentes des  utilisateurs. Une formation orientée sur la mesure de l’utilisateur et de ces attentes. Formation démarche expérimentale - Marvelig - 2010

Introduction … Claude Bernard, 1813-1878 « un savant complet est celui qui embrasse la théorie et la pratique expérimentale » 1- Il constate un fait 2- A propos de ce fait une idée nait dans son esprit 3- En vue de cette idée, il raisonne, institue une expérience, en imagine et en réalise les conditions matérielles 4- de ce résultat, résultent de nouveaux phénomènes, qu’il faut observer et ainsi de suite Formation démarche expérimentale - Marvelig - 2010

Problématique de recherche Etat de l’art Proposition de recherche Concept – méthode – logiciel Conception et réalisation d’un prototype Phase expérimentale SHS Déploiement, finalisation du prototype Analyse des résultats Communication, valorisation Publication des résultats Formation démarche expérimentale - Marvelig - 2010 6

Pourquoi faire ? Connaître a priori et/ou a posteriori l’usage d’un outil Connaître les modifications de comportements Évaluer l’intérêt et la satisfaction par rapport au produit. Définir le profil des utilisateurs à recruter pour faire des tests Connaitre les avis des utilisateurs face à des concepts ou des applications Connaître les pratiques des utilisateurs… Leurs attentes et leurs besoins Dans le reste du monde …. Pourquoi la plus part du temps vous avez besoin de faire des mesures. Pour : *Connaître a priori et/ou a posteriori l’usage d’un outil Connaître les modifications de comportements Évaluer l’intérêt et la satisfaction par rapport au produit. Définir le profil des utilisateurs à recruter pour les tests Connaitre les avis des utilisateurs face à des concepts ou des applications Si ces problématiques, récurrentes dans le domaine des nouvelles technologie et de l’innovation, semblent a priori facile à aborder, elles font référence à de nombreux outils de mesures. Nous allons les passer en revue. Pour faciliter le discours : outils : objets, logiciels, applications, concepts, méthodes, … , Formation démarche expérimentale - Marvelig - 2010

De multiples dimensions… Sociétale, juridique, environnementale Nous nous intéressons bien sur à la relation Homme machine (ordinateur, la voiture, la maison, l’’électro-ménager : bâtiment intelligent). Mais cette relation Homme machine s’inscrit dans un système complexe : histoire (affects), le contexte socio économique, - prix psychologique, les aspects juridiques, environnementaux : la notion d’acceptabilité sociale. Les perspectives d’évolution, projection dans le futur (avenir du non consommateur ….) Sans oublier …. Le théorème de William Thomas 1928. « Si les hommes définissent des situations comme réelles, alors elles sont réelles dans leurs conséquences » Qui se différencie de la théorie behavioriste (comportementale), => importance des représentation sociales ou mentales. Le cas de trop de confiance dans une réussite à un examen, la personne travaille moins et => finalement une non réussite. Annonce : banque en faillite, non vérifiée, retrait de la part des utilisateurs qui conduit à la faillite effective. Affect Perspectives Economique Formation démarche expérimentale - Marvelig - 2010

Comment ? Quelles méthodes ? De la sociologie… De la psychologie… De la gestion… De la didactique … Des sciences politiques … De la biologie … De la statistique…. Avoir une batterie de méthodes que l’on peut combiner pour mesurer et évaluer toute la complexité d’un humain face à l’Informatique …. Ou la complexité de l’informatique pour l’humain ….… En effet la complexité de la mesure du comportement de l’humain est telle qu’il faut mixer ces méthodes de manière à s’approcher en limitant les biais. Nous ne sommes pas dans des situations expérimentales où nous cherchons à analyser une condition versus une autre. Par exemple, en psychosocio, des tests sont faits pour étudier la différence des réponse entre le mot « interdire » par rapport à « ne pas autoriser » dans un questionnaire. Test passé auprès de 100 étudiants pour une seule question. Dans nos cas d’étude ce sont plusieurs questions qu’il faut poser à un individu pour approcher son comportement et son opinion. D’où l’importance de connaitre les méthodes et surtout leurs limites. Objectifs : s’approprier un ensemble de méthode qui peuvent être combiner pour approcher au plus près du comportement de l’utilisateur dans son contexte. Tout en sachant que le comportement d’aujourd’hui peut être différent du comportement de demain, prise en compte des représentations au temps t. Une action peut ne pas être en accord avec la manière de penser ou d’être ce qui va entrainer une dissonance cognitive, et il y a donc ajustement de l’humain par rapport à cette dissonance. « Prise de position » au sens de Bourdieu, dans le sens où l’opinion d’un individu peut s’adapter en fonction de la position qu’il tient dans la société. Or l’individu en général a plusieurs position (privé/professionnel). Formation démarche expérimentale - Marvelig - 2010

Expériences quand commencer ? 1- Il constate un fait 2- A propos de ce fait une idée nait dans son esprit 3- En vue de cette idée, il raisonne, institue une expérience, en imagine et en réalise les conditions matérielles C.Bernard 6 mois avant la soutenance : à éviter 15 jours avant la dead line d’un article, non plus. Dès le début de la thèse, non conseillé car le risque est d’être dans une démarche « marketing » … Une démarche itérative qui se construit, il n’y a pas de solutions clé en main Formation démarche expérimentale - Marvelig - 2010

Avant de commencer … En début de thèse : Un état de l’art théorique En profiter pour repérer les méthodes expérimentales utilisées Un état de l’art sociétal : INSEE, instituts de sondages, CREDOC, ESS, eurostat, …. http://www.credoc.fr/ Un état de l’art industriel, base de brevets http://fr.espacenet.com/ Un micro-trottoir Quand une idée concrète commence à apparaitre, il faut construire les phases expérimentales Formation démarche expérimentale - Marvelig - 2010

Des questions à se poser… Co-Conception ou Evaluation ou Exploration ? Méthodes, Processus, Concepts, Maquettes, Prototypes ou Logiciels ? Les différentes éléments qui font la valeur ajoutée de ma proposition ? Les hypothèses ? Qui sont les sujets cibles ? Quelles sont les familles de mesures ? Les moyens de quantifier des actions ? Des expériences de ce type existent-t-elles dans la communauté ? Le temps dont je dispose ? Les moyens matériels et financiers ? Formation démarche expérimentale - Marvelig - 2010

Hypothèses ? Points à tester Hypothèses Questions à poser aux sujets Usage du graphe conceptuel Le graphe est utile pour la construction de méta-modèles de processus d’ISI - le graphe vous aiderait-il à formaliser un problème ? - industriels : utilisation en entreprise ? Le graphe conceptuel couvre les principaux concepts de processus d’ingénierie de systèmes d’information - le graphe conceptuel est-il complet ? - manque t-il des nœuds ? - quels autres nœuds avez-vous besoin de modéliser ? Charlotte Hug, LIG/SIGMA, 2009 Formation démarche expérimentale - Marvelig - 2010

Des mesures ? Par rapport à des perspectives futures Besoins : Situation de manque ou prise de conscience d'un manque, mettre fin à un manque Attentes : Action de compter sur quelque chose ou quelqu'un, sans notion de temps Par rapport aux capacités de l’outils perçus par l’utilisateur Acceptabilité : Ensemble des conditions qui rendent quelque chose acceptable; Donner son consentement ou son assentiment à ce qui est offert, à ce qui arrive; agréer qqn. Utilisabilité : norme iso9241 : « le degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié ». efficacité : le produit permet à ses utilisateurs d’atteindre le résultat prévu ; efficience : atteint le résultat avec un effort moindre ou requiert un temps minimal ; satisfaction : confort et évaluation subjective de l’interaction pour l’utilisateur. Par rapport aux capacités de l’outils non perçus par l’utilisateur Perception Connaissance Mémorisation Apprentissage / Appropriation Par rapport à des perspectives futures L’utilisateur peut avoir des besoins et des attentes pour des outils futurs. Dans ces deux concepts un jeu de complémentarité complexe : Besoins = attentes Besoins sans attentes, Attentes sans besoins. Le besoin est exprimé mais pas les attentes car la personne ne peut pas imaginer qu’un outil peut répondre à ses besoins. On retrouve ici un problème lié aux capacités intrinsèques du sujet. Attitude de non légitimité à demander, les autres réussissent et pas lui, situation par rapport à la norme perçue. Par rapport à l’outil « innovant » Acceptabilité : Norme sociale (environnement, de sécurité, de protection de la vie privée, de santé ,….) Cout économique : prix psychologique seuil au delà duquel les utilisateurs n’achèteront pas le produit Cout d’apprentissage …. Utilisabilité : Utilisabilité (Usability) L’utilisabilité est une notion proche de l’ergonomie. Elle a pour but de répondre à trois critères qui détermineront la facilité avec laquelle les internautes naviguent sur un site : efficacité, efficience et satisfaction. Efficacité, pour le résultat final. Si l’utilisateur est arrivé à ses fins. Efficience, pour le temps écoulé par l’utilisateur pour arriver à son objectif. Satisfaction, pour le confort et l’impression finale de l’utilisateur face à la navigation sur le site. Jonathan Grudin, « Utility and usability: Research issues and development contexts » in Interacting with Computers, 4, 2 (August), 1992, 209-217. Tests d’utilisabilité Nielsen en 1993 Par rapport au contexte socio-économique

Des mesures Par rapport à utilisateur de manière intrinsèque Comportement : Manière d'être ou d'agir d'une personne, psychologie : Ensemble des réactions observables chez un individu placé dans son milieu de vie et dans des circonstances données. (behaviorisme) Attitudes : un ensemble de réactions cohérentes, formation de systèmes et de manière de penser (Adorno, la personnalité autoritaire) , Phénomène latent. Représentations mentales : (sciences cognitives) une représentation que l'on se fait, par la « pensée » d'une image, d'un concept ou d'une situation. Une représentation mentale peut être de l'ordre du réel ou du fictif. Par rapport aux usages de l’outil actuel ou futur Usages : “ Pratique sociale que l’ancienneté ou la fréquence rend normale dans une culture donnée / (Dictionnaire de sociologie, Seuil, 1999, p.556) « les us et coutumes » Usage : Fait de se servir de quelque chose, d'appliquer un procédé, une technique, de faire agir un objet, selon sa nature, leur fonction propre afin d'obtenir un effet qui permette de satisfaire un besoin. Utilisation : manière d’utiliser Pratiques : Manière habituelle d'agir avec un objet, un concept, ….. Par rapport à utilisateur de manière intrinsèque : mesurer quelle position il adopte a priori. Positionnement par rapport aux technologies de manière générale : Pro/ indifférent/ anti Typologie des usagers en fonction de leur rapport à l’innovation : passionnés, acteurs de la réussite, suiveurs et objecteurs (CAUTIC, Philippe Mallein, travaux CEA laboratoire des idées) Appartenance à un milieu professionnel ou associatif, qui conduira à des prise de positions( Bourdieu), Prise de positions pouvant elles-mêmes conduire à d’autres prises de positions. On peut dire ici que le comportement est objectif/conscient alors que l’attitude est latente/ combinaison ‘inconsciente’. Par rapport à un objet ou un concept existant : Usages : “ Pratique sociale que l’ancienneté ou la fréquence rend normale dans une culture donnée / Utilisation d’un objet, naturel ou symbolique à des fins particulières ” (Dictionnaire de sociologie, Seuil, 1999, p.556) Usage : apparentera à l’utilité Utilisation : manière de l’utiliser , quand ? Comment ? Pourquoi ? Pratiques : habitudes d’utilisation Usage prévu qui est détourné ou non utilisé Mug comme pot à crayon, corbeille à fruit comme vide poche La console wi utilisée en maison de retraite

Des mesures ? Acceptabilité Utilisateur Capacité de l’outil Usage par rapport à l’existant ou au futur Comportement Utilisabilité : Efficience Efficacité Satisfaction Attitudes Usages Usage Perspectives Utilisation Pratiques Besoins Des mesures qui peuvent se répartir selon 5 catégories : Utilisateur Usages actuels ou futurs des outils Perspectives pour l’utilisateur La capacité de l’outil pour l’utilisateur Attentes Contexte socio-économique/industriel Formation démarche expérimentale - Marvelig - 2010

Des mesures ? Usage Usages Utilisation Pratiques Attentes Comportement Satisfaction Besoins Efficience Attitudes Mais en réalité ces mesures ne sont pas aussi distinctes les unes des autres. En fonction des objectifs, il peut être intéressant de réaliser plusieurs mesures, pour mesurer des dimensions identiques ou des dimensions différentes. Pour cela, il faut aller chercher des méthodes présentes dans différents domaines. Efficacité Acceptabilité Contexte socio-économique/industriel Formation démarche expérimentale - Marvelig - 2010

Qualitatif et Quantitatif Le qualitatif : Pour l’exploration, la conception et l’évaluation subjective , pour recenser un maximum d’idées Concepts, méthodes : entretiens et activités de groupes, magicien d’Oz, Maquettes, prototypes, logiciels : entretiens et focus group Le quantitatif : L’évaluation objective, pour l’exploration et la conception, pour quantifier les usages, les comportements, les stratégies … de manière « proportionnelle ». Concepts, méthodes, maquettes par des enquêtes d’opinions (n>200) Prototypes et logiciels par l’enregistrement des traces. L’objectif d’un protocole est de trouver une combinaison de ces méthodes afin de recueillir des données pour répondre le plus précisément possible et sans biais aux hypothèses. Formation démarche expérimentale - Marvelig - 2010

La démarche qualitative Bla bla…. Quand ? Peu de notions sur les comportements ou les habitudes d’usage des utilisateurs. Pour recueillir des perceptions, des habitudes, des attentes, des besoins, … Pour faire faire des représentations, des schémas Pour présenter une maquette Pourquoi ? Laisser libre cours au discours, au vécu, aux habitudes Recenser un maximum d’usages, de comportements, d’opinions Recueillir une diversité de situations Avoir différents points de vue … Faire échanger des utilisateurs, travaux de groupe Imprimer le document technique de l’entretien en sciences sociales Formation démarche expérimentale - Marvelig - 2010

La démarche qualitative Bla bla…. Comment ? Mode de recueil ouvert, qui privilégie le spontané Guider les séances avec une grille qui sera la trame. Entretiens individuels , de groupes Des tests de maquettes, De l’observation, de l’analyse de tâches, … Quoi ? Audio, Vidéo Des dessins, Des photos, Des carnets de bords Post-it Des questionnaires …. Imprimer le document technique de l’entretien en sciences sociales - Pas forcément besoin de moyens démesurés, Formation démarche expérimentale - Marvelig - 2010

La démarche quantitative Quand ? Les questionnements et les thèmes à aborder sont connus. Pour mesurer des actions faites sur une interface Pourquoi ? Quantifier les comportements, les attentes ou les besoins au sein d’une population Comment ? Une enquête par sondage Un questionnaire fermé lors d’une expé Capture des traces lors de l’utilisation d’un logiciel Capture de mouvements (gestuels, visuels, émotionnels, physiologique…. ) Juste un point sur ces outils : Il faut être méfiant quant à la donnée produite. Ce sont des appareils qui pour la plus part demandent des calibrages fins et précis. Certains de ces appareils disposent de logiciels qui produisent la mesure. Attention et se renseigner sur la donnée produite. Il est parfois nécessaire de coupler les appareils de mesure : Thierry Baccino et Anne Guerin qui aujourd’hui couple oculométrie et Potentiels Evoqués « le signal électrique produit par le système nerveux en réponse à une stimulation externe » Formation démarche expérimentale - Marvelig - 2010

La démarche quantitative A partir d’un questionnaire Prise des photos avec votre appareil photo, qui ?   Avec votre famile Avec vos amis Jamais 26,1 16,5 Rarement 68,8 70,0 plus souvent 5,0 13,5 Formation démarche expérimentale - Marvelig - 2010

La démarche quantitative Les variables si la trace est une suite d’actions sur une interface Nombre d’actions par personnes Time code Personne Action 10 Luc A 11 13 B 100 Eric C 102 D Claire 104 106 Personne Nombre Luc 3 (2A et 1B) Eric 4 (2C et 2D) Claire 2 (1C et 1A) … Formation démarche expérimentale - Marvelig - 2010

Un Mixte quali quanti Apprentissage des élèves sur un EIAH Pré test : mesurer les connaissances avant un exercice Entretien ou questionnaire Les stratégies mises en œuvre pour l’utilisation du logiciel et pour apprendre Analyse des traces Post-test : mesurer les connaissances après un exercice Post-test lointain : mesurer les connaissances mémorisées Par rapport à des perspectives futures L’utilisateur peut avoir des besoins et des attentes pour des outils futurs. Dans ces deux concepts un jeu de complémentarité complexe : Besoins = attentes Besoins sans attentes, Attentes sans besoins. Le besoin est exprimé mais pas les attentes car la personne ne peut pas imaginer qu’un outil peut répondre à ses besoins. On retrouve ici un problème lié aux capacités intrinsèques du sujet. Attitude de non légitimité à demander, les autres réussissent et pas lui, situation par rapport à la norme perçue. Par rapport à l’outil « innovant » Acceptabilité : Norme sociale (environnement, de sécurité, de protection de la vie privée, de santé ,….) Cout économique : prix psychologique seuil au delà duquel les utilisateurs n’achèteront pas le produit Cout d’apprentissage …. Utilisabilité : Utilisabilité (Usability) L’utilisabilité est une notion proche de l’ergonomie. Elle a pour but de répondre à trois critères qui détermineront la facilité avec laquelle les internautes naviguent sur un site : efficacité, efficience et satisfaction. Efficacité, pour le résultat final. Si l’utilisateur est arrivé à ses fins. Efficience, pour le temps écoulé par l’utilisateur pour arriver à son objectif. Satisfaction, pour le confort et l’impression finale de l’utilisateur face à la navigation sur le site. Jonathan Grudin, « Utility and usability: Research issues and development contexts » in Interacting with Computers, 4, 2 (August), 1992, 209-217. Tests d’utilisabilité Nielsen en 1993 Par rapport au contexte socio-économique

Le recrutement Une étape essentielle pour des résultats de qualité Une étape difficile et couteuse en temps, gestion d’un planning Le sujet de l’étude va fournir les différents profils à interroger : Grand public Expert en IDM Expert en GL Industriels Designers produits ….. Etape que l’on peut confier à des société de recrutements, mais attention à des professionnels des enquêtes. exemple de la bouteille de coca cola, en Espagne. Exemple de la thèse de Yoann, le recrutement auprès du grand public en termes d’interfaces n’a pas donné résultats très originaux. Auprès d’étudiants en informatiques n’ont plus qui sont restés sur des critères de programmation, très standards. Ne faut il pas se tourner vers des technophiles (« geek ») ou des « joueurs invétérés » Formation démarche expérimentale - Marvelig - 2010

Le site Marvelig Expériences du LIG : https://marvelig.liglab.fr/doku.php/experiences/experiences Fiches méthodologiques https://marvelig.liglab.fr/doku.php/thematiques/methodologie/accueil Outils à réutiliser https://marvelig.liglab.fr/doku.php/methodologie/outils/outils Formation démarche expérimentale - Marvelig - 2010

A vous de jouer Par deux Expliciter à votre binôme : votre problématique, une de vos hypothèses et le matériel à votre disposition pour expérimenter Et ensuite votre binôme, exposera votre problématique au groupe Formation démarche expérimentale - Marvelig - 2010

Premières Questions Par deux remplir la fiche de liaison Problématique et hypothèses Matériels à votre disposition pour expérimenter Formation démarche expérimentale - Marvelig - 2010