Nadine Mandran PIMLIG, Mars 2012 Les sciences humaines et sociales au service de la recherche en informatique ? Nadine Mandran PIMLIG, Mars 2012

Introduction Les expérimentations / études Système d’information Ingénierie dirigée par les modèles Interface Homme-Machine Environnement informatique pour l’apprentissage humain Les systèmes agents et les avatars L’apprentissage par renforcement La géomatique Les méthodes des SHS et les statistiques supportent la recherche en informatique Nécessité de créer nos propres méthodes d’investigations PIMLIG, N.MANDRAN Mars 2012

Plan Expérimenter en informatique ? Le cycle VVV PIMLIG, N.MANDRAN Mars 2012

Recherche et expérimentation Un Processus … Claude Bernard, 1813-1878 « un savant complet est celui qui embrasse la théorie et la pratique expérimentale » 1- Il constate un fait 2- A propos de ce fait une idée nait dans son esprit 3- En vue de cette idée, il raisonne, institue une expérience, en imagine et en réalise les conditions matérielles 4- de ce résultat, résultent de nouveaux phénomènes, qu’il faut observer et ainsi de suite PIMLIG, N.MANDRAN Mars 2012

Cycle VVV, Prs Shiba et Kawakita Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Capitaliser le « progrès » Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

Année 1950 Modèle V Analyser le pb Programmer la solution Explorer Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Améliorer par le traitement des non conformités Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

Année 1970, modèle VV Améliorer par le traitement des problèmes Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Améliorer par le traitement des problèmes Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

Années 1980, Cycle VVV, Prs Shiba et Kawakita Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Capitaliser le « progrès » Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

Cycle VVV, pour une démarche expérimentale Proposer des perspectives Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution « prioritaire » Enregistrer les données et les faits Co-concevoir et Programmer la solution Formuler le problème Explorer coté recherche: Analyser les « idées du terrain » Evaluer la solution et ses effets Explorer auprès des utilisateurs Etat de l’art : recherche, sociétal, industriel Etude qualitative : entretien focus-group Séance de co-conception, focus-group Expérimentation « instrumentée » Exprimer et Mesurer Exprimer   PIMLIG, N.MANDRAN Mars 2012

Les grandes phases expérimentales A partir des questions ou des hypothèses de recherche Exploration préalable : Etat de l’art, base brevet, études sociologiques, recensement Explorer : qualitatif Co-concevoir : qualitatif Evaluer : Quantitatif et qualitatif PIMLIG, N.MANDRAN Mars 2012

Les utilisateurs Le « Grand public » Des professeurs, des élèves pour connaitre l’utilisation qu’ils font d’un logiciel Pour connaitre leurs habitudes et leurs opinions Pour connaitre leur vocabulaire, leurs représentations Des professeurs, des élèves pour comprendre leur pratiques d’enseignants Pour leur faire évaluer des copies Pour connaitre leur vocabulaire Des chirurgiens pour connaitre les connaissances qu’ils mobilisent pour réaliser une opération Des élèves Pour connaitre l’utilisation qu’ils font d’un logiciel Des experts en informatiques Pour leur faire valider des dictionnaires et des représentations PIMLIG, N.MANDRAN Mars 2012

Les utilisateurs PIMLIG, N.MANDRAN Mars 2012

Objectifs et enjeux Quoi ? Objectifs Sur quoi ? Les enjeux Où ? Explorer un domaine Co concevoir Evaluation Sur quoi ? Les enjeux Applications logicielles Des modes d’interactions Des concepts Des méthodes Des langages Des formalismes Où ? In vitro ou in situ (écologique) PIMLIG, N.MANDRAN Mars 2012

Les méthodes Comment ? Méthodes qualitatives Entretien individuel Focus group Observation Magicien d’oz, … Des photos, des vidéos , Des schémas Données produites : Audio, photo, schémas, des carnets de bord, ….. Analyse thématique, carte heuristique, Etude de schéma, … Méthodes quantitatives Questionnaire quantitatif Tests de produits Captures d’activités, … Données produites : traces d’activités, réponse à un questionnaire, …. Analyse de stat classique, analyse séquentielle. Le plus souvent, mettre en place des méthodes complémentaires PIMLIG, N.MANDRAN Mars 2012

Les mesures Usages, Utilisation, Pratiques Fréquences, Satisfaction, Besoins, Attentes, Efficacité, utilisabilité, Appropriation, Durée Stratégies d’utilisation, Traces d’activités , … PIMLIG, N.MANDRAN Mars 2012

Explorer un domaine 1/ 4 Problème posé : L’homme a toujours aimé façonné son habitat, en est il de même avec les outils techniques issus des nouvelles technologies Connaitre l’utilisation des objets du quotidien ? Connaitre l’aptitude, l’envie des personnes à composer ces outils ? Imaginer un moyen d’interaction pour composer ces services ? LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

A vous d’imaginer un protocole Qui ? Quelles méthodes ? Où ? Quel matériel ? Quelles données produites ? Données de cadrage ? Combien de personnes ? PIMLIG, N.MANDRAN Mars 2012

Explorer un domaine 2/4 Qui ? 18 ménages Comment ? Une étude des données existantes Rencontre avec les professionnels du secteur Une étude des méthodes d’investigations présentes dans le domaine : Cultural probes Création d’une méthode appropriée LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

Explorer un domaine 3/4 Une méthode qualitative basée sur une prise de photo et des entretiens Un questionnaire sur l’utilisation de l’informatique et de la notion du bricoleur en informatique Une prise de photo 2 objets dans 5 pièces par les deux personnes du ménage : Un utile et indispensable Un inutile dont ils ne peuvent se passer Une discussion sur la raison du choix de ces objets Une application qui choisit au hasard deux objets et les personnes doivent imaginer qui peut être rendu par cette association PIMLIG, N.MANDRAN Mars 2012

Explorer un domaine 4/4 Résultats Les manques 360 idées de services rendus par le couplage d’objets Analyse statistique sur le lien entre les fonctionnalités intrinsèque des objets et le service rendu 8 classes de besoins et l’organisation de ces classes Analyse thématique pour faire émerger et synthétiser les types d’applications à prévoir. Les manques Pas de vision claire du bricoleur de l’informatique La composition des services notion de transitivité LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

Inventer des méthodes d’investigations Carnet de bord Cultural Probes Le magicien d’Oz Méthodes issues de l’Anthropologie, la Sociologie, la Psychologie, des Sciences cognitives, de la Gestion, du Marketing, …… IMAGINEZ PIMLIG, N.MANDRAN Mars 2012

Co concevoir une méthode 1/6 Problème SI : Comment faire élaborer de manière collaborative une procédure de travail Avant : rencontrer les acteurs du processus les uns après les autres => long et fastidieux pour les acteurs et celui qui rédige, de nombreux aller- retour Après : méthode Isea LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

Co concevoir une méthode 2/6 Tests avec les utilisateurs : première phase Elaboration, conception et tests par les chercheurs Modification par les chercheurs Modification par les chercheurs Méthode (T1) et Application (T2) Tests avec les utilisateurs : deuxième phase Tests avec les utilisateurs : troisième phase Modification par les chercheurs LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

Co concevoir une méthode 3/6 Comment : un entretien pour connaitre les acteurs, des focus group pour tester et améliorer la méthode. LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

Co concevoir 4/6 Analyses produites Le premier entretien donne le nom des acteurs et éventuellement des premières pistes A partir de l’observation du comportement des utilisateurs dans les focus group, recueillir la compréhension de la méthode. (mise à plat de la procédure) Lors des phases deux et trois, analyser par observation leur niveau de compréhension du graphe BPMN produit et la compréhension de la suite de la méthode. (difficultés sur la procédure, améliorations) LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

Co concevoir une méthode 5/6 LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

Valider une application Problème IHM : Une application avec des nouveaux modes d’interaction sur iPhone Comment : protocole « classique » Un groupe contrôle avec l’application iPhone classique et un groupe par mode. Environ 10 personnes par mode soit 30 personnes Capture des gestes sur l’interface : temps de réalisation d’un geste et précision de ce geste Analyse statistique « classique » avec comme hypothèse : les nouveaux modes d’interactions sont meilleurs en terme de précision et rapidité Questionnaire sur les habitudes et les usages de l'iPhone avant l’expé Questionnaire de débriefing sur les perceptions de ces nouveaux modes : utilisabilité Brookes 93 (SUS) , … LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

Variables et Production Variables de contrôles Genre, signe, âge, spécialité Facteur expérimental Mode d’interaction : time over, touch over, apple touch Variables mesurées Les actions  : temps de réalisation d’un geste et précision de ce geste La succession des clics : traces d’activités PIMLIG, N.MANDRAN Mars 2012

Variables et Analyse Variable dépendantes (à expliquer) En général les variables mesurées Le type d’actions Le nombres d’actions La précision, ….. Mais aussi de nouvelles variables créées à partir des variables mesurées La durée entre chaque actions Variable indépendantes (explicatives) En général, le facteur expérimental Le type de mode d’interaction Mais aussi les variables de contrôle Genre, signe, âge, spécialité Ou de nouvelles variables créées à partir des variables mesurées ou de combinaisons des facteurs expérimentaux ou des variables de contrôles Combinaison genre et Spécialité : « Femme âge < 25 ans », « Femme âge > 25 ans » «Homme âge <25 ans » « Homme âge > 25 ans » PIMLIG, N.MANDRAN Mars 2012

Types de variable Variable quantitative Variable qualitative Mesurable Ayant une unité, un étalon Le nombre de cette mesure à du sens Possibilité de faire des opérations mathématiques ou des mises en classes Exemple : le nombre d’actions, la durée des actions, Un cas particulier les variables ordinales, les séries chronologiques Variable qualitative ne relèvent pas d’un processus comptable ou numérique n’ont pas d’unité de mesures ne sont pas des nombres, si c’est le cas ce nombre n’a pas de sens quantitatif Les valeurs de la variable sont des modalités Exemple : Genre : 2 modalités Homme et Femme, Diplôme : 3 modalités : inf au bac, bac, bac et plus, Spécialité : informatique, didactique, autre Possibilité de faire des regroupement de modalités De mettre en classes une quantitative => la rendre qualitative Variable séquentielle le contenu s’inscrit en séquence : le cas des traces d’activités sur une interface « time-codée », ou « ordonnés » (ordre des actions, temporalité , fréquence) associée ou non à des paramètres qui viennent préciser l’action PIMLIG, N.MANDRAN Mars 2012

Datamining …. ? PIMLIG, N.MANDRAN Mars 2012

Validation des données Production de données Validation des données Analyse des données Interprétation des résultats

PIMLIG, N.MANDRAN Mars 2012

Complémentarité des méthodes Pourquoi ? Pour étudier sur le long terme des pratiques afin de concevoir des applications et les évaluer Objet d’étude : Une application pour le suivi des élèves dans une classe de TP d’électricité, Qui ? Des profs de physiques Autre objet : Une application pour l’apprentissage de la chirurgie orthopédique ? Qui ? Des chirurgiens, des étudiants en médecine PIMLIG, N.MANDRAN Mars 2012

Complémentarité des méthodes Explorer : 4 Profs « experts » Recenser les pratiques des enseignants de Physique Repérer les scénarios pédagogiques utilisés Connaitre les pratiques en termes de suivi d’une classe Co concevoir une application : 4 Profs « experts » Faire une maquette, La faire évaluer Proposer un prototype, Le faire évaluer Evaluer l’application : 15 profs « autres », 15 étudiants Mesure des pratiques Formation au scénario pédagogique Formation au logiciel Test du logiciel Utilisation => traces d’activités Questionnaire sur l’utilisabilité LIG/équipe METAH PIMLIG, N.MANDRAN Mars 2012

Conclusion Un besoin d’explorer important pour innover dans les recherches en intelligence ambiante De disposer de méthodes d’investigations Un « coût » différent selon les types d’études Evaluation : rapide à réaliser, permet des mesures quantifiées plus prisées dans les publications Exploration et co-conception sont « chronophages » PIMLIG, N.MANDRAN Mars 2012

Problématique de recherche Etat de l’art Proposition de recherche Concept – méthode – logiciel Conception et réalisation d’un prototype Phase expérimentale SHS Déploiement, finalisation du prototype Analyse des résultats Communication, valorisation Publication des résultats Ecole doctorale . N.Mandran 2011 38