Nadine Mandran PIMLIG, Mars 2012

Présentation au sujet: "Nadine Mandran PIMLIG, Mars 2012"— Transcription de la présentation:

1 Nadine Mandran PIMLIG, Mars 2012
Les sciences humaines et sociales au service de la recherche en informatique ? Nadine Mandran PIMLIG, Mars 2012

2 Introduction Les expérimentations / études
Système d’information Ingénierie dirigée par les modèles Interface Homme-Machine Environnement informatique pour l’apprentissage humain Les systèmes agents et les avatars L’apprentissage par renforcement La géomatique Les méthodes des SHS et les statistiques supportent la recherche en informatique Nécessité de créer nos propres méthodes d’investigations PIMLIG, N.MANDRAN Mars 2012

3 Plan Expérimenter en informatique ? Le cycle VVV
PIMLIG, N.MANDRAN Mars 2012

4 Recherche et expérimentation Un Processus …
Claude Bernard, « un savant complet est celui qui embrasse la théorie et la pratique expérimentale » 1- Il constate un fait 2- A propos de ce fait une idée nait dans son esprit 3- En vue de cette idée, il raisonne, institue une expérience, en imagine et en réalise les conditions matérielles 4- de ce résultat, résultent de nouveaux phénomènes, qu’il faut observer et ainsi de suite PIMLIG, N.MANDRAN Mars 2012

5 Cycle VVV, Prs Shiba et Kawakita
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Capitaliser le « progrès » Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

6 Année 1950 Modèle V Analyser le pb Programmer la solution Explorer
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Améliorer par le traitement des non conformités Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

7 Année 1970, modèle VV Améliorer par le traitement des problèmes
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Améliorer par le traitement des problèmes Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

8 Années 1980, Cycle VVV, Prs Shiba et Kawakita
Source : Gilbert Farges, UTC Compiègne, « Démarche qualité en recherche » Capitaliser le « progrès » Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution prioritaire Enregistrer les données et les faits Réflexion Analyser le pb Programmer la solution Explorer Evaluer la solution et ses effets Analyser les causes Formuler Expérience VERBAL NUMERIQUE PIMLIG, N.MANDRAN Mars 2012

9 Cycle VVV, pour une démarche expérimentale
Proposer des perspectives Percevoir l’existence d’un pb Dégager le pb prioritaire Déterminer la solution « prioritaire » Enregistrer les données et les faits Co-concevoir et Programmer la solution Formuler le problème Explorer coté recherche: Analyser les « idées du terrain » Evaluer la solution et ses effets Explorer auprès des utilisateurs Etat de l’art : recherche, sociétal, industriel Etude qualitative : entretien focus-group Séance de co-conception, focus-group Expérimentation « instrumentée » Exprimer et Mesurer Exprimer   PIMLIG, N.MANDRAN Mars 2012

10 Les grandes phases expérimentales
A partir des questions ou des hypothèses de recherche Exploration préalable : Etat de l’art, base brevet, études sociologiques, recensement Explorer : qualitatif Co-concevoir : qualitatif Evaluer : Quantitatif et qualitatif PIMLIG, N.MANDRAN Mars 2012

11 Les utilisateurs Le « Grand public » Des professeurs, des élèves
pour connaitre l’utilisation qu’ils font d’un logiciel Pour connaitre leurs habitudes et leurs opinions Pour connaitre leur vocabulaire, leurs représentations Des professeurs, des élèves pour comprendre leur pratiques d’enseignants Pour leur faire évaluer des copies Pour connaitre leur vocabulaire Des chirurgiens pour connaitre les connaissances qu’ils mobilisent pour réaliser une opération Des élèves Pour connaitre l’utilisation qu’ils font d’un logiciel Des experts en informatiques Pour leur faire valider des dictionnaires et des représentations PIMLIG, N.MANDRAN Mars 2012

12 Les utilisateurs PIMLIG, N.MANDRAN Mars 2012

13 Objectifs et enjeux Quoi ? Objectifs Sur quoi ? Les enjeux Où ?
Explorer un domaine Co concevoir Evaluation Sur quoi ? Les enjeux Applications logicielles Des modes d’interactions Des concepts Des méthodes Des langages Des formalismes Où ? In vitro ou in situ (écologique) PIMLIG, N.MANDRAN Mars 2012

14 Les méthodes Comment ? Méthodes qualitatives Entretien individuel Focus group Observation Magicien d’oz, … Des photos, des vidéos , Des schémas Données produites : Audio, photo, schémas, des carnets de bord, ….. Analyse thématique, carte heuristique, Etude de schéma, … Méthodes quantitatives Questionnaire quantitatif Tests de produits Captures d’activités, … Données produites : traces d’activités, réponse à un questionnaire, …. Analyse de stat classique, analyse séquentielle. Le plus souvent, mettre en place des méthodes complémentaires PIMLIG, N.MANDRAN Mars 2012

15 Les mesures Usages, Utilisation, Pratiques Fréquences, Satisfaction,
Besoins, Attentes, Efficacité, utilisabilité, Appropriation, Durée Stratégies d’utilisation, Traces d’activités , … PIMLIG, N.MANDRAN Mars 2012

16 Explorer un domaine 1/ 4 Problème posé : L’homme a toujours aimé façonné son habitat, en est il de même avec les outils techniques issus des nouvelles technologies Connaitre l’utilisation des objets du quotidien ? Connaitre l’aptitude, l’envie des personnes à composer ces outils ? Imaginer un moyen d’interaction pour composer ces services ? LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

17 A vous d’imaginer un protocole
Qui ? Quelles méthodes ? Où ? Quel matériel ? Quelles données produites ? Données de cadrage ? Combien de personnes ? PIMLIG, N.MANDRAN Mars 2012

18 Explorer un domaine 2/4 Qui ? 18 ménages Comment ?
Une étude des données existantes Rencontre avec les professionnels du secteur Une étude des méthodes d’investigations présentes dans le domaine : Cultural probes Création d’une méthode appropriée LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

19 Explorer un domaine 3/4 Une méthode qualitative basée sur une prise de photo et des entretiens Un questionnaire sur l’utilisation de l’informatique et de la notion du bricoleur en informatique Une prise de photo 2 objets dans 5 pièces par les deux personnes du ménage : Un utile et indispensable Un inutile dont ils ne peuvent se passer Une discussion sur la raison du choix de ces objets Une application qui choisit au hasard deux objets et les personnes doivent imaginer qui peut être rendu par cette association PIMLIG, N.MANDRAN Mars 2012

20 Explorer un domaine 4/4 Résultats Les manques
360 idées de services rendus par le couplage d’objets Analyse statistique sur le lien entre les fonctionnalités intrinsèque des objets et le service rendu 8 classes de besoins et l’organisation de ces classes Analyse thématique pour faire émerger et synthétiser les types d’applications à prévoir. Les manques Pas de vision claire du bricoleur de l’informatique La composition des services notion de transitivité LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

21 Inventer des méthodes d’investigations
Carnet de bord Cultural Probes Le magicien d’Oz Méthodes issues de l’Anthropologie, la Sociologie, la Psychologie, des Sciences cognitives, de la Gestion, du Marketing, …… IMAGINEZ PIMLIG, N.MANDRAN Mars 2012

22 Co concevoir une méthode 1/6
Problème SI : Comment faire élaborer de manière collaborative une procédure de travail Avant : rencontrer les acteurs du processus les uns après les autres => long et fastidieux pour les acteurs et celui qui rédige, de nombreux aller- retour Après : méthode Isea LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

23 Co concevoir une méthode 2/6
Tests avec les utilisateurs : première phase Elaboration, conception et tests par les chercheurs Modification par les chercheurs Modification par les chercheurs Méthode (T1) et Application (T2) Tests avec les utilisateurs : deuxième phase Tests avec les utilisateurs : troisième phase Modification par les chercheurs LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

24 Co concevoir une méthode 3/6
Comment : un entretien pour connaitre les acteurs, des focus group pour tester et améliorer la méthode. LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

25 Co concevoir 4/6 Analyses produites
Le premier entretien donne le nom des acteurs et éventuellement des premières pistes A partir de l’observation du comportement des utilisateurs dans les focus group, recueillir la compréhension de la méthode. (mise à plat de la procédure) Lors des phases deux et trois, analyser par observation leur niveau de compréhension du graphe BPMN produit et la compréhension de la suite de la méthode. (difficultés sur la procédure, améliorations) LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

26 Co concevoir une méthode 5/6
LIG/équipe Sigma PIMLIG, N.MANDRAN Mars 2012

27 Valider une application
Problème IHM : Une application avec des nouveaux modes d’interaction sur iPhone Comment : protocole « classique » Un groupe contrôle avec l’application iPhone classique et un groupe par mode. Environ 10 personnes par mode soit 30 personnes Capture des gestes sur l’interface : temps de réalisation d’un geste et précision de ce geste Analyse statistique « classique » avec comme hypothèse : les nouveaux modes d’interactions sont meilleurs en terme de précision et rapidité Questionnaire sur les habitudes et les usages de l'iPhone avant l’expé Questionnaire de débriefing sur les perceptions de ces nouveaux modes : utilisabilité Brookes 93 (SUS) , … LIG/équipe IIHM PIMLIG, N.MANDRAN Mars 2012

28 Variables et Production
Variables de contrôles Genre, signe, âge, spécialité Facteur expérimental Mode d’interaction : time over, touch over, apple touch Variables mesurées Les actions  : temps de réalisation d’un geste et précision de ce geste La succession des clics : traces d’activités PIMLIG, N.MANDRAN Mars 2012

29 Variables et Analyse Variable dépendantes (à expliquer)
En général les variables mesurées Le type d’actions Le nombres d’actions La précision, ….. Mais aussi de nouvelles variables créées à partir des variables mesurées La durée entre chaque actions Variable indépendantes (explicatives) En général, le facteur expérimental Le type de mode d’interaction Mais aussi les variables de contrôle Genre, signe, âge, spécialité Ou de nouvelles variables créées à partir des variables mesurées ou de combinaisons des facteurs expérimentaux ou des variables de contrôles Combinaison genre et Spécialité : « Femme âge < 25 ans », « Femme âge > 25 ans » «Homme âge <25 ans » « Homme âge > 25 ans » PIMLIG, N.MANDRAN Mars 2012

30 Types de variable Variable quantitative Variable qualitative
Mesurable Ayant une unité, un étalon Le nombre de cette mesure à du sens Possibilité de faire des opérations mathématiques ou des mises en classes Exemple : le nombre d’actions, la durée des actions, Un cas particulier les variables ordinales, les séries chronologiques Variable qualitative ne relèvent pas d’un processus comptable ou numérique n’ont pas d’unité de mesures ne sont pas des nombres, si c’est le cas ce nombre n’a pas de sens quantitatif Les valeurs de la variable sont des modalités Exemple : Genre : 2 modalités Homme et Femme, Diplôme : 3 modalités : inf au bac, bac, bac et plus, Spécialité : informatique, didactique, autre Possibilité de faire des regroupement de modalités De mettre en classes une quantitative => la rendre qualitative Variable séquentielle le contenu s’inscrit en séquence : le cas des traces d’activités sur une interface « time-codée », ou « ordonnés » (ordre des actions, temporalité , fréquence) associée ou non à des paramètres qui viennent préciser l’action PIMLIG, N.MANDRAN Mars 2012

31 Datamining …. ? PIMLIG, N.MANDRAN Mars 2012

32

33 Validation des données
Production de données Validation des données Analyse des données Interprétation des résultats

34 PIMLIG, N.MANDRAN Mars 2012

35 Complémentarité des méthodes
Pourquoi ? Pour étudier sur le long terme des pratiques afin de concevoir des applications et les évaluer Objet d’étude : Une application pour le suivi des élèves dans une classe de TP d’électricité, Qui ? Des profs de physiques Autre objet : Une application pour l’apprentissage de la chirurgie orthopédique ? Qui ? Des chirurgiens, des étudiants en médecine PIMLIG, N.MANDRAN Mars 2012

36 Complémentarité des méthodes
Explorer : 4 Profs « experts » Recenser les pratiques des enseignants de Physique Repérer les scénarios pédagogiques utilisés Connaitre les pratiques en termes de suivi d’une classe Co concevoir une application : 4 Profs « experts » Faire une maquette, La faire évaluer Proposer un prototype, Le faire évaluer Evaluer l’application : 15 profs « autres », 15 étudiants Mesure des pratiques Formation au scénario pédagogique Formation au logiciel Test du logiciel Utilisation => traces d’activités Questionnaire sur l’utilisabilité LIG/équipe METAH PIMLIG, N.MANDRAN Mars 2012

37 Conclusion Un besoin d’explorer important pour innover dans les recherches en intelligence ambiante De disposer de méthodes d’investigations Un « coût » différent selon les types d’études Evaluation : rapide à réaliser, permet des mesures quantifiées plus prisées dans les publications Exploration et co-conception sont « chronophages » PIMLIG, N.MANDRAN Mars 2012

38 Problématique de recherche
Etat de l’art Proposition de recherche Concept – méthode – logiciel Conception et réalisation d’un prototype Phase expérimentale SHS Déploiement, finalisation du prototype Analyse des résultats Communication, valorisation Publication des résultats Ecole doctorale . N.Mandran 2011 38