Méthodes et outils pour la démarche expérimentale Séance 5 Nadine Mandran Formation doctorants Janvier-Mars 2011

Où en sommes nous ? Rappel séances précédentes Aujourd’hui Expliciter la problématique de la thèse Présentation de la démarche qualitative et de méthodes Rédiger un protocole Rédiger un entretien, et assurer la passation Aujourd’hui Finir les passations Analyser des données qualitatives : Questionnaires et Grilles Points forts et points faibles Analyser un entretien qualitatif Retourner aux hypothèses

Le matériel à exploiter Questionnaires Pratiques Utilisabilité Pré-test/post-test… Grilles points forts-faibles Schéma Vidéo Audio Contexte Eléments connexes Cœur de l’étude Le contexte permet d’aborder le sujet sans en prenant appui sur ce que le sujet connait Permet de mettre le sujet en confiance Les questions s’enchainent, pour arriver au point essentiel de l’entretien. Lors de la rédaction de la grille : envisager tous les cas de figures. On veut des informations sur les outils que la personnes programment chez elle. Et elle ne parle pas des télécommandes. (outils pourtant tellement controversés) . Donc la grille doit permettre d’aborder ce point au cas où ? Prendre l’exemple de la grille de Yoann et Sonia Connu pou- Intelligence ambiante

« Préalable » Mais avant … Calculer la distribution de l’âge Le tableau croisé dynamique sur excel

« Questionnaire » Méthode Remarque : Méthode de traitement spécifique pour une situation expérimentale où le nombre de personnes est réduit. Questionnaire des pratiques, utilisabilités, usages, socio-demo , …lors d’un focus group, ou d’une mise en situation en entretien Méthode Saisir l’ensemble des réponses Ligne=participants, Colonnes = réponse aux questions Faire des comptages pour les questions fermées nombre Homme/Femme, professions, échelle d’utilité Faire des « distributions » pour les questions numériques Age moyen, dispersion de l'âge, Note de satisfaction, … Faire la synthèse des questions ouvertes Le concept stratégie n’a pas été compris (7/8) « en gestion on ne s’en sert pas comme cela »

Grilles points forts – points faibles Remarque : Méthode de traitement spécifique pour une situation expérimentale où le nombre de personnes est réduit. Grille qui liste par éléments les points forts et points faibles d’un concept, d’une méthode , d’une application, … Méthode Saisir l’ensemble des réponses Ligne=participants, Colonnes = réponse aux questions, 2 colonnes par éléments Faire la synthèse des réponses éléments par éléments

Schéma Remarque : Méthode de traitement spécifique pour une situation expérimentale où le nombre de personnes est réduit. Les participants ont réalisés des schémas ou représentations durant une expérimentations Méthode Photographier chacune des productions Repérer ce qui confirme ou non les hypothèses Repérer les ressemblances/les différences entre les représentations Repérer ce qui montre que les participants ont compris la méthode Repérer les apports de la représentation par rapport à la proposition Ecouter les bandes audio Visionner les films

Schéma : exemple

Schéma : exemple

Les videos Remarque : Méthode de traitement spécifique pour une situation expérimentale où le nombre de personnes est réduit. Les participants ont été filmés et observés pendant une activité Méthode Créer une grille d’analyse : Quelles hypothèses ? Visionner et traquer les observations qui valident ou invalident les hypothèses Annoter sur des logiciels d’encodage des comportements (The Observer, Tatiana, …) Plan de codage Annotations

Logiciel annotation des vidéos Noldus

« Questionnaire à vous » Sur le fichier Excel : feuille questionnaire pratique Analyse des questions d’utilisabilité de la méthode Hypothèse : les participants sont satisfaits du travail effectué avec la méthode Colonne Z, AA, AB, AC, AD, AE (satisfaction et gain) Hypothèse : le modèle proposé et le graphe associé sont complets Colonne AF, AG,AH,AI,AJ (complétude du modèle et du graphe) Hypothèse : les participants peuvent réutiliser ce modèle dans des contextes différents Colonne Ak, AL, AM, AN, AO (Réutilisation et contexte)

« PF et pf : à vous » Sur le fichier Excel : feuille Pf_pf Analyse des points forts et points faibles de la méthode, sous forme d’un slide. Hypothèse : les concepts et les relations sont clairs Hypothèse : le graphe est cohérent Hypothèse : la structure du graphe est correct

Les entretiens Méthode 1 : Sociologie Les participants ce sont exprimés sur un sujet lors d’une interview guidé par une grille d’entretien. Leur propos ont été enregistrés. Méthode 1 : Sociologie Retranscrire les entretiens (1h => 6h) A partir des entretiens, analyser les données de manière à élaborer une grille thématique, qui sera décomposé en sous-thèmes Utilisation des moyens de communication dépend des sphères Téléphone fixe utilisé pour contacter la famille Le mail pour les amis ou le professionnel Chacun des sous-thèmes est illustré par un verbatim «  le mail, c’est que pour mes potes » (S1) Pour chaque thème faire une synthèse Exemple DISQO

Les entretiens Méthode 2 : simplifiée pour « informaticiens » Avec les hypothèses et/ou la grille d’entretien, élaborer une grille d’analyse Ecouter un des entretiens qui a été le plus pertinents et enrichir la grille d’analyse Ecouter les autres entretiens, relever ceux qui correspondent aux hypothèses ou non Noter les verbatim pertinents et si la personne a abordé ce thème et dans quel sens

Entretien à vous A partir d’un entretien Hypothèse : Aujourd’hui les outils qui permettent de programmer un habitat de manière intelligente ne fonctionnent pas. De nombreux problèmes surgissent quand un utilisateur essaye de piloter son habitat, y compris la télé avec une télécommande. Expérience : un magicien d’oz Repérer tous les problèmes qui se posent à l’utilisateur et que le concepteur d’habitat intelligent doit anticiper. Un slide qui liste les problèmes à éviter à partir de l’entretien

« A vous » Produire une réponse à chacune des hypothèses , sous forme d’un ou plusieurs slide.

Retour aux hypothèses Cheminement avec les hypothèses Création d’une grille d’analyse Repérer les verbatims qui valident ou non les hypothèses Faire des propositions « techniques » à partir des résultats « sociologiques »

Retour aux hypothèses Exemple un formalisme pour aider les concepteurs de formation . C.Mariais Metah

Permet de bien structurer la démarche Permet de discuter avec le client qui souhaite une formation dans son entreprise Lors de la présentation au client permet d’apporter des modifications en direct Permet d’échanger entre différents concepteur Nécessité de rédiger un peu le scénario avant la formalisation Influence des exemples, risque de perdre en créativité

Une autre proposition Pour l’application qui va supporter le formalisme Mettre à disposition un éditeur pour une rédaction à gros grain du scénario La bibliothèque d’exemple ne sera accessible qu’après avoir fait un premier scénario avec le formalisme Dans certains cas, pouvoir modifier les modalités d’accès à cette bibliothèque.

Les classes de besoins