Dr. Michèle Ernst Stähli JSS - 30 octobre 2009 Test par entretiens cognitifs de questionnaires sur les inégalités et ses perceptions

2 Agenda 1. Les entretiens cognitifs : une introduction générale 2.Les différentes techniques 3.Les stratégies d’utilisation 4.Exemples 5. Discussion

3 1. Les entretiens cognitifs : une introduction générale ● Objectifs - tester la qualité de questionnaires standardisés - détecter des problèmes de compréhension, de langage, de vocabulaire et de « souhaitabilité sociale » - comprendre comment les répondants construisent leurs réponses - améliorer la formulation des questions ● Méthode générale - entretiens approfondis, purement qualitatifs - petit nombre d’entretiens (5 à 10) et nombre limité de questions testées, pas de recherche de représentativité au niveau des répondants - réalisés par des chercheurs qui maîtrisent parfaitement la méthode et les objectifs de chaque question (souvent les concepteurs du questionnaire) ● Différences par rapport aux pré-tests standard - conditions du terrain (dont enquêteurs, questionnaire, etc.) - échantillon - objectifs

4 2. Les différentes techniques ● Technique générale de l’entretien cognitif - lecture de la question originale avec réponse du participant - détection du processus cognitif et des difficultés à l’aide de relances (probes) ● Types de relance 1) Penser tout haut (Thinking Aloud) 2) Paraphraser (Paraphrasing) 3) Test de la fiabilité de la réponse (Confidence Rating) 4) Test de compréhension (Probing) : - test général (General Probing) - test spécifique (Special Comprehension Probing) - test sur les informations mobilisées (Information Retrieval Probing) - test sur la sélection de la catégorie de réponse (Category Selection Probing)

5 3. Stratégies d’utilisation 1) Combinaison des techniques - lorsque la faiblesse de la question est connue ou supposée (p.ex. termes difficiles), une relance ciblée peut suffire - lorsqu’il n’y a pas d’hypothèses de difficulté, on peut commencer par une approche générale (p.ex. faire paraphraser) et on poursuit avec relances ciblées selon la réponse donnée - une seule relance générale ne donne habituellement pas de résultats satisfaisants 2) Adaptation des techniques au cas par cas - Adaptation des techniques au profil de chaque répondant - Adaptation selon les réactions précédentes  Il est nécessaire que l’enquêteur maîtrise à la fois les différentes techniques de relances et le questionnaire lui-même dans ses moindres détails!

6 4. Exemples 1) Penser tout haut (Thinking Aloud) But: Établir les éléments mobilisés pour la réponse Exemple: « A quoi avez-vous pensé en répondant à cette question? » Avantage: Permet de faire surgir aussi des problèmes non anticipés Inconvénient: Peu adapté aux personnes avec un niveau de formation faible

7 4. Exemples 2) Paraphraser (Paraphrasing) But: Tester la compréhension de la question Exemple: « Avec vos propres mots, qu’est-ce qu’on veut savoir avec cette question? » Avantage: Idéal pour les questions difficiles et longues, pour voir si elle a été comprise et quels sont les éléments retenus Inconvénient: Peu adapté aux personnes avec un niveau de formation faible

8 4. Exemples 3) Test de la fiabilité de la réponse (Confidence Rating) But: Évaluer la fiabilité de la réponse et ainsi tester la compréhension de la question Exemple: « Êtes-vous sûr de votre réponse? (Très sûr, plutôt sûr, plutôt pas sûr, pas sûr du tout) » Avantage: Permet de détecter des absences d’avis dissimulées Inconvénient: L’incompréhension n’est saisie que de manière indirecte, cette relance ne suffit pas à elle-même

9 4. Exemples 4) Tests de compréhension (Probing) : 4 A) Test général (General Probing) But: Vérifier la compréhension générale de la question Exemple: « Y a-t-il quelque chose que vous n’avez pas compris? » Avantage: Permet à la personne d’exprimer ses doutes Inconvénient: Ne permet pas de détecter les « fausses » compréhensions

10 4. Exemples 4) Tests de compréhension (Probing) : 4 B) Test spécifique (Special Comprehension Probing) But: Vérifier la compréhension d’un terme ou d’une expression dans la question Exemple: « Comprenez-vous le terme ‘X’, êtes-vous tout à fait sûr de son sens? » Avantage: Adapté lorsqu’un vocabulaire difficile est employé Inconvénient: Ne repère pas les termes polysémiques

11 4. Exemples 4) Tests de compréhension (Probing) : 4 C) Test sur les informations mobilisées (Information Retrieval Probing) But: Vérifier que l’ensemble des éléments à mobiliser l’ont effectivement été Exemple: « Quelles sont les choses que vous avez considérées pour répondre à cette question? » Avantage: Particulièrement approprié pour les questions factuelles et rétrospectives Inconvénient: La question doit être posée de manière très directive, sinon les réponses risquent de partir dans tous les sens(surtout pour niveaux de formation faibles)

12 4. Exemples 4) Tests de compréhension (Probing) : 4 D) Test sur la sélection de la catégorie de réponse (Category Selection Probing) But: Tester la compréhension et l’adéquation des modalités de réponse Exemple: « Pourquoi avez-vous répondu ‘a’ et pas ‘b’ ou ‘c’? » Avantage: Incite le répondant à bien expliciter les différences perçues entre les catégories

13 Discussion

Dr. Michèle Ernst Stähli JSS - 30 octobre 2009 Test par entretiens cognitifs de questionnaires sur les inégalités et ses perceptions