Heuristique du questionnaire Méthodologie de l'enquête statistique (2) Joachim Dornbusch, Groupe d'Expérimentation Pédagogique en Sciences Economiques et Sociales, Académie de Versailles

A quoi sert le questionnaire (rappel) Que veut-on savoir, vérifier sur ce thème ? 2. Hypothèses (questions, problématique...) 1. Thème de l'enquête De quelles données a-t-on besoin ? Comment les obtenir ? Le questionnaire est donc un... instrument, outil Hypothèses = questions que le chercheur se pose à lui-même. Questionnaire : questions posées aux individus de l'échantillon. qui sert à... 3. Questionnaire collecter, obtenir des données

Art ou science ? Formuler des hypothèses pour les valider ou les invalider relève-t-il... de la science ? de l'art ? Fabriquer un outil pour collecter ces données relève-t-il... Une science produit des connaissances. Un art vise un résultat pratique. La médecine est un art. La réalisation du questionnaire est un art.

Des règles heuristiques Il n'y a pas de questionnaire parfait... ...mais il y en a de bons et de mauvais Règles heuristiques : permettent l'obtention d'une solution satisfaisante permettent d'identifier / de résoudre le plus de problèmes possible Dans chacun des exemples qui suit, trouvez le principal défaut de la question posée, essayez de la corriger et déduisez-en une règle plus générale. Pour une même recherche, il y a de multiples questionnaires valables

Exemple 1 Faut-il facturer l'intervention des secours aux personnes qui se trouvent en difficulté en montagne à cause de leur comportement irresponsable qui entraîne un coût élevé pour la collectivité ? Oui Non Sur chaque question faire préciser : ouverte, semi-ouverte ou fermée ? Question de comportement ou d'opinion ?

Règle n°1 : faire preuve de neutralité La question est dite chargée ou orientée. Elle contient un argument implicite en faveur d'une des modalités Le vocabulaire connoté, péjoratif, critique ou au contraire laudatif suffit à charger une question.

Correction possible Vocabulaire plus neutre Pensez -vous que l'intervention des secours en montagne puisse être facturée aux personnes secourues dans certains cas ?

Solution alternative Rééquilibrer la question en la chargeant dans les deux sens... Selon vous, la facturation des secours en montagne... est possible lorsque la responsabilité des personnes secourues est engagée est à écarter car la gratuité des secours doit rester la règle

Exemple n°2 Pensez-vous que le mariage soit un gage de stabilité pour le couple ? oui non

Règle n°2 : tenir compte du conformisme Une partie des répondants n'a pas d'opinion tranchée. Ils auront tendance à se reporter sur l'opinion dominante ou l'opinion suggérée par l'enquêteur. Notamment quand on leur soumet : un slogan une maxime une formule marquée au coin du bon sens...

Correction possible Equilibrer les modalités Avec laquelle de ces deux phrases êtes-vous le plus d'accord ? Le mariage, c'est un gage de stabilité dans le couple Le mariage, c'est la corde au cou

Exemple n°3 Selon vous, l'introduction de l'euro : a fait considérablement augmenter les prix a fait un peu augmenter les prix n'a pas eu d'effet sur les prix a fait diminuer les prix

Règle n°3 : équilibrer les modalités Ici l'idée de la hausse apparaît plus plausible car elle correspond à 2 modalités. Les modalités positives et négatives doivent être équilibrées ou symétriques.

Correction possible Selon vous, l'introduction de l'euro : a fait augmenter les prix n'a pas eu d'effet sur les prix a fait diminuer les prix

Autre correction possible Selon vous: l'introduction de l'euro a entraîné une augmentation des prix la hausse des prix n'est pas due à l'euro mais à d'autres facteurs

(à des personnes qui ont des enfants) Exemple n°4 (à des personnes qui ont des enfants) Aidez-vous vos enfants à faire leurs devoirs ? oui non

Règle n°4 : prendre en compte les normes sociales Ici une réponse est socialement préférable à l'autre Les résultats reflèteront moins la réalité des comportements que l'adhésion à une norme. De nombreux répondants optent pour le "oui" pour se conformer à un ... stéréotype parental Quand on peut confronter enquête et observation directe (par exemple pour la participation électorale : comparaison participation déclarée / participation réelle), on constate des biais très importants.

Correction possible Question indirecte (et ouverte) Citez deux thèmes étudiés cette année en histoire-géographie par votre fils / fille.

Exemple n°5 Concernant le fonctionnement de la Politique Agricole Commune, pouvez-vous me dire si vous êtes : entièrement d'accord plutôt d'accord plutôt pas d'accord pas du tout d'accord

Règle n°5 : ne pas provoquer des positionnements artificiels Ici, les personnes sans opinion sur la PAC devraient se voir proposer une modalité : "sans opinion". Lorsqu'on ne veut pas susciter des positionnement artificiels : introduire une modalité neutre / inciter les indécis à ne pas se prononcer Pour forcer la prise de position (tout le monde a un avis) : retirer le "sans opinion" et mettre des "plutôt oui"/"plutôt non" Exemple, dans une question sur la pertinence de l'éducation sexuelle dans les programmes scolaires, ne pas proposer de modalité "Je ne souhaite pas répondre" On cherche à observer des opinions mais l'enquête peut aussi les susciter / L'introduction d'une modalité "sans opinion", ou ne souhaite pas répondre" doit être un choix réfléchi.

Correction possible Au sujet du fonctionnement de la Politique Agricole Commune, pouvez-vous me dire si vous êtes : d'accord pas d'accord sans opinion

Exemple n°6 Vous arrive-t-il d'avoir peur lorsque vous empruntez les transports en commun ? oui / non

Règle n°6 : dépersonnaliser les questions sensibles ou intimes Le sujet abordé est sensible (avouer sa peur) surtout chez les hommes (introduction d'un biais dans les réponses). La question doit être dépersonnalisée. Si ce n'est pas possible, introduire : une modalité "ne souhaite pas répondre" un rappel de l'anonymat, de la finalité purement statistique de la collecte des données une formule de précaution...

Correction possible Dépersonnalisation Selon vous, les transports en communs sont-ils des lieux potentiellement dangereux ? oui non

Exemple n°7 Vous allez au cinéma en moyenne : jamais rarement souvent très souvent

Règle n°7 : éviter les termes ambigus ou subjectifs "souvent " peut avoir une signification variable d'un individu à l'autre

Exemple n°8 Corrigé de l'exemple 7... mais toujours pas satisfaisant Vous allez au cinéma en moyenne : jamais ou moins d'une fois par mois une fois par mois plus d'une fois par mois

Règle n°8 : indiquer une période de référence Toute question de comportement doit comporter une période de référence : depuis le début de l'année civile... au cours de la semaine écoulée... au cours des dernières 24 heures... Le choix de celle-ci dépend du comportement étudié

Correction possible Au cours des 30 jours écoulés, c'est à dire depuis le 14 mai, vous vous êtes rendu au cinéma : jamais une seule fois deux fois ou plus

Exemple n°9 Au cours du mois écoulé, vous avez navigué sur des sites internet, en moyenne... 30 minutes par jour 1 heure par jour 2 heures par jour plus de 2 heures par jour

Règle n°9 : ne pas demander d'opération complexe Il est très difficile d'estimer correctement le temps passé à telle ou telle activité au cours d'une journée... et plus encore de faire une moyenne. Proscrire les opérations complexes comme : se classer soi-même dans la grille des PCS estimer un budget moyen se souvenir de la date d'un évènement personnel...

Correction possible Fournir une assistance Aujourd'hui, pouvez-vous me dire combien de temps vous avez navigué sur des sites Internet : la première fois ? la deuxième fois ? ...

Exemple n°10 Faut-il prendre des mesures pour limiter la consommation de médicaments psychotropes ? oui non

Règle n°10 : utiliser le vocabulaire du répondant, pas celui de l'enquêteur Le vocabulaire utilisé doit être le plus naturel possible pour le répondant, compte tenu de son milieu socioculturel, etc. Penser aussi aux unités de mesure : la consommation d'une boisson s'exprime en verres, pas en centilitres.

Correction possible Faut-il prendre des mesures pour limiter la consommation de médicaments qui agissent sur le système nerveux tels que les anxiolytiques ou les antidépresseurs ? oui non La question n'est pas encore satisfaisante.

Correction possible Les médicaments qui agissent sur le système nerveux tels que les anxiolytiques ou les antidépresseurs sont aujourd'hui délivrés sur ordonnance. Faut-il prendre des mesures supplémentaires pour en limiter la consommation ? oui non

Exemple n°11 Depuis un an, avez-vous consulté votre médecin généraliste et votre dentiste à titre préventif, c'est à dire sans présenter de symptômes particuliers ? oui non

Règle n°11 : demander une chose à la fois Certains répondants opteront pour la modalité "oui" uniquement s'ils ont consulté les 2 praticiens. D'autres répondront "oui" pour avoir consulté l'un des deux. Les questions doivent avoir un objet unique. Ici : il vaudrait mieux poser deux questions.

Exemple n°12 Au cours de l'année écoulée, avez-vous voyagé à plus de 100km de votre domicile ? jamais une seule fois deux fois plus de cinq fois

Règle n°12 : fournir une liste exhaustive de modalités Ici les personnes qui ont voyagé 3 ou 4 fois ne peuvent pas se classer. La liste des modalités proposées doit être exhaustive afin de permettre à tous les répondants de se classer.

Exemple n°12 Au cours de l'année écoulée, avez-vous voyagé à plus de 100km de votre domicile ? jamais une seule fois deux fois à quatre fois plus de cinq fois

Exemple n°13 Question d. Pensez-vous que le téléchargement illégal de musique et de films sur Internet... met en danger la création artistique ne met pas en danger la création artistique Question e. Approuvez vous la récente loi "Hadopi" permettant l'interruption de la connexion à Internet des personnes pratiquant le téléchargement illégal de musique et de films ? oui non

Règle n°13 : prendre en compte l'influence entre questions La question d influence les réponses à la question e en suggérant un argument en faveur de la loi. Il serait judicieux d'inverser les deux questions. Le choix fait à une question peut aussi verrouiller la réponse une question ultérieure (le répondant veut paraître cohérent)

Exemple n°14 Actuellement, que consommez-vous au petit déjeuner ? ________________________________________________________________________________________________________________________________________________________

Règle n°14 : économiser les moyens Les questions fermées doivent être préférées pour réduire le travail de codage / saisie. Préférer : fermé à semi-ouvert semi-ouvert à ouvert La règle d'économie s'applique aussi à la longueur du questionnaire (facteur de rejet)

Correction possible Pouvez vous me dire si, au cours des sept derniers jours, vous avez consommé au moins une fois l'un des aliments suivants au petit déjeuner : pain biscottes céréales (liste...) Autres : Je ne prends pas de petit déjeuner

Le choix du type de question... Qu'est-ce qui justifie le recours à une forme ouverte dans certains cas ? Lorsqu'une modalité est socialement plus valorisée qu'une autre, proposer un choix prédéfini oriente les réponses. Lorsque le choix d'une modalité est une opération complexe (PCS) Dans beaucoup d'enquêtes on demande directement aux individus questionnés leur PCS...

Exemple n°15 Répondez honêtement aux questions qui suivent. Faute d'orthographe volontaire.

Règle n°15 : faire preuve de courtoisie et de sérieux Eviter les injonctions, les formules soupçonneuses Eviter les fautes d'orthographe (décrédibilise l'enquête) Donner des raisons de collaborer ...sans pour autant révéler forcément l'objet précis de l'enquête ...et encore moins les hypothèses Si le questionnaire ne semble pas sérieux, la garantie d'anonymat n'est pas crédible.

Correction possible Le questionnaire qui suit nous permettra de mieux connaître... Nous vous remercions de bien vouloir y consacrer quelques minutes.

Exemple n°16 Dans un questionnaire auto-administré Au cours des 7 derniers jours, vous vous êtes déplacé en automobile (en tant que conducteur ou en tant que passager) : jamais une fois deux fois trois fois quatre fois cinq fois six fois sept fois huit fois neuf fois dix fois ou plus

Règle n°16 : rechercher la clarté typographique Le questionnaire auto-administré doit être présenté de façon agréable et lisible Les problèmes ici : confusion possible entre les modalités risque de rejet du questionnaire (rébarbatif) construire une échelle claire et ergonomique

Un questionnaire mal conçu... A cause d'un questionnaire défectueux, quels problèmes peuvent affecter le déroulement d'une enquête ou entacher ses résultats? biais statistiques accroissement du taux de non-réponse accroissement de la charge de travail

Corriger des éléments de questionnaires Quelques exercices... Corriger des éléments de questionnaires

Trouver les règles qui s'appliquent et améliorer la question Est-ce que vous vous lavez très souvent les cheveux ? oui non

Trouver les règles qui s'appliquent et améliorer la question Extrait d'un questionnaire diffusé par des lycéens : Savez-vous ce que sont l'anorexie et la boulimie ? oui non

Trouver les règles qui s'appliquent et améliorer la question Extrait d'un questionnaire diffusé par des lycéens : A quelle fréquence mangez-vous du poisson par semaine ? une fois plus d'une fois jamais

Cette question enfreint-elle une des règles ? Sondage réalisé pour Le figaro/LCI par l'institut BVA du 5 au 6 mai 2006 L'adjectif "adapté" charge la question. Demander des conditions "adaptées" est forcément "justifié"

Cette question enfreint-elle une des règles ? Sondage réalisé pour Le figaro/LCI par l'institut BVA du 5 au 6 mai 2006 Proposer un slogan entraîne un biais en faveur de la modalité positive.