Le questionnaire auto-administré

Présentation au sujet: "Le questionnaire auto-administré"— Transcription de la présentation:

1 Le questionnaire auto-administré
Sondages 2012 – Rennes, 6 novembre 2012 SD 2012 Le questionnaire auto-administré Bilan d’une opération en 15 langues Efi Markou, Fannie Plessis, Françoise Courtel, Bernard de Clédat, Martine Quaglia, Lamia Zamouri Service des enquêtes et des sondages

2 Plan de la communication
L’enquête Sans domicile (SD 2012) Le Questionnaire Auto-Administré (QAA) Le premier bilan de la collecte Méthode de documentation de la qualité de remplissage selon les langues L’application de cette méthode sur les QAA de SD2012 Présentation très brève de l’enquête SD 2012: champ, objectif et protocole (Françoise Yaouancq l’a présentée hier) Le Questionnaire auto-administré (QAA): Objectif, contraintes qui ont pesé sur sa réalisation, les langues dans lesquelles il a été traduit, les thématiques qui couvre. Un premier bilan de la collecte, sachant que l’apurement est toujours en cours et qu’il y aura quelques modifications en marges.

3 L’enquête Sans domicile (SD2012)
Terrain : janvier-mars 2012 (INSEE/INED) Utilisateurs des : Services d’hébergements Services de restauration gratuite (ou à faible coût) Haltes de nuit Réédition de l’enquête SD 2001 (INSEE) Objectifs : Décrire leurs caractéristiques socio-démographiques Décrire leurs conditions de vie Décrire les trajectoires de la précarité Estimer le nombre de sans-domicile Réactualiser les données: population peu abordée par les statistiques partant du logement

4 L’enquête SD2012 : le protocole
Echantillonnage à 3 degrés : Agglomérations de plus de habitants Services*jours (échantillonnage lieux / moment) Utilisateurs des services*jours En 2001: Un questionnaire papier (face à face,1h) En 2012: Deux questionnaires papier : Long : 1 heure, face à face, en français Court : 4 p., auto-administré (QAA), en 15 langues (dont le FR) Distribués selon des tables de tirages pré-établies Échantillonnage: dire qu’il s’agit des échantillons aléatoires Dire qu’on ne s’attardera pas sur le protocole, Françoise Yaouancq l’a présenté hier dans une communication à part. A vérifier: durée questionnaire 2001 Durée QIL 2010

5 Le QAA : pourquoi ? Inclure les non francophones QAA proposé à :
Un échantillon de personnes (FR + NF) tirées à cet effet Des personnes tirées pour un questionnaire long mais qui Ne parlaient pas suffisamment le français Refusaient le questionnaire en face à face Les QAA ont permis: D’améliorer statistiquement le protocole D’enquêter auprès des non francophones D’interroger un plus grand nombre de francophones y compris des personnes qui n’auraient pas pu / voulu répondre au questionnaire long Point de départ: demande des associations: inclure les NF >> Dire pourquoi QAA et pas interprète Avant « finalement », dire oralement qu’il a été élargi aux FR aussi. Elargir la consultation: Peaufiner le protocole statistiquement (pondérations, etc.) Les QAA permettent: D’améliorer le stat, d’interroger Un plus grand nombre des personnes qui n’auraient pas autrement répondu Et élargir le nombre des personnes consultées sur un petit nombre de questions: car QAA plus facile à passer qu’un questionnaire FàF et à moindre coût

6 La construction du QAA: Contraintes
Taille du questionnaire (4 pages) Comparabilité avec le questionnaire long Mode de passation (auto-administré) Protocole et exigences statistiques (pondération) Hétérogénéité des situations de vie (type d’hébergement, fréquentation des services…) Hétérogénéité des répondants : Familiarité inégale avec les questionnaires Univers linguistiques et culturels différents Échantillonnage: dire qu’il s’agit des échantillons aléatoires Dire qu’on ne s’attardera pas sur le protocole, Françoise Yaouancq l’a présenté hier dans une communication à part. A vérifier: durée questionnaire 2001 Durée QIL 2010

7 La sélection des 14 langues
Sélection raisonnée: consultation des associations, tests… La question suivante c’était de déterminer les langues et aussi leur fréquence parce qu’on ne pouvait pas avoir un nombre infini des langues, il fallait prendre en compte les plus fréquentes.: - Consultation de différents documents associatifs sur les non-francophones utilisateurs des services, Notre propre expérience lors des différents tests de l’enquête, par ailleurs liste qui a évoluée au fur et à mesure. Finalement, 15 langues Tous le même questionnaire, sauf pour les francophones, 1 seule question différente. Présenter les langues…. + le Français

8 Caractéristiques socio-démographiques
→ Sexe, âge, conjoint Conditions de vie actuelles → Type d’habitation, réseau familial, recours aux services d’aide Revenus et profession → Niveau d’instruction, formation

9 Santé → Consultation chez le médecin, maladies Origines → Lieu de naissance, raisons d’immigration en France

10 Bilan des questionnaires recueillis
5838 Arabe 297 19,3% Russe 278 18,1% Arménien 195 12,7% Roumain 176 11,4% Anglais 174 11,3% Albanais 80 5,2% Bulgare 75 4,9% Serbo-croate 73 4,7% Polonais 69 4,5% Espagnol 68 4,4% Persan 24 1,6% Rromani 13 0,8% Mandarin 8 0,5% Pashto Français 4300 73,7% Autres langues 1538 26,3% Expression à utiliser pour le troisième groupe: « langues qui ont moins participé » Dire qu’il s’agit d’un bilan provisoire sur les questionnaires recueillis. Refus, Impossible à répondre… dans un fichier commun avec les questionnaires longs. Impossible de donner dès maintenant un taux de réponse, de refus, etc. Les 15 langues proposées n’ont pas suffit pour donner à toutes les personnes la possibilité de s’exprimer: pour cela d’autres langues auraient été utiles, comme le turc, etc. Répondants nés dans + de 120 pays

11 Des QAA collectés au fichier des données. Documenter les écarts
Les QAA-papier permettent de recueillir des réponses en décalage par rapport aux réponses attendues Relecture, saisie, apurement : opérations de normalisation Populations diversifiées : accentuation du phénomène Objectif : documenter les écarts pour permettre la recherche méthodologique Méthode : Relecture: repérer et codifier les écarts Saisir les réponses le plus fidèlement possible : commentaires libres, en marge toutes les réponses (même filtrés, multiples, etc.) Saisir les codes On voudrait maintenant présenter comment on a procédé une fois reçu, cet ensemble de questionnaires papiers. Comme il est bien connu, le mode AA laisse une certaine liberté au répondant: aucune enquêteur n’intervient pour normaliser les réponses de l’enquêté (ex. le répondant peut ne pas respecter les filtres, ou de donner deux réponses quand on lui demande une seule). Mais il peut aussi de ne pas bien comprendre la question et de donner une réponse inappropriée. Un certain nombre de ces écarts sont repris et normalisés au cours des opérations de relecture/codage, de la saisie et de l’apurement. Dans notre enquête, on s’attendait à une accentuation du phénomène du fait de la diversité linguistique et culturelle de la population cible. Nous avons voulu documenter ces écarts, cette opération de normalisation de l’ensemble des questionnaires au fichier final. Ceci était important pour des raisons méthodologiques : comprendre la manière dont les répondant remplissent les questionnaires, et donc évaluer l’opération et la qualité des réponses; comparer les réponses des différents sous-catégories des répondants (notamment par langue) Mais aussi cette documentation pourrait permettre une meilleure exploitation des données, permettant une certaine réversibilité. Par exemple: si pour une question on demandait une réponse unique et une grande partie des répondants ont donné plusieurs réponses, prendre en compte ces réponses, etc.

12 Le système de codification
6 codes attribués lors de la relecture : + autres informations fournies directement par le fichier (non-réponse partielle, ignorance des filtres, ….) Doute / Incompréhension (DI) Question potentiellement mal comprise Autre Ecriture (AE) Réponse dans une forme inattendue Réponse dans « Autres » ou en Marges (RAM) Réponse complétée à l’aide des annotations libres du répondant Réponse Corrigée (RC) Correction apportée lors de la relecture Réponse éventuellement Inversée (RI) Signalétique inversée (ex. cocher pour exclure 1 réponse) Réponses Multiples (RM) Au lieu d’un seule réponse demandée

13 Bilan de la codification
Environ 1 / 2 questionnaires ont eu au moins un code. Moyenne environ 1,5 code dans chacun de ces 2705 questionnaires. Ceci en soi n’est pas un indice de moindre qualité du fichier mais plutôt d’une plus grande expression des répondants. Parce que: RM + RAM (ou AE)

14 Concentration des écarts par question
Par code, les questions qui concentraient plus de 10% de chaque code.

15 Code Autre écriture (AE)
Langue* Nb A2 répondues Nb AE % AE / A2 Arabe 232 29 13% Français 3807 440 12% Roumain 157 11 7% Anglais 156 10 6% Russe 270 3 1% Arménien 194 0% Total 4816 493 10% 62 % des codes AE concernent la question *Si effectifs > 100 QAA Les colonnes montre pour chaque langue, le % des A2 répondues qui ont eu une autre forme que l’année Ecart récupérable dans sa quasi-totalité Question de traduction: vérifiée, ok. On devrait affiner selon les origines et le parcours, mais déjà cela montre nettement les différentes formes d’énonciation de la naissance. Ex Arménie et Russie

16 Codes Réponse dans Autres / en Marges: 36% concernent la question
Langue* Nb A10 répondues Nb RAM % RAM / A10 Roumain 170 20 12% Français 4243 319 8% Arabe 266 Russe 260 17 7% Anglais 167 10 6% Arménien 179 5 3% Total 5285 391 La classification des lieux d’hébergement : une grille complexe pour des situations polymorphes (besoin de comparer avec le questionnaire long où c’était l’enquêteur qui situait dans la grille. La concentration des annotations libres sur cette question (1 sur 2 codes) illustre une certaine difficulté des répondant à se situer dans cette même si l’ensemble des codes cela reste relativement faible (7% des QAA avec le code RAM, ont ce code sur la A10). Ici aussi le nombre des codes se différentient en fonction de la langue. Mais pas de la même manière que pour l’année de naissance. Toujours trois groupes: Roumanophones / ARA+FR+ Rus+ Eng / Arméniens (toujours) Hypothèses: familiarité avec les termes et le classement que nous proposons (d’où les francophones relativement bas), traduction des termes. Pour les différentiations, voir aussi avec la date d’entrée en France, etc. *Si effectifs > 100 QAA

17 Les marges : Une forme d’appropriation du questionnaire
« Où avez-vous passé la nuit dernière ? ». Raisons des RAM Quatre groupes de réponses : Catégories effectivement inexistantes (hôpital, monastère…) 1% >> vrais « Autres » Reprise d’autres catégories officielles (foyer, hôtel social, 115…) ou des catégories indigènes (« dehors », « tente », « dans une voiture »…) Réappropriation du classement proposé par le quest. 59% >> +/- Reclassables Localisation de l’endroit : « ici », « Ordre de Malte », « à Lyon »… Rejet de toute nomenclature. Catégorie fréquente: 23%. Reclassables Affirmation du lien personnel avec le lieu: « chez moi »,  « à mon logement », « chez mon cousin ». 16%. Souvent inclassables . Attitudes des répondants : difficulté de se situer dans la grille proposée ( complexité de la grille / des catégories) effort de se l’approprier inventant ses propres manières de répondre On voudrait rester un peu sur cette dernière question: « Où avez-vous passé la nuit dernière » et sur les réponses inscrites en marges ou dans la modalité « Dans un autre endroit. Lequel ». L’objectif est de comprendre pourquoi les répondants ont utilisé les marges? Double classement des réponses libres (RAM) sur la question du lieu d’hébergement la nuit dernière. données dans la modalité « Dans un autre endroit, lequel », au en libre annotation à la suite du libellé ou dans les marges (codées RAM). RAM 10_com =114 / RAM 10_Pr = 289 / Sur un Total d’environ RAM, 138 ont pu être reclassés se qui correspond à 34.2%

18 Conclusion La passation auto-administrée sur papier autorise le répondant à s’exprimer en dehors des réponses attendues Cette liberté a des répercussions sur la qualité de la collecte: Négatives : Informations perdues du fait de l’incompréhension des questions des réponses inutilisables (illisibles, inappropriées….) Neutres : Informations données autrement mais récupérables Positives : Elle permet de collecter : un ensemble de précisions des informations sur les attitudes, les raisons de participation, la qualité du questionnaire Importance de ce matériau dans le cas des populations hétérogènes Qualités heuristiques de l’analyse des écarts dans le remplissage Réponses inutilisables: codage impossible du à la forme d’écriture utilisé et des origines différentes Ceci accentué aussi par les conditions difficiles du terrain (grand froid, distribution du QAA pendant la distribution des repas

19 Merci aussi aux traducteurs et interprètes Maryse Marpsat
Autres personnes ayant participé à la conception du QAA et à la documentation des écarts SES - Ined Insee Stéphane Legleye Géraldine Vivier Ainsi que Léa Bourset Valérie Laprée Véronique Mangeot Naima Timera Merci aussi aux traducteurs et interprètes Maryse Marpsat Françoise Yaouancq Sylvain Quénum Michel Duée Ainsi que Frédéric Luczak Fella Nabli Et plusieurs autres….