La déperdition au fil des trois vagues de l’enquête longitudinale Erfi-GGS Arnaud Régnier-Loilier, Nelly Guisse (Institut national d’études démographiques) Colloque francophone sur les Sondages 2012 – Rennes – 5 novembre 2012, session « Panels »

L’enquête en 3 vagues… en 3 mots Mise en place en France entre 2005 et 2011 (Ined, Insee) Déclinaison française du Generations and Gender Survey Thématique familiale ; 18-79 ans lors de la première vague Objectifs :  comparaisons internationales  dimension prospective : 3 vagues espacées de 3 ans Enquête non obligatoire Mêmes enquêteurs sollicités aux vagues succesives

Au programme… Procédure de “suivi” et nombre de répondants Facteurs d’attrition entre V1 et V3 Accentuation ou “sélection” : facteurs d’attrition identiques entre les vagues ( V1 / V2 et V2 / V3) ?

1. Suivi et nombre de répondants aux trois vagues

Le suivi entre V1 et V3 Fiche de suivi à la fin de chaque vague Nom, prénom, adresse, téléphone, personnes relais Saisie manuelle des adresses par le SES : difficultés - pas d’outil existant - pas toujours le prénom du répondant Envoi de courriers de relance suite à V1 : - pour les répondants refusant le suivi - pour ceux n’ayant pas donné de relais Entre V1 et V3 : ~ 2 courriers / an, premiers résultats...

Taux d’attrition entre V1 et V2 V1 2005 : 10 079 répondants - refus de poursuivre : 10 % - NPAI répétés, décès, parti à l’étranger, en institution : 8 % → échantillon 2008 : 8 341 personnes - refus de répondre : 8 % - impossible à joindre : 6 % - parti à l’étranger, en institution, inapte : 3 % - répondant 2008 ≠ 2005 (42 cas) V2 2008 : 6 534 répondants 35 %

Taux d’attrition entre V1 et V3 1 274 non répondants à V2 396 (31%) 377 (30%) 73 (6%) 80 (6%) 348 “V1-3” V3 2011 : 5 781 répondants (ayant répondu à V1 et V3) soit une attrition de 43 % en 6 ans V2 2008 : 6 534 répondants - refus de poursuivre : 3 % → échantillon 2011 : 6 248 répondants à V2 - refus : 322 (5%) - IAJ : 226 (4%) - inapte : 117 (2%) - hors champ : 150 (2%) V3 2011 : 5 433 “V123” 13 % 73 %

Refus de poursuivre ou autres raisons ? ~ 50 % de l’attrition (V123) s’explique par un refus de poursuivre ou de répondre à un moment donné ~ 50 % par d’autres raisons (impossible à joindre, perdu de vue, départ en institution, etc.) Proportions semblables entre V1/V2 et V2/V3 Sur l’ensemble des 18-79 ans n’ayant répondu qu’à la vague 1, environ 1/10e de l’attrition imputable à la mortalité

2. Facteurs d’attrition entre les vagues 1 et 3

Géographie de l’attrition Moindre attrition (<37 %) en :  Auvergne  Bretagne  Pays de la Loire  Loraine Plus forte attrition (>50 %) en :  Île de France  Paca  Languedoc  Corse     Régions plus rurales : moins de perte ; Ile de France : grandes villes et difficultés d’accès au logement en ensembles collectifs ; moindre disponibilité ? Plus grande mobilité géographique ? => Dans les faits, plus d’immeuble dans les grandes villes ; et plus d’intention de déménager dans les 3 ans Paca, sud : plus de résidence secondaire en V2 et V3 ? Plus de personnes âgées… Il faudrait regarder “à l’entrée” si cette répartition est “conforme” au taux de réponse à la 1ère vague (les refus, IAJ sont-ils plus ou moins nombreux en V1 dans ces régions?) => Question à PB : est-ce le même phénomène dans les autres enquêtes ?    

Repérage des facteurs « toutes choses égales » Beaucoup d’effets “liés” : type de commune, type de logement, intention de déménager... Régression logistique estimant la probabilité de ne pas avoir participé à la vague 3 Nombreux “essais” de modélisations pour s’assurer de la stabilité des résultats, tester des hypothèses, etc. Résultats difficilement “présentables” : synthèse

Lieu d’habitation « Toutes choses égales », attrition plus forte... ... régions Île-de-France ... et Méditerranée ... des locataires ... en appartement ... ayant l’intention de déménager Moindre attrition chez les agriculteurs, communes <5000 habitants, et les propriétaires accédants (plus de refus) (moins de refus) (autant) Grande ville, appartement… difficulté d’accès au logement + sentiment d’insécurité Mais aussi, grande ville = temps de transport plus long ; offre de sorties culturelles plus large… => moindre proba d’être présent Locataire, intention de déménager, grande ville… Va dans le sens de l’hypothèse d’une plus grande mobilité, donc d’une plus grande proba d’être perdu de vue

Caractéristiques sociodémographiques « Toutes choses égales », attrition plus forte des... ... hommes ... âges extrêmes ... aucun diplôme ... chômeurs ... nationalités étrangères (moins de refus) (autant) Hommes, alors qu’ils ont déjà moins participé à V1 Peu diplômé : moindre intérêt pour l’enquête, réclame un invstissement cognitif plus important Etranger : plus de refus en raison d’un investissement + fort pour s’exprimer en français, se sentent moins concernés par une enquête nationale Pour ainsi dire pas d’effet du type de ménage, sauf “seul” La littérature montre que les changements de situation prof, perso… conduisent à perdre davantage les personnes ; ici, pas possible puisque pas d’info sur les non répondants.

Santé, entourage, sociabilité « Toutes choses égales », attrition plus forte des... ... très mauvaise santé ... seules (avec ou sans enfant < 3 ans) ... absence de confidence (moins de refus) (plus de refus) La mauvaise santé peut conduire à des refus ou hors champ (institution) ; La non confidence : moindre “sociabilité”, moindre envie de se confier (on avait l’hypothèse inverse : être seul, isolé… pourrait conduire à mieux participer pour rompre l’isolement) Seul : plus grande difficulté pour tomber sur quelqu’un dans le logement (prise de contact plus difficile) ? => Toutefois, le fait d’être seul disparaît si on introduit la durée du questionnaire : moindre intérêt pour l’enquête ?

Posture par rapport à l’enquête lors de la 1ère vague « Toutes choses égales », attrition plus forte des... ... questionnaires courts ... personnes ne souhaitant pas recevoir les résultats ... refusant de répondre à questions → Chez les actifs, pas d’effet du temps de travail (proxi d’une plus ou moindre grande disponibilité) (autant) (plus de refus) Hypothèse sur la longueur du questio : court = moindre intérêt ; long = coût d’opportunité élevé Questionnaire court : fait “disparaître” l’effet “seul” mais pas “seul avec enfant de moins de 3 ans” Autres facteurs sont plus à relier à des refus de répondre à V2 ou V3 : Refus de répondre, de remplir l’autorisation express, de recevoir les résultats (va avec la défiance à donner son adresse, avec un moindre intérêt pour l’étude, etc.)

3. D’une vague à l’autre : accentuation ou effet de sélection ?

Question 35 % d’attrition entre V1-V2, 17 % entre V2-V3 : effet de sélection Mais les mêmes facteurs continuent-ils à jouer ? Hypothèses : → les facteurs liés à la mobilité, à l’accès au logement, à la santé, à la posture / à l’enquête se rejouent au fil du suivi → moindre effet des caractéristiques individuelles : diplôme, nationalité, sexe (effet de sélection)...

Mise en œuvre Deux approches : - modélisation de la probabilité d’attrition V1/V2 et modélisation entre V2/V3 puis comparaison → les mêmes facteurs jouent-ils ? - modélisation unique sur l’ensemble des répondants à V1 (10079) et à V2 (6534) de la probabilité d’avoir répondu à la vague suivante, en intégrant des interactions entre la vague et chaque variable → une interaction significative indique que la variable joue différemment entre V1/V2 et V2/V3

Résultats Globalement, les mêmes facteurs se rejouent entre V2 / V3 avec une attrition plus forte pour... Île-de-France, intention de déménager refus de répondre, non intérêt pour les résultats mauvaise santé perçue Moindre attrition chez les agriculteurs, communes <5000 ha

Résultats Par contre : plus d’effet chez les non diplômés, les locataires, en région méditerranéenne ni de la longueur du questionnaire (effet de sélection) Par contre, on retrouve le même effet entre V2 / V3... des plus diplômés qui répondent mieux (accentuation) de la nationalité (accentuation) de l’âge (accentuation) du sexe (accentuation) On aurait un effet de sélection chez les non diplômés (ceux qui n’étaient pas à l’aise avec l’enquête sont déjà partis suite à V1 ; les locataires (les locataires “longue durée” sont restés : il faudrait contrôler avec durée écoulée depuis l’emménagement) ; la longueur du questionnaire a été sélective pour V2 mais ne joue plus ; la région méditerranéenne : beaucoup de pertes en V1-V2 liées à ???????? (résidence secondaire ?) Ne se rejoue plus… - Âge et sexe : cf slide suivant

Résultats (synthèse) Moindre attrition entre V2 et V3 : effet de sélection après V1 Moindre qualité du modèle V2 / V3 (R²) : les facteurs expliquent moins l’attrition ? Effet de sélection ? Mais globalement, les mêmes facteurs se rejouent d’une vague à l’autre : accentuation de la déformation de la structure de l’échantillon (sauf non diplômé, méditerranée, communes > 100 000 ha) Au final : variance de la pondération normalisée > en V3 On aurait un effet de sélection chez les non diplômés (ceux qui n’étaient pas à l’aise avec l’enquête sont déjà partis suite à V1 ; les locataires (les locataires moins mobiles sont restés) ; la longueur du questionnaire a été sélective pour la suite mais ne joue plus ; la région méditerranéenne : beaucoup de pertes en V1-V2 liées à ???????? Ne se rejoue plus. - Âge et sexe : cf slide suivant

Conclusion Attrition relativement élevée (43 – 46 %)... ... “classiquement” moindre pour la 3e vague (sélection) Pour moitié des refus ; difficilement récupérables en V+1 Facteurs d’attrition “classiques”... ... avec une déformation de l’échantillon qui s’accentue au fil des vagues (attrition V2/V3 non uniforme)

Conclusion Analyses à poursuivre : Mesure des biais sur les variables d’intérêt Perspectives pour d’autres opérations longitudinales : Importance de disposer d’au - 1 téléphone et 1 relais un suivi “individualisé” serait-il envisageable ? (contacts plus rapprochés pour les plus mobiles, pour ceux n’ayant pas donné de personnes-relais... ?) Un soin à apporter à la présentation de l’enquête pour les personnes a priori moins “concernées”

Pour en savoir plus sur l’enquête… www-erfi.ined.fr arnaud.regnier-loilier@ined.fr Ont participé au suivi des répondants : Ruxandra Breda-Popa (SES) Lamia Zamouri (SES) Raphaël Laurent (SES) et ponctuellement l’ensemble du SES ! Merci à Laurent Toulemon pour ses conseils

Problème de cohérence d’une vague à l’autre de l’enquête Érfi-GGS : l’exemple du nombre d’enfants Arnaud Régnier-Loilier (Institut national d’études démographiques) Colloque francophone sur les Sondages 2012 – Rennes – 5 novembre 2012, session « Panels »

Problèmatique 3 vagues d’enquête sur 6 ans : se pose la question de la stabilité des réponses d’une vague à l’autre “Stratégie” dans Érfi : éviter de collecter aux vagues successives des informations déjà connues (gain de temps, éviter les incohérences)... ... mais pas possible pour les enfants, leur situation pouvant changer d’une vague à l’autre Problème de cohérence rencontré lors de l’appariement des répondants V1 – V2 : moins d’enfants en V2

Problèmatique Détermination du nombre d’enfants dans Erfi par addition : des enfants du logement des enfants non cohabitants (hors logement) : {Nous avons déjà parlé des enfants vivant au sein de votre ménage.} Avez-vous adopté ou avez-vous eu vous-même {d’autres} enfants. Ne prenez pas en compte les beaux-enfants, les enfants accueillis ni les enfants aujourd’hui décédés, nous en parlerons après. Si oui : Combien? des enfants décédés : Il arrive que l’on perde un enfant. Avez-vous eu d’autres enfants qui sont aujourd’hui décédés? Si oui : Combien? Distinction des enfants placés, adoptés, beaux-enfants

Problèmatique Pour V3 (2011) : - Insitence en formation d’enquêteurs sur ce problème - Inclusion d’un indicateur récapitulatif du nombre total d’enfants du répondant : Pour récapituler, combien d’enfants avez-vous eu vous-même en tout, qu’il s’agisse d’enfants eus ou adoptés, avec votre conjoint actuel ou avec un précédent conjoint ? Merci de prendre également en compte les enfants qui ne vivent plus avec vous ou qui sont aujourd’hui décédés.

Au programme… Confrontation des informations collectées par décompte en V1, V2 et V3 + récapitulatif en V3 Quels enfants sont sous-déclarés ? Un profil spécifique des sous-déclarants ?

1. Confrontation des indicateurs

Plus d’enfants : naissances Plus d’enfants : naissances Nombre moyen d’enfants Plus d’enfants : naissances 0,3 enfant en moins en V2 et V3 Plus d’enfants : naissances 0,3 enfant en moins en V2 et V3 Décompte, V3 (2011) Récapitulatif, V3 (2011) Décompte, V2 (2008) Lecture : en 2005, les femmes de 25-29 ans déclarent en moyenne 0,5 enfant Décompte, V1 (2005) Champ : répondants aux 3 vagues d’enquête Source : Ined-Insee, Erfi-GGS 123, 2005-2011 Note : données non pondérées

Cohérence entre le décompte en V1 et le récapitulatif en V3 Plus d’enfants : naissances ? Autant d’enfants en V1 et d’après le récapitulatif en V3 Moins d’enfants en V3 qu’en V1 HOMMES Champ : répondants hommes aux 3 vagues d’enquête Source : Ined-Insee, Erfi-GGS 123, 2005-2011 Note : données non pondérées ; âge en 2005

Cohérence entre le décompte en V1 et le récapitulatif en V3 Plus d’enfants : naissances ? Au-delà de 45-50 ans, différence de réponse < 5 % Autant d’enfants en V1 et d’après le récapitulatif en V3 Moins d’enfants en V3 qu’en V1 FEMMES Champ : répondants femmes aux 3 vagues d’enquête Source : Ined-Insee, Erfi-GGS 123, 2005-2011 Note : données non pondérées ; âge en 2005

Autant d’enfants en V1, V2 et V3 d’après le décompte des enfants Cohérence entre le décompte V1, V2 et V3 Moins en V2, autant entre V2 et V3 (sur-déclaration en V1 ?) Plus d’enfants Moins en V2 Moins en V3 uniquement Autant d’enfants en V1, V2 et V3 d’après le décompte des enfants HOMMES Champ : répondants femmes aux 3 vagues d’enquête Source : Ined-Insee, Erfi-GGS 123, 2005-2011 Note : données non pondérées ; âge en 2005

Cohérence entre le décompte V1, V2 et V3 Moins en V2, autant entre V2 et V3 (sur-déclaration en V1 ?) Plus d’enfants Moins en V2 Moins en V3 uniquement Moins d’enfants en V2 ou V3 dans 21 % des cas chez les 50-79 ans (âge en 2005) Même proportion chez les femmes et les hommes Autant d’enfants en V1, V2 et V3 d’après le décompte des enfants FEMMES Champ : répondants femmes aux 3 vagues d’enquête Source : Ined-Insee, Erfi-GGS 123, 2005-2011 Note : données non pondérées ; âge en 2005

Conclusion intermédiaire - La méthode du décompte des enfants du foyer, hors foyer et décédés en V1 est cohérente avec le nombre total d’enfants obtenu avec la question récapitulative en V3 - Sous-estimation du nombre d’enfants en V2 et V3 par la méthode du décompte (au total, 21 % après 50 ans) - Même phénomène entre V1 et V2 ET entre V2 et V3, mais auprès de personnes différentes - Même phénomène chez les hommes et les femmes Très peu de sous-déclaration en V2/V1 ET V3/V2 (n=24, tous âges et sexe)

2. Quels enfants disparaissent ?

Hypothèses 1) enfants partis du foyer parental et non déclarés comme non cohabitants 2) sous-déclaration des enfants décédés aux vagues V+1 et V+2 (événement récent, sensible...) 3) effet enquêté : non déclaration des enfants non cohabitants 4) effet enquêteur ? ...

Qui sont les enfants perdus de vue ? b. En descriptif, trois étapes : 1) On se limite aux personnes de 50-79 ans (en 2005) ayant moins d’enfants en vague V+1 qu’en V (n = 206 et 311) 2) Décomposition du nombre total d’enfants en 3 composantes : cohabitants, hors ménage, décédés 3) Confrontation de chaque “type” d’enfants entre V1-V2 et V3 a. Faire appel à Jacques Pradel dans son émission « Perdu de vue »... mais elle n’existe plus hélas

Exemple pour les enfants hors ménages Les enfants sous-déclarés en vague 3 Exemple pour les enfants hors ménages Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants Nombre de cas avec plus d’enfants de ce type en V3 Nombre de cas avec moins d’enfants de ce type en V3 Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206) Source : Ined-Insee, Erfi-GGS 123, 2005-2011

Exemple pour les enfants hors ménages Les enfants sous-déclarés en vague 3 Exemple pour les enfants hors ménages Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants Nombre de cas avec plus d’enfants de ce type en V3 Nombre de cas avec moins d’enfants de ce type en V3 Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206) Source : Ined-Insee, Erfi-GGS 123, 2005-2011

Exemple pour les enfants hors ménages Les enfants sous-déclarés en vague 3 Exemple pour les enfants hors ménages Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants Nombre de cas avec plus d’enfants de ce type en V3 Nombre de cas avec moins d’enfants de ce type en V3 Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206) Source : Ined-Insee, Erfi-GGS 123, 2005-2011

Exemple pour les enfants hors ménages Les enfants sous-déclarés en vague 3 Exemple pour les enfants hors ménages 2 résultats : 1) 91 % des sous-déclarants en V3 ont déclaré moins d’enfants non cohabitants en V3 2) parmi ces 91 %, 89 % sont passés de n enfants en 2005-2008 à 0 enfant non cohabitant en 2011 Nombre de cas cohérents entre V1-2 et V3 concernant ce type d’enfants Nombre de cas avec plus d’enfants de ce type en V3 Nombre de cas avec moins d’enfants de ce type en V3 Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206) Source : Ined-Insee, Erfi-GGS 123, 2005-2011

Exemple pour les enfants décédés Les enfants sous-déclarés en vague 3 Exemple pour les enfants décédés 2 résultats : 1) 95 % des sous-déclarants en V3 ont déclaré autant d’enfants décédés en V3 2) 3 % des sous-déclarants en V3 ont déclaré moins d’enfants décédés en V3 Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V3 uniquement (n=206) Source : Ined-Insee, Erfi-GGS 123, 2005-2011

Exemple pour les enfants hors ménages Les enfants sous-déclarés en vague 2 Exemple pour les enfants hors ménages En vague 2, même phénomène : 1) 90 % des sous-déclarants en V2 ont déclaré moins d’enfants non cohabitants en V2 2) parmi ces 90 %, 85 % sont passés de n enfants en 2005 à 0 enfant non cohabitant en 2008 Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré moins d’enfants en V2 (n=311) Source : Ined-Insee, Erfi-GGS 123, 2005-2011

Conclusion intermédiaire - La sous-déclaration des enfants tient principalement à la disparition de l’ensemble des enfants non cohabitants d’une personne - Légère sous-déclaration des enfants décédés - Autre cas possibles repérés : sur-déclaration des enfants en vague 1 (un même enfant est déclaré comme appartenant au logement et comme non cohabitant) - Quelques rares cas de beaux-enfants déclarés comme enfants du répondant en vague 1, pas dans les autres Très peu de sous-déclaration en V2/V1 ET V3/V2 (n=24, tous âges et sexe)

3. Profil des sous-déclarants

Modélisation de la probabilité d’avoir sous-déclaré vs autant Caractéristiques individuelles : sexe, âge, niveau de diplôme Posture par rapport à l’enquête : refus de répondre au revenu, d’enregistrer les questions sensibles, refus de recevoir les premiers résultats, présence d’un tier pendant l’entretien Évènement vécu entre les vagues : séparation Nombre d’enfants des différents types en 2005 : cohabitant, non cohabitant, décédés Présence d’enfants avec qui le lien est rompu : + interaction avec le sexe du répondant Champ : répondants aux 3 vagues, 50-79 ans en 2005, ayant déclaré autant ou moins d’enfants à une vague (n = 2010) Source : Ined-Insee, Erfi-GGS 123, 2005-2011

Résultats de la modélisation Aucun effet des caractéristiques individuelles, de la posture par rapport à l’enquête, du fait de s’être séparé Mais sous-déclaration plus forte si : - présence d’enfants décédés en V1 - au moins 1 enfant non cohabitant en V1 (pas d’effet du nombre) - présence d’enfants avec qui le lien est rompu en V1 ... avec un effet significatif de l’interaction avec le sexe (joue uniquement chez les hommes)

Conclusion Méthode de décompte des enfants cohabitants, hors ménage et décédés correcte, mais en V1 uniquement Importante sous-déclaration des enfants non cohabitants en V2 et V3 (21 % chez les 50 ans et plus ; - 0,3 enfant en moyenne en V2, et également en V3) Même phénomène entre V1-V2 et entre V2-V3 malgré formation accrue des enquêteurs Même effet chez les hommes et les femmes Très peu de sous-déclaration en V2/V1 ET V3/V2 (n=24, tous âges et sexe)

Conclusion Pas de profil-type des sous-déclarants sauf le “type” d’enfants qu’ils ont en V1 Quelle(s) interprétation(s) possible(s) ? Effet enquêteur ? (a priori non ; phénomène très “réparti”) Effet panel, avec une stratégie d’évitement de blocs de questions de la part de certains répondants ? Effet panel, avec une impression que rien n’a changé à ce niveau depuis la vague précédente ? Très peu de sous-déclaration en V2/V1 ET V3/V2 (n=24, tous âges et sexe)

Le mystère reste entier... Toutes idées d’interprétation bienvenues Conclusion Pour faire le lien avec la présentation précédente : pas d’effet de la sous-déclaration entre V1 et V2 sur la probabilité d’avoir répondu à V3... Ne plaide pas en faveur de l’hypothèse d’une stratégie d’évitement de la part des enquêtés “lassés”... Le mystère reste entier... Toutes idées d’interprétation bienvenues Très peu de sous-déclaration en V2/V1 ET V3/V2 (n=24, tous âges et sexe)

Pour en savoir plus sur l’enquête… www-erfi.ined.fr arnaud.regnier-loilier@ined.fr

Étudier l’attrition : pourquoi ? Pas de complément d’échantillon en V2 ni V3 Risque de déformation de la structure de l’échantillon Utile pour le calcul de redressements, pondérations Question des biais éventuels (si les non répondants ont des caractéristiques sépcifiques) “Enseignement” pour d’autres enquêtes longitudinales

Taux d’attrition par âge à la ... Âge, sexe et vague Taux d’attrition par âge à la ... vague 2, hommes vague 2, femmes vague 3, hommes De manière générale, on perd plus les jeunes et les plus âgés De manière générale, on perd plus les hommes que les femmes Mais l’effet du sexe est notable avant 40 ans (on perd plus les hommes ; au-delà, les différences par sexe sont moindres) => Deux “sorties” différentes selon les âges : plus de mobilité chez les plus jeunes, et peut-être davantage chez les jeunes hommes ; plus de départs en institution, décès, etc. chez les plus âgés vague 3, femmes