Centre d’études et de recherches sur les qualifications Établissement sous tutelle du ministère de l’Éducation nationale, et du ministère du Travail. AGREGATION DE DONNEES MULTIMODE : IMPACT SUR LA MODELISATION DES VARIABLES PRESENTANT UN EFFET DE MESURE Journées de Méthodologie Statistique de l’Insee 14/06/2018 Cissé Mady – Barret Christophe 1

Les enquêtes Génération BASE BPF CEREQ Enquête de la Statistique Publique sur l’insertion professionnelle des jeunes Génération de sortants du système éducatif (et non une génération d’âge!) interrogés 3 ans après leur sortie et une fois sur deux réinterrogés à 5 et 7 ans après la sortie (voire même 10 ans) Objectif d’études et de recherche sur les parcours en début de vie active Historiquement collecte par téléphone uniquement

Des expérimentations multimode BASE BPF CEREQ Trois expérimentations de collecte internet/téléphone Enjeu : Tester l’efficacité de différents protocoles multimode Enseignements précédents : Inefficacité d’un protocole 100% Internet Importance de l’ergonomie du questionnaire web Présence d’effets de mode sur les réponses

Différentes méthodes d’agrégation des données BASE BPF CEREQ Différentes méthodes d’agrégation des données pour corriger les effets de mesure Impact sur les estimations des statistiques simples Quel impact sur une modélisation ? Retrouve-t-on les mêmes résultats avec différentes méthodes d’agrégation des données ? Enjeu : Définir les modalités de livraison des données aux chargés d’études

Agrégation simple BASE BPF CEREQ Superposer les jeux de données issus des différents modes Ne rien mettre en œuvre pour corriger les effets de mode Hypothèse : effets de mesure se compensent Avantages : Facile à mettre en œuvre en production Utilisation de l’ensemble des réponses données par les répondants Inconvénients : Dépendant de la structure selon le mode des répondants Pas de comparaison possible entre les enquêtes répétées

Agrégation avec imputation BASE BPF CEREQ Corriger les effets de mesure par imputation d’une partie des réponses Méthode en 3 étapes : Appariement des individus sur score de propension Repérage des paires qui diffèrent selon la variable de réponse Imputation de tout ou partie des individus de ces paires Annule l’effet de mesure sur les individus appariés Effet de mesure résiduel sur les individus non-appariés ?

Agrégation avec imputation BASE BPF CEREQ Faire varier cette méthode selon trois paramètres : Choix du mode de référence : Téléphone ou Internet Choix de la méthode de matching Choix de la méthode d’imputation

Score de propension BASE BPF CEREQ Modélisation logistique de la probabilité de répondre sur Internet Les femmes répondent plus sur Internet que les Hommes Niveau de diplôme élevé : score plus élevé Effet de l’âge dépend du niveau de sortie : Post-bac : Internet diminue avec l’âge Infra-bac : Internet augmente avec l’âge

Nombre d’individus appariés selon la méthode de matching BASE BPF CEREQ Matching d’un individu du mode de référence par un individu du mode alternatif Matching exact sur : Situation professionnelle à la date d’enquête Niveau de sortie des études Appariement sur le plus proche voisin Avec ou sans remise ? Nombre d’individus appariés selon la méthode de matching

Méthode d’imputation Deux approches : BASE BPF CEREQ Deux approches : Déterministe : imputation de toutes les variables présentant un effet de mode par la réponse du contrefactuel de référence Stochastique : Imputation d’une partie des paires discordantes

Réponse des individus Internet et Téléphone Résultats sur une variable présentant un effet de mesure BASE BPF CEREQ OP8_6 : « Nous allons parler de votre point de vue sur le travail en général. Les aspects suivants vous semblent-ils très importants, importants, peu important ou pas du tout important ?  »  L’intérêt du poste  Réponse des individus Internet et Téléphone Agrégation simple

Résultats sur une variable présentant un effet de mesure BASE BPF CEREQ Méthode d’imputation

Modélisation d’une variable présentant un effet de mesure BASE BPF CEREQ Variable binaire int : Intérêt du poste : Très important / Autres Plusieurs stratégies : Sans aucune précaution relative à l’effet de mesure (modèle M1) Introduire la variable indicatrice du mode de collecte (modèle M2) Indicatrice en interaction avec les autres variables (modèle M3). Sur données imputées (modèles M4 à M11).

Modélisation d’une variable présentant un effet de mesure BASE BPF CEREQ

Modélisation d’une variable présentant un effet de mesure BASE BPF CEREQ

Comparaison avec la variable imputée BASE BPF CEREQ

Changement de méthode d’imputation : stochastique BASE BPF CEREQ

Changement de méthode de matching : avec remise BASE BPF CEREQ

Changement de mde de référence : Internet BASE BPF CEREQ

Modélisation à l’aide de variables présentant un effet de mesure BASE BPF CEREQ Variable binaire emp : Situation professionnelle à la date d’enquête: en emploi ou non Variable présentant un effet de mesure : Q25_7 : « Raison d’arrêt des études : pour entrer dans la vie active » Comparaison de différentes modélisations : Sans variable présentant un effet de mesure A l’aide de Q25_7 Indicatrice du mode en interaction avec Q25_7 Sur données imputées

Modélisation à l’aide de variables présentant un effet de mesure BASE BPF CEREQ Avec la variable brute: L’indicatrice du mode ressort dès lors qu’on introduit Q25_7 L’interaction Q25_7 et mode est significative A l’aide des variables imputées : Le mode n’est plus significatif L’effet de Q25_7* semble le même quelque soit la méthode L’ajout de Q25_7 ne perturbe pas les estimations des autres variables 21

Au sein de la méthode d’agrégation avec imputation : Conclusion BASE BPF CEREQ Des différences entre agrégation simple et agrégation avec imputation au niveau des statistiques descriptives Au sein de la méthode d’agrégation avec imputation : Effet du mode de référence Matching sans remise semble corriger plus de l’effet de mesure Pas d’effet de la méthode d’imputation Dans la modélisation : pas d’impact fort de la méthode d’agrégation si on tient compte du mode de collecte