Maxime Boucher et Éric Gagnon 9e Colloque Francophone sur les Sondages EFFET DU MODE DE COLLECTE DANS L’ENQUÊTE SUR LES PRATIQUES DE FORMATION EN EMPLOI AU QUÉBEC EN 2014 Maxime Boucher et Éric Gagnon 9e Colloque Francophone sur les Sondages

Plan de la présentation Description de l’enquête Plan de sondage Collecte de données Pondération Effet du mode de collecte Conclusion

Description de l’enquête Mandat provenant de la Commission des partenaires du marché du travail (CPMT) en collaboration avec le ministère du Travail, de l’Emploi et de la Solidarité sociale (MTESS) Objectifs: Faire état de la situation de la formation liée à l’emploi Documenter les pratiques liées à la formation et au développement des compétences dans les entreprises Identifier les déterminants du développement d’une culture de formation Etc.

Description de l’enquête 2ème édition de l’enquête (première édition en 2011) Ajout de la déclaration en ligne Grandes étapes : Automne 2014 : questionnaire Printemps 2015 : prétest Automne 2015 : enquête Hiver 2016 : production des résultats et des analyses

Plan de sondage Population visée: l’ensemble des organisations (entreprises) dont la masse salariale en 2014 était d’au moins 250 000 $ au Québec, privées ou publiques, à but lucratif ou non Base de sondage: données administratives recueillies par Revenu Québec (RQ). Les organisations québécoises sont tenues de transmettre annuellement à Revenu Québec une déclaration appelée Sommaire des retenues et des cotisations de l’employeur

Plan de sondage Taille de l’échantillon total: 6 400 organisations. Répartition selon le mode: Environ 25% selon le mode téléphonique uniquement et 75% pour le volet multimode (et cela dans chaque strate). Taille du sous-échantillon téléphonique = 1 556 et taille du sous-échantillon multimode = 4 844 Tirage des échantillons : 2 échantillons stratifiés indépendants et disjoints. Cela permettra de les comparer et d’analyser l’effet potentiel du mode de collecte

Plan de sondage Stratification: 6 groupes de régions, 2 secteurs d’appartenance (privé ou public), 4 secteurs d’activité, 3 groupes de masse salariale, 2 groupes de pourcentage de la masse salariale consacré à la formation Hypothèses: Taux de réponse de 72% et taux d’admissibilité de 98% Objectifs de précision: Des estimations précises pour chacune des variables de stratification

Collecte des données Prétest réalisé en avril et mai 2015 Filtre téléphonique en août 2015: Validation de l’admissibilité et des coordonnées Identification du répondant et du mode de collecte souhaité (pour le sous-échantillon multimode) On demandait que le questionnaire soit complété avant l’entrevue

Collecte des données Entrevue téléphonique assistée par ordinateur (ITAO) ou entrevue sur le Web (IWAO) Plusieurs relances par courriel ou au téléphone Fin de la collecte le 28 octobre 2015

Collecte des données Taux de réponse pondéré à l’enquête Globalement : 81,1% Sous-échantillon multimode : 82,1% Sous-échantillon téléphonique: 79,6 %

Collecte des données .

Collecte des données Écart de taux de réponse entre les 2 modes de collecte (2,5%) est non significatif Toutefois, pour certaines sous-populations, le taux de réponse est significativement plus élevé pour le sous-échantillon multimode Taux de réponse Sous-population Multi- mode Télépho- nique Écart (seuil observé) Ensemble du Québec 82,1% 79,6% 2,5% (p=5,0%) Montréal 80,0% 73,5% 6,5% (p=1,6%) Secteur privé 82,2% 2,6% (p=3,0%) Masse salariale de 1 000 000 $ et + 80,2% 75,9% 4,3% (p=2,7%) Secteur des services 82,8% 79,3% 3,5% (p=1,6%)

Collecte des données Taux de déclaration en ligne – volet multimode 86,7% des 3 832 répondants du volet multimode ont opté pour le Web. L’utilisation du Web n’a pas différé significativement selon la région, le secteur d’appartenance (privé vs public), le secteur d’activité et la taille. L’utilisation du Web a différé significativement selon la masse salariale (p-value=3,2%). Masse salariale Nombre de répondants Taux de déclaration en ligne Total 3 355 86,7% 250 000$ à 499 999$ 1 118 85,0% 500 000$ à 999 999$ 970 86,3% 1 000 000$ et plus 1 267 89,1% 4,1%

Pondération Le sous-échantillon multimode est pondéré séparément Le sous-échantillon téléphonique est pondéré séparément Chaque sous-échantillon peut ainsi être inféré à la population Intégration des poids de ces 2 sous-échantillons pour former une 3ème pondération permettant d’inférer l’échantillon total à la population

Effet du mode de collecte On conclut qu’il y a un effet de mode quand les résultats diffèrent significativement selon le mode de collecte Les résultats étant les statistiques produites, la non-réponse globale et partielle, la qualité des données, etc. L’effet de mode combine l’effet de mesure et l’effet de sélection qui sont difficilement dissociables Effet de mesure: répondant ne fournit pas la même réponse selon le mode Effet de sélection: les caractéristiques des répondants diffèrent selon le mode

Effet du mode de collecte Impact sur les statistiques: Des différences significatives entre les estimations des 2 volets (multimode et téléphonique) observées pour 27 items du questionnaire sur 252. * Items = une question ou une sous-question Type de questions Nombre d’items* avec effet Nombre total d’items Nombre de questions avec effet Nombre total de questions Quantitative 38 12 Qualitative nominale 25 196 13 36 Qualitative ordinale 2 18 10 Total 27 252 15 58

Effet du mode de collecte L’impact de l’effet du mode sur les statistiques a fait l’objet d’analyses bivariée et multivariée Les conclusions demeurent les mêmes

Effet du mode de collecte Exemple 1: À la question 2.4 6), on estime à 43,9% la proportion de « Oui » pour le volet multimode comparativement à 34,6% pour le volet téléphonique …

Effet du mode de collecte Constat général: 25 questions du questionnaire sont semblables à la question 2.4 (exemple 1); un énoncé principal et une liste d’items à cocher Effet du mode partiel pour 11 d’entre elles La proportion estimée de « Oui » est habituellement plus élevée pour le volet multimode   Nombre de sous-questions Questions factuelles Questions à caractère subjectif Total Nombre de questions avec effet Nombre total de questions 2 à 4 4 3 7 5 et plus 5 11 6 18 15 10 25

Effet du mode de collecte Pour certaines questions, l’effet du mode touche uniquement une sous-question. Pour d’autres, l’effet semble plus généralisé Comment identifier les questions plus problématiques? Pour chaque question, une analyse du ratio de réponses positives estimé globalement a été réalisée, c’est-à-dire sur l’ensemble des sous-questions sans distinction 4 questions plus problématiques identifiées

Effet du mode de collecte Exemple 2: À la question 4.5, le choix « Ne s’applique pas » est disponible que pour les items 5) à 9). En proportion, moins d’organisations sélectionnent ce choix dans le volet téléphone.

Effet du mode de collecte Exemple 3: À la question 1.11 a), on estime à 15,8% la proportion de « Oui » pour le volet multimode comparativement à 11,6% pour le volet téléphonique. Solutions pour comparaison avec l’édition 2011?

Effet du mode de collecte Solutions: comparer les statistiques produites à partir du sous-échantillon téléphonique avec les statistiques de l’EPFEQ 2011 examiner l’effet du mode sur l’écart entre les statistiques de l’EPFEQ 2014 et de l’EPFEQ 2011. Est-ce que le multimode a augmenté ou diminué cet écart?

Effet du mode de collecte   Échantillon Exemple 2: 1.11 a)= OUI n % I.C à 95% EPFEQ 2014 - Total 824 13,7 [12,5; 15,0] EPFEQ 2014 - Multimode 665 15,8 [14,4; 17,2] EPFEQ 2014 - Téléphonique 159 11,6 [9,6; 13,9] EPFEQ 2011 932 19,4 [18,2; 20,7] Diminution significative entre l’EPFEQ 2011 et l’EPFEQ 2014 Effet du mode significatif pour l’EPFEQ 2014 Le volet multimode fait diminuer l’écart entre les 2 éditions de l’enquête, donc la diminution est réellement significative malgré l’effet du mode

Effet du mode de collecte Impact sur la non-réponse partielle: Significativement plus élevée à 16 questions pour le multimode Par exemple, à la question 1.7 c) (répartition des employés selon 6 catégories professionnelles), 5,4% pour le multimode comparativement à 1,2% pour le sous-échantillon téléphonique La non-réponse partielle à cette question est caractérisée pour le volet multimode. Association significative avec le secteur d’activité (p-value=2,0%) non-réponse partielle pour le secteur des services = 6,0%. non-réponse partielle pour le secteur de la fabrication= 3,3%

Effet du mode de collecte Impact sur la validation post-collecte: Lors de la validation, des incohérences sont traitées. Par exemple, des incohérences expliquées en commentaires (par le participant ou l’intervieweur) mais non corrigées. Par exemple, un répondant inscrit 0,01 plutôt que 1%. Ce type d’incohérence était significativement plus élevé pour le volet multimode à 6 questions Plus de travail de validation pour le volet multimode

Conclusion La collecte en ligne est devenue un incontournable dans les enquêtes d’envergure à l’Institut Le mode de collecte peut affecter les données même dans une enquête auprès d’entreprises En tenir compte lors de la planification de l’enquête Prévoir possiblement plus d’efforts de validation pour les répondants en ligne

Merci de votre attention! Maxime Boucher Statisticien-méthodologiste maxime.boucher@stat.gouv.qc.ca Éric Gagnon Coordonnateur en méthodologie eric.gagnon@stat.gouv.qc.ca