COMMENT INTÉGRER LE MULTIMODE TOUT EN CONSERVANT LA COMPARABILITÉ DANS UNE ENQUÊTE TRANSVERSALE RÉPÉTÉE SUR LA SANTÉ Jimmy Baulne et Robert Courtemanche Institut de la statistique du Québec 9e Colloque francophone sur les sondages 13 octobre 2016

Plan de la présentation Description de l’enquête Stratégie pour obtenir des données comparables Évaluation de la comparabilité Indicateurs affectés Recommandations aux utilisateurs Conclusion

Description de l’enquête L’Enquête québécoise sur la santé de la population (EQSP) Enquête cyclique (6 ans) à la demande du ministère de la Santé et des Services sociaux du Québec Objectif : dresser un portrait actuel et détaillé de l’état de santé de la population québécoise Thèmes abordés (21) : Perception de l’état de santé, la détresse psychologique, drogues, activités sexuelles, santé au travail, tabagisme, etc. Première édition : 2008 Deuxième édition : 2014-2015

Description de l’enquête Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : 77 410 personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : 45 760

Description de l’enquête Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : 77 410 personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : 45 760 En 2008 : logements privés seulement

Description de l’enquête Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : 77 410 personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : 45 760 En 2008 : Génération aléatoire de numéros de téléphone (RDD)

Description de l’enquête Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : 77 410 personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : 45 760 En 2008 : 16 régions aucun objectif par RLS

Description de l’enquête Population visée 2014-2015 : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : 77 410 personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : 45 760 En 2008 : 38 154 répondants

Description de l’enquête Mode de collecte : multimode (Web et téléphonique) Envoi d’une lettre au répondant + relance Cette transition vers une collecte multimode n’est toutefois pas sans conséquences Stratégie d’échantillonnage permettant de conserver la comparabilité des données En 2008 : téléphonique seulement

Stratégie : données comparables Stratégie d’échantillonnage Mode Web ou mode téléphonique : le choix au répondant ? Libre choix entraîne la non-randomisation des modes et une impossibilité de comparer Stratégie adoptée : 50% de l’échantillon en mode téléphonique seulement [Volet A] 50% de l’échantillon en multimode (Web/téléphonique) [Volet B] Permet d’évaluer l’effet du mode sur les estimations En comparant les résultats d’un mode unique (téléphonique) avec ceux d’une collecte multimode (Web/téléphonique)

Stratégie : données comparables Pondération selon le volet Poids volet A (téléphonique seulement) Poids volet B (multimode) Poids pour l’échantillon complet : volets A et B confondus Poids d’autoamorçage (3 x 500) : variance et tests statistiques Exclusions de certaines unités (non couvertes en 2008) Personnes vivant dans un ménage collectif non institutionnel Personnes vivant dans la région 18 Autres efforts déployés pour uniformiser les questionnaires Libellés des questions Lecture des choix de réponse Information supplémentaire fournie au répondant Traitements indépendants

Résultats de collecte 2014-2015 Taux de réponse pondéré : 60,5% Proportion pondérée de réponses Web : Taux de réponse Volet A (téléphonique seulement) 58,4 % Volet B (multimode) 62,6 % Écart + 4,2 % Proportion Web Volet B (multimode) 61,1 % Échantillon complet 30,6 %

Évaluation de la comparabilité Quel effet mesure-t-on réellement? Principe de base : Comparer les réponses fournies pour deux modes de collecte différents Effet global du mode de collecte Effet de sélection Contrôlé par l’attribution aléatoire du volet Effet de mesure (effet de mode) Choix du mode n’est pas contrôlé à l’intérieur du volet B L’approche de l’ISQ ne permet pas de mesurer l’effet de mesure « pur » du mode Web par rapport au mode téléphonique

Évaluation de la comparabilité Quel effet mesure-t-on réellement? (suite) Permet de déterminer si l’implantation d’un mode de collecte multiple a eu un effet sur la mesure des indicateurs En testant Résultats volet A (téléphonique seulement) contre Résultats multimode volet B (multimode Web/téléphonique)

Indicateurs affectés Indicateurs « affectés » Chaque indicateur de l’EQSP a été analysé (plus de 400) Compare les estimations obtenues pour chacun des volets Test d’indépendance (khi-deux) entre l’indicateur et le volet Si le seuil observé est inférieur à 1 %, alors l’indicateur est considéré comme « affecté » par le mode de collecte Statut déterminé au niveau de l’ensemble du Québec Nous a permis de produire une liste de 176 indicateurs affectés par le mode de collecte

Indicateurs affectés

Comparaisons avec l’édition 2008 Recommandations à nos utilisateurs Comparaisons provinciales Indicateurs affectés : Utiliser uniquement les données du volet A Comparaison des résultats téléphoniques seulement Données comparables Indicateurs non affectés : Utiliser les données de l’échantillon complet Statistiques officielles pour 2014-2015

Indicateurs affectés

Comparaisons avec l’édition 2008 Recommandations à nos utilisateurs (suite) Comparaisons régionales Évalué différentes options Peu de bénéfices Beaucoup plus lourd d’application Mêmes recommandations qu’au provincial Utiliser les données du volet A pour les indicateurs affectés

Comparaisons 2014-2015

Comparaisons 2014-2015 Proportion pondérée de réponses Web dans l’échantillon complet, Québec, 2014-2015 Variable sociodémographique Échantillon complet (%) Groupe d’âge   15-24 ans 34,0 25-44 ans 33,9 45-64 ans 32,7 65-74 ans 24,1 75 ans et plus 12,5 Langue de correspondance Français 30,0 Anglais 35,1 Scolarité Niveau inférieur au DES 22,9 Diplôme d'études secondaires (DES) 29,6 Diplôme d'études collégiales Diplôme d'études universitaires 35,5 Mesure de faible revenu Ménages à faible revenu 24,7 Autres ménages 32,5 Total 30,6

Comparaisons 2014-2015 À titre d’exemple… théorique Valeurs différentes selon Web ou téléphone, pour tous les groupes d’âge. Personnes de 64 ans et moins répondent davantage sur le Web Personnes de 65 ans et plus répondent davantage par téléphone Reflète précisément ce que les travaux sur la comparabilité des données de l’EQSP tentent de prévenir. … conclusions erronées

Comparaisons 2014-2015 Comparaisons selon une variable sociodémographique Une cinquantaine d’indicateur affectés analysés selon Groupe d’âge Scolarité Mesure de faible revenu Langue de correspondance Indice de défavorisation matérielle Nombre de personnes vivant à la même adresse Test sur l’interaction entre le volet et la variable sociodémographique

Comparaisons 2014-2015 Comparaisons selon une variable sociodémographique Interaction significative : comparaison des modalités successives Par exemple, 15-24 ans c. 25-44 ans, 25-44 ans c. 45-64 ans, ... Décision d’intervenir basée sur Conclusions pour l’échantillon complet sont appuyées par les données recueillies selon un mode unique (volet A) Sens de la relation Ordre de grandeur des écarts

Comparaisons 2014-2015 Comparaisons régionales Tous les indicateurs affectés ont été analysés Évalue si la variation de la répartition du mode a un effet sur les conclusions Test sur l’interaction entre le volet et la région sociosanitaire Interaction significative : Comparaison région c. reste du Québec Décision d’intervenir basée sur Conclusions appuyées par le volet A

Comparaisons 2014-2015 Recommandations à nos utilisateurs Comparaisons selon une variable sociodémographique : Pour seulement 2 croisements (sur plus de 300 effectués) : Utiliser uniquement les données du volet A Les autres croisements Utiliser les données de l’échantillon complet Comparaisons régionales : Procéder aux analyses transversales selon la région sans se préoccuper du mode de collecte Seulement 7 interactions significatives

Conclusion L’implantation du multimode dans l’EQSP 2014-2015 est un succès L’objectif de donner des consignes simples aux utilisateurs est aussi atteint Sur plus de 400 indicateurs, 176 sont affectés En l’absence d’une étude de comparabilité, des conclusions erronées auraient été tirées Principalement sur l’évolution depuis 2008

Conclusion (suite) Pour les indicateurs affectés Même approche recommandée (national, régional, local) Très peu d’effet réel pour les analyses transversales 2014-2015 La vigilance est tout de même de mise pour les indicateurs affectés Principalement pour les croisements selon l’âge Ordre de grandeur des écarts

Conclusion (suite) Recommandations intégrées Concept d’« estimations comparables » bien incorporé (rapport ISQ) Ne remplace pas les estimations officielles 2014-2015 Outils disponibles pour l’exploitation des données (Infocentre de santé publique) Production automatisée de tableaux Estimations et comparaisons intégrant le concept d’« estimations comparables » Reste à voir ce qu’en pensent les utilisateurs …

Conclusion (suite) Aurait-on pu faire les choses différemment ? Tester autre chose que les modalités successives d’âge Tester autre chose que la région c. reste du Québec D’autres éléments qui ont pu jouer un rôle sur la comparabilité des données Changement de base de sondage Couverture de la population Depuis l’EQSP, plusieurs enquêtes ont fait le saut vers le multimode et avec succès…

Avec le multimode, parfois on gagne, parfois on perd… …Bonus… Avec le multimode, parfois on gagne, parfois on perd… Taux de réponse multimode (volet B) : + 4,2 % Question sur le revenu (déclaration d’une valeur exacte) : Volet A (tél.) : 68% Volet B (Web/tél.) : 79% Question sur le jumelage (permission de jumeler leurs données) : Volet A (tél.) : 89% Volet B (Web/tél.) : 81% + 11% (gain multimode) - 8% (perte multimode)

Conclusion (finale) Prochaine édition : 2020 … 100% multimode ! Autre étude à prévoir

Merci ! jimmy.baulne@stat.gouv.qc.ca robert.courtemanche@stat.gouv.qc.ca Merci à Valérie Roy qui a contribué à ces travaux et à toute l’équipe du projet