COMMENT INTÉGRER LE MULTIMODE TOUT EN CONSERVANT LA COMPARABILITÉ DANS UNE ENQUÊTE TRANSVERSALE RÉPÉTÉE SUR LA SANTÉ Jimmy Baulne et Robert Courtemanche.

Présentation au sujet: "COMMENT INTÉGRER LE MULTIMODE TOUT EN CONSERVANT LA COMPARABILITÉ DANS UNE ENQUÊTE TRANSVERSALE RÉPÉTÉE SUR LA SANTÉ Jimmy Baulne et Robert Courtemanche."— Transcription de la présentation:

1 COMMENT INTÉGRER LE MULTIMODE TOUT EN CONSERVANT LA COMPARABILITÉ DANS UNE ENQUÊTE TRANSVERSALE RÉPÉTÉE SUR LA SANTÉ Jimmy Baulne et Robert Courtemanche Institut de la statistique du Québec 9e Colloque francophone sur les sondages 13 octobre 2016

2 Plan de la présentation
Description de l’enquête Stratégie pour obtenir des données comparables Évaluation de la comparabilité Indicateurs affectés Recommandations aux utilisateurs Conclusion

3 Description de l’enquête
L’Enquête québécoise sur la santé de la population (EQSP) Enquête cyclique (6 ans) à la demande du ministère de la Santé et des Services sociaux du Québec Objectif : dresser un portrait actuel et détaillé de l’état de santé de la population québécoise Thèmes abordés (21) : Perception de l’état de santé, la détresse psychologique, drogues, activités sexuelles, santé au travail, tabagisme, etc. Première édition : Deuxième édition :

4 Description de l’enquête
Population visée : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants :

5 Description de l’enquête
Population visée : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : En 2008 : logements privés seulement

6 Description de l’enquête
Population visée : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : En 2008 : Génération aléatoire de numéros de téléphone (RDD)

7 Description de l’enquête
Population visée : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : En 2008 : 16 régions aucun objectif par RLS

8 Description de l’enquête
Population visée : personnes de 15 ans et plus vivant dans un logement non institutionnel au Québec Base de sondage : fichier d’inscriptions des personnes assurées de la Régie de l’assurance maladie du Québec Objectifs infraprovinciaux 17 régions sociosanitaires (RSS) 93 réseaux locaux de services (RLS) Échantillon : personnes Durée du questionnaire téléphonique : environ 30 minutes Nombre de répondants : En 2008 : répondants

9 Description de l’enquête
Mode de collecte : multimode (Web et téléphonique) Envoi d’une lettre au répondant + relance Cette transition vers une collecte multimode n’est toutefois pas sans conséquences Stratégie d’échantillonnage permettant de conserver la comparabilité des données En 2008 : téléphonique seulement

10 Stratégie : données comparables
Stratégie d’échantillonnage Mode Web ou mode téléphonique : le choix au répondant ? Libre choix entraîne la non-randomisation des modes et une impossibilité de comparer Stratégie adoptée : 50% de l’échantillon en mode téléphonique seulement [Volet A] 50% de l’échantillon en multimode (Web/téléphonique) [Volet B] Permet d’évaluer l’effet du mode sur les estimations En comparant les résultats d’un mode unique (téléphonique) avec ceux d’une collecte multimode (Web/téléphonique)

11 Stratégie : données comparables
Pondération selon le volet Poids volet A (téléphonique seulement) Poids volet B (multimode) Poids pour l’échantillon complet : volets A et B confondus Poids d’autoamorçage (3 x 500) : variance et tests statistiques Exclusions de certaines unités (non couvertes en 2008) Personnes vivant dans un ménage collectif non institutionnel Personnes vivant dans la région 18 Autres efforts déployés pour uniformiser les questionnaires Libellés des questions Lecture des choix de réponse Information supplémentaire fournie au répondant Traitements indépendants

12 Résultats de collecte 2014-2015
Taux de réponse pondéré : 60,5% Proportion pondérée de réponses Web : Taux de réponse Volet A (téléphonique seulement) 58,4 % Volet B (multimode) 62,6 % Écart + 4,2 % Proportion Web Volet B (multimode) 61,1 % Échantillon complet 30,6 %

13 Évaluation de la comparabilité
Quel effet mesure-t-on réellement? Principe de base : Comparer les réponses fournies pour deux modes de collecte différents Effet global du mode de collecte Effet de sélection Contrôlé par l’attribution aléatoire du volet Effet de mesure (effet de mode) Choix du mode n’est pas contrôlé à l’intérieur du volet B L’approche de l’ISQ ne permet pas de mesurer l’effet de mesure « pur » du mode Web par rapport au mode téléphonique

14 Évaluation de la comparabilité
Quel effet mesure-t-on réellement? (suite) Permet de déterminer si l’implantation d’un mode de collecte multiple a eu un effet sur la mesure des indicateurs En testant Résultats volet A (téléphonique seulement) contre Résultats multimode volet B (multimode Web/téléphonique)

15 Indicateurs affectés Indicateurs « affectés »
Chaque indicateur de l’EQSP a été analysé (plus de 400) Compare les estimations obtenues pour chacun des volets Test d’indépendance (khi-deux) entre l’indicateur et le volet Si le seuil observé est inférieur à 1 %, alors l’indicateur est considéré comme « affecté » par le mode de collecte Statut déterminé au niveau de l’ensemble du Québec Nous a permis de produire une liste de 176 indicateurs affectés par le mode de collecte

16 Indicateurs affectés

17 Comparaisons avec l’édition 2008
Recommandations à nos utilisateurs Comparaisons provinciales Indicateurs affectés : Utiliser uniquement les données du volet A Comparaison des résultats téléphoniques seulement Données comparables Indicateurs non affectés : Utiliser les données de l’échantillon complet Statistiques officielles pour

18 Indicateurs affectés

19 Comparaisons avec l’édition 2008
Recommandations à nos utilisateurs (suite) Comparaisons régionales Évalué différentes options Peu de bénéfices Beaucoup plus lourd d’application Mêmes recommandations qu’au provincial Utiliser les données du volet A pour les indicateurs affectés

20 Comparaisons

21 Comparaisons Proportion pondérée de réponses Web dans l’échantillon complet, Québec, Variable sociodémographique Échantillon complet (%) Groupe d’âge 15-24 ans 34,0 25-44 ans 33,9 45-64 ans 32,7 65-74 ans 24,1 75 ans et plus 12,5 Langue de correspondance Français 30,0 Anglais 35,1 Scolarité Niveau inférieur au DES 22,9 Diplôme d'études secondaires (DES) 29,6 Diplôme d'études collégiales Diplôme d'études universitaires 35,5 Mesure de faible revenu Ménages à faible revenu 24,7 Autres ménages 32,5 Total 30,6

22 Comparaisons 2014-2015 À titre d’exemple… théorique
Valeurs différentes selon Web ou téléphone, pour tous les groupes d’âge. Personnes de 64 ans et moins répondent davantage sur le Web Personnes de 65 ans et plus répondent davantage par téléphone Reflète précisément ce que les travaux sur la comparabilité des données de l’EQSP tentent de prévenir. … conclusions erronées

23 Comparaisons Comparaisons selon une variable sociodémographique Une cinquantaine d’indicateur affectés analysés selon Groupe d’âge Scolarité Mesure de faible revenu Langue de correspondance Indice de défavorisation matérielle Nombre de personnes vivant à la même adresse Test sur l’interaction entre le volet et la variable sociodémographique

24 Comparaisons Comparaisons selon une variable sociodémographique Interaction significative : comparaison des modalités successives Par exemple, ans c ans, ans c ans, ... Décision d’intervenir basée sur Conclusions pour l’échantillon complet sont appuyées par les données recueillies selon un mode unique (volet A) Sens de la relation Ordre de grandeur des écarts

25 Comparaisons 2014-2015 Comparaisons régionales
Tous les indicateurs affectés ont été analysés Évalue si la variation de la répartition du mode a un effet sur les conclusions Test sur l’interaction entre le volet et la région sociosanitaire Interaction significative : Comparaison région c. reste du Québec Décision d’intervenir basée sur Conclusions appuyées par le volet A

26 Comparaisons 2014-2015 Recommandations à nos utilisateurs
Comparaisons selon une variable sociodémographique : Pour seulement 2 croisements (sur plus de 300 effectués) : Utiliser uniquement les données du volet A Les autres croisements Utiliser les données de l’échantillon complet Comparaisons régionales : Procéder aux analyses transversales selon la région sans se préoccuper du mode de collecte Seulement 7 interactions significatives

27 Conclusion L’implantation du multimode dans l’EQSP est un succès L’objectif de donner des consignes simples aux utilisateurs est aussi atteint Sur plus de 400 indicateurs, 176 sont affectés En l’absence d’une étude de comparabilité, des conclusions erronées auraient été tirées Principalement sur l’évolution depuis 2008

28 Conclusion (suite) Pour les indicateurs affectés
Même approche recommandée (national, régional, local) Très peu d’effet réel pour les analyses transversales La vigilance est tout de même de mise pour les indicateurs affectés Principalement pour les croisements selon l’âge Ordre de grandeur des écarts

29 Conclusion (suite) Recommandations intégrées
Concept d’« estimations comparables » bien incorporé (rapport ISQ) Ne remplace pas les estimations officielles Outils disponibles pour l’exploitation des données (Infocentre de santé publique) Production automatisée de tableaux Estimations et comparaisons intégrant le concept d’« estimations comparables » Reste à voir ce qu’en pensent les utilisateurs …

30 Conclusion (suite) Aurait-on pu faire les choses différemment ?
Tester autre chose que les modalités successives d’âge Tester autre chose que la région c. reste du Québec D’autres éléments qui ont pu jouer un rôle sur la comparabilité des données Changement de base de sondage Couverture de la population Depuis l’EQSP, plusieurs enquêtes ont fait le saut vers le multimode et avec succès…

31 Avec le multimode, parfois on gagne, parfois on perd…
…Bonus… Avec le multimode, parfois on gagne, parfois on perd… Taux de réponse multimode (volet B) : + 4,2 % Question sur le revenu (déclaration d’une valeur exacte) : Volet A (tél.) : 68% Volet B (Web/tél.) : 79% Question sur le jumelage (permission de jumeler leurs données) : Volet A (tél.) : 89% Volet B (Web/tél.) : 81% + 11% (gain multimode) - 8% (perte multimode)

32 Conclusion (finale) Prochaine édition : 2020 … 100% multimode !
Autre étude à prévoir

33 Merci ! jimmy.baulne@stat.gouv.qc.ca
Merci à Valérie Roy qui a contribué à ces travaux et à toute l’équipe du projet