Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
Publié parLegér Colin Modifié depuis plus de 10 années
1
A new version of the CALMAR calibration adjustment program
2
The CALMAR2 macros
3
CALMAR = CALibration on MARgins
I.1. Background CALMAR = CALibration on MARgins CALMAR 1 = SAS macro program, written in at France’s INSEE by Sautory Scope : implementing calibration methods developped by Deville & Särndal (JASA, 1992) CALMAR 2 = SAS macro, written in 2000 at France’s INSEE Scope : implementing generalized calibration method for handling total non-response (Deville, 1998)
4
I.2. What’s new in CALMAR 2 Simultaneous calibration with 2 or 3 levels Total non- response adjustment using generalized calibration Handling collinearities between auxiliary variables A 5th distance function : generalized hyperbolic sine Interactive screens to enter parameters, thanks to CALMAR2_GUIDE
5
Simultaneous calibration
6
II.1. The method Informations are collected at several levels of observation : households + every household’s member or : firms + every establishment of the firms i.e. cluster sampling survey, including questions about the clusters households + some of their members (Kish individuals) i.e. two-stages sampling, including questions about the primary units (P.U.) households + every household’s member + Kish units + auxiliary information available at every level
7
How performing calibration ?
Independent calibration at every level of observation Simultaneous calibration (or "integrated") : - same weights for all members of a household - consistency between statistics obtained from varied data files Simultaneous calibration method A single calibration is performed at the P.U. level, after having computed the calibration variables totals defined at the secondary levels for each P.U. (Sautory, 1996)
8
II.2. An example households (sM sample)
all the members of the selected households (sI sample) one member (Kish individual) in each selected household m, chosen by simple random sampling among the eligible members of the household (sK sample) Weight of the household m : Weight of the member i of the household m : Weight of the Kish-individual of the household m :
9
Auxiliary information
= auxiliary variables vector for each household m in = vector of the known auxiliary variables totals in the households population = auxiliary variables vector for each individual (m,i) in sI = vector of the known totals in the individuals population = auxiliary variables vector for the Kish- individual in = vector of the known totals in the Kish-units
10
For each household m we compute :
the totals of the individual variables : the estimated totals of the Kish- individual variables : Vector of the calibration variables for the household m : Vector of the totals : (X , Z, V) Calibration equations :
11
weights = weight of the household m in = weight of the individual (m,i) of the household m in = weight of the Kish-individual of the household m in The 3 samples are correctly calibrated on totals X, Z et V :
12
Calmar 2 performs such simultaneous calibrations.
The user must provide the entry tables for the various levels (sample data files and calibration variables totals files) : the program performs all the required operations necessary to reduce the process to a single calibration, and creates the varied calibrated weights files.
13
An example of simultaneous calibration
14
The survey Sampling design : two stages sampling Questionary
primary units = households, selected by stratified sampling with S.R.S. in the stratum secondary units (Kish-units) = one member per selected household, withdrawn by S.R.S. among more than 14 years old members Questionary variables of interest are measured on Kish-units questions about the habitation and the whole family questions about each member of the household (age, sex, profession) Calibration variables (xk) Households : household size + head of household professional group + strata (~ agglomeration size) All individuals : sex + age group Kish individuals : sex + age group Population totals (X) come from the sampling frame
15
The program
16
%CALMAR2 (datamen=base.echant_menages,
marmen=base.marge_men, poids=poids1, ident=ident, dataind=base.echant_indiv, marind=base.marge_ind, ident2=id, datakish=base.echant_kish, markish=base.marge_kish, poidkish=nbelig, m=1, datapoi=poidsmen, datapoi2=poidsind, datapoi3=poidskish, poidsfin=w3, labelpoi=calage 3 niveaux, poidskishfin=w3k, labelpoikish=poids kish total, edition=3)
17
The output
18
**********************************
*** PARAMÈTRES DE LA MACRO *** TABLE(S) EN ENTRÉE : TABLE DE DONNÉES DE NIVEAU DATAMEN = BASE.ECHANT_MENAGES IDENTIFIANT DU NIVEAU IDENT = IDENT TABLE DE DONNÉES DE NIVEAU DATAIND = BASE.ECHANT_INDIV IDENTIFIANT DU NIVEAU IDENT2 = ID TABLE DES INDIVIDUS KISH DATAKISH = BASE.ECHANT_KISH PONDÉRATION INITIALE POIDS = POIDS1 FACTEUR D'ÉCHELLE ECHELLE = 1 PONDÉRATION QK PONDQK = __UN PONDÉRATION KISH POIDKISH = NBELIG TABLE(S) DES MARGES : DE NIVEAU MARMEN = BASE.MARGE_MEN DE NIVEAU MARIND = BASE.MARGE_IND DE NIVEAU KISH MARKISH = BASE.MARGE_KISH MARGES EN POURCENTAGES PCT = NON EFFECTIF DANS LA POPULATION : DES ÉLÉMENTS DE NIVEAU POPMEN = DES ÉLÉMENTS DE NIVEAU POPIND = DES ÉLÉMENTS KISH POPKISH =
19
COEFFICIENT DU SINUS HYPERBOLIQUE ALPHA = 1
MÉTHODE UTILISÉE M = 1 BORNE INFÉRIEURE LO = BORNE SUPÉRIEURE UP = COEFFICIENT DU SINUS HYPERBOLIQUE ALPHA = 1 SEUIL D'ARRÊT SEUIL = NOMBRE MAXIMUM D'ITÉRATIONS MAXITER = 15 TRAITEMENT DES COLINÉARITÉS COLIN = NON TABLE(S) CONTENANT LA POND. FINALE DE NIVEAU DATAPOI = POIDSMEN DE NIVEAU DATAPOI = POIDSIND DE NIVEAU KISH DATAPOI = POIDSKISH MISE À JOUR DE(S) TABLE(S) DATAPOI(2)(3) MISAJOUR = OUI PONDÉRATION FINALE POIDSFIN = W3 LABEL DE LA PONDÉRATION FINALE LABELPOI = CALAGE 3 NIVEAUX PONDÉRATION FINALE DES UNITES KISH POIDSKISHFIN = W3K LABEL DE LA PONDÉRATION KISH LABELPOIKISH = POIDS KISH TOTAL CONTENU DE(S) TABLE(S) DATAPOI(2)(3) CONTPOI = OUI ÉDITION DES RÉSULTATS EDITION = 3 ÉDITION DES POIDS EDITPOI = NON STATISTIQUES SUR LES POIDS STAT = OUI CONTRÔLES CONT = OUI TABLE CONTENANT LES OBS. ÉLIMINÉES OBSELI = NON NOTES SAS NOTES = NON
20
ET LES MARGES DANS LA POPULATION (MARGES DU CALAGE)
COMPARAISON ENTRE LES MARGES TIRÉES DE L'ÉCHANTILLON (PONDÉRATION INITIALE) ET LES MARGES DANS LA POPULATION (MARGES DU CALAGE) MARGE MARGE POURCENTAGE POURCENTAGE VARIABLE MODALITÉ ÉCHANTILLON POPULATION ÉCHANTILLON POPULATION NBIND PCSPR STRATE
21
MARGE MARGE POURCENTAGE POURCENTAGE
VARIABLE MODALITÉ ÉCHANTILLON POPULATION ÉCHANTILLON POPULATION AGE ans 15-24 ans 25-59 ans 60- ? ans SEXE AGEK A A A SEXEK
22
ITÉRATION D'ARRÊT NÉGATIFS
MÉTHODE : LINÉAIRE PREMIER TABLEAU RÉCAPITULATIF DE L'ALGORITHME LA VALEUR DU CRITÈRE D'ARRÊT ET LE NOMBRE DE POIDS NÉGATIFS APRÈS CHAQUE ITÉRATION CRITÈRE POIDS ITÉRATION D'ARRÊT NÉGATIFS
23
VARIABLE MODALITÉ LAMBDA1 LAMBDA2
MÉTHODE : LINÉAIRE DEUXIÈME TABLEAU RÉCAPITULATIF DE L'ALGORITHME LES COEFFICIENTS DU VECTEUR LAMBDA DE MULTIPLICATEURS DE LAGRANGE APRÈS CHAQUE ITÉRATION VARIABLE MODALITÉ LAMBDA1 LAMBDA2 NBIND NBIND NBIND NBIND NBIND NBIND PCSPR PCSPR PCSPR PCSPR PCSPR PCSPR PCSPR PCSPR
24
VARIABLE MODALITÉ LAMBDA1 LAMBDA2
STRATE STRATE STRATE STRATE STRATE AGE ans AGE ans AGE ans AGE ? ans SEXE SEXE AGEK A AGEK A AGEK A SEXEK SEXEK
25
MARGE MARGE POURCENTAGE POURCENTAGE
COMPARAISON ENTRE LES MARGES FINALES DANS L'ÉCHANTILLON (AVEC LA PONDÉRATION FINALE) ET LES MARGES DANS LA POPULATION (MARGES DU CALAGE) MARGE MARGE POURCENTAGE POURCENTAGE VARIABLE MODALITÉ ÉCHANTILLON POPULATION ÉCHANTILLON POPULATION NBIND PCSPR STRATE
26
MARGE MARGE POURCENTAGE POURCENTAGE
VARIABLE MODALITÉ ÉCHANTILLON POPULATION ÉCHANTILLON POPULATION AGE ans 15-24 ans 25-59 ans 60- ? ans SEXE AGEK A A A SEXEK
27
STATISTIQUES SUR LES RAPPORTS DE POIDS
(= PONDÉRATIONS FINALES / PONDÉRATIONS INITIALES) ET SUR LES PONDÉRATIONS FINALES The UNIVARIATE Procedure Variable: _F_ (RAPPORT DE POIDS) Basic Statistical Measures Quantiles (Definition 5) Location Variability Quantile Estimate Mean Std Deviation % Max Median Variance % Mode Range % Interquartile Range % 75% Q % Median 25% Q 10% 5% 1% 0% Min Extreme Observations Lowest Highest Value IDENT Obs Value IDENT Obs
28
STATISTIQUES SUR LES RAPPORTS DE POIDS
(= PONDÉRATIONS FINALES / PONDÉRATIONS INITIALES) ET SUR LES PONDÉRATIONS FINALES The UNIVARIATE Procedure Variable: _F_ (RAPPORT DE POIDS) Histogram # Boxplot 2.05+* * .* * .* .** .*** .********* | .********* | .******************** .************************************* | + | .******************************************* *-----* 0.85+******************* .*********** | .****** | .*** .* .* * . -0.35+* * * may represent up to 3 counts
29
ET SUR LES PONDÉRATIONS FINALES
STATISTIQUES SUR LES RAPPORTS DE POIDS (= PONDÉRATIONS FINALES / PONDÉRATIONS INITIALES) ET SUR LES PONDÉRATIONS FINALES The UNIVARIATE Procedure Variable: __WFIN (PONDÉRATION FINALE) Basic Statistical Measures Quantiles (Definition 5) Location Variability Quantile Estimate Mean Std Deviation % Max Median Variance % Mode Range % Interquartile Range % 75% Q 50% Median 25% Q 10% 5% 1% 0% Min Extreme Observations Lowest Highest Value IDENT Obs Value IDENT Obs
30
STATISTIQUES SUR LES RAPPORTS DE POIDS
(= PONDÉRATIONS FINALES / PONDÉRATIONS INITIALES) ET SUR LES PONDÉRATIONS FINALES The UNIVARIATE Procedure Variable: __WFIN (PONDÉRATION FINALE) Histogram # Boxplot 29+* .* .** .*** .**** | .********* | .************** | .*********** | 13+*********************** .********************** *--+--* .********************************************* .****************************** | .***** | .** | .* | . -3+* * may represent up to 3 counts
31
POUR CHAQUE VALEUR DES VARIABLES
MÉTHODE : LINÉAIRE RAPPORTS DE POIDS MOYENS (PONDÉRATIONS FINALES / PONDÉRATIONS INITIALES) POUR CHAQUE VALEUR DES VARIABLES NOMBRE D'OBSERVATIONS RAPPORT VARIABLE MODALITE DE NIVEAU DE POIDS NBIND NBIND NBIND NBIND NBIND NBIND PCSPR PCSPR PCSPR PCSPR PCSPR PCSPR PCSPR PCSPR STRATE STRATE STRATE STRATE STRATE ENSEMBLE
32
POUR CHAQUE VALEUR DES VARIABLES
MÉTHODE : LINÉAIRE RAPPORTS DE POIDS MOYENS (PONDÉRATIONS FINALES / PONDÉRATIONS INITIALES) POUR CHAQUE VALEUR DES VARIABLES NOMBRE D'OBSERVATIONS RAPPORT VARIABLE MODALITE DE NIVEAU DE POIDS AGE an AGE an AGE an AGE ? an SEXE SEXE ENSEMBLE D'INDIVIDUS RAPPORT VARIABLE MODALITE KISH DE POIDS AGEK A AGEK A AGEK A SEXEK SEXEK ENSEMBLE
33
CONTENU DE LA TABLE poidsmen CONTENANT LA NOUVELLE PONDÉRATION w3
MÉTHODE : LINÉAIRE CONTENU DE LA TABLE poidsmen CONTENANT LA NOUVELLE PONDÉRATION w3 The CONTENTS Procedure # Variable Type Len Pos Label 1 IDENT Char 2 w Num calage 3 niveaux CONTENU DE LA TABLE poidsind CONTENANT LA NOUVELLE PONDÉRATION w3 2 IDENT Char 1 id Char 3 w Num calage 3 niveaux CONTENU DE LA TABLE poidskish CONTENANT LA NOUVELLE PONDÉRATION w3 2 ID Char 1 IDENT Char 4 w3k Num poids kish total
34
*********************
*** BILAN *** * * DATE : 24 AOUT HEURE : 11:12 * ************************************* * TABLE EN ENTRÉE : BASE.ECHANT_MENAGES * NOMBRE D'OBSERVATIONS DANS LA TABLE EN ENTRÉE : * NOMBRE D'OBSERVATIONS ÉLIMINÉES : * NOMBRE D'OBSERVATIONS CONSERVÉES : * VARIABLE DE PONDÉRATION : POIDS1 * NOMBRE DE VARIABLES CATÉGORIELLES : 3 * LISTE DES VARIABLES CATÉGORIELLES ET DE LEURS NOMBRES DE MODALITÉS : nbind (6) pcspr (8) strate (5) * SOMME DES POIDS INITIAUX : 5801 * TAILLE DE LA POPULATION : 5801 * *********************************** * TABLE EN ENTRÉE : BASE.ECHANT_INDIV * NOMBRE D'OBSERVATIONS DANS LA TABLE EN ENTRÉE : * NOMBRE D'OBSERVATIONS CONSERVÉES : * NOMBRE DE VARIABLES CATÉGORIELLES : 2 * age (4) sexe (2) * SOMME DES POIDS INITIAUX : 15120 * TAILLE DE LA POPULATION : 14640
35
* TABLE EN ENTRÉE : BASE.ECHANT_KISH *
* *********************************** * TABLE EN ENTRÉE : BASE.ECHANT_KISH * * NOMBRE D'OBSERVATIONS DANS LA TABLE EN ENTRÉE : * NOMBRE D'OBSERVATIONS ÉLIMINÉES : * NOMBRE D'OBSERVATIONS CONSERVÉES : * VARIABLE DE PONDÉRATION CONDITIONNELLE : NBELIG * NOMBRE MAXIMUM D'UNITES SECONDAIRES PAR UP : * NOMBRE DE VARIABLES CATÉGORIELLES : 2 * LISTE DES VARIABLES CATÉGORIELLES ET DE LEURS NOMBRES DE MODALITÉS : agek (3) sexek (2) * SOMME DES POIDS INITIAUX : 11794 * TAILLE DE LA POPULATION : 11783 * MÉTHODE UTILISÉE : LINÉAIRE * LE CALAGE A ÉTÉ RÉALISÉ EN 2 ITÉRATIONS * IL Y A POIDS NÉGATIFS * LES POIDS ONT ÉTÉ STOCKÉS DANS LA VARIABLE W3 DE LA TABLE POIDSMEN * ET DE LA TABLE POIDSIND * ET DE LA TABLE POIDSKISH * LES POIDS DES UNITES KISH ONT ÉTÉ STOCKÉS DANS LA VARIABLE W3K * DE LA TABLE POIDSKISH
36
Handling total non-response with generalized calibration
37
III.1. Generalized calibration
Calibration functions : where : vector of p adjustment parameters Calibration equations : Solving for
38
Basic result = parameter estimates of the instrumental regression of on with as instrumental variables, weighted by
39
Note : the instruments are equal to
Precision = residual of the regression of Y on X in U with the instrumental variables Z Note : the instruments are equal to
40
III.2. Calibration in case of total non-response
Calibration after adjustment for non-response 1.a. Adjustment for non-response Response probabilities (conditionnally to s) : is estimated referring to a response model and an estimation method Expansion estimator :
41
Examples Uniform response model : Homogeneous response groups : Generalized linear model : vector of explanatory non-response variables Note : for estimating , must be known both for respondents AND NON-RESPONDENTS
42
1.b. Calibration We start from corrected weights Conventional calibration :
43
Direct conventional calibration
is equivalent to with a uniform non-response model. Comparison between and (Dupont, 1993) Let’s suppose : - N.R. is corrected by a GLM, in which H is one of the usual calibration functions F : - non-response variables are included into calibration set of variables . Then : and are " similar "
44
and are identical when :
(b) . N.R. is corrected by HRG model based on a categorical variable X . The sample is calibrated on the number of units in U for each X level = = formal post-stratification on U
45
Direct generalized calibration (E)
Interpretation Response model : (E) can be written :
46
So, if the were known : (E) = generalized calibration equation, with : F is defined as and such as
47
Precision uses the residuals in the population
uses the residuals of the instrumental regression in r, weighted by the : estimator for if response probabilities were known
48
Response probabilities are unknown
"estimate" and the residuals : i.e. instrumental regression weighted by final weights Note : looks like = estimated variance 1st phase (sample s selection) = estimated variance 2nd phase (respondents r "selection")
49
Properties of the method
allows non–response correction even when explanatory variables are only known for respondents Handles the particular situation in which non-response explanatory variables are variables of interest (non ignorable response mechanism ) reduces the bias produced by non–response thanks to variables , and reduces the variance thanks to variables This method is performed in Calmar 2.
50
An example of generalized calibration
51
The survey Sampling frame : population census (1990)
Sampling design : cluster sampling clusters = households secondary units = all members of selected households Response model H.R.G. response variables = household size (alone or not) + head of household profession (6 levels) + strata (~ agglomeration size) Calibration variables (xk) Households : the same as before (in the sampling frame) Individuals : sex + age group (in the sampling frame) Simultaneous calibration with two levels Instrumental variables (zk) Response variables as they are measured in the survey, that is in 1996
52
The population totals data
Constraint : the xk and zk vectors must have same dimension Primary units (households) var n R mar1 mar2 mar3 mar4 mar5 mar6 strate seul cs strate seul cs Secondary units (individuals) var n R mar1 mar2 mar3 mar4 sexe age sexe_bis age_bis
53
%calmar2_guide
68
Merci de votre attention !
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.