ENP 7137 Module 4 Professeur Filip Palda

Objectifs : De façon générale, les études ne sont pas randomisées. La «solution» est de créer un groupe ayant des caractéristiques (jugées pertinentes à une bonne performance) qui sont semblables. On tire ce groupe dit contrôle d’une banque de données généralement créée à d’autres fins.

La solution est rejetée quand une caractéristique non mesurable mais pertinente (ou performante) existe. Le danger est qu’il est probable d’attribuer au programme un résultat qui est vraiment dû à une caractéristique cachée. Ex.: motivation. Regard critique sur l’étude «Relance» de Lapierre, Beaulieu et Tarte. Reproduire les résultats en utilisant des données de Robert Lalonde.

Application  PAIE est un programme VOLONTAIRE. Les auteurs indiquent que ceci pourrait poser des problèmes. En d’autres termes, cela peut biaiser les résultats. Page 5. En effet, les chercheurs ne contrôlent pas la motivation et les handicaps mentaux et physiques. Ils ne poursuivent pas davantage la discussion sur ce problème potentiel. Le taux de non-réponse après 18 mois est parfois supérieur à 50%. Est-ce problématique? Potentiellement, si la non-réponse est due à des forces systématiques, telle la faible motivation. Dans un premier lieu, les plus motivés participent au programme. Dans un deuxième lieu, les moins motivés parmi les plus motivés quittent l’échantillon expérimental. Ainsi le groupe E est constitué des plus motivés parmi les personnes motivées. Si la non-réponse est due au hasard, ce n’est pas un problème, car le hasard est l’opposé de la sélection.

Le tableau B illustre les raisons de la non-réponse. Leur interprétation est subjective.

Le Tableau D est essentiel pour toute sorte d’évaluation expérimentale. Il montre les moyennes des caractéristiques des groupes E et C, ainsi que la différence entre ces moyennes et la valeur du test t (et sa significativité).

Une question à poser : «Les chercheurs ont-ils inclus toutes les caractéristiques pertinentes?» Si des caractéristiques sont omises, cela pourrait s’expliquer par le fait que les chercheurs n’ont pas bien contrôlé l’expérience. Au niveau des facteurs non mesurables, le problème de biais devient difficile à résoudre. Dans le cas actuel, on doit parler d’une quasi- expérience, car on ne fait pas d’aléation.

Mesure cumulative. Selon le tableau 1A, 4 programmes parmi les 5 ont des effets statistiquement significatifs, mais le niveau n’est pas fourni. Il est essentiel de connaître les résultats du test t et sa significativité.

On n’a pas besoin de tenir compte du taux de chômage ou de la conjoncture économique, car ces effets extérieurs sont les mêmes pour E et C.

Le tableau 1B donne une mesure ponctuelle de la réintégration.

Le tableau 2A indique qu’un pourcentage important d’emplois subventionnés a été créé après le programme. Quelle conclusion peut- on tirer? Il se peut que le programme PAIE et les autres créent en partie des individus qui sont aptes aux recherches de subventions!

DEVOIR 1) Décrivez comment RELANCE a créé le groupe contrôle et expérimental. 2) Quelles sont les forces et les faiblesses de l'approche utilisée par les chercheurs? 3) Est-ce que les chercheurs sont justifiées dans leur conclusion que PAIE a été un succès? 4) Pourquoi les chercheurs n'ont-ils pas utilisé un modèle de recherche randomisée?

Première mesure de performance : Le % de personnes ayant eu au moins un emploi 11 mois après la participation au programme et le % de celles qui n’ont pas participé (non-participants). 47% des participants au programme PAIE ont eu au moins 1 emploi. 24% des non-participants ont eu au moins 1 emploi. Différence statistiquement significative désignée par le symbole *. Ce symbole indique qu’une telle différence entre E et C serait produite par le hasard avec un seuil inférieur à 5 fois sur 100. Autrement dit, une significativité à un niveau de 5%. D’accord, il existe une différence significative, mais doit-on nécessairement l’attribuer au programme?

L’étude «Relance» fournit un excellent tableau de bord pour la conception d’un rapport d’évaluation. La faiblesse centrale est son manque presque total de discussion du problème de biais de sélection. Les biais de sélection ici pourraient s’introduire par le manque de contrôle statistique. Autrement dit, les groupes E et C ne sont peut-être pas semblables quant à la motivation et aux handicaps physiques et mentaux. Donc, une différence de performance entre E et C peut être due aux différences des caractéristiques entre E et C et non pas aux effets du programme.

L’étude de Robert Lalonde, National Supported Work Demonstration (NSW), est semblable à PAIE. Les emplois subventionnés sont temporaires. Objectif : réintégration des chômeurs au marché du travail. L’agence administrative du NSW Manpower Demonstration Research Corporation, située aux É-U, a administré le NSW dans une dizaine de sites. Clients : ex-toxicomanes, ex-criminels, décrocheurs du secondaire. Emploi garanti pour une période qui varie entre 9 et 18 mois. Date de début du programme: NSW est une étude EXPÉRIMENTALE ALÉATOIRE. Ainsi, elle ne souffre pas d’un biais de sélection (présent dans le cas de l’étude «Relance»). Dans quel sens cette étude est-elle expérimentale?

Un groupe de personnes postulent et le gouvernement tient une loterie pour attribuer les postes aux postulants. On trouve qu’aucun biais de sélection n’existe, ainsi la validité interne est bonne. Mais le bassin duquel on tire les groupes E et C n’est pas représentatif de la population totale de personnes qui bénéficient de l’aide sociale, alors on parle d’une mauvaise validité externe. POSTUL ANTS ALÉATION E C

 L’objectif de Lalonde n’était pas d’évaluer le NSW. Cette évaluation avait été menée par des chercheurs impliqués dans l’administration du NSW. Lalonde révèle que le vrai résultat a été connu. Il voulait dire par «vrai» que c’est le résultat d’une étude aléatoire. Utilisons cette constatation pour évaluer la méthode quasi-expérimentale plutôt que le programme lui-même.

 Démarche : créer un groupe quasi- contrôle à la base de 5 ou 6 caractéristiques de performance sur le marché du travail et comparer l’effet net du programme mesuré par une quasi- expérience à l’effet net mesuré par une expérience aléatoire.

Dehejia and Wahba Dehejia et Wahba ont reproduit (presque) les banques de données de Lalonde qui, lui, a tiré ses donnés d’une plus grande banque disponible au ICPSR dans l’État du Michigan.

NSW_CONTROL.SAV NSW_TREATED.SAV Objectif : joindre les 2 banques de données.

Pour joindre les 2 fichiers :

DATA MERGE FILES ADD CASES Ceci produit une base NSW_COMPLET qui unit les groupes E (treatment) et C. Pour reproduire le Tableau 1 de D&W, on utilise la technique AGGREGATE. Ceci nous permet d’enregistrer dans une base de données des statistiques descriptives, ce que ANALYSE MEANS ne permet pas.

Independent Samples Test Levene's Test for Equality of Variances t-test for Equality of Means FSig.tdfSig. (2-tailed) Mean Difference Std. Error Difference 95% Confidence Interval of the Difference LowerUpper AGEEqual variances assumed,029,865,357720,721,1792,50143-, ,16364 Equal variances not assumed,356631,223,722,1792,50272-,808001,16640 EDUCEqual variances assumed 4,022,0451,492720,136,1922,12882-,06068,44515 Equal variances not assumed 1,462588,748,144,1922,13149-,06601,45048 NOIREEqual variances assumed,008,929,045720,965,0013,03026-,05807,06076 Equal variances not assumed,045637,876,965,0013,03025-,05806,06075 LATINOEqual variances assumed 2,612,107-,803720,422-,0187,02323-,06428,02695 Equal variances not assumed -,815667,060,415-,0187,02291-,06364,02631 MARIEEqual variances assumed,585,444,384720,701,0107,02791-,04408,06549 Equal variances not assumed,382626,123,703,0107,02804-,04436,06577 SANSDIPEqual variances assumed 27,531,000-2,673720,008-,0835,03123-, ,02217 Equal variances not assumed -2,612582,002,009-,0835,03197-,14626-,02070 REV75Equal variances assumed,324,570,103720,91839, , , , Equal variances not assumed,104661,861,91739, , , ,6762 6

Devoir En utilisant la base de données de DW NSW_COMPLET.SAV, déterminez si le programme a augmenté le salaire des participants en comparant l’augmentation des revenus entre les participants et les non-participants. Calculez cette différence pour les sous-groupes latino, noir et marié pour déterminer si le programme était plus efficace pour un groupe que pour l’autre (filtre). Finalement, éliminez la colonne INCOME74 (colonne H) de CPS_CONTROL.SAV (pseudo groupe contrôle) puis collez CPS_CONTROL.SAV à NWS_TREATED.SAV et analysez l’efficacité du programme (déterminez s’il a augmenté le revenu REV78-REV75 du groupe E plus que celui du groupe quasi- contrôle). Si les résultats sont différents de ceux que vous avez trouvés avec les vrais groupes aléatoires, expliquez pourquoi.