La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Randomisation en Pratique Dr. Eric P. Bettinger Stanford University and NBER May 10, 2010.

Présentations similaires


Présentation au sujet: "Randomisation en Pratique Dr. Eric P. Bettinger Stanford University and NBER May 10, 2010."— Transcription de la présentation:

1 Randomisation en Pratique Dr. Eric P. Bettinger Stanford University and NBER May 10, 2010

2 Objectif de la Presentation 1. Pourquoi s'intéresser à l'évaluation d'impact ? 2. En quoi consiste l'évaluation d'impact ? 3. Comment la conception des interventions éducatives devraient faciliter l'évaluation? 4. Quelles sont les données nécessaires pour une évaluation réussie? 5. Autres considérations dans l'évaluation d'impact

3 Exemple de politique: Aide Financière Scolaire Les Programmes d'aide financière scolaires sont diverses: Bourse de mérite, Bourse de nécessité, des aides, des prêts, des crédits d'impôt, aide basée sur le travail Les Effets diffèrent selon les programmes d'aide: Combinaison appropriée des programmes dépend des objectifs de la politique Des données disponible a temps sur l'efficacité est essentielle à la réussite « Le choix des politiques doit être faite d'une manière ou d'une autre. Je préfère le faire avec les données »- L'ancien chef du système de l'enseignement supérieur de l'Ohio

4 L'expérimentation et l'Organisation de l'apprentissage: un cercle vertueux Évaluer Innover Expérimenter

5 Exemple du programme de bourse en Georgie (USA) Hope Scholarship Les bourses d'études Hope en Géorgie Octroi des bourses de scolarité aux étudiants de la Géorgie qui restent en Géorgie Les élèves devaient avoir une moyenne cumulative de 3,0/4,0 au secondaire L'objectif déclaré du programme: accroître l'accès à l'enseignement supérieur chez les élèves issus de familles à faible revenu Résultats de l'évaluation L'augmentation des effectifs étudiants en général (Cornwell, Mustard, Sridhar 2002) Parmi les familles a faible revenu, en particulier les minorités, les effectifs n'ont pas augmenté (Dynarski 2000)

6 Exemple du programme de bourse en Georgie (USA) Hope Scholarship Différence entre l'objectif et l'impact Objectif: améliorer l'accès pour les familles à faible revenu Impact: améliorer l'accès pour les familles a revenu eleve ou moyen mais pas pour les familles a revenu faible Pourquoi l'échec? Hope récompense le rendement scolaire HOPE requis des formulaires complexes Les familles à revenu élevé ont de meilleure performance au niveau secondaire un meilleur accès à l'information pour les universités Comment la politique a été influencer par lévaluation d'impact? Exigence des performances académiques a été réduite Processus de demande (formulaires) simplifié

7 La Valeur de levaluation dimpact Évaluer l'efficacité des programmes et politique en général Sans évaluation, il n'y a qu'une "conjecture et la critique» (Phipps 1998) Alignement et modifications des politiques Exemple Hope en Géorgie Avantages inattendus et les conséquences L'identification spécifique des éléments programmatiques Politique de préservation Programme de Sécurité Sociale pour étudiants (aux USA) Augmentation des effectifs etudiants et du taux d'achèvement (Dynarski 2000) Annulé en 1982 Exemple du programme PACES en Colombie Programme de coupons a été très efficace Annulé Avant quune évaluation nait été effectué

8 Comment évaluer? 1. Stratégie de comparaison (« Stratégie d'identification ») La recherche concerne la comparaison entre ce qui cest passe et ce qui aurait pu se passer 2. Données Des données détaillées sur la mise en œuvre du programme et utilisation Les données sur les résultats scolaires

9 Comparison Strategy Le coeur de l'évaluation est la comparaison l'effet du programme est la différence entre les résultats observés et les résultats quon aurait observé sans le programme résultat contrefactuel nest jamais observé Nous ne pouvons observer le même élève avec et sans l'aide groupe témoin représente le contrefactuel Pas tous les groupes de comparaison ont été créés égaux

10 Creation du groupe de comparaison La randomisation est létalon dor (Gold Standard ) Décideur choisit au hasard parmi les candidats à un programme Les étudiants choisis à la loterie bénéficier d'une aide Les étudiants non choisis ne reçoivent pas d'aide En moyenne, les gagnants de la loterie et les perdants apparaissent similaires au moment de la loterie Au fil du temps, les différences entre les gagnants à la loterie et les perdants montrer les effets du programme

11 Autres Strategies de Comparaison Comparaison apparié groupe de comparaison est similaire aux étudiants sans aide Les expériences naturelles L'analyse de seuils (discontinuité dans la régression) Randomisations "Naturelles"

12 Exemple de Randomisation Angrist, Lang & Oreopoulos (2006) Grande université canadienne Services multiples Programme de services de soutien aux nouveaux étudiants (e.g. tuteurs) Incitation financière basées sur la moyenne pondérée cumulative à l'université 700 élèves ont poses leur demande Les gestionnaires du programme ont utiliser une loterie aléatoire pour attribuer les étudiants au groupe de traitement

13 Résultats scolaires au secondaire, avant la loterie tres similaires

14 Difference au niveau des moyennes universitaire après loterie (Femmes)

15 Support pour la Randomisation États-Unis No Child Left Behind Law (2001): Lier le financement des écoles a la recherche scientifique qui consiste a évaluer en utilisant des modèles expérimentaux ou quasi-expérimentaux dans lequel les individus, entités, des programmes ou des activités sont soumis à des conditions différentes et avec des contrôles appropriés pour évaluer les effets de la condition d'intérêt, avec une préférence pour des expériences avec assignation aléatoire Banque mondiale (2003): «Conceptions randomisées sont généralement les plus robustes des méthodes d'évaluation"

16 Autre Exemple de Randomisation: Programme PACES en Colombie Programme de bons/coupons pour l'éducation en Colombie subventions prévues pour aider les eleves a aller dans des écoles secondaires privées Cible les familles à faible revenu Environ étudiants ont bénéficié La demande de bons/coupons supérieure à l'offre Utilisation de la loterie pour lattribution des bons/coupons S'est déroulée de

17 PACES en Colombie Les résultats préliminaires fondés sur la méthode dappariement (matching) des écoles Appariées les écoles privées avec bons/coupons et les écoles publics ayant des caractéristiques similaires Comparé les résultats au niveau des écoles Evaluation à coût très économique grâce a lutilisation des données de recensement scolaires existantes. CONCLUSION CLE: Aucune différence entre les écoles privées avec bons/coupons et les écoles publiques au niveau des résultats aux tests. Conclusion est difficile à défendre

18 Problèmes liees a lévaluation précoce En comparant les écoles privées avec bons/coupons et les écoles publics, on ne capture pas le vrai effet des bons/coupons Seule une fraction des étudiants avaient bons Seules les écoles avec les données incluses Le contrefactuel est faux: La plupart des étudiants qui ont demandé mais pas reçu de bons/coupons sont aller dans dautres écoles privées et non publiques Existence potentielle de variables confondantes (par exemple le revenu)

19 PACES en Colombie Evaluation #2 Profite de la loteries utilisée pour la distribution des bons/coupons Comparer gagnants et perdants à la loterie Les demandeurs de bons/coupons ont tous la même préférence pour l'enseignement Gagnants et perdants se ressemblent au moment de la loterie Même âge, la probabilité d'être des femmes, la probabilité d'avoir un numéro d'identification national valable, et la probabilité d'avoir un téléphone

20 Colombie PACES – Résultats dévaluation Les résultats après trois ans démontrent que les élèves se méritant des bons détudes ont: De meilleurs résultats aux examens Plus dannées de scolarité complétées Répètent une classe moins fréquemment Plus faible taux de participation au marché du travail Plus faible taux de mariage ou de cohabitation Après six ans: Une augmentation de 20 pourcent de la fréquentation à luniversité Des résultats plus élevés aux examens dentré à luniversité

21 Pourquoi la randomisation est-elle si convaincante? 1. Les statistiques sont simples. Pas de techniques de régression compliquées 2. Il nexistent généralement pas de facteurs confondant. Les groupes choisis de façon aléatoire devraient être similaire au moment où la loterie a lieu. Pas de differences dans les charactéristiques inobservables. 3. Facile à comprendre et à reproduire.

22 Est que les randomisation est la seule stratégie? 1. Appariement (Matcing) Les résultats dependent souvent de la nature de la comparaison Hanushek (1996) Type détudeNombre détudes Statistiquement Significatif Statistiquement non- significatif PositifNegatifPositifNegatifInconnu Ration enseignant-élève Education des enseignants Expérience des ensignants Dépenses par élèves

23 Stratégies dappariement: Exemple Débat classique sur la taille des classes au secondaire Hanushek (1986, 1989, 1996, 1997, 1998) Utilise lappariement (matching). Ne trouve aucun résultat supportant leffet de la taille des classes sur les résultats scolaires des élèves. Krueger (2003) Utilise la randomisation au Tennessee Trouve des effets importants liés à la taille des classes

24 Pourquoi est-ce différent? Krueger: Tous les estimés ne sont pas crées égaux Krueger citant Galilé: Je dis que le témoignage de plusieurs a plus de valeurs que celui de peu de personnes, puisque le nombre de personne qui raisonne correctement à propos de sujet compliqué est beaucoup plus faible que le nombre de personnes qui raisonne incorrectement. Si raisonner est similaire à haler, je conviendrais que plusieurs raisonneurs sont plus valable quun seul, de la même façon que plusieurs chevaux peuvent haler plus de sacs de grains quun seul. Mais raisonner est davantage similaire à la course plutôt quau halage, un seul coursier de Barbary peut distancer 100 chevaux de trait. Le project Tennessee STAR est le coursier de Barbary dans la literature sur la taille des classes.

25 Autres stratégies 2. Analyses de seuil (discontinuité dans la regression) Laide est souvent attribué si les élèves respectent un certain critère Revenu sous un certain seuil Resultats aux test au-dessus dune certaine note Les élèves près du seuil sont très similaires Les raisons pour lequels certains sont au-dessus et dautres en- dessous sont relativement aléatoires Comparer les éléves justes au-dessus et au-dessous du seuil Lanalyse de seuil fait partie dune classe plus large dexpériences naturelles (ou de méthodes quasi-expérimentales) dans le cadre de lquelle les chercheurs identifie des situtations ou politiques qui semblent générer un assignement aléatoire.

26 Analyse de seuil - Exemple: Bourse détudes en Californie Bourse détudes en Californie Kane (2003) Admission guarantie sur la base des résultats au secondaire La bourse couvre tous les frais de scolarité Il existe un critére déligibilité lié au revenu La discontinuité se trouvent autour de 3.15 Les élèves au-dessus recoivent les bénéfices complets Les élève au-dessou ne recoivent rien

27 Les personnes étaient-elles réellement similaire autour de la discontinuité?

28 Est-ce que la discontinuité a conduit à des changements dans les résultats?

29 Autre example danalyse de seuil Programme daide sociale (Dynarski 2000) Couvrir les frais de scolarité pour les étudiants universitaires dont les parents sont décédés Politique de frais de scolarité libérale Intérompu soudainement en 1982 Discontinuité selon lannée de graduation Pre-1982: Aide aux étudiants dont les parents sont décédés Post-1982: Pas daide aux étudiants dont les parents sont décédés

30 Programme daide sociale par année

31 Pourcentage des étudiants fréquentant luniversité Père vivantPère décédés Ayant complété le secondaire entre 1979 et Ayant complété le secondaire entre 1982 et

32 Leçon des analyses de seuil vs. Appariement Les estimées selon la méthode dappariement supportent linexistence dun effet de laide sur la fréquentation (e.g. Kane 1999, Leslie and Brinkman 1987) Ont comparé les étudiants avec et sans aide Les facteurs confondants potentiels comprennent: La motivation des étudiants Les différences dans les opportunités économiques Les différences dans les paramètres de léducation universitaires

33 Laide basé sur les besoins sous un jour nouveau Davantage de recherche scientifique: Dynarski (2000): Laide a une influence dramatique Kane (2003): Laide augmente le taux de fréquentation Bettinger (2004): Laide basé sur les besoins diminue le taux dabandon

34 À retenir Le recherche dépend de la qualité des comparaisons Les compaisons ne sont pas toutes équivalentes Certaines comparaisons fournissent des informations Mais peuvent chacher des facteurs confoundant La randomisation est létalon-or (gold standard) en évaluation dimpact Facile à comprendre Pas sensible aux facteurs confoundants

35 Exigences au niveau des données Détails de mise-en-oeuvre Qui participe Combien daide recoivent-ils Quand ont-ils ou vont-ils recevoir cette aide Durée des bénéfices Enquête de référence Coûts associés à la perte de cette information Exemple de Colombia PACES

36 Exigences au niveau des données (cont.) Donnée sur les résultats Les résultats qui importent La fréquentation de luniversité La complétion du cours universitaire Le choix de la majeur Les revenus Méthode de collection Enquêtes Données administratives

37 Si vous le construisez, ils viendront – Field of Dreams (1989) Crée des données sur les résultats attirent les chercheurs Souvent la question mène a des collectes de données Souvent les données mènet à la question La quantité de recherche mène à une demande accrue pour de la recherche de qualité Favorisent le dévelopment daptitude à la recherche additionel Augmentent la volonté politique pour les évaluations rigoureuses Exigences au niveau des données (cont.)

38 Considérations dans lexamen de politique Timing de lévaluation Le délai entre le début de lévaluation et la production de résultats Coût de lévaluation Coût du program, de lévaluation, de la collected de données Considérations Ethique La prestation du service Le droit à la vie privée La faisaibilité politique de lévaluation Lant Pritchett: No advocate would want to engage in research that potentially undermines support for his/her program. Endless, but less than compelling, controversy is preferred to knowing for sure.

39 Comment entreprendre une évaluation rigoureuse 1. Planifier à lavance Il est impossible dutilier la randomization après le fait Créer et developper les instruments de collectes de données prends du temps. 2. Consulter des personnes-resources en recherche Exemple: le départment de planification nationale en Colombie 3. Prendre un risque Lévaluation est risqué. Il se peut que le program ne fonctionne pas, mais connaître les forces et faibless dune politique peut mener à de meileures politiques.

40 L'expérimentation et l'Organisation de l'apprentissage: un cercle vertueux Évaluer Innover Expérimenter

41 Conclusion Lévaluation dimpact est essentiel à la compréhension des forces et faiblesses des politique publique Toutes les évaluations ne sont pas créent égales Les comparaisons sur la base de lassignement aléatoire représentent la méthodologie la plus robuste. Lévaluation requiert de bons systèmes de données. Mise-en-oeuvre et données sur les résultats Plan pour la collecte de données


Télécharger ppt "Randomisation en Pratique Dr. Eric P. Bettinger Stanford University and NBER May 10, 2010."

Présentations similaires


Annonces Google