povertyactionlab.org Poverty Action Lab Traduire la Recherche en Action

povertyactionlab.org Quest ce que lévaluation? Bruno Crépon CREST and Poverty Action Lab

Quest ce que lévaluation Un exemple réel Programme daccompagnement des demandeurs demploi

Programme Quels étaient les Programmes? –Accompagnement des chômeurs dans leur recherche demploi Programme Cap Vers lEntreprise Programme Opérateurs Privés Où ont-ils été développés? –Dans plusieurs régions de France Quand est-ce quils ont été réalisés ? –Débuté en janvier 2007 et pris fin en mars 2008 Qui a fourni laccompagnement? –LAgence Nationale Pour lEmploi pour CVE –LUnédic pour les OPP A qui étaient-ils destinés ? –Chômeurs présentant un risque de chômage de longue durée. Pourquoi les programmes ont-ils été développés?

Programme Accompagnement des demandeurs demploi Pour répondre à un besoin –Compenser le manque de connaissance du marché du travail de certains demandeurs demploi –Concentrer lencadrement humain sur ces demandeurs demploi (portefeuilles des accompagnateurs passant de 120 à 60 DE)

Programme Accompagnement des demandeurs demploi Pour réaliser des économies –Aider rapidement ceux dont on sent quils auront du mal plutôt que de les indemniser longtemps –Eviter quils restent longtemps en chômage et perdent du capital humain Programmes concurrents –Même public mais prestataires privés (OPP) ou public (CVE) –Contexte douverture du marché de laccompagnment

Quelles sont les questions auxquelles une évaluation doit répondre?

Questions… Les programmes daccompagnement sont-ils un outil de recherche efficace ? –Quels sont les moyens quantitatifs mis à la disposition des DE Quels sont les objectifs quantitatifs Les programmes sont-ils bien conçus? –Quelles sont les phases du programmes –Combien de temps dure laccompagnement, que se passe-t-il après –Où les services sont-ils délivrés? Les DE ont-ils besoin de laccompagnement ? Les DE sont-ils intéressés? Lorganisation du porgramme est–elle efficace? –Comment se passe lorientation et la réception chez les prestataires publics/privés

Questions… Quels DE cible-t-on? Les DE acceptent-ils laccompagnement? –Quels sont ceux qui lacceptent –Pourquoi certains refusent-ils laccompagnement ? Les DE recherchent-t-ils mieux un emploi? –Pendant laccompagnement –Aprés Les DE sintègrent-ils mieux dans lemploi? Selon quels critères/mesure? Quels sont les coûts du programme CVE Quelles sont les types de prestations distribuées- quel est leur coût? Quel programme est le plus efficace? Selon quels critères/mesure Ces bénéfices sont ils à la mesure des coûts ? Quel est le rendement social? –Est-ce une bonne affaire –Comment sont rémunérés les opérateurs –Serait-il possible de concevoir une meilleure utilisation des fonds?

Organisation des questions Evaluation des besoins EvaluationdeLimpact Evaluation du processus

Evaluation des besoins Quelle est la population ciblée ? –Tous les DE ? Ceux qui ont les risques les plus importants ? Ceux qui ont les indemnités les plus longues? Comment identifie-t-on ces demandeurs? –Pourquoi répondre à cette question ? Quelle est la nature du problème à résoudre ? –Comment les programmes vont-ils le résoudre ? –Pourquoi répondre à cette question ?

Evaluation des besoins Dans quel cadre sinsère le programme? –Y a t-il un manque? –Ce besoin est-il déjà satisfait par dautres moyens ? Quels sont les autres besoins? –Quels seraient les bénéfices quil y aurait à satisfaire ces besoins ? –Quel est le bénéfice que devrait avoir le programme pour égaliser le bénéfice de satisfaire dautres besoins ?

Que doit fournir lévaluation des besoins Population ciblée doit être bien définie –DE ayant des difficultés dans la recherche qui ne soit pas réglées par dautres programmes –DE ayant un risque de chômage de longue durée Conception du programme doit être claire –Quelle est la gamme de service qui manque? –Comment la fournir ? Combien en fournir ? Quels sont les obstacles potentiels ? Bonne idée de la nature des bénéfices du programme –Une carence a été comblée ? Un avantage a été étendu ? Les alternatives doivent être connues –Cet accompagnement est-il le plus efficace et le plus rentable pour subvenir aux besoins de la recherche ?

Evaluation de Processus Les services sont-ils délivrés ? –Quelles sont les prestations fournies par les prestataires –Quelle est leur qualité Peut-on améliorer lefficacité ? Comment se passe linterface entre lANPE et les OPP –Les DE sont ils correctement acheminés vers les prestataires Les services atteignent-ils la population ciblée ? –Les DE entrant chez le prestataire sont ils ceux pour lesquels le programme est ciblé – le prestataires sélectionne-t-il les DE? Les clients sont-ils satisfaits du service ? –Pourquoi certains DE nentrent-ils pas chez les prestataires? Comment est effectuée la facturation pour les OPP?

Evaluation dImpact Sur quelles mesures on attend un impact ? Sur quelles populations on attend un impact? Quand est-ce que lon aurait du répondre à ces questions ?

Evaluation dImpact Question clé : Y-a-t-il eu un impact ? Questions Auxiliaires: –Quel est la nature du bénéfice ? exemple: laccompagnement conduit-il à une amélioration uniformes du retour à lemploi ? Conduit-il à une amélioration des techniques de recherche –Certains DE bénéficient plus que dautres? Ceux qui avaient les plus grands risques de chômage de longue durée, les moins bien rémunérés, les moins qualifiés, etc.

Analyse Coût-Bénéfice AnalyseCoût-Bénéfice EvaluationduprocessusEvaluationdimpactEvaluation des besoins

Analyse Coût-Bénéfice Pourquoi les 3 éléments sont-ils nécessaires pour lanalyse coût-bénéfice? Lévaluation dimpact donne des bénéfices Lévaluation du processus permet une quantification minutieuse des coûts. –Peut aider à baisser les couts ou augmenter lefficacité. A besoin comme cadre le coût dopportunité de la dépense.

Cette Semaine On se focalisera sur lévaluation dimpact : Pourquoi? Cest ce que lon sait bien faire. On connait étonnamment peu sur ce qui marche vraiment: –Multiplication des interventions dans de nombreux domaines –Rareté des fonds disponibles –Extension ou arrêt des programmes sur la base de critères subjectifs –Certainement de nombreux programmes coûteux et inefficaces Souvent appréciation conflictuelle sur lefficacité du programme –Besoin dapporter des éléments dévidence

Pourquoi faire une évaluation dimpact ? Problématique centrale dans le débat sur laide : –Sait-on si cela marche ? –Comment identifier ce qui fonctionne ? Grenelle de linsertion –Sélectionner les programmes qui réussissent.

Pourquoi faire une évaluation dimpact ? Le diable est dans les détails –Difficile de faire des grandes généralités Lavantage de cette approche est de pouvoir se focaliser sur les détails Cela nous donne la possibilité de raffiner le programme mais aussi de le reconcevoir. Une semaine très intéressante soffre à vous.