Journée déchange autour de lexpérimentation sociale ORLEANS jeudi 17 novembre 2011

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 2 Territoires et projets de Solidarités Actives Certains projets de Solidarités actives ont un rayonnement national, cest notamment le cas du réseau TICActives, de son intervention auprès du CNFPT et des ses Ateliers.

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 3 Sommaire Limites et biais Questions déthique Expérimentation cadre législatif Expérimentation sociale définition Pourquoi expérimenter? Conclusions provisoires

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 4 Expérimentation Définition Sens commun : Une micro-initiative locale ou une mesure mise en œuvre pour une durée de vie limitée. Par exemple, des lois initialement prévues à titre temporaire, se sont dîtes « expérimentales » : la loi instituant le RMI (1988). Selon le Littré : « Dans les sciences expérimentales, solliciter la production des faits quon veut observer afin de pouvoir parvenir à en assigner la loi, à en délimiter les causes, à reconnaître la manière dont les causes existent »

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 5 Quest ce que lexpérimentation sociale? Définition de lappel à projet dexpérimentation sociale, HCSA, 2008 : Quatre composantes Une innovation de politique sociale Initiée à petite échelle Mise en œuvre dans des conditions qui permettent den mesurer les effets Dans loptique dune généralisation Lexpérimentation sociale cherche à isoler leffet dun programme par une analyse contrefactuelle (ce qui se serait passé en labsence du programme) faisant abstraction de facteurs extérieurs.

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 6 Pourquoi expérimenter? Une démarche expérimentale peut aider à concevoir des politiques plus efficaces, en connaître limpact réel, en évaluer les conditions de réussite, avant une éventuelle généralisation. (Etienne Grass) Bien des dépenses auraient été évitées, des souffrances épargnées et du temps aurait été gagné en comparant différentes stratégies sociales à petite échelle, pour sélectionner la meilleure avant de la généraliser. (Martin Hirsch) Un an pour élaborer une loi ; un an pour élaborer les décrets ; un an pour mettre en œuvre : cest en général le temps pour déclarer quune réforme ne marche pas et en mettre en chantier une autre, sans même avoir correctement évalué les effets de la précédente. (La nouvelle équation sociale, résolution n°13)

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 7 Cadre législatif français Cadre jurisprudentiel précédant la réforme constitutionnelle de 2003 : Le Conseil constitutionnel admet lexpérimentation sous réserve de son caractère explicite, de la réalisation dun bilan et de sa limitation dans le temps. Le Conseil dÉtat exige essentiellement que lexpérimentation ait une durée limitée. Quelques exemples dexpérimentation avant 2003 : De 1962 à 1964, lEtat expérimente la réorganisation des services déconcentrés de lÉtat dans le but de renforcer lautorité du préfet. En 1986, le Conseil général dIlle-et-Vilaine met en place un complément local de ressources préfigurant le RMI. La loi du 4 février 1995 autorise des expérimentations dans le domaine de la régionalisation des transports ferroviaires.

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 8 Cadre législatif français 2 types dexpérimentation issus de la loi constitutionnelle du 28 mars 2003 : Les dérogations mises en œuvre par lEtat (article 37-1 de la Constitution) : Article 37-1 de la constitution : La loi et le règlement peuvent comporter, pour un objet et une durée limités, des dispositions à caractère expérimental. Un dispositif nouveau peut être expérimenté dans le cadre des compétences de la collectivité. Les collectivités locales disposent néanmoins dun pouvoir dinitiative limité : la dérogation doit être introduite par des dispositions législatives. Seules les collectivités désignées par le législateur ou par l'Etat sont autorisées à expérimenter. Les conditions de ces expérimentations sont définies par lavis du Conseil constitutionnel du 28 juillet 1993 : la durée, la nature et la portée de lexpérimentation doivent être strictement définies lexpérimentation doit être de nature à permettre, au vu de ses résultats, une généralisation le législateur doit définir les conditions dans lesquelles lexpérimentation fait l'objet d'une évaluation..

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 9 Cadre législatif français 2 types dexpérimentation issus de la loi constitutionnelle du 28 mars 2003 : Les dérogations à la loi mises en œuvre par les collectivités locales (article 72 alinéa 4 de la constitution) : « Dans les conditions prévues par la loi organique, et sauf lorsque sont en cause les conditions essentielles d'exercice d'une liberté publique ou d'un droit constitutionnellement garanti, les collectivités territoriales ou leurs groupements peuvent, lorsque, selon le cas, la loi ou le règlement l'a prévu, déroger, à titre expérimental et pour un objet et une durée limités, aux dispositions législatives ou réglementaires qui régissent l'exercice de leurs compétences. » Il est possible de transférer une compétence nouvelle à une collectivité locale sans modifier les textes. Une collectivité (ou une intercommunalité) peut ainsi être autorisée à déroger à la loi. Toutes les collectivités demandant à expérimenter et remplissant les conditions légales sont habilitées. Lexpérimentation ne peut porter sur les normes qui définissent les conditions essentielles dexercice dune liberté publique ou dun droit constitutionnellement garanti.

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 10 Cadre législatif français 2 types dexpérimentation issus de la loi constitutionnelle du 28 mars 2003 : Les conditions de ces expérimentations sont régies par la loi organique du 1er août 2003 : Lobjet, la durée et les conditions à remplir par les collectivités territoriales sont fixés par une loi dhabilitation. La durée dune expérimentation ne peut excéder 5 ans La liste des collectivités autorisées à participer est établie par décret. Les collectivités doivent auparavant faire connaître au représentant de lEtat leur décision de participer à lexpérimentation (délibération motivée). le législateur peut décider, au vu de lévaluation de lexpérimentation, soit de mettre fin à celle-ci, soit de la prolonger (en modifiant, le cas échéant, les modalités), soit de généraliser les mesures prises à titre expérimental. des modalités dévaluation doivent être prévues

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 11 Rupture du principe dégalité La remise en cause du principe dégalité est admise à condition qu « elle trouve sa justification dans certaines nécessités d'intérêt général ». (Conseil dEtat, avis sur la tarification du TGV Nord, 1993). La nécessité dévaluer les politiques publiques de la façon la plus objective possible peut être reconnue comme une « nécessité dintérêt général ». Rupture dans l'application du principe d'uniformité Les collectivités d'une même catégorie (régions, départements, communes) doivent en principe disposer des mêmes compétences, des mêmes modes d'organisation et de fonctionnement. Dans les faits, ce principe est déjà remis en cause par des transferts de responsabilités dans des domaines aussi marquants que le logement, lurbanisme, le développement, lemploi, linsertion et la formation. Ethique et rupture du principe dégalité

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 12 Questions éthiques Lexpérimentation nest pas acceptable si elle empêche une personne daccéder à un service ou à une ressource déterminante. Ces réticences disparaissent lorsquil sagit de tester les effets dun surcroît de service, ou dun supplément au droit commun. Ethique et rupture du principe dégalité

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 13 Les droits des participants à une expérimentation doivent encore être définis. La transposition des droits existants dans le champ des essais cliniques, laisse notamment entrevoir les deux enjeux suivants : Droit à linformation sur les conditions de lexpérimentation : durée, signification, contenu,… Principe de consentement à lentrée dans lexpérimentation ou, en cas de consentement fixé par la loi, droit de sortir à tout moment de lexpérimentation (« op out »). Droits des bénéficiaires et des membres du groupe témoin

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 14 Evaluation: le matching Consiste à créer un contrefact au groupe test en recherchant un groupe de contrôle disposant de caractéristiques similaires. Le protocole : Le protocole consiste à appareiller des groupes traitement et témoin ayant certaines caractéristiques identifiables comparables (ex : taux de chômage, âge moyen...). Les caractéristiques retenues sont celles pouvant avoir une influence positive ou négative sur le résultat de lexpérimentation. Intérêt de la méthode : Cette solution est plus facile à mettre en place en cas dobstacles éthiques ou techniques (risque de biais basés sur les interactions possibles entre les individus des deux groupes). Contraintes de la méthode : Certaines caractéristiques non observées ne sont pas prises en compte et constituent autant de biais dans l'analyse. Illustration : RSA expérimental

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 15 Evaluation assignation aléatoire « randomisée » Vise à isoler limpact pur du dispositif pour réaliser une évaluation coûts/bénéfices en comparant les résultats de lexpérimentation avec un contrefactuel (ce qui se passe dans le groupe témoin). Le protocole : Tirer au sort les personnes qui vont rentrer dans le dispositif et à constituer un groupe témoin avec les personnes non retenues lors du tirage ou alors à utiliser le tirage aléatoire pour définir à la fois le groupe test et le groupe témoin. Intérêt de la méthode : Simple à comprendre et donc de faire facilement force de preuve. Elle est particulièrement adaptée en cas dimpossibilité de généraliser immédiatement du fait de ressources budgétaires limitées. Contraintes de la méthode : Lévaluation avec tirage aléatoire induit naturellement des problèmes éthiques et des questions dinégalités daccès à un service.

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 16 Limites et biais Expérimentations non envisageables Face à des situations durgence financière ou sociale ; Quand les éléments pour la décision sont suffisants Quand un dispositif ne peut pas être mis en œuvre et évalué à petite échelle, (population des bénéficiaires mobile ; situation du territoire dexpé très évolutive) ; Quand le débat est insuffisant sur le sens des mesures à expérimenter et que les clivages existants sur les résultats à attendre de ces mesures ne sont pas clarifiés.

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 17 Limites et biais biais de participation biais dattrition : abandon de lexpérimentation biais de non-réponse : biais de traitement : effet dHawthorne(10) (effet placebo) : les membres du groupe de traitement sont motivés par le fait même dêtre traités Externes Internes o biais déchantillonnage o phénomène de file dattente o biais de durée limitée o effet dinteraction sociale o Coûts

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 18 Conclusions provisoires Points damélioration Rapprocher en amont les porteurs et les évaluateurs Mettre en œuvre en gardant à lesprit le changement déchelle, l déploiement Associer les personnes concernées (acteurs destinataires…) Croiser les différentes méthodes dévaluation Accepter lerreur, comme la réussite Améliorer la transmission des enseignements Mieux distinguer ce qui relève de lexpé, de lexpérience, du projet pilote, de linnovation Améliorer la définition éthique du cadre

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 19 Conclusions provisoires Dans le champ social, il est difficile de réunir toutes les conditions nécessaires pour que cette rigueur scientifique puisse produire ses effets. Lexpérimentation apporte sans aucun doute de la rigueur dans la possibilité darticuler innovation sociale et évaluation. Une réponse à la demande de résultats objectivés. lexpérimentation sociale reste un outil, une méthode daide à la construction des politiques publiques. Les objectifs poursuivis par le dispositif à tester, relèvent, eux, de véritables choix politiques ou de société.

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 20 Merci de votre attention