ATELIER DE L’EVALUATION Châlons-en-Champagne - 8 décembre 2011 Cabinet Sémaphores Délégation à l’Evaluation et Direction de la Formation et de l’Apprentissage Région Provence-Alpes-Côte d’Azur 1 Le CPRDFP de Provence-Alpes-Côte d’Azur

Cabinet Sémaphores Direction de la Formation et de l’Apprentissage Région Provence-Alpes-Côte d’Azur 2 La démarche d’élaboration du CPRDFP de Provence-Alpes-Côte d’Azur

3 Le choix d’une Assistance à Maîtrise d’Ouvrage : le rôle de Sémaphores La Région a choisi le cabinet Sémaphores pour l’accompagner dans la réalisation du CPRDFP. Expert des questions de formation, conseil des collectivités territoriales, le Cabinet Sémaphores, filiale du Groupe Alpha, a eu pour rôle d’animer le Groupe Multipartite régional et de contribuer à l’élaboration, aux côtés des services, du futur CPRDFP. Pierre FERRACCI, président du Groupe Alpha, a animé les réunions du Groupe Multipartite. La conférence inaugurale du 4 novembre 2010 a été l’occasion de lancer publiquement le processus de concertation. Une conférence finale a été organisée en conclusion des travaux pour présenter le projet de CPRDFP le 3 octobre Une plateforme collaborative a été mise en œuvre pour mettre à disposition des membres du Groupe Multipartite régional les documents de travail et les informations nécessaires.

4 Principes généraux : La Région a proposé à ses partenaires d’adopter, pour la préparation du CPRDFP, la méthode de travail développée lors des travaux préparatoires à la Réforme de la Formation Professionnelle au sein du « groupe multipartite ». La Région a souhaité ainsi favoriser la dynamique partenariale et le quadripartisme. Dans cette logique, et pour respecter les termes et l’esprit de la loi, le groupe multipartite régional était l’émanation du CCREFP. Constitution d’un groupe multipartite en novembre 2010, présidé par Pierre FERRACCI Un groupe « émanation du CCREFP », composé de 4 collèges Un rythme de travail mensuel 6 thèmes abordés et deux journées thématiques Chaque thème travaillé en amont grâce aux diagnostics réalisés par les deux centres ressources de la Région  un document de synthèse des travaux du groupe, adopté par tous les membres au mois de juin 2011

5 Les grandes étapes et le calendrier d’élaboration du CPRDF Bilan / Etat des lieux du cycle précédent Septembre CONFERENCE INAUGURALE Juin Constitution et mise en place du « groupe multi partite » OctobreNovembreDécembre Réunions du « groupe multi partite » Janvier FévrierMarsAvrilMai SEMINAIRES THEMATIQUES CONFERENCE FINALE SYNTHESE GMP PRE MAQUETTE CPRDF Octobre

6 Les principes méthodologiques du groupe multipartite régional 1/ Construire des convergences à partir d’un diagnostic partagé Pas d’évaluation du précédent PRDF : un manque souligné par tous les acteurs. Un bilan réalisé par la Région qui expose les actions réalisées par la Région Provence-Alpes-Côte d’Azur dans le cadre du PRDF (principalement bilan physico-financier). Pour chaque thème, la production d’un dossier documentaire et d’une note de problématique qui fondent un diagnostic partagé et a permis de recenser à cette occasion pour chaque thème les sources disponibles ; Pour chaque thème, une préoccupation pour identifier dans les synthèses des réunions :  les sources et données à constituer, à consolider, à croiser ;  les modalités de pilotage et de suivi en commun à définir ;  La réflexion sur la mise en œuvre d’outils communs d’analyse des besoins, de pilotage ;  les modalités d’évaluation des orientations stratégiques définies.

7 La méthode proposée : la constitution d’un groupe multipartite régional 2/ Construire les modalités de gouvernance des orientations stratégiques : La fonction d’élaboration d’orientations stratégiques revient aux acteurs en charge des politiques de formation (Région, Etat, Partenaires sociaux) et le CPRDFP fixe un objectif de renforcement des interventions croisées et des articulations entre les différents acteurs. Le CCREFP assure les missions suivantes :  assurer la cohérence stratégique des politiques de formation définies par chacun des acteurs dans le cadre de sa compétence ;  favoriser la définition de politiques partagées de formation (un rôle d’instruction et de préparation d’outils et de procédures communes, voire de préparation de décisions convergentes des différents acteurs, notamment dans le cadre de ses commissions) ;  assurer une mission de suivi des orientations définies en commun et de mise en œuvre du CPRDFP ;  conduire les évaluations de ces différentes politiques.

8 La méthode proposée : la constitution d’un groupe multipartite régional 3/ Définir les modalités de gouvernance des contractualisations spécifiques : Un principe : séparer la fonction d’élaboration de la stratégie de la fonction de pilotage opérationnel pour la mise en œuvre de la stratégie  La définition des orientations / des priorités des actions conduites dans le cadre de contractualisations spécifiques relève d’une décision préalable de chacun des acteurs.  Elles font l’objet d’un co-pilotage le plus souvent politique et technique, défini dès le démarrage du projet et impliquant les différents financeurs.  La mise en œuvre est assurée par un porteur unique ou une structure fédératrice (qui joue le rôle de tiers pour mettre en œuvre et suivre l’action).  Le porteur assure le rendu-compte aux acteurs / financeurs impliqués qui peuvent réorienter l’action (dans le cadre de comités de pilotage politique et / ou technique).

9 La méthode proposée : la constitution d’un groupe multipartite régional 4/ Construire les modalités d’évaluation en commun des orientations stratégiques : principes exposés lors des réunions du Groupe Multipartite Le CCREFP sera en charge de la conduite des évaluations des objectifs affichés dans le CPRDFP. Ces évaluations porteront sur les objectifs stratégiques définis dans le cadre du CPRDFP et pourront également, en tant que de besoin, cibler certains objectifs opérationnels. Le travail de construction du référentiel d’évaluation, de priorisation des objectifs à évaluer et de définition des critères et des indicateurs sera nécessairement postérieur à la signature du CPRDFP lui-même (puisqu’il doit précisément être défini à partir des objectifs à évaluer).

10 La méthode proposée : la constitution d’un groupe multipartite régional 4/ Construire les modalités d’évaluation en commun des orientations stratégiques (suite) Le référentiel d’évaluation pourrait néanmoins être incorporé (annexé) au CPRDFP. Pour cela, la construction du référentiel d’évaluation pourrait être la 1ère mission confiée au nouveau CCREFP. avec l’appui des Centres ressources : les objectifs prioritaires à évaluer, le type d’évaluation retenu (ex ante, in itinere ou ex post), le référentiel retenu, les critères et les indicateurs nécessaires à l’évaluation. Ce travail d’évaluation conduit par le CCREFP sera alimenté par la remontée de données issues des différents acteurs / financeurs, parmi lesquels la Région, l’Etat à travers les rectorats et la Direccte, les partenaires sociaux et notamment les branches professionnelles disposant de données déclinées au niveau régional (via leurs observatoires de branches et leurs CPREFP lorsqu’elles existent).

Présentation du CPRDFP 3 parties : 1. Une introduction générale 2. Les 6 grands chapitres du CPRDFP, qui reprennent les thématiques des 6 groupes de travail du GMP 3. Une partie opérationnelle avec les « fiches chantier » sur les actions à mener 11

12 Les 6 chapitres du CPRDFP reprennent les 6 thèmes sur lesquels ont débattu les membres du groupe multipartite : 1.Les enjeux de la qualification professionnelle pour tous : formation professionnelle initiale, formation professionnelle initiale différée et articulation des voies d’accès à la qualification ; 2. Parcours et continuité professionnels, emploi et développement économique des territoires : la formation, investissement social et économique ; 3. Accueil, information, orientation, accompagnement et prescription : accompagner les personnes vers la qualification professionnelle pour l’emploi durable ; 4. Des conditions de vie décentes pour les usagers de la formation : condition sine qua non de la réussite des parcours ; 5. Services publics, collectivités locales, OPCA et formation professionnelle : les enjeux des commandes de formation ; 6. Mise en œuvre du CPRDFP, gouvernance et pilotage, instances de suivi, modalités d’évaluation.

13 Les grands apports du CPRDFP 1.Le renforcement de la gouvernance des politiques de formation concertées 2.L’affirmation de la continuité professionnelle comme axe de travail prioritaire 3.Le renforcement de l’AIO dans le cadre du service public de l’orientation

Délégation à l’Evaluation et Direction de la Formation et de l’Apprentissage Région Provence-Alpes-Côte d’Azur 14 L’évaluation du CPRDFP de Provence-Alpes-Côte d’Azur

Schéma des différents niveaux de mesure dans l’évaluation d’une politique publique 15 Besoins – Problèmes – Dysfonctionnements - Enjeux Diagnostic Objectifs stratégiques Objectifs opérationnels Programmation des actions Ressources : moyens financiers, techniques, humains Impacts Indicateurs Résultats/effets Indicateurs Réalisations Indicateurs GOUVERNANCEGOUVERNANCE

L’évaluation, outil de la gouvernance du CPRDFP 16 Une pratique « intégrée » de l’évaluation dans la mise en œuvre du Contrat est une priorité méthodologique.  L’enjeu est de ne pas en faire un exercice à part mais de la rendre utile et accessible au plus grand nombre. En conséquence, la gouvernance du CPRDFP, le suivi opérationnel de sa mise en œuvre et son évaluation sont étroitement imbriqués. Ce modèle « vertueux » ne se décrète pas, il se construit collectivement et consolide progressivement une culture commune autour d’un projet partagé. La démarche apparaît ainsi dynamique, progressive et participative et se démarque clairement du contrôle.

Les principes et enjeux retenus pour l’évaluation du CPRDFP en PACA(1) 17 Les enjeux posés par le CNFPTLV Enjeu démocratique (transparence et dialogue) ; Enjeu de coopération (confrontation et partage de valeurs communes) ; Enjeu décisionnel (mise au service du pilotage et de la décision); Enjeu d’apprentissage (construction d’une intelligence collective).

Les principes et enjeux retenus pour l’évaluation du CPRDFP en PACA(2) 18 L’évaluation est un processus dynamique qui ne se limite pas à la formalisation et aux renseignements de critères et d’indicateurs. En temps que démarche collective, elle est intéressante à plusieurs niveaux : au moment d’en expliciter les motivations, les attendus ; au moment d’élaborer le référentiel (champ de l’évaluation et définition de critères) ; au moment d’en partager les résultats... Les controverses sont aussi utiles que les résultats eux-mêmes pour l’appropriation et la « maîtrise » du projet global. C’est essentiel pour cet objet « complexe ».

Les principes et enjeux retenus pour l’évaluation du CPRDFP en PACA(3) 19 Un référentiel « théorique » initial, inclus dans le CPRDFP lui- même*, a été validé, autour de critères et d’indicateurs partagés.  Cette validation fait apparaître une volonté commune de construire l’évaluation. Elle traduit également une position commune sur ce qui fait et fera la « qualité » de ce contrat. La création d’espaces d’échanges en amont et en continu de la démarche est essentielle.  Les groupes multipartites ont constitué un premier espace partenarial. Les commissions du CCREFP, en cours d’installation, seront un nouveau lieu de débats. * Référentiel d’évaluation formalisé à la fin de chacun des 6 chapitres sous forme d’objectifs assortis de critères

Mise en œuvre opérationnelle de l’évaluation 20 Elaboration/validation du référentiel d’évaluation Délimitation du champ et des objectifs de l’évaluation ; Sélection de critères et d’indicateurs ; Organisation de la collecte de données et de l’articulation entre les données de suivi (des réalisations) et les données d’évaluation (résultats, effets, impacts). Collecte régulière des données, analyse, restitution, mise en débat Données de suivi collectées pour chaque chantier et restituées à la commission, voire au CCREFP plénier ; Données d’évaluation produites au niveau de chaque orientation du CPRDFP et de leurs déclinaisons en objectifs.

Exemple 21 Diapos 22 et 23 :Présentation d’une orientation générale, de ses déclinaisons opérationnelles et de son référentiel d’évaluation de base ; Diapo 24 : Présentation d’un chantier lié à cette orientation (il en constitue l’une des déclinaisons opérationnelles), assorti d’indicateurs de suivi.

22 Chapitre 1 - Les enjeux de l’accès à la qualification professionnelle pour tous : formation professionnelle initiale, formation professionnelle initiale différée et articulation des voies d’accès à la qualification LES DÉCLINAISONS OPÉRATIONNELLES RETENUES : Portefeuille numérique individuel de compétences Construction de parcours entre la formation initiale et la formation continue (prévention des ruptures et « raccrochage » des jeunes) Expérimentation nationale d’un label « Deuxième Chance » en Région Provence-Alpes-Côte d'Azur

23 RÉFÉRENTIEL D’ÉVALUATION (POUR LE CHAPITRE 1) OBJECTIFSCRITÈRES - Mieux articuler l’ensemble des voies d’accès à la qualification.  Effectivité et qualité des passerelles établies entre les différentes voies d’accès à la qualification.  Qualité de la concertation sur la carte des formations initiales et sur l’offre de formation en général. - Renforcer les politiques construites en région pour réduire le nombre de sorties sans diplôme et permettre aux « décrocheurs » de se réinsérer.  Qualité de la prise en charge publique et de la réinsertion des « décrocheurs ».  Qualité des systèmes d’informations associés au suivi des « décrocheurs », sous l’angle de la collecte et sous l’angle de la diffusion. - Accompagner les dispositifs de qualification tout au long de la vie, dans une optique de droit à la formation initiale différée.  Accessibilité à la formation initiale différée pour les publics sans diplôme ou sans qualification.  Cohérence des interventions des acteurs concernés.  Réduction de l’illettrisme. - Renforcer et partager l’observation sur les besoins de qualification et sur l’insertion des élèves, des apprentis et des stagiaires.  Qualité, finesse et niveau de partage du diagnostic des besoins de qualification des publics.  Qualité des connaissances produites sur les parcours des apprentis et des stagiaires de la formation professionnelle.

24 Exemple de fiche chantier E-PORTFOLIO : PORTEFEUILLE NUMÉRIQUE INDIVIDUEL DE COMPÉTENCES Pilote(s) RÉGION Objectifs Favoriser la construction et le développement du parcours professionnel des personnes par la mise en place d’un portefeuille de compétences, véritable outil pour la recherche d’emploi, la remobilisation de la personne et la reconnaissance sociale, professionnelle et personnelle. Descriptif de l’action - Déploiement régional de l’e-portfolio - Valorisation de l’outil - Formation des professionnels-relais Cet outil œuvre au sens large pour l’insertion dans l’emploi, la redynamisation de la personne, la formation tout au long de la vie et plus généralement la continuité professionnelle. Modalités de mise en œuvre - Organisation d’une présentation régionale de l’outil auprès des professionnels de l’AIO, des entreprises et des acteurs du SPRFPA (lancement officiel du déploiement) - Communication externe : alimentation des supports de communication habituels de la Région Provence-Alpes-Côte d'Azur, organisation d’opérations spécifiques sur l’ensemble de la région… Calendrier 1 er semestre 2011 : 2011– 2012 : Convention d’application Mise en œuvre opérationnelle Moyens / budget Région Provence-Alpes-Côte d'Azur : € Indicateurs de suivi - Nombre d’e-portfolios créés - Enquête de satisfaction des utilisateurs et des professionnels - Nombre de formations à l’utilisation de l’e-portfolio effectuées - Statistiques de fréquentation du site

25 Les perspectives pour l’évaluation du CPRDFP en PACA CCRDFP plénier => lettre de mission à la commission (22/12/2011) Constitution de la commission « Suivi-Evaluation » du CCREFP  Objectifs d’évaluation Création d’un comité technique « évaluation » : Région, Etat, OREF Production de livrables :  Référentiel global définitif  Bilan annuel de réalisation  Rapport annuel d’évaluation