D. RABU – Préfecture de région C. LE MAUGUEN – Conseil régional Evaluation des initiatives publiques de réseaux Un projet-pilote en Pays-de-la-Loire _______________ D. RABU – Préfecture de région C. LE MAUGUEN – Conseil régional A. LECLERCQ - ARCEP

Évaluation de l’action publique : démarche pilote Principe Expérimentations DSP Sarthe Élaboration d’une méthodologie d’évaluation appliquée aux projets d’initiative publique locale : En s’inspirant de la culture d’évaluation des politiques publiques À partir de l’idée qu’ont les collectivités d’un projet réussi: couverture, développement de la concurrence, baisse des prix de détail… Réseau métropolitain BOA Réseau métropolitain O-Méga DSP Maine et Loire Achat de mise à disposition de services Vendée Achat de services MEGALIS

Évaluation de l’action publique : définition Guide de l’évaluation des politiques publiques, Conseil Scientifique de l’Évaluation, 1996 Décret du 22 janvier 1990 puis Décret du 18 novembre 1998 L’évaluation consiste à tenter de répondre à un ensemble de questions relatives à une politique, sa mise en œuvre et ses effets. L’évaluation cherche à apprécier dans quelle mesure la politique évaluée possède les principales « qualités » qui caractérisent idéalement une « bonne » politique. Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont fixés.

Contexte régional

Des actions publiques des initiatives publiques de réseaux diversifiées Déploiement de réseaux par DSP : Melis@, S@rtel Achat de services : MEGALIS Achat de mise à disposition de services : Vendée Déploiement de réseaux en direct : Omega, BOA Expérimentations diverses : Sillé le Guillaume Le Lion d'Angers des chartes « Département innovant » Loire-Atlantique, Mayenne Initiatives publiques illustration : Carte de couverture ORTEL

Une mobilisation des acteurs une stratégie régionale un observatoire régional de la société de l’information - Synapse une section spécialisée de l’évaluation des financements multi-partenaires Initiatives publiques illustration : Carte de couverture ORTEL

Le projet

La commande Origine Problématique demande conjointe du conseil régional et du SGAR à Synapse mobilisation de la SSE Problématique mesurer l'impact des initiatives publiques de réseaux sur l'attractivité et la compétitivité des territoires IPR vs RIP

Objectifs Un objectif double : établir une méthode d’évaluation pour les IPR fournir aux porteurs de projets un outil d’évaluation pour leur propre suivi Objectifs L’étude a un double objectif : établir une méthode d’évaluation des réseaux d’initiative publique, et appliquer celle-ci aux projets menés par les différentes collectivités en région Pays de la Loire. L'évaluation devra porter notamment sur les domaines suivants : la desserte haut et très haut débit des territoires ; le développement des usages de l’Internet ; le développement économique et social ; l’attractivité territoriale.

Champs de l’évaluation Domaines de l'évaluation : la desserte haut et très haut débit des territoires le développement des usages de l’Internet le développement économique et social l’attractivité territoriale Objectifs L’étude a un double objectif : établir une méthode d’évaluation des réseaux d’initiative publique, et appliquer celle-ci aux projets menés par les différentes collectivités en région Pays de la Loire. L'évaluation devra porter notamment sur les domaines suivants : la desserte haut et très haut débit des territoires ; le développement des usages de l’Internet ; le développement économique et social ; l’attractivité territoriale.

Résultats attendus Une méthode d’évaluation transférable à tout type d’IPR Des grilles d’indicateurs Des protocoles de mise en œuvre afin d’évaluer de façon homogène l’ensemble des actions menées L’application à un échantillon représentatif de projets ligériens – voire à tous L’appropriation de l’outil par les porteurs de projets Résultats attendus Il devra donc aboutir à la définition d’une méthodologie de l’évaluation dans le domaine, la proposition de grilles d’indicateurs, et un canevas de mise en œuvre afin d’évaluer de façon homogène l’ensemble des actions menées.

Les moyens mobilisés

Moyens humains GROUPE DE PROJET ET DE SUIVI (GPS) prépare et suit les travaux d’évaluation est l’interlocuteur privilégié du prestataire se réunit au minimum lors de la remise de chaque rapport intermédiaire et lors de la remise du projet de rapport final. Humains Les acteurs concernés par les travaux préparatoires sont : les membres du GPS le groupe de travail constitué de l’ensemble des acteurs publics porteurs de projets d’infrastructures à haut débit en Pays de la Loire des personnalités qualifiées En tant que de besoin, des personnes- ressources des services de l’Etat, de la région et des structures rattachées pourront être mobilisées.

Moyens humains GPS (suite) est composé de membres représentant : la préfecture de région (SGAR) ; la région des Pays de la Loire ; l’ARCEP (autorité de régulation des communications électroniques et des postes) ; le CETE de l’Ouest, groupe Aménagement Numérique des Territoires ; l’université de Nantes ; l’Ecole des Mines de Nantes ; le conseil économique et social régional ; la trésorerie générale de région ; la section spécialisée de l’évaluation (experts). Humains Les acteurs concernés par les travaux préparatoires sont : les membres du GPS le groupe de travail constitué de l’ensemble des acteurs publics porteurs de projets d’infrastructures à haut débit en Pays de la Loire des personnalités qualifiées En tant que de besoin, des personnes- ressources des services de l’Etat, de la région et des structures rattachées pourront être mobilisées.

Moyens humains Groupe de travail Consultants retenus par AO constitué de l’ensemble des acteurs publics porteurs de projets d’infrastructures à haut débit en Pays de la Loire de personnalités qualifiées en tant que de besoin, des personnes- ressources des services de l’Etat, de la région et des structures rattachées pourront être mobilisées. Consultants retenus par AO Humains Les acteurs concernés par les travaux préparatoires sont : les membres du GPS le groupe de travail constitué de l’ensemble des acteurs publics porteurs de projets d’infrastructures à haut débit en Pays de la Loire des personnalités qualifiées En tant que de besoin, des personnes- ressources des services de l’Etat, de la région et des structures rattachées pourront être mobilisées.

Moyens financiers Etat-Région en financement alterné Montant : 80 000 € TTC Procédure d’appel d’offre en avril

Moyens techniques des sources documentaires partagées Sources Synapse Sources ARCEP Etudes diverses une plate-forme de travail collaboratif ouvert aux acteurs du projets

Méthode Un travail en 3 phases Phase 1 : Analyse des projets déployés ou en cours de déploiement en Pays de la Loire Phase 2 : Méthodologie de l’évaluation Phase 3 : Application aux projets ligériens (et recommandations). Des indicateurs s’appuyant sur des critères d’évaluation des politiques publiques Méthode Le travail d’évaluation sera structuré en trois phases : Phase 1 : Analyse des projets déployés ou en cours de déploiement en Pays de la Loire ; Phase 2 : Méthodologie de l’évaluation ; Phase 3 : Application aux projets ligériens (et recommandations).

Critères d’évaluation Décret du 22 janvier 1990 puis Décret du 18 novembre 1998 Les 7 critères Pertinence Effectivité Efficacité Impact Pérennité Efficience Cohérence Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont fixés. Guide de l’évaluation des politiques publiques, Conseil Scientifique de l’Évaluation, 1996 L’évaluation consiste à tenter de répondre à un ensemble de questions relatives à une politique, sa mise en œuvre et ses effets. L’évaluation cherche à apprécier dans quelle mesure la politique évaluée possède les principales « qualités » qui caractérisent idéalement une « bonne » politique.

Pertinence Définition Indicateurs Le bien-fondé de l’action étudiée Les objectifs explicites sont- ils adaptés à la nature du ou des problèmes qui sont censés être résolus ou pris en charge ? La construction du réseau s’inscrit-elle dans un schéma directeur, au niveau départemental ou régional ? Un diagnostic a-t-il été réalisé ? Une mise à jour du diagnostic a-t- elle été réalisée ? Le projet a-t-il été conçu en adéquation ou réorienté en fonction du diagnostic ? Une enquête de besoin auprès des opérateurs avant le lancement d’offres de gros a-t-elle été réalisée ? Une enquête de besoin auprès des ménages et/ou entreprises a-t- elle été réalisée ?

Effectivité Définition Indicateurs La réalité de la mise en œuvre du projet Critère opérationnel intéressant le gestionnaire du projet Degré de réalisation des travaux à la fin du processus de réalisation Respect des délais: Part des travaux effectués à la date de fin prévue Délai entre la fin prévue et la fin effective des travaux Surcoûts éventuels en % du coût total

Efficacité Définition Indicateurs Le rapport entre les objectifs du projet de réseau et les résultats constatés Éventuellement la comparaison entre résultats obtenus et résultats attendus Couverture du territoire: Couverture additionnelle de la population Couverture additionnelle des entreprises (en DSL, en fibre) Couverture des sites publics Nombre de mètres linéaires de fibre optique posés Nombre de zones d’activités desservies en fibre Indicateurs (suite) Attractivité des offres: catalogue d’offres de gros ou de détail connu (publié, envoyé) ? club d’acheteurs ou comité de l‘interconnexion des clients du délégataire ? % de différence entre le tarif à Paris et le tarif local d’un panier type de services? (Indice de spread) enquête de satisfaction ménages et des usagers professionnels? Disponibilité de nouveaux services: Débit maximal des offres Présence d’offres triple play Présence de VPN IP

Impact Définition Indicateurs Les impacts socio-économiques du projet d’investissement Séparer les effets du projet lui- même de ceux résultant d’une tendance générale L’observatoire des Pays-de-la- Loire SYN@PSE fournit déjà des données. Évolution des usages chez les particuliers: Taux de pénétration Internet haut débit Bande passante moyenne consommée par utilisateur Évolution des usages chez les entreprises: Taux de pénétration des services, Bande passante consommée Entreprises télédéclarant leur TVA (%) Indicateurs (suite) Développement des entreprises locales grâce aux TIC: Évolution du nombre d’entreprises locales dans le secteur des TIC Évolution de l’emploi local dans le secteur des TIC Développement des usages des TIC par les administrations locales: Actes administratifs faisant l’objet d’un contrôle de légalité dématérialisé (%) Achats publics dématérialisés

Pérennité Définition Indicateurs Durabilité des effets observés Le projet a-t-il engendré une structure ou des pratiques capables de « vivre » et se développer après la fin de l’intervention publique ? Évolutivité des services: Nombre annuel d’avenants à la grille tarifaire des offres du délégataire Insertion ou non de clauses imposant l’évolutivité au délégataire Évolution comparée des offres de détail locales avec les meilleurs offres constatées au niveau national Concurrence de long terme: Part de marché du délégataire sur le marché de gros Parts de marchés des opérateurs clients, sur les marchés de détail Évolution annuelle du nombre de répartiteurs dégroupés (par le délégataire, par les opérateurs clients) Concurrence de long terme (suite) : Rapport entre la longueur de FON louée aux clients et la longueur du réseau Montant minimal d’investissement imposé pour l’achat (IRU) de FON

Efficience Définition Indicateurs Rapport entre les moyens mis en œuvre et les résultats constatés Optimisation des deniers publics Utilisation des infrastructures existantes ou mobilisables Cohérence des différents projets publics sur un même territoire Analyse coûts/bénéfices

Cohérence Définition Indicateurs Compatibilité entre les objectifs poursuivis par la collectivité et la correspondance entre ces objectifs et les moyens mobilisés pour les atteindre La collectivité peut-elle atteindre simultanément tous les objectifs affichés ? A-t-elle employé les moyens suffisants, ou adéquats pour cela ? Analyse qualitative: Adéquation entre l’objectif de développement de la concurrence de long terme et la subvention versée au délégataire au titre de l’ouverture du réseau

Management du projet GPS cahier des charges GPS-consultants réunions mensuelles travail itératif sur les indicateurs questionnaires d'entretien co-construction de la grille d'évaluation Consultants - Porteurs de projet groupe de travail entretiens individuels Consultant analyse restitutions

Livrables Phase 1 inventaire détaillé des projets examinés typologie des projets modalités pour la conduite de l’évaluation (questionnaires, contacts, validation des travaux…). liste des acteurs à solliciter sources de données régionales bibliographie thématique

Livrables Phase 2 grilles d’indicateurs modes d’emploi d’acquisition des données et cadre d’utilisation

Livrables Phase 3 Bilan d’évaluation obtenu par la mise en œuvre pratique de la méthode définie dans le cadre de la phase 2. Recueil d’indicateurs  Achèvement de la méthode définie à la phase 2 à la lumière de la mise en œuvre pratique identification et valorisation des moyens externes (enquêtes, …). Rapport final Rapport complet Rapport de synthèse

Calendrier