Techniques des sciences sociales appliquées à l’évaluation Introduction au module TECH Septembre 2014

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Les techniques de collecte et d’analyse d’informations pour l’évaluation Distinguer les différentes techniques/outils : Source ; Commission Européenne, Evaluer les programmes socio- économiques - Vol n°3 : principales techniques et outils d’évaluation Observer/ Collecter Outils de collecte 2

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Positionnement du module TECH 3 Utilisation Recommandations Conclusions Collecte/Analyse Méthode Mandat Dispositif Référentiel Constats Pilotage d’une évaluation (PILT) Préparation d’un CDC (PREP) Techniques de collecte et d’analyse (TECH) Conception Méthodo (CONC) Réalisation d’une offre (OFFR) Suivi et pilotage (SUIV)

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Objectifs du module Compétences clés : o Développer les outils et les articuler en méthode (+ détailler et justifier ces choix dans des contextes divers) o Mettre en œuvre des analyses de causalité (et pouvoir les justifier) o Apprécier l’évaluabilité et développer un plan de travail (avec OFFR) Compétences techniques : o La plupart des techniques (7/10), hors logigramme et sociogramme (PREP, PILT et OFFR), indicateurs (SUIV) et analyse documentaire (OFFR) Compétences génériques : o Utiliser un tableur + réaliser une présentation orale et utiliser des outils de communication (diaporama) 4

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Les techniques de collecte d’information quantitative Les bases de données Les questionnaires (électronique, voie postale, téléphone) 5

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Les techniques de collecte d’information qualitative Le panel d’experts L’enquête Delphi Le benchmark Les études de cas La recherche documentaire L’observation directe L’entretien individuel Les focus- groups 6

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Les techniques d’analyse causale Sources des images : en-bretagne/ La statistique La cartographie conceptuelle d’impacts L’analyse de contribution L’évaluation par simple observation L’échelle de notation L'analyse cartographique L’évaluation par comparaison avec un groupe témoin L’évaluation sans groupe témoin, par comparaison avant/après Exemple de cartographie 7

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Comment sélectionner les techniques et outils les plus appropriés pour l’évaluation ? Avoir conscience des avantages, des limites et des précautions à prendre pour chacun d’eux Tenir compte du contexte Tenir compte des coûts et des délais Tenir compte de l’expertise dont on dispose 8

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Déroulement général du module Le module TECH comprend 10 séances : o 1 séance inaugurale d'introduction aux objectifs du module, aux modalités de travail et d'évaluation et aux outils et méthodes qui seront abordés o 7 séances consacrées à des outils et/ou méthodes : chaque séance est à préparer à partir d’un exercice disponible sur la plateforme : (préparation obligatoire : -1 point sur la note finale pour chaque exercice non préparé) o 1 séance de restitution lors de laquelle +ou- 5 groupes de 4 présentent et justifient une méthode détaillée d'évaluation basée sur un cas réel envoyé environ 3 semaines avant la séance (50% de la note finale). o 1 séance d'examen individuel basé sur un cas réel (50% de la note finale) 9

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Les cours sur les techniques obligatoires 10 CoursDateContenu Intervenant Préparation individuelle des séances (exercices en ligne) 213/10Base de donnéesM. Basset 320/10Enquête par questionnaireM. Basset 427/10Entretiens individuelsM. Basset 53/11Techniques d’animation (instances et focus-groups)M. Basset 617/11Etude de casM. Basset ---- (Envoi du cas pour la soutenance en groupe) /11Analyse contrefactuelleJ. Toulemonde 88/12Analyse de contributionJ. Toulemonde Préparation en groupe du cas (soutenance le 15 décembre) et de l’examen individuel (le 5 janvier)

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Techniques optionnelles en auto-formation (support de cours + exercice) Évaluation participative et conférence citoyenne Analyse multicritère Analyse AFOM Cartographie statistique 11

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Les séances de validation o 1 séance de restitution en groupe d’une méthode d'évaluation basée sur un cas réel Les groupes sont avant tout notés sur leur aptitude à préciser les outils choisis et à présenter les avantages et les limites de ces choix (50% de la note finale). Après discussion de chaque présentation, le jury revient notamment sur les problèmes liés à l'articulation globale des outils o 1 séance d'examen individuel basé sur un cas réel Les critères de notation pour cet examen sont également la présentation détaillée et la justification des choix d'outils De plus, la justification de l’articulation des choix d’outils dans une méthode pertinente et efficiente est spécifiquement évaluée 12

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Exemple de Cas : « Inondation Loire » (2012) 13 Contexte :Vous êtes chargés de concevoir et de préciser le protocole d’évaluation de la mesure de « réduction de la vulnérabilité aux inondations des activités économiques » du POP Loire. Vos propositions méthodologiques devront s’appuyer sur les consignes explicitées dans le cahier des charges joint. La mise en œuvre de la méthode proposée ne devra pas dépasser +ou- 60 jours de travail. Deux documents décrivant plus précisément la mesure à évaluer sont également joints à ce cas. Travaux à réaliser : Les différentes étapes du protocole d’évaluation sont à préciser, justifier et ordonnancer. Vous devrez rendre un document word d’environ 5 pages (+ annexes) au moins 2 jours avant la présentation. Cette présentation sera accompagnée d’un diaporama de +ou- 20 diapositives à présenter en 15 minutes environ (avant 15 minutes de Q/R environ). Vous devrez en particulier préciser et justifier (principaux avantages et principales limites) : - Les questions, critères et indices que vous avez sélectionnés - Les objectifs des différentes étapes méthodologiques proposées et les principales informations à obtenir - Les interlocuteurs ciblés et les documents à analyser - Les protocoles d’échantillonnage à utiliser - Les modalités des outils à utiliser (téléphone vs. internet, groupe restreint vs. individuel…) - Les types des questions posées ainsi que leur formulation (en annexe) - Les principaux traitements et méthodes d’analyse à utiliser - Les types de personnes qui réaliseront les collectes et analyses - Les temporalités des différentes étapes et sous-étapes méthodologiques (moments, durées, ordre) - Et le nombre de jours de travail associés (Cf. plafond de 60 jours)

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Exemple de réponse 4. ENTRETIENS INDIVIDUELS A DESTINATION DES PORTEURS DE PROJETS Objectifs : Evaluer l’impact de la mesure 12 sur la prise ou non de mesures de réduction de vulnérabilité + Estimer l’efficience des démarches d’instruction de demandes de subvention Nombre prévu : 6 (pourquoi seulement 6 ?)/ Jours de travail : 3 Types de personnes impliquées : Un consultant senior ainsi qu’un consultant medium. Mode d’administration, et de sélection des publics cibles :  Entretien en face à face individuels et semi directif sur la base d’une sélection non aléatoire = Sélection volontaire adaptée au terrain et à l’impératif d’optimisation de ce volet de la mesure  Publics ciblés : entreprises ayant bénéficié de subvention ; entreprises dont le projet a été refusé, entreprises et filières d’activité ayant exprimé leur intérêt pour la mise en place de mesures de réduction de vulnérabilité, une fédération professionnelle ayant relayé cette action auprès de ses membres Indices et Justification : Les deux autres volets de la mesure 12 (création d’un environnement favorable et diagnostics) présentent des résultats à mi-parcours qui semblent conformes aux objectifs fixés ; ce qui n’est pas le cas des mesures de réduction de vulnérabilité. Nous préconisons cette série d’entretiens afin de mieux orienter les recommandations. (et pourquoi ne pas cibler ceux qui ne sont pas « passés à l’acte » ?) Limites & contraintes :  Contrainte géographique : le nombre de déplacements occasionnés.  Contrainte de coûts élevés des entretiens. 14

Techniques des sciences sociales appliquées à l’évaluation Présentation du Module Exemple de corrigé Nombre de précisions (+ou- 6 attendues = objectifs/ cibles-échantillon/ Types de questions/ traitements/ « collecteurs »/ temporalités) Nombre d’avantages cités (+ou- 4 attendus - non pertinents) Nombre de limites citées (+ou- 4 attendues - non pertinentes) Outil 1 : Base de données 433 Outil 2 : Entretiens de cadrage 54 – 2 (face-à-face plus adapté et oubli du commanditaire 1 – 1 (entretien ne doit pas être court !) Outil 3 : Enquête en ligne 544 Outil 4 : Entretiens porteurs de projets 42 – 12 Outil 5 : Focus- group Principaux commentaires (en + et en -) Outil 1 = Distinguez mieux BDD et analyse documentaire / Bien argumenté Outil 2 = Eviter les entretiens de cadrage par téléphone et court Outil 3 = Mesures proposées pour éviter un faible taux de retour et des écarts avec le public cible Ensemble des outils : Avantages et limites assez complets - Pas de description des traitements et des types de questions posées