Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin 2007.

Présentation au sujet: "Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin 2007."— Transcription de la présentation:

1 Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida juin 2007

2 Présentation Le problème de l’évaluation Pourquoi évaluer ?
Comment mesurer l’efficacité ? Quelques critères d’évaluation Les limites Instruments d’évaluation Évaluation interne et/ou externe Évaluation interne de Meeting of Minds Réflexion interne de l’atelier CIPAST

3 Le problème de l’évaluation
Le concept de participation est complexe et chargé de valeurs. Les tentatives visant à spécifier des critères ont leur limites, et ont donc eu peu d’effets centrées sur un critère unique/spécifique critères procéduraux plutôt que substantiels, c’est-à-dire liés à ce qui rend un processus efficace, non à la manière dont on peut mesurer des résultats efficaces (par ex. qualité des décisions finales) Absence de références appropriées pour comparer et mesurer la qualité des exercices de participation Il n’existe pas de méthode d’évaluation reconnue On dispose de peu d’outils de mesure fiables Grande nombre de variables « d’évaluation » procédural, contextuel, environnemental, implémentation, absence d’instrument de mesure standardisé (questionnaires) Nécessité d’avoir des ensembles de critères plus complets pour déterminer si une approche ou méthode innovante est performante

4 Pourquoi évaluer ? Plus large reconnaissance de la nécessité et de la valeur des initiatives participatives Les méthodes de participation sont souvent employées car « il faut bien » impliquer le public d’une façon ou d’une autre, en considérant l’implication comme une fin en soi, au lieu d’un moyen de parvenir à une fin Le nombre et la complexité croissante des initiatives disponibles

5 Comment mesurer l’efficacité ?
Qu’est-ce qui constitue « l’efficacité » ? L’efficacité n’est pas une qualité évidente, monodimensionnelle et objective, que l’on pourrait facilement identifier, décrire et mesurer Est-il possible de parler d’une définition de l’efficacité de la participation publique d’une manière générale ? Une formulation plus générale de ce qu’on entend par efficacité est-elle nécessaire ? Efficace d’après qui ? Chercher à faire accepter une définition du terme « efficace » par les parties concernées Pour définir l’efficacité, il existe une dichotomie entre le résultat d’un exercice et le processus associé à cet exercice (Rowe & Frewer 2000) Un exercice bénéficiant d’une bonne acceptation, mais d’un mauvais processus, a peu de chances d’être implémenté par des financeurs ou des décideurs Un exercice qui a un bon processus, mais une mauvaise acceptation, sera sans doute accueilli avec scepticisme par le public/les acteurs, risque de boycott

6 Critères d’évaluation
Critères d’acceptation (également démocratique (Fiorino), honnêteté (Webler)) Liés à l’acceptation publique potentielle d’une procédure Critères du processus (compétence (Webler)) Liés à la construction et l’implémentation efficaces d’une procédure Les critères d’évaluation proposés par Rowe et Frewer ne doivent pas être pris comme définitifs, mais plutôt comme objets de débat et pour encourager de nouvelles expérimentations

7 Critères d’acceptation
Représentativité Indépendance Implication précoce ? Influence sur la politique Transparence

8 Représentativité Les participants doivent couvrir un échantillon largement représentatif de la population concernée Utilisation d’échantillons/questionnaires stratifiés aléatoirement pour déterminer la variété des attitudes Obstacles générés par les publics vastes, limitations logistiques/financières

9 Indépendance Processus conduit d’une manière indépendante et impartiale Équipe de direction variée et impartiale Recours à un animateur respecté et impartial Représentants du public indépendants des financeurs Équilibre entre la participation des acteurs, la direction, les financeurs et les porte-parole

10 Implication précoce ? Public impliqué dès que des jugements de valeur apparaissent Le débat public doit être autorisé sur les hypothèses sous-jacentes et sur l’agenda, pas seulement sur des problèmes étroits et prédéfinis Stade auquel le public doit être impliqué dans les questions politiques – dès que cela paraît raisonnable

11 Influence sur la politique
Les résultats doivent avoir un véritable impact sur les politiques, et cet aspect doit être visible Les méthodes de participation sont souvent considérées comme intellectuelles, utilisées pour légitimer des décisions ou pour donner l’apparence d’une consultation sans aucune intention d’agir à partir des recommandations (par ex. façon dont a été perçu GM Nation?) Acceptation claire, dès le départ, de la façon dont le résultat sera utilisé et comment il pourra orienter les politiques Importance des médias pour informer le large public des influences que le résultat a eues sur les politiques

12 Transparence Le processus doit être transparent, pour que le public puisse voir ce qui se passe et comment les décisions sont prises La transparence peut passer par la diffusion d’informations sur des aspects de la procédure, de la sélection des participants à la façon dont une décision est prise, ou à la publication de comptes-rendus de réunions

13 Critères de processus Accessibilité des ressources
Définition des tâches Prise de décision structurée Rentabilité

14 Accessibilité des ressources
Les participants doivent avoir accès aux ressources appropriées qui leur permettent de compléter correctement leur dossier Accès aux informations appropriées et intéressantes pour une prise de décision efficace Les ressources nécessaires comprennent : informations (résumés de faits pertinents) ; ressources humaines (accès à des scientifiques, des témoins, des analystes décisionnaires, etc.) ; des matériels (rétroprojecteur, tableau papier) et du temps (temps suffisant pour prendre des décisions) ; finances (fonds suffisants fournis par les financeurs) Toute limitation de ces ressources risque de nuire à la qualité du processus de participation.

15 Définition des tâches La nature et l’étendue de la participation doit être définie clairement Pour éviter toute confusion concernant le cadre, son résultat escompté et les mécanismes de la procédure, tous les aspects doivent être clairement identifiés au départ Sinon, l’efficacité et la crédibilité de la procédure sont mises en doute par tout litige provoqué par des malentendus Cependant, des règles et définitions trop prescriptifs peuvent réduire la flexibilité face à de nouvelles informations ou de nouveaux débats

16 Prise de décision structurée
Comprend l’utilisation/la mise en place de mécanismes appropriés pour structurer et présenter le processus décisionnel Permet l’examen des raisons sous-jacentes à une décision Documenter le processus décisionnel augmente la transparence Divers outils d’aide à la décision peuvent être incorporés (par ex. arbres de décision, Delphi) pour assurer qu’un poids égal est accordé aux considérations sociales et scientifiques Recours à un animateur pour diriger les discussions et encourager une participation égale

17 Rentabilité Le rapport qualité/prix est une motivation importante, par ex. une grande audition publique sera inadaptée à une décision politique mineure Tenir compte des coûts potentiels des méthodes alternatives, tant en temps qu’en argent, avant de se lancer dans un exercice de participation

18 Jurys de citoyens Conférence de citoyens Atelier de scénario Groupe de réflexion Évaluation interactive Recherche sur l’avenir Critères d’acceptation Représentativité Moyenne (limitée par faible échantillon) Moyenne Indépendance Grande Implication précoce  Potentiellement élevée Potentielle-ment élevée Élevée Influence sur la politique Variable, mais non garantie Sans doute indirecte Peut être grande Transparence du processus Faible Critères du processus Accessibilité des ressources Bonne Mauvaise Définition des tâches Généralement bonne Variable, mais peut être bonne Prise de décision structurée Potentiellement bonne Moyenne (influence de l’animateur) Rentabilité Moyenne à élevée

19 Examen par des critères d’évaluation: les limites
En conséquence des diverses manières dont une méthode donnée peut être appliquée + atténuer les effets des facteurs sociaux et environnementaux - la précision dans la définition et la mesure des critères, = il n’est pas possible d’affirmer définitivement si une méthode donnée réussit ou échoue

20 Instruments d’évaluation
Questionnaires (structurés, semi-structurés) Entretiens (face-à-face, au téléphone) Journaux des participants Observations (structurées, semi-structurées) Analyse de contenu/ documents Analyse des médias

21 Évaluation interne et/ou externe
L’évaluation interne nécessite une réflexion qui alimente directement la préparation et la conduite d’un exercice de participation pour permettre des ajustements progressifs L’évaluation externe nécessite un processus indépendant pour assurer une évaluation complète de la préparation méthodologique et conceptuelle de l’exercice de participation, de ses résultats, issues et impacts Utiliser à la fois l’évaluation interne et l’évaluation externe fournit d’une part une « image globale » - connaissance informée des participants d’une part et examen objectif d’un exercice de participation dans sa globalité d’autre part.

22 Évaluation interne de Meeting of Minds
Logique : La valeur d’une évaluation interne est particulièrement importante pour cette initiative. La nature unique de cette initiative – conduite d’une nouvelle méthode d’évaluation participative des technologies à portée et gouvernance transeuropéennes dans les sciences et les technologies, coordonnée par un groupement ad hoc d’organisations – nécessite une évaluation interne approfondie. Les considérables ressources humaines, financières et de gestion doivent être justifiées par les résultats obtenus si des initiatives participatives complexes similaires doivent être viables dans le contexte européen.

23 Objectifs Alimenter directement le processus de préparation et de conduite de l’initiative Meeting of Minds en permettant des ajustements méthodologiques, organisationnels et procéduraux progressifs Renforcer et enrichir les « nouvelles » connaissances, visions et expériences (apprentissage) de ses participants

24 Instruments MoM Brefs questionnaires (composés de questions le plus souvent fermées) visant à déterminer l’adéquation de la logistique, des supports d’information, des processus de délibération et d’évaluation Réactions formelles et informelles des animateurs, coordinateurs nationaux et/ou chefs de projet, experts et autres participants pendant toute la durée de l’initiative Les réactions obtenues via les questionnaires et les observations enregistrées ont permis au comité de pilotage de réfléchir régulièrement aux processus de l’initiative et d’apporter les ajustements nécessaires

25 Enseignements tirés Équilibre entre les dimensions national/européen
Difficultés à conduire une initiative transeuropéenne Difficultés à conduire une évaluation (interne) transeuropéenne

26 Difficultés à conduire une initiative transeuropéenne
Logistique Communication Interprétariat/ traduction Animation Enregistrer les paroles des « citoyens » Identité nationale/européenne Méthodologie

27 Difficultés à conduire une évaluation (interne) transeuropéenne
Questionnaires Taux de réponse Observations

28 Merci !