Évaluer la Performance Organisationnelle - Niveau 1 - CRDI, Mars 2007

Objectifs de l’atelier Présenter le cadre d’évaluation organisationnelle (EO) et les éléments intrinsèques à la performance organisationnelle Élaborer sur les utilisations possibles du cadre d’EO dans votre propre champ d’intérêt Discuter des différentes manières dont l’EO a été utilisé pour évaluer la performance organisationnelle à travers le monde. Fournir des opportunités de se familiariser et d’utiliser le matériel et les outils de l’EO

Structure de l’atelier Module 1: Pourquoi l’évaluation organisationnelle? Module 2: Faire le lien entre l’EO et le cycle de projet au CRDI Module 3: Les différentes applications de l’EO Module 4: Les outils et ressources disponibles pour effectuer une EO

Pourquoi l’évaluation organisationnelle (EO)? Module 1 Pourquoi l’évaluation organisationnelle (EO)?

Pourquoi le besoin de mettre l’emphase sur les institutions de recherche au CRDI? Le développement des capacités survient principalement à l’intérieur des organisations et des réseaux. Les organisations et réseaux qui ne performent pas convenablement nuisent aux chances du CRDI d’effectuer un bon travail Les rPCR mentionnent souvent que les mauvais résultats lors de projets sont souvent attribuables aux problèmes organisationnels Les rPCR nous indiquent que les capacités et la performance organisationnelle se doivent d’être évaluées par le personnel du CRDI Le personnel et la haute direction du CRDI sont intéressés à savoir comment travailler de manière plus efficace au niveau organisationnel. This comes from Amy’s report ALF 2007 in our file

Partagez vos expériences Quelles ont été vos expériences avec des organisations partenaires dans lesquelles des problèmes organisationnels ont affecté de manière positive ou négative les résultats d’un projet?

L’EO et le Cadre de l’EO D’où vient l’EO? Émergence du cadre: Intérêt généralisé à l’international visant à comprendre comment les organisations supportent le développement de manière efficace Différentes façons d’évaluer les organisations, les capacités et la performance ; peu de cadres offraient une telle combinaison Origine de ce cadre: Développé en partenariat avec le CRDI depuis 1995 et supporté par la BID depuis 1998

Utilité d’avoir un cadre d’EO Le cadre d’EO fournit: Un langage et des outils communs pour l’EO Emphase sur la performance des organisations et des sous-unités (résultats) — pas seulement des projets Identification des facteurs qui influent sur la performance (bénéfiques ou néfastes) Un dialogue et un apprentissage fondés sur des preuves en ce qui concerne les éléments qui fonctionnent ou ne fonctionnent pas. Il introduit aussi d’autres facteurs qui supportent la performance organisationnelle : les conditions institutionnelles, le degré de préparation, etc…

Qu’est-ce que l’évaluation organisationnelle? (EO) L’EO est une approche systématique qui permet d’évaluer une organisation dans le but d’en améliorer la performance. L’EO peut se faire de manière globale ou, à l’inverse, peut être orientée de façon plus pointue. Le processus peut être mené à l’externe ou via une démarche auto-gérée à l’interne La taille, l’ampleur et les approches varient - les opportunités d’application varient aussi.

Le cadre d’EO Performance Motivation Capacité Contexte Efficacité Histoire Mission Culture Mesures d’incitation Récompenses Performance Efficience Pertinence Viabilité financière Efficacité Structure Administratif Politique Social / culturel Technologique Économique Intervenants Leadership Finances Technologie Infrastructure Ress. humaines Capacité Programmes/services Contexte Liens avec autres organisations

Variables de la performance organisationnelle P = ƒ(MCC)

Performance Efficacité Efficience Pertinence Viabilité financière Motivation Performance Efficacité Efficience Pertinence Viabilité financière Capacité Contexte

Une organisation efficace Une organisation est efficace quand… Elle remplit bien sa mission et atteint ses objectifs tels qu’énoncés dans : sa charte ou sa constitution sa mission et son mandat ses buts ses objectifs stratégiques les objectifs de ses programmes 13 13

Une organisation efficiente Une organisation est efficiente quand… Elle tire le meilleur parti possible de ses ressources (gens, infrastructure, fonds) pour remplir sa mission Taux d’achèvement des programmes Taux de recouvrement des coûts Systèmes administratifs de qualité supérieure avec un bon rapport qualité-prix Ratio frais généraux / coûts des programmes Prestation des services dans de bons délais 14 14

Une organisation pertinente Une organisation est pertinente quand… Elle satisfait les besoins des intervenants en matière de qualité/quantité des programmes et services Elle innove et s’adapte en fonction des tendances, de la compétition, des technologies et des autres forces extérieures nouvelles Elle peut créer/exploiter de nouveaux marchés ou sources de revenus Elle est capable de se renouveler 15 15

Une organisation financièrement viable Une organisation est viable financièrement quand… Elle peut générer, diversifier et gérer comme il faut ses ressources afin d’assurer sa survie et sa durabilité Soutien constant des donateurs Nouvelles sources de financement diversifiées Plus de revenus que de passif financier Réserves et liquidité suffisantes Bonne surveillance et gestion des risques Bons rapports avec les bailleurs de fonds 16 16

Capacité Leadership stratégique Structure Ressources humaines Motivation Leadership stratégique Structure Ressources humaines Ressources financières Infrastructure Processus organisationnels Gestion des programmes et services Planification, suivi et évaluation Gestion du savoir Liens avec les autres organisations Performance Capacité Contexte 17 17

Motivation Histoire Mission Culture Mesures d’incitation/ récompenses Performance Capacité Contexte 18 18

Contexte externe Institutionnel et organisationnel Administratif / juridique Politique Social / culturel Technologique Économique Intervenants Motivation Performance Capacité Contexte 19 19

L’EO et le cycle de projet Module 2 L’EO et le cycle de projet

Dans quelles circonstances le cadre a-t-il été utilisé? A des fins de diagnostic —pour aider à prendre une décision afin d’aller de l’avant ou non avec un projet Quand une organisation fait face à un changement de direction majeur — Dans ces cas-là, les auto-évaluations peuvent être utiles Dans le cadre d’une planification stratégique ou d’une initiative d’évaluation Pour supporter des efforts de réforme Dans le but d’évaluer les investissements potentiels à faire au sein d’une organisation Comme un outil de révision et d’orientation (IUCN) Visite de supervision – évaluation rapide A des fins de recherche (ISNAR)

Quand l’avons-nous utilisé dans le cycle de projet? Approbation du projet Identification du projet Évaluation du projet Implantation du projet Suivi du projet Diagnostic Évaluation Suivi & Évaluation 22 ministères en Guyane dans le cadre d’une réforme du secteur public Ministère de l’environnement et de l’agriculture (Belize) Ministère de l’éducation, Niger Centre International for Diarrheal Disease control Research (Bangladesh) 5 instituts de santé régionaux – Région des Caraïbes 3 instituts de recherche sociale et économique, Afrique de l’Ouest Centre International pour les droits humains et le dévelopmment démocratique (Canada)

L’EO et le CRDI Points clés: Comment faire en sorte que notre travail puisse mieux supporter les chercheurs et les projets de recherche au sein de leur organisation respective? Comment le CRDI peut-il mieux identifier les signes de problèmes et les opportunités d’amélioration au sein des organisations partenaires?

Faire le lien entre l’EO et les outils du CRDI Les outils et sources possibles de données pour faire le suivi de la performance organisationnelle au moment de: l’identification et l’approbation du projet l’implantation du projet la finalisation du projet (Voir le matériel en annexe)

Faire le lien entre l’EO et les outils du CRDI - 2 Activité de groupe A (60 minutes): Les volontaires sont invités à partager une expérience personnelle dans laquelle la performance organisationnelle n’était pas adéquate à un certain moment du cycle d’un projet Répondez aux questions suivantes: Quels sont les 3 composantes de la performance organisationnelle sur lesquelles vous porteriez votre attention? Quel genre de questions poseriez-vous? Comment procéderiez-vous à la collecte de l’information? A qui parleriez-vous?

Faire le lien entre l’EO et les outils du CRDI – 3 Activité de groupe B (30 minutes) Réfléchissez sur l’utilisation de l’outil assigné à votre groupe Comment pouvons-nous diversifier et améliorer l’évaluation de la performance organisationnelle avec cet outil?

L’EO et le CRDI Séance plénière: Comment le CRDI peut-il mieux identifier les symptômes de détresse organisationnelle et/ou les opportunités pour l’amélioration organisationnelle?

Les applications de l’EO Module 3 Les applications de l’EO UNIVERSALIA’s EXPERIENCE in OA Used to diagnose performance of more than 50 organizations, private, public, NGOs in Asia, Africa, Latin America Trained 800 people in the use of the framework Publications, CD-Rom, training material Supporting others (e.g. IUCN) Engaging in OA research (ISNAR) Quick reviews

Mener un processus d’EO Étude de cas sur le Centre on Integrated Rural Development for Asia and the Pacific (CIRDAP)

Contexte pour effectuer l’EO au CIRDAP Compressions financières au CIRDAP et difficulté croissante d’obtenir de l’argent des bailleurs de fonds Compétition de la part des autres ONG pour l’obtention de ces mêmes fonds Un changement de perception de la part des bailleurs de fonds vis-à-vis les organisations régionales comme le CIRDAP Le besoin de créer de nouveaux partenariats avec des agences nationales et internationales reconnues

But de l’EO Le but de l’EO était d’aider le CIRDAP à trouver des moyens de garder le Centre pertinent et efficace de manière à aider ses pays membres à promouvoir la coopération régionale et ceci, tout en tenant compte de ses ressources financières et humaines plus limitées.

Approche/portée Création d’une équipe d’auto-évaluation menée par le Chef de la division « formation » et secondé par quatre représentants des différents programmes du CIRDAP Création d’une MAE (matrice d’auto-évaluation) avec des questions d’évaluation et des indicateurs de performance. Obtention de données quantitatives en provenance de documents publiés et de rapports de projet.

Approche/portée – 2 Obtention de données qualitatives en provenance de: Questionnaires distribués au personnel du CIRDAP, aux ministères, aux bailleurs de fonds, aux institutions partenaires et, finalement, aux individus afin d’obtenir de l’information-clé sur les meneurs d’enjeux (stakeholders) Entrevues et discussions de groupes pré-sélectionnés pour obtenir de l’information approfondie sur la perception des performances du Centre Petits ateliers avec le personnels pour analyser principalement les forces et faiblesses du Centre ainsi que les opportunités et les défis à venir selon leur perspective

Outils Matrice d’auto-Évaluation (MAE) Questionnaires Ateliers de planification stratégique (APS) Mini-ateliers avec le personnel du CIRDAP Entrevues avec des groupes de réflexion pré-sélectionnés Discussion de groupe avec le personnel du CIRDAP Analyse des rapports de projet et des documents du Centre

Qui étaient les meneurs d’enjeux? Le Secrétariat, le Directeur Général, le Comité Exécutif, le Comité Technique et le personnel du CIRDAP Les bailleurs de fonds Les États membres Les ministères-contact du CIRDAP Les institutions partenaires du CIRDAP

Facteurs influençant le processus Facteurs positifs: Un membre du personnel particulièrement dévoué Intérêt marqué du Directeur Général dû à l’implication du CRDI Facilité à impliquer le personnel dans des entrevues Ressources disponibles

Facteurs influençant le processus – 2 Facteurs contraignants: Un changement de Directeur Général au Centre Équipe en charge incertaine de la méthodologie à suivre – a rendu le processus plus long et éreintant Absence de suivi de la part du Centre envers certaines données nécessaires pour édifier les indicateurs de performance – aucun critère de mesure Les réponses aux questionnaires étaient maigres et insuffisantes L’atelier de préparation stratégique (APS) était trop court (3 jours)

Leçons tirées de cette expérience Le processus d’auto-évaluation a introduit au Centre une perspective plus holistique en ce qui a trait à l’évaluation de la performance organisationnelle et ceci, en allant au-delà de la simple analyse des projets et des programmes Un bon système d’information et d’entreposage des données serait utile pour le Centre car il permettrait de faciliter la collecte de données pour éventuellement donner lieu à une évaluation plus substantielle. Le processus d’auto-évaluation organisationnelle a fourni un diagnostic très pointu —peut-être trop de données avant le début de la réforme — donc le besoin de reconnaître un équilibre entre le diagnostic et l’action

Leçons tirées de cette expérience – 2 Les outils de collecte de données doivent être compatibles avec la culture locale Le partenariat avec AIM devait être réglé avant d’entreprendre le processus d’AEO Les changements de leadership affectent l’utilisation de l’auto-évaluation organisationnelle (AEO) Tout le personnel, même celui situé au bas de l’organisation, a quelque chose à dire au sujet de son organisation

L’Utilisation du cadre et des outils d’EO sur une base régulière Étude de cas de IUCN

Contexte pour l’EO IUCN – The World Conservation Union Une organisation décentralisée, régionale et à but non-lucratif - 9 régions, 62 bureaux et 1100 employés Organisation par affiliation composée de plus de 1000 ONG et organisations gouvernementales Siège social – Suisse

Utilisation de l’EO à IUCN Pour réaliser des auto-évaluations internes de larges unités organisationnelles (ex. programmes thématiques globaux, bureaux de programmes régionaux) commandées par l’équipe de gestionnaires seniors. Cadre d’évaluation de la performance et indicateurs-clés de la performance au niveau corporatif commandés par le Directeur Général et le Conseil de la Gouvernance (Governing Council)

1. Auto-évaluations internes Évaluations internes stratégiques de grands bureaux régionaux ainsi que leurs programmes, leurs réseaux d’experts et leur consortium de partenaires (15 au total) Commandées par les gestionnaire seniors – pour des questions de pertinence, de vision stratégique et de viabilité financière Le cadre d’EO est utilisé à la fois à des fins de diagnostic, d’évaluation et de renouveau Cycle de compte-rendus – pour bâtir un schéma de la performance organisationnelle dans le temps

Approche/portée A l’interne – avec l’aide des partenaires seniors et du support des consultants Le développement des capacités est un objectif majeur L’attention est porté sur: Les unités régionales et globales – pays, membres et partenaires multiples, (ex. Afrique de l’Ouest, Afrique du Sud, bureau européen) Réseaux d’experts et de partenaires Un processus d’une durée de 4-6 semaines Un budget modeste de CHF 30,000 – 50,000 plus le temps du personnel impliqué (2 personnes – 4 semaines)

Meneurs d’enjeux (stakeholders) Meneurs d’enjeux à l’interne et à l’externe: Le personnel d’IUCN dans les bureaux régionaux et nationaux, les réseaux ainsi que le personnel professionnel et de support Les gestionnaires seniors du siège social et des régions Conseil de la Gouvernance (Governing Council) Les organisations-membres de la régions – parfois jusqu’à 300 organisations Partenaires pour l’implantation – ONG, organismes communautaires et gouvernements Les bailleurs de fonds

Outils utilisés Analyse situationnelle – Courants et problèmes dans l’environnement externe Compte-rendus des rapports d’évaluation, des plans de travail et des budgets Questionnaires d’auto-évaluation pour le personnel – sondages annuels auprès du personnel Groupes de réflexion sélectionnés parmi le personnel Questionnaires pour les membres, les partenaires et les bailleurs de fonds – leur perception sur la pertinence, l’efficacité, l’efficience et l’Impact d’IUCN – sondages annuels soumis aux bailleurs de fonds Entrevues sélectives Entrevues à des fins de suivi portant sur l’utilisation des résultats – un an après Rapport corporatif au niveau de la gouvernance – les réponses du management

Problèmes Évaluation par les collègues – difficulté de détourner ses collègues de leur charge de travail régulière sans plan alternatif Le temps est un problème plus que les ressources Besoin de formation pour les collègues seniors en technique d’évaluation ; apprendre aussi comment composer avec « des experts » Composer avec des problèmes de ressources humaines – utilisation inappropriée du processus d’EO pour administrer les problèmes de mauvaise gestion des ressources humaines Comprendre la performance d’une unité dans le contexte de la performance générale de l’organisation

Qu’est-ce que l’IUCN sous-entend par sa performance? Une organisation performe bien si: Elle est pertinente vis-à-vis son environnement externe et ses meneurs d’enjeux Elle atteint ses objectifs de manière efficace et efficiente La « trace environnementale » (environmental footprint) – sans faire de dommage à l’environnement Elle a les capacités et les ressources pour continuer à faire ce qu’elle fait Démontre des aptitudes à générer le bon niveau de ressources

Qu’est-il arrivé? Langage commun – organisation cohérente Évaluations systématiques Emphase sur les problèmes liés à la performance En lien avec les performances du personnel

Une évaluation externe utilisant le cadre d’EO Étude de cas du Fond d’équipement des Nations-Unies (FENU)

Contexte pour l’EO LE FENU a été créé 1966 en tant que membre du groupe du PNUD 2003 – Comité exécutif a mandaté une évaluation indépendante Niveau de contribution faible aux ressources de base de la part de ses bailleurs de fonds Secrétaire exécutif sur le point de terminer son mandat Perception d’un chevauchement dans la programmation du PNUD et du FENU

Points-clés ressortant de l’EO Organisation efficace et pertinente pour les pays en voie de développement et autres meneurs d’enjeux Organisation relativement efficiente Viabilité financière douteuse dû à: La disparité qui existe entre la niche du PNUD et les nouvelles tendances des bailleurs de fonds internationaux La structure de gouvernance du PNUD Le rôle du FENU dans le groupe du PNUD

Que s’est-il passé? Utilisation de l’EO par le Comité exécutif Des changements positifs sont survenus dans plusieurs domaines de recommandations stratégiques, notamment: Réalignement PNUD-FENU Suivi limité sur les recommandations opérationnelles

Les facteurs qui affectent le processus d’EO L’envergure et surtout la réussite du processus d’EO dépendent principalement des facteurs suivants: Le support des dirigeants seniors de l’organisation Clarté du but recherché, le désir de s’engager Existence d’un cadre pour guider le processus Des gens qualifiés qui guident le processus La disponibilité et la pertinence des données La culture (du pays et de l’organisation) Vous, en tant que supporteur du processus!

Que faire lorsque des facteurs nuisent au processus? Bien communiquer à propos du processus (avant, durant, après) Utiliser des techniques de « change management » pour aider les meneurs d’enjeux à exprimer plus facilement leur point de vue Être transparent sur le but et les attentes du processus Identifier les limites et ajuster la porte de l’EO à ces limites – Soyez créatif Démontrer une utilisation concrète des résultats Déterminer périodiquement si ça vaut la peine de continuer ou d’abandonner le processus

Caractéristiques d’une intervention d’EO efficace But clair Modèle utile Évaluation organisationnelle efficace Appropriation du processus Méthodologie appropriée 56 56

Outils et Ressources d’EO Module 4 Outils et Ressources d’EO

Qu’est-ce que Reflect & Learn ? http://www.reflectlearn.org/ Site web interactif créé par Universalia, le CRDI et l’université McGill Conçu pour améliorer l’apprentissage en utilisant des cadres pour l’évaluation organisationnelle, des modèles et des outils pour stimuler l’auto-réflexion Fait sur mesure pour les organisations et les individus intéressés à en savoir davantage sur le rôle que joue l’EO dans l’amélioration de la performance organisationnelle HOW to use Reflect and Learn? Search the database Read more about the OA framework and OA additional tools Engage in constructive discussions

Cours d’EO en ligne (BID) Cours en ligne gratuits développés par la Banque Inter-Américaine de Développement http://www.iadb.org/int/rtc/ecourses Les résultats de 78% et plus vous donne le droit d’imprimer votre propre certificat!

Site Web d’EO http://www.reflectlearn.org http://www.universalia.com/site/OurPublicationsOccasionalpapersEn.asp http://www.iucn.org/themes/eval/index.htm http://www.edc.org/GLG/CapDev/dosapage.htm http://www.isnar.cgiar.org/ecd/index.htm http://www.iadb.org/int/rtc/ecourses 60

Développement ultérieur L’évaluation des réseaux – quelques observations

Observations sur les évaluations de réseaux Les membres d’un réseau ont différentes capacités, horizons temporels, intérêts, compréhension, etc. se qui rend toute tentative d’organisation d’un réseau difficile L’efficacité d’un réseau est beaucoup plus complexe que celle d’une organisation Les coûts de transaction sont toujours élevés pour un réseau – plus particulièrement les réseaux formés dans le cadre d’un projet Les bénéficiaires d’un réseau sont souvent les membres du réseau

Observations sur les évaluations de réseaux – 2 La propriété d’un réseau et sa viabilité financière sont souvent des sources de problèmes Le développement des capacités est souvent mentionné comme étant une raison pour participer à un réseau Les réseaux ont besoin d’un supporteur dévoué car la transition est souvent ardue voir notre étude sur http://www.reflectlearn.org/ (en anglais)

Merci pour votre collaboration! Conclusion SVP veuillez compléter le formulaire d’évaluation qui se trouve dans votre livret Merci pour votre collaboration!

Pour nous rejoindre: Charles Lusthaus: clusthaus@universalia.com Katrina Rojas: krojas@universalia.com Universalia Management Group, 5252 De Maisonneuve Ouest, Suite 310 Montreal, Quebec Canada (H4A 3S5) Tel: ++1-514-485-3565 Fax: ++1-514-485-3210