Colloque SWEP-SFE 23 mars 2007 – Indicateurs et politiques Colloque SWEP-SFE 23 mars 2007 – Indicateurs et politiques. Le syndrome du tournesol Indicateurs dans le cadres des contrats d’administration : expériences de l’INAMI, du SPF Sécurité sociale et de la Cellule stratégique du Ministre Demotte

Introduction

Historique 1990 : 1er Memorandum AG 1991 : Introduction progressive des tableaux de bord 1993 : 2è Memorandum AG 1995 : Charte de l’Assuré social 1997 : AR de responsabilisation 2002 : 10 contrats d’administration 2003 : 5 contrats d’administration 2004 : évaluation SPF Sécurité sociale 2005 : Audit de la Cour des Comptes 2006 : 14 contrats d’administration

Définition des indicateurs

Nature des indicateurs & aperçu général Tableaux de bord vs. Contrats d’administration Indicateurs négociés Nature des indicateurs : politique vs. gestion interne Évolutions : qualité & politique

CS Affaires sociales

INAMI : organigramme

INAMI : processus de mgt stratégique PLAN STRATEGIQUE : Mission, vision et objectifs stratégiques + CONTRAT D’ADMINISTRATION (INAMI/Ministre) PLAN OPERATIONNEL: objectifs opérationnels pour tous les services IMPLEMENTATION et EXECUTION des ACTIONS CERCLES DE DEVELOPPEMENT: objectifs individuels FICHES DE SUIVI par objectif opérationnel RESULTATS: mesurer et évaluer (indicateurs de performance) + CORRIGER

INAMI : de la stratégie à l’individuel Quel est l’objectif? Service Comment l’atteindre? Individu Comment y contribuer? Niveau stratégique Niveau opérationnel Niveau individuel Cercles de développement PLANIFIER - AGIR - ÉVALUER - CORRIGER

INAMI : remarques préliminaires Contrat d’administration (2002) = opportunité pour l’introduction des tableaux de bord Depuis 2003, d’autres tableaux de bord en cours dans le cadre de notre Plan stratégique (restructuration de services, informatisation de dossiers, suivi ICT, BSC RH,…)

INAMI : éléments essentiels Aussi bien en interne qu’en externe, manifester notre bon fonctionnement : démontrer les résultats de nos activités (transparence, objectivité) : Objectiver notre performance Corriger à temps par le management (système d’alerte pour prendre décisions par le management ) Suivre les effets d’un projet ou d’une politique publique

INAMI : définition des indicateurs Importance d’une définition précise de chaque indicateur des tableaux de bord (être d’accord dès le départ sur ce qu’on mesure de manière à notamment éviter de ‘comparer des pommes et des poires’): définition des notions reprises dans l’indicateur mode de calcul méthode de collecte personne responsable de la collecte périodicité de collecte personne resposable du controle de qualité … Méthode intuitive pour l’essentiel mais s’orientant vers le déductif (plus grande réflexion sur la finalité, sur la nécessité de valeurs de départ et de valeurs-cible = normes) Penser en termes d’objectifs SMART (évaluable, mesurable) et normés : pex, x % de dossiers qui doivent être préparés dans les x jours ouvrables, augmentation de médicaments génériques prescrits de x % d’ici 2008, de y % d’ici 2010 etc ..

INAMI : définition des indicateurs Elaboration des indicateurs : proposition du chef de projet et son équipe contrôle qualité (Cellule modernisation) validation par hiérarchie validation et proposition d’amélioration possible par le Commissaire du gouvernement Indicateurs quantitatifs (ex. délais) mais aussi qualitatifs (ex. erreurs)

INAMI : définition des indicateurs Indicateurs autour d’axes stratégiques précis : Maîtrise des dépenses Amélioration du service rendu aux usagers Simplification administrative (pex procédures) Meilleure application uniforme de la réglementation SSI Points de discussion : surtout sur la faisabilité de l’indicateur et les risques de dépendance (ex: OA, OT, firmes phamaceutiques,..) sur les moyens à libérer par le management pour un investissement IT ou un renfort en personnel éventuel,… et aussi surtout sur le niveau d’ambition de la valeur-cible de l’indicateur (norme, standard) …

INAMI : exemple des tableaux de bord Contrat d’administration Suivre et mesurer par indicateurs les: Actions Résultats effectifs - engagements Résultats - hors engagements (résultats attendus / effets escomptés) : Impact/Outcomes Facteurs d’environnement qui peuvent influencer la réalisation des actions et résultats

INAMI : typologie des tableaux de bord Mesurer et suivre les délais et/ou la qualité de traitement de dossiers Exemples concrets : Conseil Médical de l’Invalidité, Commission de Remboursement du Médicament, Fonds spécial de solidarité, .. Mesurer et suivre les délais et/ou la qualité de validation de données Exemples concrets : Pharmanet, Séjours hospitaliers anonymes, .. Mesurer et suivre l’efficacité de politiques publiques ou de projets initiés par l’Inami Exemples concrets : Nouvelle règle en incapacité de travail, Call-center SdSS, ..

INAMI : typologie – exemple CRM

INAMI : typologie – exemple Pharmanet

INAMI : typologie – exemple CRM

INAMI : typologie – exemple Callcenter SdSS

SPF : rôle quant à la définition des indicateurs des IPSS Aucun jugement sur l’opportunité des objectifs et indicateurs : responsabilité des parties contractantes Critères de qualité Contrat : opérationnalisation, normes, indicateurs (précision, validité, fiabilité), SMART, analyse de risques Rapport : lisibilité, consistance, fiabilité Analyse technique Analyse après deux années + rapport sur proposition Check-up qualité : SMART – degré d’opérationnalisation Objectifs Résultats Présence d’indicateurs : ops Clarté des objectifs Clarté des résultats Adéquation résultats - objectifs

SPF : indicateurs de processus Rapport IPSS Réaction CGo Concer-tation IPSS-CGo Envoi dossier au Ministre La phase a-t-elle eu lieu ? S’est-elle déroulée dans les délais prescrits ? Remarques ?

Collecte & exploitation de l’information

INAMI : collecte et exploitation Richesse mais aussi difficulté et risque (dépendance) dans la multiplicité des sources de données Données internes, ex. : Données sur le traitement administratif de dossiers à l’INAMI (e.a. dossiers d’invalidité, d’admission au remboursement des médicaments, d’octroi du FSS) Données externes, ex. : OA (e.a. données diverses, délais de paiement aux assurés sociaux,) Offices de tarification (e.a. consommation pharmaceutique en ambulatoire) Dispensateurs de soins (e.a. via questionnaires) Coût de la collecte (application ICT, renforts RH, dépendance acteurs extérieurs,…)

INAMI : collecte et exploitation Importance de l’informatique dans la collecte des données de l’indicateur : Dorénavant, lorsqu’une nouvelle application informatique est envisagée ou un projet développé, la nécessité ou l’utilité éventuelle d’intégrer un tableau de bord (statistiques, délais etc ..) est envisagée (ex : informatisation des dossiers contentieux) Datawarehouse et système de flux de données intégré (lien entre différents indicateurs et objectifs) Plus grande fiabilité des données si calcul automatique plutôt que manuel (ex : évolution dans le calcul des délais de traitement des dossiers du FSS) …. Importance de la qualité des données transmises : même si vérification par Cellule modernisation, la fiabilité doit passer par la mise en place d’une analyse systématique des processus (BPM) et d’un système de gestion des risques et de contrôle interne (+ création d’une cellule d’audit interne) : en cours de développement

INAMI : collecte et exploitation Précautions actuelles au niveau de la qualité et fiabilité des données transmises : Importance de définitions claires et précises des indicateurs et des objectifs Importance d’un accord négocié entre toutes les parties concernées par ces définitions Clairement identifier les responsabilités de chacun en interne dans le processus de production, collecte et exploitation (qui fait quoi) Rôle de la Cellule modernisation et identification des points de contrôle existants dans les services Rôle du Commissaire du gouvernement actif dans ce domaine

INAMI : collecte et exploitation Reporting trimestriel au Comité de direction Objectif : Information + action Reporting aux Commissaires du gouvernement Tableaux de bord actualisés (trimestriel) Informations tirées des indicateurs des tableaux de bord fournies dans un rapport analytique sur l’avancement des projets et objectifs (semestriel) = commentaires des indicateurs et conclusions à en tirer Reporting au Comité général de gestion (partenaires sociaux, OA, …) Pas trop d’indicateurs pour que le reporting soit efficace Réel dialogue et return/feedback : INAMI  Commissaire  CGG  Cabinet Ministre  Commissaire  INAMI

INAMI : collecte et exploitation En résumé : Calculs et analyses  valeur/qualité de l’information tirée de l’indicateur Regrouper ou ventiler les données/informations en fonction du groupe-cible (interne au Service, Comité de direction, Commissaires du gouvernement,…)

CS Affaire sociales

SPF : suivi général des résultats Conseil des Ministres Ministre de Tutelle / Ministre du Budget Rapport du 27è mois Rapport commun SPF Sécurité sociale Commissaires du Gouvernement Proposition de consolidation & analyse générale Concertation annuelle Remarques Remarques Proposition de rapport annuel Collège Institution

Pourcentage d’objectifs SPF : check up qualité 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Pourcentage d’objectifs Norme peu claire 8,7% Pas d’info sur les résultats 12,2 % Qualité de l’info OK 70,4% Norme peu claire & Pas d’info sur les résultats 3,3 % Inadéquation entre la norme et les résultats 5,3 % Objectifs opérationnels avec un problème d’info 29,6%

SPF : analyse générale

SPF : analyse – homogénéité Nombre d’objectifs Degré de réalisation Qualité de l’info Opérationnalisation

SPF : soutien indirect à la collecte et l’exploitation Le SPF mets à la disposition des IPSS des instruments de gestion Recherches IAU : mesures des résultats, budgets orientés résultats et gestion des risques Recherche SPP Pol Scient : gestion des réseaux secondaires

Effets en fonction des indicateurs

SPF: fonctions des indicateurs Manques : efficacité / risques

Constatations du SPF Le comportement de l’État s’adapte aux résultats Résultats pris en compte lors des négociations Indicateurs du contrat = indicateur sur la situation de l’IPSS Le suivi et la concertation deviennent une obligation Début d’évaluation : structurelle, pas encore financière Indicateurs négociés = stimulus pour l’innovation au sein de certaines IPSS Pour le SPF Rôle de soutien Consolidation requiert des commissaires professionnels

CS Affaires sociales

INAMI : effets de l’information Rappel : Objectif/projet (planning)  Tableau de bord (délimitation objet de mesure) Indicateurs (définition) Données (collecte, analyse et contrôle qualité)  information (rapportage)  décision !! Outil d’aide à la prise de décision et de dialogue périodique ! Au regard de cette ligne du temps et d’actions et outre l’importance de la qualité des indicateurs élaborés, la qualité de l’information et de la décision dépend souvent de la qualité de l’objectif déterminé ! En concertation avec le Cabinet et le Commissaire du gouvernement, le “focus” via un suivi par tableaux de bord est réalisé : sur nos points faibles en termes de traitement de données ou de dossiers sur les parties du secteur soins de santé et indemnités considérés comme stratégiques (médicaments pex) … Autrement, il est essentiel de d’abord avoir un accord sur ce qu’on veut avoir comme information pour ensuite se poser la question de savoir ce qu’il importe de mesurer exactement et si nous disposons des moyens internes et externes pour le faire !

INAMI : effets de l’information Le focus sur certains secteurs à suivre en particulier par le biais d’indicateurs ne signifie pas et n’a pas pour effet non plus que les autres secteurs qui ne feraient pas l’objet de ce suivi dysfonctionneraient : Mais vu qu’il n’y a pas d’indicateurs dans ces domaines, comment le démontrer !?! Constatation d’une meilleure qualité du processus décisionnel. Les indicateurs ont permis : de clairement et rapidement faire le point sur la situation et prendre les décisions-actions correctrices en interne (pex. renfort IT ou RH, réorganisation d’un service, analyse des processus,…) ou en externe (pex. contacts avec le Cabinet, les OA etc ..) d’objectiver notre ‘fonctionnement’ en externe et ainsi de renforcer notre image de marque (outil de reddition des comptes, de marketing public via une communication externe active,..) d’aider d’autres acteurs (Ministre, OA, OCM,) à prendre les décisions adéquates

INAMI : syndrôme du tornesol ? S’orienter que sur le quantitatif : non (aussi qualitatif) S’orienter que sur ce qu’on sait mesurer : non (d’où identification de facteurs d’environnement) S’orienter que sur ce qu’on fait bien : non (nos points faibles aussi visés) On s’oriente, après concertation et négociation, sur les objectifs (quels domaines à suivre) et indicateurs (quel niveau d’exigeance, de performance à atteindre) cummunément approuvés par les deux parties (INAMI et Politique) Tout ne figure pas que dans le contrat, il y aussi notre plan stratégique davantage orienté vers le suivi de notre mode de gestion interne (pas d’obligation légale ni de lien ‘évaluation-sanction’)

INAMI : fonctions des indicateurs Essentiellement : indicateurs de réalisation, de résultat, d’impact et de contexte. Pas encore d’indicateurs d’activité (problème pour négociation du contrat, lien comptabilité analytique) mais cette information, via BSC, sur le fonctionnement interne (données RH, information ICT, suivi des frais d’administration) est en cours de réalisation Pertinence des indicateurs par rapport à leurs fonctions : Ceux qui objectivent clairement une situation (ex : CRM pour clarifier responsabilités entre Inami et Cabinet) Ceux dont les données sont utilisées par d’autres organismes à des fins décisionnelles (ex : FSS pour responsabilisation financière des OA) Ceux dont les données sont utiles au Ministre pour évaluer sa politique publique (ex : nouvelle règle de cumul en incapacité travail) Ceux dont les données sont utiles à l’Inami pour évaluer son projet (ex : nouveau call-center pour certains dispensateurs de soins) …

INAMI : fonctions des indicateurs Non pertinence de certains indicateurs : Ceux dont les données ne sont pas ou peu utilisées par l’Inami, le Ministre ou d’autres organismes,…, autrement dit dont il est impossible de tirer des informations ou dont les informations à en tirer sont de faible qualité, pauvres ou peu fiables Ceux qui sont redondants ou trop complexes/détaillés et qui n’ont pas nécessairement une grande plus-value … Attention : Indicateurs reformulés pour mieux coller à la réalité (organisation ‘apprenante’) Un indicateur dont la collecte des données pourrait par exemple poser problème (relations de dépendance avec partenaires, problèmes informatiques,…) n’est pas pour autant un indicateur non pertinent !!

Conclusions

Conclusions pour le SPF Qualité minimale présente partout Cellule commissaires Développement de nouveaux indicateurs : efficacité & risques Développement de l’audit interne Flexibilité du système de concertation Évaluation

Conclusions pour l’INAMI Expérience très positive mais pour une introduction progessive des indicateurs (nombre de tableaux de bord plus élevé dans le 2ème contrat par rapport au 1er) Opter, au regard de valeur actuelle qui servira de valeur départ, pour une évolution également progressive de l’objectif à atteindre ou de la valeur-cible de l’indicateur (norme, standard) : ambiteux mais réaliste ! Efforts à fournir pour une extension des indicateurs relatifs à nos missions (administratives, financières,…) tout en gardant nos indicateurs d’objectifs/de projets. A noter que des indicateurs de missions existent déjà (pex traitement de dossiers ou de données, paiement des dispensateurs de soins, communication des montants et tarifs,…)

Conclusions pour l’INAMI Les indicateurs ne couvrent et ne couvriront jamais toutes les missions (multiples et complexes) de l’Inami ! Ce n’est ni souhaité, ni souhaitable ! Notre volonté n’est pas de tout mesurer ! Tout ne se mesure pas ou ne s’y prête pas ! Même si le sentiment est moins présent, parfois encore inquiétude par rapport aux indicateurs : quant à la lourdeur (rapport coûts/bénéfices) l’intérêt, l’utilité et l’usage (pourquoi, pour qui ?) ou encore le risque d’utilisation des données à un niveau individuel (crainte de la sanction) …. Importance donc de bien communiquer sur la valeur ajoutée et l’usage qui en sera fait !!

Conclusions pour l’INAMI Dès qu’on planifie un projet ou une application IT, adoption d’un “réflexe tableau de bord” (quelles données, comment collecter, comment traiter, quel reporting, ..) Faire preuve de souplesse dans la possibilité d’adaptation des indicateurs (pouvoir adapter les indicateurs avec l’expérience)…mais attention veiller au contrôle qualité pour vérifier la motivation de cette modification et l’impact pour le suivi du projet ou objectif (risque de comparer des éléments différents ou calculés différemment) …

Conclusions pour l’INAMI Outre la problématique de l’accès aux sources de données, aux partenariats et accords à conclure en la matière…, nous sommes très attentifs au rapport coûts (charge de travail) - bénéfices (informations à tirer) du tableau de bord En définitive, toujours se poser les mêmes questions essentielles à avoir : quoi mesurer, pourquoi, rapport coûts/bénéfices, comment mesurer, reporting de l’information + à qui + périodicité + mode de reporting,…

Conclusion pour la CS Affaires sociales

Contacts Cellule modernisation - INAMI Thibaut DUVILLIER Thibaut.Duvillier@inami.fgov.be Domaine Gouvernance – DG Soutien stratégique SPF Sécurité sociale Amaury Legrain amaury.legrain@minsoc.fed.be Cellule stratégique du Ministre des Affaires sociales Cellule Sécurité sociale Sarah Scaillet sarah.scaillet@minsoc.fed.be