Developing Effective Performance Measurements

Présentation au sujet: "Developing Effective Performance Measurements"— Transcription de la présentation:

1 Developing Effective Performance Measurements
Élaboration de mesures du rendement efficaces

2 Introduction – Le thème
Commencer à voir différemment la mesure du rendement à l’aide de l’historique du système de gestion Pourquoi la mesure doit être faite? Comment peut-on mesurer dans un but précis? Quels risques doit-on évaluer? Identify measurable’s – opportunities

3 Introduction – Programme
L’expérience des billes rouges : Exercice interactif afin de présenter à tous les employés les avantages d’une approche systémique de la mesure Elle démontrera que les pratiques de gestion traditionnelle n’auront pas d’incidence et ne produiront pas le résultat voulu Insister sur l’importance des décisions de la haute direction pour veiller à ce que la sécurité fasse partie des résultats Démontrer comment l’analyse statistique peut cerner les variations inhérentes Start off the session with

4 Introduction – Programme
Comment relier l’analyse statistique et la mesure du rendement Aperçu des étapes séquentielles Identification des risques de votre organisation Reconnaissance des indicateurs de rendement avancés et tardifs Établir les liens avec votre système de gestion, vos buts et vos objectifs

5 Introduction – Programme
Quelques exemples de cas réels de notre secteur du transport aérien Accent sur les exemples d’analyse (taux d’accident ou fréquence des dangers) Compte et tendance – le pouvoir des diagrammes de contrôle Utilisation du contrôle statistique pour reconnaître les occasions d’amélioration continue

6 Introduction – Programme
Exercice interactif utilisant un exemple de processus Harmonisation de vos mesures du rendement à vos risques Comment cela cadre-t-il avec l’examen de gestion? Quand peut-on effectuer la mesure? Quels sont vos risques? Comment change-t-on ce qu’on fait? Comment effectue-t-on la surveillance? Comment effectue-t-on la rétroaction? Expose you to a way

7 Introduction – Programme
Résumé et clôture Discuter des principales leçons à retenir de la session

8 L’expérience des billes rouges de Deming :
L’expérience des billes rouges de Deming : Une nouvelle version

9 Qui est Edward Deming? Statisticien américain – mieux connu au Japon
Il a enseigné la gestion dans le Japon d’après­guerre afin d’améliorer la conception et la qualité au moyen de statistiques L’expérience des billes rouges Un outil de formation Utilisé par le passé pour démontrer les principes du système de gestion de la qualité Cela peut-il être appliqué à la Sécurité? In 1982, a teaching tool was created with Dr. Deming that he used in his seminars around the world to teach his famous 14 Obligations of Management. Dr. Deming called this training tool, The RED BEAD Experiment  or  Red bead Game.

10 Ce qu’il nous faut : Six volontaires!
Quatre travailleurs « consentants » Deux inspecteurs de la sécurité

11 PRODUIRE DES BILLES BLANCHES, DE FAÇON SÉCURITAIRE!
NOTRE MISSION

12 L’EXPÉRIENCE : La production de chaque bille blanche suit un processus
Les processus comportent naturellement des « risques » (ou des billes rouges) qui peuvent avoir une incidence sur la sécurité Les billes blanches peuvent être une métaphore pour n’importe quoi – elles sont un extrant (vol à X, réparation d’Y, peinture de Z, entreposage de W, etc.)

13 L’EXPÉRIENCE : OBJECTIF : Produire quelque chose (bille blanche), en respectant un processus préétabli, de façon sécuritaire (c.­à­d. sans bille rouge)

14 FORMATION Chaque travailleur « consentant » plonge la pagaie dans la boîte de billes dans le cadre de sa première journée de production Les inspecteurs de la sécurité comptent le nombre de risques de la « production » L’inspecteur en chef de la sécurité de l’entreprise annonce le résultat, le consigne et prononce la fin de l’exercice

15 ÉTAPE 1 DE LA PRODUCTION

16 ÉTAPE 2 DE LA PRODUCTION Norme de production : Maximum de 3 billes rouges par travailleur pour la journée!

17 CÉRÉMONIE DE REMISE DES PRIX
After each result, Deming admonishes the “willing workers” who produce too many red beads and praises those who produce the fewest. “Best worker” awards are given to the two “willing workers” who produce the fewest red beads after two days’ production. The others are put on probation

18 ÉTAPE 3 DE LA PRODUCTION Motivation!
Any suggestions or attempts by the “willing workers” to make changes for the improvement of quality are rejected by Deming; they must do exactly as they were instructed and concentrate on doing their best. After the third day of production, the two “willing workers” who produced the most defects are fired and the two remaining are put on double shifts to improve quality on the fourth day.

19 ÉTAPE 4 DE LA PRODUCTION

20 LES RÉSULTATS Un diagramme de contrôle
Deming then constructs a process behavior chart from the defect figures. The process is in a “reasonable degree of statistical control” and the average number of defects is always somewhere between 9 and 11 with control limits around zero and 19. 

21 QUE FAUT-IL EN CONCLURE?
Le système est en défaut, et non les « travailleurs ». La direction doit modifier le système The system is at fault, not the “Workers” You cannot bribe, beg, cajole, or threaten the worker into achieving Safety If the system is in statistical control (Risk Tolerance), to improve safety, management must change the system; and the system includes the people

22 QUELS MESSAGES CETTE EXPÉRIENCE CONTIENT-ELLE?
La variable est le système, et non les travailleurs. Si vous voulez améliorer le rendement, vous devez travailler sur le système. Red beads were the result of a bad system; the Willing Workers were not the problem. The system is the problem. Dr. Deming stated 94 percent of the problems come from the system rather than the worker. Yet most efforts at improvement are aimed at the worker.

23 QUELS MESSAGES CETTE EXPÉRIENCE CONTIENT-ELLE?
La sécurité vient des échelons supérieurs. La sécurité est un extrant du système. La haute direction possède le système. The systems developed by top mangers of an organization have far greater impact on the success of the organization than the best efforts exerted by Willing Workers. The decision to produce white beads in the first place; the decision to purchase beads from a particular supplier; the decision to use rigid procedures; and the decision to rely on mass inspection - all these decisions made by top management resulted in a system that contributed more than the Willing Workers to the waste, the lack of Safety, and to going out of business.

24 QUELS MESSAGES CETTE EXPÉRIENCE CONTIENT-ELLE?
Les objectifs numériques et les normes de production peuvent devenir inutiles. Le nombre de billes rouges produites est déterminé par le processus et non par les normes. The production standard of three red beads per day was impossible to achieve. The Willing Workers could not affect the number of beads produced; meeting the standard was beyond their control. The "Voice of the Customer", translated by management into a goal of 3 red beads or less, had no effect on the number of red or white beads produced. No method was given. Even if the goal is "possible", there is little to be gained by announcing such a goal to the workforce. If the goal is based upon what you expect can happen, then 50% of the time you will come in better than the goal, and 50% of the time you will come in worse (and set yourself up for failure). If you "pad" the goal to provide a margin for expected fluctuations in results, then the goal probably is no longer "challenging". If higher Safety standards are required - a lower defect rate, for example - then the production process must be improved to achieve the standard. Management must provide the method.

25 QUELS MESSAGES CETTE EXPÉRIENCE CONTIENT-ELLE?
Le fait de récompenser ou de punir le travailleur consentant n’avait pas d’incidence sur l’extrant. La motivation extrinsèque n’est pas efficace. Rewarding or punishing the Willing Workers had no effect on red bead production. Fear was not the answer. All the red beads produced were an outcome of the system's performance, not the individual Willing Workers. Yet the Foreman gave bonus pay and put people on probation supposedly as rewards and punishment for performance. The Foreman was actually rewarding and punishing the performance of the process, not the Willing Workers. Safety is achieved when workers have "Joy in Their Work" - are motivated from within (intrinsic motivation), not by rewards or punishment.

26 QUELS MESSAGES CETTE EXPÉRIENCE CONTIENT-ELLE?
Des procédures strictes et précises ne sont pas suffisantes pour produire la sécurité escomptée. The Willing Workers followed the procedures prescribed by the foreman. "Procedure compliance is mandatory." Despite following rigid procedures, Safety was not achieved. The Willing Workers had no chance to offer suggestions for process improvement. Too many red beads were produced - the plant closed down. The entire workforce must be engaged in process improvement in order to help get rid of the red beads, to stay in business and to create more jobs. Everyone has an obligation to improve the system, and thus to improve his own performance and everyone else's. The Willing Workers were victims of the process. They could not, under the rules laid down by the foreman, improve their performance. Only management can change a system or empower employees to change the system. Dr. Deming asked, "How can a man (or woman) do it right the first time when the incoming material is off gauge, off color, or otherwise defective, or if his machine is not in good order?"

27 QUELS MESSAGES CETTE EXPÉRIENCE CONTIENT-ELLE?
Les personnes ne sont pas toujours la variable dominante. HUMAN FACTORS : All the variation - differences between Willing Workers in the production of red beads, and the variation day to day of any Willing Worker - came entirely from the system itself. There was no evidence that any one worker was better than another. Variation is part of any process. Even with identical or similar tools, tasks, and talents, production will vary. There is always variation. The system consisted of the vessels, paddle, red beads, white beads, instructions and procedures. The environment, equipment, materials and procedures all contribute to variation. The Willing Worker becomes part of the system subject to variation. The Willing Workers had put into the job all that they had to offer. They could not, under the circumstances, do better. The variation in performance arises from the system itself, not from the Willing Workers. In the Red Bead Experiment Dr. Deming has purposefully eliminated the source of variation that many think is always the dominant source: that is, the people. The common wisdom is that if only people did not make so many mistakes, there would not be so many problems. But even with the variation contributed by the people reduced to zero, there are still too many red beads.

28 QUELS MESSAGES CETTE EXPÉRIENCE CONTIENT-ELLE?
Les slogans, les incitations et les affiches ne sont pas toujours utiles aux travailleurs consentants. Motivational posters had no effect on red bead production. Slogans like "Do it right the first time" are an insult. Exhortations and posters generate frustration and resentment. They advertise to the production worker that management is unaware of barriers to pride of workmanship. If we have set up our business correctly, "it" will be done right the first time. In that case the slogan is useless. If we did not set it up correctly, there is nothing that the Willing Worker can do to make it right the first time. If we didn't set up the business properly, a slogan such as this will only frustrate the worker. If the worker tries to make changes, he can only make the result worse by tampering.

29 ET LA SUITE? COMMENT POUVEZ-VOUS UTILISER L’ANALYSE STATISTIQUE POUR MONTRER OÙ EN EST VOTRE PROCESSUS?

30 PAUSE (15 minutes)

31 Lien entre les mesures du rendement
et Analyse statistique

32 Annexe A 1.0 Plan de gestion de la sécurité
1.1 Politique sur la sécurité 1.2 Politique non punitive 1.3 Rôles, responsabilités et employés 1.4 Communication 1.5 Planification de la sécurité, Objectifs et buts 1.6 Mesure du rendement 1.7 Examen de gestion 2.0 Gestion des documents 2.1 Détermination et mise à jour des règlements 2.2 Documentation sur le SGS 2.3 Gestion des dossiers 3.0 Surveillance de la sécurité 3.1 Processus réactifs 3.2 Processus proactifs 3.3 Enquête et analyse 3.4 Gestion du risque 4.0 Formation 4.1 Formation, sensibilisation et compétence 5.0 Assurance de la qualité 5.1 Assurance de la qualité opérationnelle 6.0 Préparatifs d’urgence 6.1 Préparatifs et interventions d’urgence Annexe A Appendix A – More specific and detailed requirements can be found in the Documentation Review Guide To describe the roll that each of these components / elements play in the world of measurement would just take way too long So since several of them are ‘administrative’ in their focus so to speak; elements such as Roles & Responsibilities Communication Document Management I’m therefore going to eliminate a few so that we can focus on those that specifically deal with measuring and performance

33 Éléments de mesure opérationnelle des SGS
1.0 Plan de gestion de la sécurité 1.1 Politique de sécurité 1.5 Planification de la sécurité, objectifs et buts 1.6 Mesure du rendement 1.7 Examen de gestion 3.0 Surveillance de la sécurité 3.1 Processus réactifs 3.2 Processus proactifs 3.3 Enquête et analyse 3.4 Gestion du risque 5.0 Assurance de la qualité 5.1 Assurance de la qualité opérationnelle I call these remaining elements ‘Operational’ because they focus more on the critical operational processes within your business. Now, 5.0 Quality Assurance We could talk about this component on it’s own, for a week or longer. The assuring of quality is program which includes proactive processes. How is the company going to prevent unacceptable quality, what do I have to do or change to improve the quality of my product or service. Proactive management so to speak So, once again I’m going to trim down our list since we already have 3.2 Proactive Processes And since quality assurance is a topic on it’s own deserved of much more time then we have here.

34 Éléments essentiels de mesure des SGS
1.0 Plan de gestion de la sécurité 1.1 Politique de sécurité 1.5 Planification de la sécurité, Objectifs et buts 1.6 Mesure du rendement 1.7 Examen de gestion 3.0 Surveillance de la sécurité 3.1 Processus réactifs 3.2 Processus proactifs 3.3 Enquête et analyse 3.4 Gestion du risque Now this listing looks a lot more manageable doesn’t it? We cannot remove any of these remaining 8 elements if we expect to satisfy the measurement requirement of an SMS. These 8 elements are the core elements when an organization is preparing to identify process measurable. This is a lot more manageable listing but it can also be flow charted as seen on the next slide

35 Liste de plusieurs processus essentiels de la sécurité
Nom du processus (Processus essentiel de la sécurité) Description des éléments mesurables/IRC Unité de mesure (unités, quant., lb, %, etc.) Cible (Augmentation /diminution/ nombre) Objectif de PS (Créer un objectif de PS ou un lien y menant) Arrimage des marchandises Chargement et arrimage des marchandises Consigner le nbre d'incidents Nombre d'événements Déterminer et maîtriser tous les dangers connus et potentiels à la sécurité de l'aviation. Réduction de 10 % par trimestre In your handouts you will find a template such as this one. Using the list we developed of critical processes or a process within in your own organization We would like you to: a) identify a process with a brief desc d) describe the measurable or KPI c) jot down the unit of measure c) describe the target and finally e) note or link this measurable to one listed on an earlier slide

36 1) Déterminer un processus Processus essentiels de sécurité
2) Déterminer un élément mesurable pour chacun Déterminer IRC Déterminer un élément d’amélioration continue et une unité de mesure 3) Noter l’unité de mesure Élément mesuré et méthode afin de démontrer l’amélioration 4) Établir un objectif Peut être un pourcentage d’augmentation ou de diminution Taille Nbre d’unités Quant. Lb 5) Lier les processus aux objectifs Noter un objectif d’une diapo précédente

37 Exemples d’objectifs de PS
1. Faire de la sécurité de l’aviation notre priorité absolue 2. Décrire, mettre en œuvre et mettre à jour un SGS efficace 3. Respecter ou dépasser toutes les exigences réglementaires applicables 4. Établir et respecter une philosophie d’amélioration constante 5. Encourager la participation des employés et soutenir leurs efforts 6. Réduire et supprimer les causes réelles et potentielles d’incidents ou d’accidents 7. Déterminer et maîtriser tous les dangers connus et potentiels pour la sécurité de l’aviation 8. Adopter une politique non punitive pour la sûreté de tous les employés Here are several objectives You may use them, there are more, you only need to 3 or 4 at a time. Now lets choose 3 at random

38 Lorsque les organisations mesurent leurs SGS, elles doivent :
1) Déterminer ce qu’elles veulent contrôler (IRC) 2) Choisir et établir l’unité de mesure 3) Déterminer un but ou un objectif 4) Interpréter/examiner la différence 5) Prendre des mesures relativement à la différence Here is a simple list of the steps required to measure and take action on the results. READ Explain why industry falls short on this The main culprit is #1 Explain why Has any heard of Alfredo Pareto. Actually his first name is Vilfredo But he was and Italian economists At the turn of the century he created a rule for distribution. That rule became known as the “80/20 Rule” Pareto stated that 20% of the people controlled 80% of the money. In this slide the 80/20 rule applies i.e. 20% of the above steps contribute to 80% of the problem So we need to determine how and what we will measure before we can actually start measuring.

39 Exemple d’une mesure réelle prise dans l’industrie afin
de réduire ou d’éliminer les incidents mineurs au sol Énoncé de l’objectif : Examiner et analyser les rapports et fournir une rétroaction aux gestionnaires de la maintenance pour qu’ils puissent apporter des changements aux procédures/à la formation afin de réduire les dommages aux aéronefs par les employés qui effectuent la maintenance.

40 Portion du tableur d’Excel et saisie des données

41 Données saisies affichées dans un graphique à barres

42 Mesure prise 1er trim.-2009 Observations
Les rapports sur les mesures correctives qui ont été prises par rapport aux employés pourraient ne pas être efficaces. Existence possible de tendances Actions correctives Rapports exploités des années précédentes et intégrés au graphique Une formation particulière a été donnée Sensibilisation accrue

43 Mesure prise 4e trim.-2009 Observations
Y a-t-il eu des rapports sur les dommages durant la circulation d’un appareil de levage autour de l’aéronef? Utilisation d’observateurs Mesures 4) Le service de formation examinera la présentation sur le travail en hauteur

44 Mesure prise Mesures La présentation sur le travail en hauteur a été modifiée afin de mieux se centrer sur le dégagement et l’utilisation d’observateurs Le revêtement de la console centrale a été terminé pour tous les types d’aéronefs Le service de formation modifiera le programme de formation sur les facteurs humains afin de fournir un message plus clair et concis aux employés. Commentaire : Sept (7) CAP/changements ont fait l’objet de discussions et ont été examinés et mis en œuvre afin de limiter les dommages aux aéronefs

45 Courbe de tendance commençant en 2006 – 1er trimestre
Rapports habituellement non présentés

46 Courbe de tendance commençant en 2008 – 1er trimestre

47 Transports Canada Données saisies sur les accidents d’aéronefs dans la Région de l’Ontario

48 Compte

49 Tendances

50 Au lieu d’établir les tendances…
Saisissons ces données dans un diagramme de contrôle

51 Diagramme de contrôle Accidents en Ontario – 1993-2010
Limite de contrôle supérieure Moyenne Limite de contrôle inférieure Three Sigma Limit = Limite de trois sigma Two Sigma Limit = Limite de deux sigma One Sigma Limit = Limite d’un sigma Average = Moyenne A single point outside the control limit = Point à l’extérieur des limites de contrôle Two of three pts outside the two sigma limit = Deux points sur trois à l’extérieur de la limite de deux sigma Four of Five pts outside the one sigma limit = Quatre points sur cinq à l’extérieur de la limite d’un sigma Eight in a row on the same side of centerline = Huit en ligne sur le même côté que la ligne du centre Control Chart Data = Données de l’organigramme de contrôle Average Bad = Moyenne des dommages Chart Average = Moyenne de l’organigramme Maximum bad = Dommages maximums Minimum Bad = Dommages minimums Number of samples = Nombre d’échantillons Chart Limits =Limites de l’organigramme One sigma Upper Limit = Limite supérieure d’un sigma Two sigma Upper Limit = Limite supérieure de deux sigma Three sigma Upper Limit = Limite supérieure de trois sigma One sigma Lower Limit = Limite inférieure d’un sigma Two sigma Lower Limit = Limite inférieure de deux sigma Three sigma Lower Limit = Limite inférieure de trois sigma Chart Characteristics = Caractéristiques de l’organigramme Chart type = Type d’organigramme Np Chart = Organigramme Np Defect type = Type de défaut Defectives = Détectueux Sample Size Constant = Échantillon de taille de constante Yes = Oui

52 Interprétation Commentaires Préoccupations Processus instable
Sept (7) points à l’extérieur des limites de contrôle Huit (8) points en ligne – même côté de la moyenne Commentaires Processus instable Processus hors contrôle Processus pourrait ne pas être viable Préoccupations Three Sigma Limit = Limite de trois sigma Two Sigma Limit = Limite de deux sigma One Sigma Limit = Limite d’un sigma Average = Moyenne A single point outside the control limit = Point à l’extérieur des limites de contrôle Two of three pts outside the two sigma limit = Deux points sur trois à l’extérieur de la limite de deux sigma Four of Five pts outside the one sigma limit = Quatre points sur cinq à l’extérieur de la limite d’un sigma Eight in a row on the same side of centerline = Huit en ligne sur le même côté que la ligne du centre Control Chart Data = Données de l’organigramme de contrôle Average Bad = Moyenne des dommages Chart Average = Moyenne de l’organigramme Maximum bad = Dommages maximums Minimum Bad = Dommages minimums Number of samples = Nombre d’échantillons Chart Limits =Limites de l’organigramme One sigma Upper Limit = Limite supérieure d’un sigma Two sigma Upper Limit = Limite supérieure de deux sigma Three sigma Upper Limit = Limite supérieure de trois sigma One sigma Lower Limit = Limite inférieure d’un sigma Two sigma Lower Limit = Limite inférieure de deux sigma Three sigma Lower Limit = Limite inférieure de trois sigma Chart Characteristics = Caractéristiques de l’organigramme Chart type = Type d’organigramme Np Chart = Organigramme Np Defect type = Type de défaut Defectives = Détectueux Sample Size Constant = Échantillon de taille de constante Yes = Oui Pouvons-nous créer des résultats potentiels? Si oui, quelles seraient les prochaines étapes ou mesures?

53 Hypothétique pour les 17 prochaines années

54 S’agit-il d’un processus stable et contrôlé?
Le processus est-il viable?

55 71

56 Exemple hypothétique Enregistrement des données Élaboration de graphiques

57

58

59

60

61 Collision = (Same) Runway incursion = Incursion sur la piste Open = Ouvert Foreign object damage = Dommage par corps étranger Aborted takeoff = Décollage interrompu Target = Cible Bird strikes = Impacts d’oiseaux Month total = Total mensuel

62 Hydraulic incident = Incident hydraulique
Component failure = Défaillance d’un composant Open = Ouvert Engine Failure = Panne moteur Electrical incident = Incident électrique Target = Cible Communication = (same) Month total = Total mensuel

63