Utilisation de CMMI au bénéfice de l’Ingénierie des Systèmes à la DGA ® CMMI is registered in the U.S. Patent and Trademark Office by Carnegie Mellon University (SM) SCAMPI is a service mark of Carnegie Mellon University 25/03/2017 Utilisation de CMMI au bénéfice de l’Ingénierie des Systèmes à la DGA Journée thématique AFIS – 15/09/2010 Utilisation de CMMI au bénéfice de l’Ingénierie des Systèmes à la Direction Générale de l’Armement Alain DOHET (DGA) Thierry TACQUET (ALL4TEC)

25/03/2017 SOMMAIRE Une démarche d'évaluation CMMI chez un maître d'ouvrage : pourquoi ? Le modèle CMMI Acquisition : difficultés d'interprétation et spécificités Évolutions de la vision et de l'approche au fil du temps Convergence des actions CMMI et « Renforcement de l’IS à la DGA » Enrichissement des processus et méthodes d'ingénierie système par le modèle CMMI

Une démarche d'évaluation CMMI chez un maître d'ouvrage : pourquoi ? 25/03/2017 Une démarche d'évaluation CMMI chez un maître d'ouvrage : pourquoi ? Bénéfices attendus Sur les opérations d'armement Amélioration de l'efficacité des pratiques pour respecter les engagements (coûts, délais, performances) Évaluation des pratiques terrain et des préconisations transverses (diagnostic structuré) Identification de certaines pratiques au-delà des préconisations transverses comme précurseurs potentiels de préconisations futures (aide à l’innovation dans les pratiques) Sur la structure Partage de références et de pratiques communes au sein des métiers  facilite : la mobilité des personnes la gestion des ressources au sein de la DGA Accompagnement du resserrement de format (réduction progressive des ressources) Globalement Amélioration de l’image de la DGA en tant que maître d’ouvrage Confiance accrue des clients et partenaires de la DGA Renforcement de la DGA dans son rôle de « modèle d’ingénierie » (de maîtrise d’ouvrage) vis-à-vis de ses partenaires (industrie, partenaires étrangers, autres ministères, …) Maîtrise de sa performance dans un environnement en réorganisation (ministère) Amélioration de l’efficacité des pratiques : en se mesurant à des pratiques éprouvées en les capitalisant dans les référentiels documentaires des processus en renforçant le professionnalisme en chassant la non valeur 3

2 - CMMi-ACQ : des interprétations particulières Des réglages nécessaires au lancement de la démarche Un périmètre d’application de CMMi spécifique au cœur de métier de la maîtrise d’ouvrage DGA Les pratiques d’ingénierie dans le modèle ACQuisition : mieux prises en compte pour la maturité CMMi-ACQ et commande publique Les TSD et leurs conséquences sur la maturité des fournisseurs

Des réglages nécessaires au lancement de la démarche « Qui est le DSI ? » « Où sont les CR des tests unitaires du logiciel ? » Objet et champ de l’amélioration adossée à CMMi-ACQ : « Préparation et conduite des opérations d’armement » « menées en national et hors coopération »  exclusion des processus et pratiques partagées Disponibilité d’un soutien externe qualifié ACQ

Le périmètre d’application et les pratiques concernées FCM STB/CCTP PCE PME DS Essais/MCO/SLI Ce sont les processus dans cette zone qui sont améliorables en vue de leur évaluation Les pratiques et objets du périmètre CMMI sont celles propres à la DGA, pas ceux de l’industriel de rang 2 Exemples La traçabilité des exigences porte sur celles des Etats-Majors, pas sur celles du CCTP vers l’industriel L’estimation des efforts concerne le personnel DGA de l’EPDP, pas la charge estimée par l’industriel La gestion de configuration est essentiellement documentaire L’objet de PPQA (Assurance Qualité Processus et Produits) est d’abord interne

Les pratiques d’ingénierie pour l’acquisition : une maturité plus précoce que pour le modèle CMMi-DEV Le domaine de processus RD (requirements definition) devient ARD et (surprise) passe du niveau 3 au niveau 2  dès le premier gain en maturité il faut prendre en compte : l’explicitation du besoin et le développement des exigences (elicitation) l’allocation des exigences à l’architecture du système l’identification des interfaces la conception des scénarios de missions la définition fonctionnelle l’analyse de la valeur

Les premières pratiques d’acquisition de CMMi et la commande publique Anecdote pour les puristes Exégèse des modèles, vocabulaire CMMi, mots réservés Abandon du mot « processus » au sens CMMI, désormais réservé à la maison des processus DGA au sens ISO 9000 CATEGORIES SECTEURS-CLÉS du Niveau de Maturité 2 ACQUISITION SUPPORT MANAGEMENT DE PROJET ARD Développement des Exigences de l’acquisition PP Planification de Projet PMC Contrôle et Suivi REQM Gestion des Exigences CM Gestion de Configuration MA Mesure & Analyse PPQA Assurance Qualité Processus et Produits SSAD Elaboration des accords Fournisseurs AM Gestion des Contrats (SAM dans CMMi-DEV) Bonnes prédispositions lors de l’application du CMP “Monitor Selected Supplier Processes” : une AQF sur-mesures La surprise de maturité

Les Typical Supplier Deliverables Conséquences sur la maturité des fournisseurs CMMI-DEV détaille ses bonnes pratiques par des sous-pratiques et des Typical Work Products (résultats ou artefacts types attendus) CMMI-ACQ y ajoute des TSD ex : CM SP3.2 – Effectuer des audits de configuration TWP = Résultats d’audits de configuration dans le périmètre TSD = Résultats d’audits de configuration par et chez le fournisseur il s’agit là d’ « exigences » sur la maturité du fournisseur : Maturité du fournisseur acquise au préalable Ou imposé à l’occasion du contrat/projet la maturité CMMi-ACQ du donneur d’ordres agit sur /dépend de celle de son fournisseur pour les pratiques d’Ingénierie Système, et à cause de la ‘surprise’ ARD au ML2, le fournisseur doit faire preuve de maturité quant à la validation (ML3 DEV)

3 – CMMI & IS : Évolution de la vision et de l’approche DGA CMMI : un projet en mode incrémental 2006 : lancement (modèle CMMI/DEV) 2007 : diagnostic / pratiques effectives  opérations pilotes 2008 : modèle CMMI/ACQ 1er sem. 2009 : évaluation à blanc niv. 2 Évaluation officielle Phase 1 : 2009-2010 - approche étagée (niv. 2) 3 unités de management Phase 2 : 2011-2013 - approche continue 7 autres UM Phase 3 : 2014… IS : fin 2008  changement de paradigme IS collaborative avec l’industrie 2010 : Convergence des deux projets CMMI + IS Qualité & Progrès Pilotage Dir. technique Pilotage

25/03/2017 4 - Convergence CMMI et renforcement de l’IS : motivations et modalités Pourquoi ? Périmètre commun Cohérence des actions de progrès Appui mutuel de deux « méthodologies » pour mieux diffuser Réduction de la charge induite sur les équipes de programme IS : besoin de démontrer sa valeur ajoutée CMMI : éviter les disparités entre unités de management et besoin d’illustrer son utilité Comment ? Adoption de l’approche continue du CMMI sur plusieurs unités de management plutôt qu’étagée par unité de management Choix des secteurs-clés : 2 achats + 2 IS IS  CMMI : application de l’IS préférentiellement sur les programmes pressentis représentatifs pour les évaluations CMMI CMMI  IS : évaluation objective de l’apport de l’IS (diagnostics légers ciblés, évaluations formelles) Intérêt de l’approche continue  possibilité : de cibler les secteurs clés à évaluer (effort d’amélioration optimisé) d’instrumenter les cas pilotes apports d’une approche méthodologique particulière de s’intéresser à des secteurs clés relevant d’autres niveaux (voire du modèle CMMI-DEV) de réduire l’effort de constitution des bases de preuves 11

CMMI®ACQ et Ingénierie Système 25/03/2017 CMMI®ACQ et Ingénierie Système 5 Processus optimisés Innovation et déploiement organisationnels Secteurs clés directement liés à l’IS Processus optimisés Analyse causale et résolution 4 Processus contrôlés Performance du processus organisationnel Processus contrôlés Gestion de projet quantitative 3 Analyse et prise de décision Gestion des risques RSKM Validation de l’acquisition AVAL Processus « institutionnalisé » Vérification de l’acquisition AVER Gestion de la solution technique ATM Formation organisationnelle Évaluation et amélioration des processus Définition de processus organisationnels Gestion de projet intégrée 2 Processus gérés projet par projet Mesures et analyse Élaboration des contrats fournisseurs Nota : le « développement des exigences » est au niveau 3 du CMMI pour le développement et au niveau 2 du CMMI pour l’acquisition ; l’objectif du « développement des exigences » est d’élaborer et d’analyser les exigences du client et plus généralement des parties prenantes (besoins), du produit et des composants du produit (exigences). le secteur-clé ARD n'a pas été retenu parmi ceux pris en compte dans la démarche d'évaluation continue pour la période 2011-2013. Les raisons sont multiples : - volonté de limiter le nombre de secteurs-clés objets de l'évaluation (d'où le passage au mode continu => 2 secteurs relatifs aux achats + 2 à l'IS) - REQM et CM jugés plus importants pour les EPDP et plus accessibles à court terme (marche à franchir supérieure pour ARD) Ceci ne signifie pas que, côté IS, nous nous en désintéresserons. Au contraire, il nous faut faire évoluer la maturité de la DGA sur le sujet, pour que les équipes de programme soient au niveau pour la phase d'évaluation CMMI suivante, qui englobera d'autres secteurs-clés. Il est prévu avec le SMQ que l'IS puisse faire appel à l'évaluateur CMMI pour des appréciations informelles des pratiques définies pour ARD. Gestion des contrats fournisseurs Processus gérés projet par projet Assurance qualité processus et produits Gestion de configuration CM Gestion des exigences REQM Développement des exigences ARD Contrôle et suivi de projet Planification de projet

Enrichissement des référentiels IS Process Area Specific practices Subpractices Typical Work Products Specific goals Generic practices Generic goals Required Expected Informative Key : Process Name Purpose Outcomes Activity Task Note 15 288 Process attributes CMMI Model Components Pas de bijection Référence DGA pour l’IS

Enrichissement des référentiels IS. Exemple GP : Generic Practice SP : Specific Practice processus activités tâches ~1,25 page « Examples of techniques to check needs »  « comment » ~1/4 page (commentaires) Ref. : ISO 15288:2008 to CMMI-DEV v1.2 map Boris Mutafelija & Harvey Stromberg

Le ‘packaging’ CMMi de la pratique IS. Exemple Plan the ARD Process Provide Resources for ARD Assign Responsibility for ARD Train People to ARD Manage ARD products Configurations Identify and Involve Relevant ARD Stakeholders Monitor and Control the ARD Process Review ARD Status with Higher Level Management

CMMI/ACQ – Points durs Intérêt limité de certaines exigences CMMI nécessaires pour le passage SCAMPI en démarche étagée + contraintes lourdes liées à l’évaluation formelle en elle-même ((base de preuves) qui génèrent des actions correctrices sans utilisation ultérieure et très consommatrices de ressources  choix du mode continu Perception des actions CMMI : « diplôme » vs démarche de progrès continue Investissement en ressources assez important, alors que les équipes sont déjà sous fortes contraintes et donc peu disponibles, pour un gain qui se mesurera à plus long terme et au niveau de la DGA plutôt que de l’équipe Périmètre de l’évaluation choisi par l’évaluateur : nécessité d’être prêt sur tous les projets de l’UM (maturité de toute la structure)  choix de la démarche incrémentale (par UM) L’obligation de preuve soulève des problématiques de sécurité de défense  mode opératoire pas encore identifié pour dérouler la démarche dans certains secteurs  évaluateurs internes  SEI : négociation de l’anonymisation des constats Nécessité de pérenniser le niveau atteint (évaluation renouvelable tous les 3 ans)  Recherche d’une synchronisation avec ISO 9001

Le CMMI et la DGA - perspectives Prise en compte plus approfondie des bonnes pratiques CMMI par les métiers dans les processus et guides DGA (intérêt de la démarche incrémentale) Élargissement progressif à de nouveaux secteurs-clés Progression vers le niveau 3 Incitation ultérieure au développement de la démarche chez les partenaires (industriels, armées, prestataires de services permanents, etc.) cohérence entre des niveaux de maturité …