"Modélisation du comportement des systèmes embarqués par un modèle d'usage issu des chaînes de Markov" Journée du 2 février 2006 ENST – PARIS

PRESENTATION D’ALL4TEC

PRESENTATION D’ALL4TEC : UN INDUSTRIEL DU DÉVELOPPEMENT LOGICIEL Création en 1998 autour de 2 métiers : le forfait et le conseil en amélioration de processus. Présent à PARIS, LAVAL et TOULOUSE 1ere société européenne a être évaluée CMM4 en 2000 Création en 2004 d’ALL4TEC Génie Logiciel (R&D et commercialisation produit MATELO) Création du pôle de compétence « sûreté de fonctionnement » au travers de la filiale MATHIX. 40 ingénieurs et consultants Plus de 100 hommes.an d'expérience en savoir faire logiciel

PRESENTATION D’ALL4TEC : OFFRES ET ACTIVITES Ingénierie au forfait Développement de systèmes embarqués Activités d'expertise Diminution du temps de test et Suppression des défauts critiques Retro engineering (documentation, industrialisation de logiciel, …) Amélioration continue des processus (CMMI, SPICE, Cleanroom) Amélioration de la productivité logicielle et maîtrise des coûts logiciels Etudes de sûreté de fonctionnement (avec Mathix) Activités de R&D au travers d’ALL4TEC Génie Logiciel Projet européen AIRNET du 6éme PCRD (système anti-collision) Produit MATELO issu d’un projet du 5ème PCRD Commercialisation de MATELO

UN LARGE PANEL DE CLIENTS TELECOM ALCATEL ABS BOUYGUES TELECOM FRANCE TELECOM CELLon NEC PHILIPS ST MICROELECTRONICS WAVECOM AEROSPATIAL - DEFENSE AdP AIRBUS Industries ALENIA SPAZIO ARTUS CNES EADS Space Transportation EUROCONTROL EUROCOPTER GIAT INDUSTRIES ROCKWELL COLLINS France SAGEM DEFENSE THALES Communications - ATM -Optronique - Underwater System AUTOMOBILE Groupe DELPHI MAGNETI MARELLI PSA RENAULT SAGEM SIEMENS-VDO VALEO On a réalisé 40 forfaits depuis la création de la société Depuis 2 ans, nous travaillons sur le positionnement d'ALL4TEC dans les panels des grands groupes GIAT (5 entrep. ds le panel) Groupe THALES (liste 1 - 30 sociétés) (liste 2 - 4 sociétés) SIEMENS France liste ouverte RENAULT ouvert VALEO Homologation AUTRES EDF IRSN RATP DE DIETRICH SNCF BOMBARDIER SCHNEIDER

Introduction Notre approche du test

Introduction : Notre approche du test CONSTAT : la maîtrise de la phase de test d'un système est essentielle car le coût de cette phase peut atteindre 50% du temps total Un système livré avec des défauts résiduels engendre des coûts élevés Un bug détecté en spécification coûte 1000 fois moins cher qu’un bug détecté en exploitation ALL4TEC a basé sa stratégie de validation sur des méthodologies reconnues : Le CMMI (Capability Maturity Model Integrated) : amélioration continue des processus Cleanroom : approche incrémentale basée sur le test statistique d'usage (SUT) Le Test à Géométrie Variable (méthode TGV) préconisée par Mathix, notre filiale experte en Sûreté de Fonctionnement

MaTeLo : un projet ambitieux Pourquoi MaTelo : A l’origine, l’idée était de mesurer la fiabilité des systèmes qu’ALL4TEC livrait à ses clients, et de donner un critère d’arrêt des tests. Depuis 1998, ALL4tec exploite la pertinence des chaînes de Markov dans ses modèles de spécification de tests. L’intérêt des industriels étant très fort, un consortium est né pour faire un projet ambitieux, à envergure Industrielle et Internationale. Le consortium : nait en 2002 pour une commercialisation de Matelo depuis 2004 Comprend : Magneti Marelli, Nec, Philips, Aliena Spazio, IAI, Lucent Technologie, l’Union Européenne, le ministère de l’industrie française et plusieurs universités européennes (IRISA, Lund en Suède, Erlangen en Allemagne). Budget de 5,5 milions d’euros

Le nouveau moteur de la validation des systèmes Trophée de l’innovation 2005 au salon

MATELO dans le cycle de développement Analyse de la campagne de test Validation des besoins Expression des besoins Editeur Matelo Testeur Matelo Spécification fonctionnelle Validation fonctionnelle Modèle d’usage Plan de test Test d’intégration Conception du système MATELO teste en « boîte noire » et vérifie la conformité avec la spécification Conception des composants Test des composants Implémentation

MATELO : Modélisation et génération de tests MATELO comprend 2 modules principaux : 1 éditeur de modèles d’usage (Matelo Editor) Qui représente les comportements du système 1 générateur de cas de tests (Matelo Testor) Qui génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes Qui analyse la campagne de test (couverture fonctionnelle, MTTF)

L’EDITEUR DE MODELES D’USAGE MATELO

L’EDITEUR MATELO : écriture du modèle d’usage Capture en entrée les éléments de spécification UML (XMI), SDL ou autre forme de spécification Réalisation du modèle : Création des états stables du système Définition de toutes les actions possibles dans un état donné, puis on réalise le modèle Intégration des données d’entrée et des résultats attendus Pose des fréquences d’usage Génération des cas de test « à blanc » pour valider le modèle Sauvegarde le modèle en XML pour en faciliter l’exploitation Métrique : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage.

MATELO EDITOR : l’IHM

LE GENERATEUR DE CAS DE TESTS MATELO

Efficacité des cas de test Approche combinatoire (déterministe) Approche prédictive en largeur (non déterministe) Start Start Target La pratique actuelle dans la spécification des cas de test consiste à identifier les objectifs de test, puis à chercher à les atteindre en partant du point d’entrée du logiciel pour arriver au point de sortie. On procède généralement par dérivation: une fois qu’on a identifié un parcours, on le dérive pour atteindre les objectifs voisins. L’approche par les objectifs successifs conduit à générer un grand nombre d’actions pour chaque objectif de test atteint. Dans l’approche prédictive on identifie les cibles au fur et à mesure que l’on avance dans le logiciel, en privilégiant une approche en largeur d’abord. Le fait de définir pour chaque transition le jeu de donnée associé permet de minimiser le nombre de cibles redondantes dans une session d’utilisation du logiciel. Le raisonnement en session d’utilisation plutôt qu’en traversé du logiciel optimise le nombre de traversée des initialisations. Close Close 20 objectifs de test atteints pour 100 pas de test effectués 80 objectifs de test atteints pour 100 pas de test effectués

Approche en profondeur Approche de couverture Stratégie de test Approche en profondeur Start Close Start Close Approche en largeur Close Approche de couverture Start Il faut plus d’une stratégie de test pour espérer avoir 0 défauts en fin de test. MaTeLo recommande d’alterner des stratégies de génération, en profondeur, puis en largeur, puis en couverture avant de finir en largeur Pour valider un logiciel, il est efficace d’alterner des phases de focalisation (en profondeur ou sur la couverture), et des approches en largeur, qui explorent les différentes combinaisons d’enchaînement des fonctions

MATELO TESTOR : Génération de tests Matelo génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes : Tests de début de validation Tests d’usage Tests de couverture Tests aux limites Matelo permet une exécution des tests manuelle (HTML) ou automatique via les automates du marché (type TestStand, TTCN3 ou autres via l’export XML) Matelo génère une analyse de la campagne de test (couverture fonctionnelle, MTTF)

MATELO TESTOR : Cas de test HTML

MATELO TESTOR Qualimétrie de la campagne de test Enregistrement des résultats de test Mise en place des critères d’arrêt des tests Analyse de la campagne de test

Mesure de performance (Retour d’expérience sur une base de 60 projets de 2 à 200 KLOC) En moyenne, la validation avec MATELO ne nécessite que 4 jours par KLOC avec une fiabilité de 110 défauts résiduels par million de loc : 1,5 jour de modélisation Matelo / 1,5 jour d’exécution / 1 jour de correction Nous bénéficions d’une base de données de résultats de 60 projets, dont une vingtaine a été extraite pour définir les tendances sur le produit? Nous avons des résultats obtenus chez nous ou chez nos clients, sur des soft des domaines (ASD…telecom), sur des projets de 2000 Loc à 200000 Loc, et nous obtenons des segments à 350 ppm et d’autres (ASD) à 0 ou 1 défaut

SYNTHESE CARACTERISTIQUES - AVANTAGES + de spécifications : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage Matelo . Génération de cas de test optimisés Création d’un reporting Modèle facile à maintenir Travail croisé entre les spécificateurs et les valideurs Dès la spécification, 5 à 20 défauts, par futures Kloc, sont trouvés Matelo atteint plus d’objectifs de tests qu’une méthode traditionnelle Génération de tests non intuitifs et très variables Automatisation de l’exécution des Tests Matelo fournit des métriques : critère d’arrêt des tests, MTTF Campagne de tests facile à regénérer

CONCLUSION : LES BENEFICES Des résultats très significatifs et rapides : Matelo permet d’économiser jusqu’à 40 % du temps de la validation et 20 % du projet total. Le ROI moyen chez nos clients est de 6 mois

Validation d’un projet au forfait OFFRE COMMERCIALE Validation d’un projet au forfait Un pack licence, formation, accompagnement Et en complément, l’offre de la première société de service évaluée CMM4 en Europe… Contact Technique : matelo@all4tec.net Contact commercial : christophe.guittet@all4tec.net - 06 08 06 48 98