1- Qualité & Mesure Introduction Naji Habra- University of Namur

Naji Habra- University of Namur Plan 1) Introduction à la qualité Introduction à la qualité Introduction à la question de la mesure 2) Modèles de la qualité (produit) Définitions La normalisation Quelques Modèles La modèle de la norme ISO-9126 3) Modèles de la qualité (processus) Approche Processus & qualité Approches Agile et qualité 4) Quelques modèles de qualité spécifiques Modèles Qualoss pour l'open-source Modèle de qualité pour la documentation 5) Software Measurement Measurement : theoretical issues Some current measurements methods 6) Methodological issues for quality assesment Goal-Question_metrics Meta models & MoCQA 7) Project Naji Habra- University of Namur

1 - Qualité & Mesure : introduction Introduction à la qualité Contexte Définitions Historique Aspects économiques Introduction à la question de la mesure Naji Habra- University of Namur

Naji Habra- University of Namur Contexte Crise du logiciel  Ingénierie du logiciel De l’artisanat à la production industrielle « de qualité » Naji Habra- University of Namur

Contexte la « crise du logiciel » Symptômes du client dépassement des délais et des budgets niveau de fonctionnalité inadéquat niveau de qualité inadéquat Symptômes du côté management dépendance vis-à-vis de personnes « clés » peu de visibilité sur le contenu d’un projet en cours peu de communication Symptômes du côté produit maintenance difficile et coûteuse problèmes d’évolutivité problème de compatibilité entre versions Naji Habra- University of Namur

Contexte : la « crise du logiciel » Analyse de la crise sous une perspective « qualité » « L’incident de Schaerbeek » 18/5/2003 Un candidat d'une liste avait obtenu plus de voix de préférence que le nombre total de voix de la liste. Il s'avérait que le nombre de voix de préférence avait été majoré de 4096 (notons au passage que 2^12=4096). Après analyse … « Il ressort des constatations qu'il y avait un écart de 4096 voix de préférence pour un candidat. Un écart de 4096 peut être occasionné par une inversion de la 13ème position binaire du compteur. » « Étant donné qu'aucune erreur n'a été trouvée dans le logiciel, et vu la structure interne du programme, le collège conclut que l'erreur a très probablement été occasionnée par une inversion spontanée et aléatoire d'une position binaire. » « Election risks: Mixing the cosmic with the comic » Naji Habra- University of Namur

Contexte (bis) la « crise du logiciel » Analyse de la crise sous une perspective "qualité" A qui la faute ? De rejet en rejet, on remonte en cascade et on finit par arriver à l'imperfection du domaine Vivre avec l'imperfection Question de choix  nécessité des choix clairs (cadre, vocabulaire, normes …) Enjeu économique Enjeu juridique Naji Habra- University of Namur

Contexte (ter) Particularités du logiciel comme ingénierie produit abstrait (créativité) produit une fois (artisanat?) produit (qui paraît) facilement modifiable grande part de maintenance  service ou produit ? digitale et non analogique petites erreurs  grands écarts marché assez jeune euphorie cyclique image non-familiarité des certains acteurs Naji Habra- University of Namur

Naji Habra- University of Namur La notion de qualité Qualité : « Mesure dans laquelle un système, un composant ou un processus satisfait aux exigences énoncées. » Source : IEEE-Std-610 Naji Habra- University of Namur

Naji Habra- University of Namur La notion de qualité Qualité : « Aptitude d’un ensemble de caractéristiques intrinsèques d’un produit, d’un système ou d’un processus à satisfaire les besoins ou attentes formulés, habituellement implicites, ou imposées… des clients et autres parties intéressées. » Source : ISO-9000:2000 Les exigences peuvent ne pas être explicitement formulées … ce qui peut consituter un risque si elles ne sont pas identifiées Les clients ne sont pas les seuls à avoir des exigences relatives au projets. Quelles sont les autres parties intéressées ? Les exigences/attentes des parties intéressées peuvent être différentes (pas forcément contradictoires) Qualité = notion relative La qualité d’un produit ne peut se définir en dehors d’un contexte précis : Contexte donné par les exigences des parties intéressées Naji Habra- University of Namur

Naji Habra- University of Namur La notion de qualité Quality : the totality of features and characteristics of a product or a service that bears on its ability to satisfy the given needs. ANSI Standard (ANSI/ASQC A3/1978) Naji Habra- University of Namur

Naji Habra- University of Namur La notion de qualité Quality comprises all characteristics and significant features of a product or an activity which relate to the satisfying of given requirements. German Industry Standard DIN 55350 Part 11: Naji Habra- University of Namur

Naji Habra- University of Namur La notion de qualité Software quality : characteristics is a set of attributes of a software product by which its quality is described and evaluated. ISO-9126 Naji Habra- University of Namur

La notion de qualité en logiciel Software Quality The totality of features and characteristics of a software product that bear on its ability to satisfy given needs. The degree to which software possesses a desired combination of attributes. The degree to which a customer or a user perceives that a software meets her composite expectations. The composite characteristics of a software that determine the degree to which the software in use will meet the expectations of the customer. Source : IEEE-Std-729 Naji Habra- University of Namur

Naji Habra- University of Namur La notion de qualité Concepts en jeu satisfaction clients possibilité (potentiel) de satisfaction perception client Client final (utilisateur) Commanditaire Stakeholders besoins : exprimés ou non ; imposés caractéristiques ensemble de caractéristiques caractéristiques significatifs But décrire ET évaluer la qualité Naji Habra- University of Namur

Quality Movement (in Industry) History From Taylorism (F.W. Taylor + Ford 1907) to nowadays Recall Taylorism A succession of elementary tasks Basis aptitudes are sufficient Standard Customers Three historic phases : Quality control Quality Insurance Total Quality

Quality Movement (in Industry) History Three historic phases : Quality Control Quality Insurance Total Quality How ? Phase 1 : a posterio inspection (the focus is the product) Phase 2 Continuous Control (the focus is the process) Phase 3 Systemic view (wider view of the process)

Quality Movement (in Industry) History Three historic phases : Quality Control Quality Insurance Total Quality What (which quality?) Phase 1 : the focus is the product physical measurable characteristics Quality : compare to Requirement / Company standards Phase 2 Acceptable quality / relative to a mean customer-market statistical issues : means, deviation.. Phase 3 Quality = global concept (prevention included) Requirements & Norms concerning the process

Quality Movement (in Industry) History Three historic phases : Quality Control Quality Insurance Total Quality For Whom Phase 1 : Absent customer (Quality is an internal issue) Phase 2 Average Customer / Representative Customer Phase 3 Everybody (including decision makers)

Quality Movement (in Industry) History Three historic phases : Quality Control Quality Insurance Total Quality By Whom Phase 1 : Quality Inspector/ (internal) Phase 2 Quality Insurer (representative of the average customer) Phase 3 Specific customer (each specific customer with a specific demand)

Quality Movement (in SE) History Three historic phases : Quality Control Quality Insurance Total Quality Trends Requirements on product  requirements on process Evolution / Prototyping / Agile Approaches etc approches Early users' feedback Users' involvement  Lifecycle models "users-centred Target: a specific customer with a specific demand  parameterisation - customization -.. Recognition that IT is a human intensive activities Service & Product Qualities

Aspects économiques Le coût de la qualité Coût du projet Coût de réalisation Coût de Qualité • Élaboration des plans • Développement du logiciel Coût de non Reprise Coût de conformité Conformité Refaire les revues Coût des évaluations Coût de prévention Corriger • Revues • Formation Mise-à-jour Inspections • • Méthodologies Code et documentation • Tests • Outils • Audits • Collecte des mesures • Vérification & validation Coût du projet = réalisation + reprise + évaluation + prévention Naji Habra- University of Namur

Aspects économiques Le coût de la non qualité Le coût des anomalies internes Le coût des anomalies externes + Détection des défauts Réparation des défauts Modifications Rebuts Produits déclassés Achats inutilisables Produits à refaire d’une version à l’autre = coût des anomalies internes pendant le développement Pertes de clients Pénalités Réparations des défauts pendant l’exploitation Remises pour défauts Assistance technique Entretien des matériels de maintenance corrective et des compétences = coût des anomalies internes après le développement Naji Habra- University of Namur

Naji Habra- University of Namur

Introduction to S.E. Measurement Measurement in "everyday" life Examples (numbers & symbols) medical system economy , prices , taxes , … students evaluation holidays : travel – prices speed Used for comparison decisions choices  ordering Naji Habra- University of Namur

Introduction to S.E. Measurement Measurement in engineering & science Measures allow better Understanding hypothesis setting (based on observation) hypothesis verification (based on empirical studies) Control Goals – Requirements setting Goal – Requirements check No engineering / science without measurement "..what is not measurable make measurable" Galileo XVIth No management without number Naji Habra- University of Namur

Introduction to S.E. Measurement Software Engineering // other engineering discipline Measures allow to Choose & Evaluate Plan, Predict, Monitor, Control Recall : Goal of software engineering produce high quality product within budget constraints by a specified deadline Quantification ? Naji Habra- University of Namur

Introduction to S.E. Measurement Software Engineering Maturity? Software Engineering is mostly driven by ideology Some examples Programming goto’s considered harmful (is that true? harmful for what? To what extent?) Object-based approaches: High internal cohesion : how to measure ? / which evidence ? low external coupling how to measure ? / which evidence ? multiple/single inheritance : how many levels? Design patterns use Usefulness ? Readability ? Modification Costs ? At the process level Productivity ? Maintenance cost ? Maintenability of a product ? Naji Habra- University of Namur

Introduction to S.E. Measurement Software Engineering Maturity ? Software Engineering needs quantification for empirical investigations and theories building like in any scientific discipline enable continuous, quantifiable improvement—like in any engineering discipline But Software Engineering is a human-intensive activities Human sciences measurement vs natural sciences measurement Software Engineering is young No established corpus Naji Habra- University of Namur

Introduction to S.E. Measurement Measurement : a first definition Measurement (process) = The process by which numbers/symbols are assigned to attributes of entities in real world in such a way as to describe them according to clearly defined rules Measurement (results) = The numbers/symbols produced Naji Habra- University of Namur

Introduction to S.E. Measurement Measurement : a first definition Measurement capture information about "attributes" of "entities" In every day life Philippe is 1.80 meter height the pull-over is XXL the jeans is 39/42 Baudouin is taller than Albert In Sciences / Engineering The maximum speed of the Lada-Kalina is 15Okm/h The Input Voltage of the Led Tube is 220 Volt The temperature of the oil is 80° In Software Engineering The complexity of the program piece P is 10 (?) The size of the program P2 is 26Kloc … !!! we do not measure entities Albert – Java program P2 - !!! we do not measure attribute "temperature" - "high" - … Naji Habra- University of Namur

Measurement in SE questions what is measurable ? the color is an attribute "blue" is a measure ?? intelligence is measurable by IQ ? quid of the subjectivity of an "appreciation" ? quality of wine athletic discipline error/precision due to the used "technique" ? height of a person (with/without shoes ? ) lines of code (with/without comments ? the appropriate scale ? km for height of people A,B,C,D or a integer from 1 to 10 for students rating ? the measurement result (correct) use ? Albert is twice taller than Gabriel Today is twice as cold as yesterday ? the average height of Namur's building ? the average of the "shoe sizes" of the "standards" football team ? Naji Habra- University of Namur

Introduction to S.E. Measurement questions In SE Choose the (right) entity (the artifact) Program / Design / requirements… All / Pieces … product / process / resource Choose the right attribute Complexity – cohesion – coupling – connectivity - maintainability … Correctness (Validity of the construction) Adequacy : to which use ? (cfr. Goal – Question - Metrics) The stakeholders Acceptance of the community How to measure (find the measurement method) ? Easy ? Theoretically formalized ? Direct / Indirect (through calculation) Counting / Computing / Algorithm …. !! measure <> indicator Naji Habra- University of Namur

Introduction to S.E. Measurement Measurement : questions SE engineers / managers need to Understand relationship between parameters ==> basic principles (theories) Choose Judge/assess a new paradigm/ method/lgge… Control by quantifying qualities (other than "correctness") target for products costs of the different components Predict qualities Cost Time Improve qualities of products qualityies of processes Examples productivity user satisfaction improvement Faults Naji Habra- University of Namur

Introduction to S.E. Measurement Measurement : questions Problems with SE measurements no (enough) mature measurement no consensus skepticism confusion : measures / indicators misuse why ? maturity of the domain ? particular "product" ? too abstract misunderstanding of basic concepts Naji Habra- University of Namur