Comment se définit et se mesure la performance globale d’une machine ? IGSI FC – Module : Architecture ordinateurs Comment se définit et se mesure la performance globale d’une machine ? 27 février 2002 ---------- Jean-Marc DUFRESNE Maxence JEGOU Marie-Laure POITOU

Sommaire Introduction Sur quoi portent les mesures de performances ? Comment se définit et se mesure la performance d’une machine ? Sommaire Introduction Sur quoi portent les mesures de performances ? composants interaction Comment mesurer ? techniques de mesure outils de mesure Conclusion

Facteurs d’APPRECIATION d’une machine Comment se définit et se mesure la performance d’une machine ? Introduction Facteurs d’APPRECIATION d’une machine Fonctions Utilisation Coût Performance Définition : Comment, en terme d’efficacité, une machine atteint ses objectifs

Introduction ... .. une machine atteint ses objectifs ... Comment se définit et se mesure la performance d’une machine ? Introduction ... .. une machine atteint ses objectifs ... Concepteur de systèmes Gestionnaire d’installations informatiques Utilisateur - temps d’accès à la mémoire, - vitesse du matériel, - organisation des librairies de programmes et des BD, - algorithmes d’allocation de la mémoire ...... - réduction du temps de réponse - débit important de travaux en un temps donné, - nombre possible d’utilisateurs supportés, - utilisation équilibrée et rentable des composants du système, - service satisfaisant à la plupart des utilisateurs ... … unité commune : le TEMPS

le TEMPS -> souci dès le début de l’ère informatique : Comment se définit et se mesure la performance d’une machine ? Un peu d’histoire ... le TEMPS   -> souci dès le début de l’ère informatique : 1re mesure de performance : « temps pour exécuter une opération individuelle » Diversification des instructions : « temps d’exécution moyen d’une instruction » Arrivée des MIPS : (Millions d’Instructions par seconde) Nombre d’instructions Nb MIPS = ----------------------------------------- Temps d’exécution * 106 Arrivée des programmes tests : Noyaux et programmes synthétiques (WHETSTONE – 1976) Arrivée des MIPS relatifs : Machine référence : VAX 11/780 de DEC => 1 MIPS Machine « X » 5 foix + rapide que réf => 5 MIPS La 1re mesure de performance était le temps pour exécuter une opération individuelle comme l’addition. Puisque la plupart des instructions prenaient le même temps d’exécution, le temps d’une instruction particulière donnait une indication sur celui des autres.  Puis, les instructions se sont diversifiées au point où cette extrapolation ne convenait plus : fut établie une répartition des instructions en mesurant les fréquences relatives des instructions dans un ordinateur sur de nombreux programmes. Cela donnait le temps d’exécution moyen d’une instruction.   Puis on est arrivé au MIPS. Les UC deviennent plus sophistiquées et s’appuient sur des hiérarchies mémoire et des pipelines, il n’y avait plus un seul temps d’exécution par instruction. Arrivent les programmes tests avec les noyaux et les programmes synthétiques. WHESTONE, a été créé en 1976 par Curnow et Wichmann, pour mesurer les programmes scientifiques écrits en ALGOL 60. Puis converti en FORTRAN et largement diffusé.  La notion de MIPS relatifs arriva quand il devint clair que les MIPS pour comparer des architectures avec des jeux d’instructions différents ne marcherait pas. DEC déclara que son VAX 11/780 (19977) avait un débit de 1 MIPS (idem que IBM avec son 370/158) et en fit une machine de référence. Si une autre machine était 5 plus rapide que le VAX-11/780 pour le programme test, alors son débit était de 5 MIPS relatifs.  Dans les années 70-80, dans l’industrie des gros ordinateurs, le temps d’instruction moyen et les MIPS étaient des métriques inadaptées pour mesurer des programmes utilisant le flottant. Apparurent les MFLOPS. SPEC (System Performance and Evaluation Cooperative) fut créé à la fin des années 80 pour essayer d’améliorer la situation en évaluation de performance et créer une base valide de comparaison. Amélioration dans l’utilisation des programmes tests. Le groupe se focalisa sur les stations de travail et les serveurs de type UNIX. 1re version SPEC89 remplacé par SPEC92. A produit des programmes tests orientés système pour évaluer un système comprenant des fonctions E/S et fonctions systèmes et une mesure orientée débit (SPECrate) destinées aux serveurs. Arrivée des MFLOPS : Nb opérations flottantes ds un programme donné Nb MFLOPS = ------------------------------------------------------------------ Temps d’exécution * 106 SPEC : (System Performance and Evaluation Cooperative) Groupe créé fin 1980 pour constituer base solide auxquels les programmes tests peuvent se référer

Le temps Sur quoi portent ... Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... Le temps Principal objet de mesure et de définition des performances Unités de mesure du temps 1 ms (milliseconde) = 10-3 = 0,001 s 1 µs (microseconde) = 10-6 = 0,000 001 s 1 ns (nanoseconde) = 10-9 = 0,000 000 001 s 1 ps (picoseconde) = 10-12 = 0,000 000 000 001 s

Le microprocesseur (CPU) Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... Le microprocesseur (CPU) est composé de deux unités fonctionnelles : Unités de calcul L’unité arithmétique logique (ou ALU) L’unité de calcul flottant (ou FPU) L’unité multimédia (MMX, 3DNow, SSE, SSE2) Unités de commande Compteur ordinal, registre instruction, séquenceur, décodeur …

La fréquence d’horloge Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... Le microprocesseur (CPU) Les performances d’un microprocesseur se mesurent essentiellement à l’aide de deux critères : La fréquence d’horloge La largeur des bus

La mémoire cache ou antémémoire (SRAM) Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... La mémoire cache ou antémémoire (SRAM) Contribue à minimiser le temps de transfert entre la mémoire centrale et le processeur. C’est une mémoire à accès rapide (≃ 6 à 15 ns). Caractéristiques essentielles : La localisation La capacité La technique de rafraîchissement

Caractéristiques essentielles : Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... La carte mère Elle sert à relier les différents composants électroniques de l’ordinateur, CPU, RAM, systèmes de bus pour l’échange de données et pour le pilotage des composants indispensable. Caractéristiques essentielles : Les chipsets Composant intégré Le type de support CPU Le bus système (FSB)

Caractéristiques essentielles : Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... La mémoire centrale (DRAM) Elle contient les informations que le CPU traite. C’est une mémoire dynamique volatile, à accès rapide (≃ 10 à 70 ns). Caractéristiques essentielles : Le temps d’accès La capacité Le type

Caractéristiques essentielles : Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... La mémoire de masse Le disque dur est l'organe servant à conserver les données de manière permanente, contrairement à la RAM, qui s'efface à chaque redémarrage. Caractéristiques essentielles : Le temps d’accès La capacité L’antémémoire L’interface

Sur quoi portent ... La carte graphique Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... La carte graphique C’est un circuit électronique capable de créer et d’envoyer à l’écran des signaux que ce dernier peut convertir en image. Ces signaux sont créés à partir des informations envoyées par le microprocesseur (en passant par la carte mère). La mémoire Caractéristiques Le bus Le modèle

Interaction des composants Comment se définit et se mesure la performance d’une machine ? Sur quoi portent ... Interaction des composants

2 Types d’outils de mesure : Comment mesurer ? Comment se définit et se mesure la performance d’une machine ? 2 Types d’outils de mesure : MATERIEL : Instrument ou ordinateur spécialisé pour prendre des mesures: fournit des données précises assez coûteux en général ex : ordinateur de diagnostic de réseau., trafic sur le réseau, analyseur de protocole ... LOGICIEL : Programmes ajoutés aux systèmes à mesurer. 4 types de programmes : programmes réels unitaires, noyaux : « boites» de programmes réels utilisés pour évaluer les performances liées à des caractéristiques précises de la machine, programmes de test de performances (jouet) : ils produisent un résultat déjà connu de l’utilisateur (ex: tri rapide, puzzle ....), programmes d’évaluation de performance : WORKBENCH

Problématique de la mesure : Comment mesurer ? Comment se définit et se mesure la performance d’une machine ? Problématique de la mesure : Définition du problème : La performance d’une machine peut être calculée par : P = nombre d’instructions x nombre de cycles machine x durée d’un cycle -> Le nombre d’instructions dépend de l’architecture, du compilateur mais aussi de la technologie, de l’implémentation .... -> La durée d’un cycle dépend de la technologie d’implémentation Concept : les BENCHMARKS Ensemble de programmes d’évaluation des performances des machines Contraintes : -> Tester plusieurs composantes du système -> ceci n’est possible qu’avec plusieurs programmes -> Avoir des programmes portables facilement sur n’importe quelle machine

Comment mesurer ? WHETSTONE : DHRYSTONE : Comment se définit et se mesure la performance d’une machine ? WHETSTONE : développé en Algol en 1976 puis écrit en C et en Pascal constitué de plusieurs modules, chacun contenant des instructions de différents types chaque module est exécuté un certain nombre de fois (poids du module) La somme pondérée des résultats permet de fournir une mesure en Whetstone par seconde. 2 remarques : - Utilisé pour des programmes de traitement numérique - Ses modules sont de petite taille : les résultats sont dépendants de l’architecture DHRYSTONE : Programme d’évaluation synthétique créé en ADA en 1984 Résultat d’une étude statistique des caractéristiques des programmes source système et de type non-numérique (Système d’exploitation, compilateurs, éditeurs ...) -> C’est donc un programme écrit pour tester certaines caractéristiques et non pas une compilation de programmes réels. Le benchmarck est constitué de 12 procédures incluses dans une boucle d’environ 100 instructions. On mesure le nombre de boucles exécutées par seconde (Dhrystones/s). Même remarque sur la taille réduite du programme de test : ne reflète pas la réalité des programmes plus importants.

Comment mesurer ? Comment se définit et se mesure la performance d’une machine ? LINPACK : Ce programme travaille sur des tableaux de données de dimension 100 x 100 Résultats en MFLOPS -> C’est un test couramment utilisé pour le calcul numérique SPEC Benchmarck: Besoin : Les benchmarcks utilisant des programmes trop petits (inclus tout entier dans la mémoire cache) ne peuvent plus représenter les programmes réels quand il s’agit de tester la mémoire d’un système. But de SPEC (Systeme Performanace Evaluation Cooperative) : regroupant au départ Apollo, Sun HP et MIPS, le but est de sélectionner et distribuer des programmes importants pouvant être utilisés comme benchmarcks. Différentes versions sont présentées :

Comment mesurer ? SPEC BENCHMARCK : version de 1989 : Comment se définit et se mesure la performance d’une machine ? SPEC BENCHMARCK : version de 1989 : 10 programmes écrits en C et en Fortran Temps de référence est le temps d’exécution s/ un VAX 11/780 Etablissement d’un ratio : SPEC ratio = Temps écoulé sur VAX / Temps écoulé sur machine cible -> Le SPEC mark est la moyenne géométrique des 10 SPEC ratios SPEC BENCHMARCK : version de 1992 : 10 programmes supplémentaires Notion de SPEC rate pour mesurer la prise en compte de l’aspect multitâche d’un système SPEC BENCHMARCK : version de 1995 : Amélioration des mesures en utilisant des programmes plus longs et en accédant plus à la mémoire La machine de référence est la station SUN 10/40 Cette version définit 2 jeux de programmes, un pour les entiers (CINT95) et un pour les réels (CFP95) -> Avantage : test du processeur, de la mémoire, du compilateur -> Inconvénient : pas de tests sur les Entrées/Sorties Les mesures type SPECint_base95 correspondent à des spécif très strictes sur les options de compilation Les mesures type SPECint_rate95 correspondent à l’exécution de plusieurs programmes en multitâches. Impact sur les PC : Les constructeurs proposent des instruments de mesure. Indice iCOMP. d’Intel : cet outil de mesure est basé sur 4 banchmarks dont les SPEC CINT95 et CFP95.

Exemple de résultats de bench : Comment mesurer ? Comment se définit et se mesure la performance d’une machine ? Exemple de résultats de bench :

Conclusion Comment se définit et se mesure la performance d’une machine ? De tous temps, mesures de performance = préoccupation besoin d’aller toujours plus vite : -> produit de 2 matrices n X n demandant n 3 opérations Chaque nouvelle génération d’ordinateur rend obsolètes les techniques d’évaluation de la génération précédente. -> Création de nouvelles version de SPEC Benchmark De nombreux composants entrent en ligne de compte pour l’évaluation des performances d’une machine. Une performance intéressante ne peut s'obtenir que par un équilibre de l'ensemble des composants et non d'un seul Mais les outils d’évaluation de la performance ont leurs limites Attention : Les indicateurs peuvent être trompeurs : - MIPS : jeu d’instructions différent d’une machine à l’autre, (on ne peut mesurer avec la même unité les performances fournies par des machines RISC et CISC), - MFLOPS : ex: le temps d’exécution d’une addition est différent de celui d’une division ; pourtant ils sont généralement considérés identiques dans le calcul de la performance.

Sources Internet : Bibliographie : Comment se définit et se mesure la performance d’une machine ? Sources Internet : http://www.dmi.usherb.ca/personnel/prof_info/gabriel.girard/cours-ift628/notesdecours/performance/node1.html http://www.hardware.fr http://www.onversity.com Bibliographie : Paolo Zanella et Yves Ligier : Edition DUNOD Architectures et technologie des ordinateurs Christian Schuller : Le micro ; Architecture matérielle et logicielle Ron White : Edition DUNOD Tech Le micro… comment ça marche ?