Caches 1 Référence à un mot Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3.

Présentation au sujet: "Caches 1 Référence à un mot Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3."— Transcription de la présentation:

1 Caches 1 Référence à un mot Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3

2 Caches 2 Référence à un mot Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3 UC veut faire référence à Xn 1 Xn

3 Caches 3 Référence à un mot Xn dans le cache Recherche de Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3 2 Xn

4 Caches 4 Référence à un mot Xn dans le cache Recherche de Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3 Xn Défaut de cache 2

5 Caches 5 Référence à un mot Xn dans le cache Extraction de Xn dans la mémoire Insertion dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 Xn X3 X4 X1 Xn-2 Xn-1 X5 Xn X3 3

6 Caches 6 Bilan : Référence à un mot Xn X4 X1 Xn-2 Xn-1 X5 Xn X3 Après la référence à Xn X4 X1 Xn-2 Xn-1 X5 X3 Avant la référence à Xn

7 Caches 7 Questions à résoudre Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

8 Caches 8 Question 1 : Où placer un bloc? Caches à correspondances directes Caches totalement associatifs Caches associatifs par ensemble

9 Caches 9 Les caches à correspondance directe Le moyen le plus simple est dassigner un emplacement unique dans le cache. Cet emplacement est fonction du mot en mémoire. La correspondance est la suivante : numéro de bloc modulo le nombre de blocs dans le cache Cette structure du cache est dite à correspondance directe. adresse Rappel : Modulo n = reste de la division par n

10 Caches 10 Cache à correspondance directe 8 entrées Mémoire Centrale Mémoire Centrale UC Exemple :

11 Caches 11 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 AdresseDonnéeAdresseDonnée ?

12 Caches 12 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 1 mod 8 = 1

13 Caches 13 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101

14 Caches 14 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 Aux 4 adresses 00001, 01001, 10001, 11001 correspond la même entrée dindex (adresse dans le cache) 001 du cache Aux 4 adresses 00001, 01001, 10001, 11001 correspond la même entrée dindex (adresse dans le cache) 001 du cache

15 Caches 15 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101

16 Caches 16 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 PROBLEME : Un emplacement dans le cache peut appartenir à plusieurs emplacements mémoire. Comment savoir si la donnée correspond au mot demandé ? PROBLEME : Un emplacement dans le cache peut appartenir à plusieurs emplacements mémoire. Comment savoir si la donnée correspond au mot demandé ?

17 Caches 17 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 Réponse : Une Étiquette permet de savoir si le mot demandé est dans le cache DonnéeEtiquette

18 Caches 18 Cache à correspondance directe 8 entrées UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 Index Etiquette donnée 00 01

19 Caches 19 Question 1 : Où placer un bloc? Caches à correspondance directe Caches totalement associatifs Caches associatifs par ensemble

20 Caches 20 Les caches totalement associatifs Si un bloc peut être placé nimporte où dans le cache, celui ci est totalement associatif.

21 Caches 21 Les caches totalement associatifs UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 ?

22 Caches 22 Les caches totalement associatifs UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101

23 Caches 23 Question 1 : Où placer un bloc? Caches à correspondance directe Caches totalement associatifs Caches associatifs par ensemble

24 Caches 24 Caches associatif par ensemble Si un bloc peut être placé dans un ensemble restreint de places dans le cache, le cache est dit associatif par ensemble de blocs. Un ensemble est un groupe de blocs dans le cache. Un bloc est dabord affecté à un ensemble, puis placé nimporte où dans lensemble. numéro de lensemble = numéro de bloc (=adresse) modulo le nombre densembles dans le cache

25 Caches 25 Cache associatif par ensemble de 2 UC 11001 11101 10001 10101 01001 01101 00001 00101 EtDEtD 01230123 Ensembles

26 Caches 26 Cache associatif par ensemble de 2 UC 11001 11101 10001 10101 01001 01101 00001 00101 17 mod 4 = 1 EtDEtD 01230123

27 Caches 27 Alors quel cache est à utiliser ? Augmenter le degré dassociativité présente généralement lavantage de diminuer le taux de défaut. (Voir TD) Mais cela a tendance à augmenter le coût et le temps daccès.

28 Caches 28 But du cours Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

29 Caches 29 Organisation de la mémoire principale 0123 4567 891011 048048 Adresse du mot Adresse de loctet Rappels :

30 Caches 30 Organisation de la mémoire principale 45674567 Adresse du mot Adresse de loctet 0123 4567 891011 Mémoire Cache Transfert du mot de 32 bits Pour me déplacer dans le bloc il faut 2 bits dadresse 048048

31 Caches 31 Comment trouver un bloc ? Réponse : Quelle est la relation de ladresse UC avec le cache ? N° ensemble Déplacement dans le bloc Cache associatif par ensemble de bloc Etiquette Déplacement dans le bloc Cache direct Etiquette Taille =Log2(blocCache)-1 Index Remarque : en augmentant dun facteur de deux lassociativité on diminue de 1 bit la taille de lindex.

32 Caches 32 Exemple : Cache à correspondance directe Validité Etiquettedonnée Index 0 1 2... 1022 1023 Succès

33 Caches 33 UC veut la donnée qui est à ladresse : 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Etiquette Index Validité Etiquettedonnée Index 0 1 2... 1022 1023 Adresse doctet 32 UCUC UCUC

34 Caches 34 Lindex sélectionne une entrée du cache : 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Etiquette Index Validité Etiquettedonnée Index 0 1 2... 1022 1023 Adresse doctet 32 UCUC UCUC

35 Caches 35 Compare létiquette 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Etiquette Index Validité Etiquettedonnée Index 0 1 2... 1022 1023 Adresse doctet = UCUC UCUC

36 Caches 36 Le mot est délivré au processeur. 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Etiquette Index Validité Etiquettedonnée Index 0 1 2... 1022 1023 Adresse doctet 32 SUCCES UCUC UCUC ET

37 Caches 37 En cas de défaut 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Etiquette Index Mémoire Cache Défaut/succès Donnée Adresse UC Un défaut de cache génère une suspension (ou attente), semblable aux suspension de pipeline

38 Caches 38 Exemple : Par ensemble (256) de 4 blocs V ED Index 0 1 2... 253 254 255 V ED Succès Donnée Multiplexeur 4 par 1 4 Blocs 256 Ensembles

39 Caches 39 Par ensemble (256) de 4 blocs V ED Index 0 1 2... 253 254 255 V ED Succès Donnée Multiplexeur 4 par 1 4 Blocs 256 Ensembles 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Adresse doctet UCUC UCUC

40 Caches 40 Par ensemble (256) de 4 blocs V ED Index 0 1 2... 253 254 255 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Adresse doctet V ED Succès Donnée Multiplexeur 4 par 1 8 22

41 Caches 41 Par ensemble (256) de 4 blocs V ED Index 0 1 2... 253 254 255 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Adresse doctet V ED Succès Donnée Multiplexeur 4 par 1 8 22

42 Caches 42 Par ensemble (256) de 4 blocs V ED Index 0 1 2... 253 254 255 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Adresse doctet V ED Succès Donnée Multiplexeur 4 par 1 8 22

43 Caches 43 Les étiquettes en fonction du type de caches 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Adresse doctet 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Etiquette Index 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Adresse doctet Etiquette Index Totalement associatif Associatif par ensemble de bloc Correspondance directe Pour des caches de même dimension :

44 Caches 44 But du cours Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

45 Caches 45 Quel bloc remplacé lors dun défaut ? Il existe trois stratégies principales employées pour choisir le bloc à remplacer : FIFO (Pas bonne) Le hasard (facile à réaliser) Le plus ancien (LRU Least Rencently Used). Ceci utilise un corollaire de la localité temporelle. Remarque = de LRU.

46 Caches 46 Les défauts de caches Défauts obligatoires de chargement (défaut de démarrage à froid). Un bloc accédé pour la première fois nest pas dans le cache. Défauts de capacité. Si le cache ne peut contenir tous les blocs nécessaires au cours de lexécution dun programme Défauts de conflits (défaut de collision). Si la stratégie de placement de bloc est associative par ensembles de blocs ou à correspondance directe, des défauts de conflit surviendront, car un bloc peut être rejeté puis récupéré si trop de blocs sont en correspondance avec le même ensemble.

47 Caches 47 But du cours Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

48 Caches 48 Comment sont traités les écritures? Lécriture simultanée (ou rangement simultané) : Linformation est écrite à la fois dans le bloc du cache et dans le bloc de la mémoire de niveau inférieur. La réécriture (la recopie) : Linformation est écrite uniquement dans le bloc du cache. Le bloc modifié du cache est recopié en mémoire principale uniquement quand il est remplacé.

49 Caches 49 Comment tirer parti de la localité spatiale ? Le cache que nous avons décrit jusquà présent ne tire pas parti de la localité spatiale dans les requêtes. En effet, chaque mot dispose de son propre bloc. EXEMPLE Supposons que les adresses doctets suivantes soient demandées par un programme :

50 Caches 50 Exemple : 16,...,19,...,17 UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101

51 Caches 51 Exemple : 16,...,19,...,17 UC 16 UC 16 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 16 10000 Etiquette Index

52 Caches 52 Exemple : 16,...,19,...,17 UC 16 UC 16 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 16 10000 Etiquette Index DEFAUT

53 Caches 53 Exemple : 16,...,19,...,17 UC 16 UC 16 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 16 10000 Etiquette Index 10

54 Caches 54 Exemple : 16,...,19,...,17 UC 19 UC 19 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 19 10011 Etiquette Index

55 Caches 55 Exemple : 16,...,19,...,17 UC 19 UC 19 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 Etiquette Index DEFAUT 19 10011

56 Caches 56 Exemple : 16,...,19,...,17 UC 19 UC 19 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 Etiquette Index 10 19 10011

57 Caches 57 Exemple : 16,...,19,...,17 UC 17 UC 17 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 Etiquette Index 10 17 10001 DEFAUT

58 Caches 58 Exemple : 16,...,19,...,17 UC 000 001 010 011 100 101 110 111 10 Bilan : 3 défauts

59 Caches 59 Comment diminuer les défauts : Ce Dupont.... Dans mes bras THE BOSS = Augmenter la taille des blocs

60 Caches 60 Caches à 4 mots mémoire UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101

61 Caches 61 Caches à 4 mots mémoire UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 indexadresse dans le bloc remarque : pas détiquette 2 bits3 bits

62 Caches 62 Exemple : 16,...,19,...,17 UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 indexadresse dans le bloc remarque : pas détiquette 100 00 16 DEFAUT

63 Caches 63 Exemple : 16,...,19,...,17 UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 16 10000 index adresse dans le bloc remarque : pas détiquette 16 16 17 18 19 On ramène les ref : 16,17,18,19

64 Caches 64 Exemple : 16,...,19,...,17 UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 19 10011 index adresse dans le bloc remarque : pas détiquette 19 16 17 18 19 succès

65 Caches 65 Exemple : 16,...,19,...,17 UC 000 001 010 011 100 101 110 111 11001 11101 10001 10101 01001 01101 00001 00101 17 10001 index adresse dans le bloc remarque : pas détiquette 17 16 17 18 19 succès

66 Caches 66 Exemple : 16,...,19,...,17 Bilan : 1 seul défaut survient pour trois références. SUPER : JE SUIS LE MEILLEUR

67 Caches 67 Exemple de réalisation 31 30 29 28...............16 15 14 13 12 11 10 9...4 3 2 1 0 Etiquette Index Validité Etiqudonnée 128 bits Index 0 1 2... 254 255 Adresse doctet 32 Mux Adresse dans le bloc

68 Caches 68 Exemple : 16,...,19,...,17 Bilan : 1 seul défaut survient pour trois références. SUPER : JE SUIS LE MEILLEUR DUPONT and Co

69 Caches 69 Si nous avons les temps daccès suivants : 1 cycle dhorloge pour envoyer ladresse 10 cycles dhorloge pour chaque accès mémoire 1 cycle dhorloge pour envoyer un mot de donnée. Total = 3* (1+10+1) = 36 cycles

70 Caches 70 Exemple : 16,...,19,...,17 Reprenons les chiffres précédent : 1 cycle dhorloge pour envoyer ladresse 10 cycles dhorloge pour chaque accès mémoire 1 cycle dhorloge pour envoyer un mot de donnée. Total = 1+4*10+4*1 = 45 cycles Le gain nest pas ici énorme !!!!!. Comment diminuer ce temps ?

71 Caches 71 Tirer parti de la localité spatiale Question : De quelle manière une plus grande taille de bloc influence-t-elle les performances ? Le taux de défauts chute lorsque nous augmentons la taille de bloc. Attention : il faut adapter le système mémoire en conséquence.

72 Caches 72 UC Cache Bus Mémoire UC Cache Bus Mémoire UC Cache Bus BMBM BMBM BMBM BMBM

73 Caches 73 Organisation dune mémoire entrelacée Adresse externe a=4b bbbbbbbb Mot 1Mot 2Mot 3Mot 4 0123456789...0123456789... Mémoire entrelacée

74 Caches 74 Encore plus compliqué : ATTENTION (voir TD) Le taux de défaut peut augmenter, si la taille de bloc est prise très grande par rapport à la taille du cache, car le nombre de blocs pouvant être contenus dans le cache deviendra petit, et la compétition entre ces blocs sera rude. Par conséquent un bloc sera éjecté du cache avant quun grand nombre de ses mots soit accédé. Le coût du défaut croît. Car le temps nécessaire(si on ne modifie pas le système mémoire).

75 Caches 75 Les performances des caches Le temps UC est divisé entre les cycles dhorloge passés par lUC à exécuter le programme et les cycles dhorloge que lUC passe à attendre le système mémoire. Tps UC = (Cycles dexécution UC + Cycles dattente mémoire) * Tps C

76 Caches 76 Les cycles dattente mémoire Les cycles dhorloge dattente mémoire proviennent principalement des défauts de cache. (Une prédiction précise des performances implique généralement des simulations très détaillées du processeur et du système mémoire). Cycles dattente = (Nb. dinst/programmes) mémoire*(Nb. de défauts/instruction) *Coût défaut Cycles dattente = (Nb. d'accès par programme) mémoire*(taux de défaut) *Coût défaut

77 Caches 77 Résumé Où peut être placer un bloc ? Un corresp. direct, plusieurs (associatif par ensembles), ou tout (totalement associatif) endroit. Comment un bloc est il trouvé ? Indexation (correspondance direct) Recherche limitée (associatif par ensembles) Recherche totale (totalement associatif) Quel bloc est remplacé lors dun défaut ? Généralement, soit le moins récemment utilisé, soit un bloc au hasard, de manière aléatoire. Comment sont traitées les écritures ? Chaque niveau de la hiérarchie peut utiliser soit lécriture simultanée soit la réécriture.

78 Caches 78 Résumé Le défi lancé par la conception des hiérarchies de mémoires est que tout changement qui peut améliorer le taux de défauts peut aussi affecter de façon négative les performances globales. Cest une combinaison d'effets positifs et négatifs pour chaque paramètre de conception qui rend délicate la conception dune hiérarchie de mémoires Changement de Conception Augmenter la taille Augmenter lassociativité Augmenter la taille de bloc Effet sur le taux de défauts Réduit les défauts de capacité Réduit le taux de défaut dû aux défauts de conflit Réduit le taux de défaut pour un large éventail de tailles de bloc Effet négatif possible sur les performances Peut augmenter le Tps daccès Peut augmenter le temps daccès Peut augmenter le coût de défaut

79 Caches 79 Caches : taille des blocs Coût de léchec Tps transfert Tps daccès Taille du bloc Taux déchec T ps daccès Augmenter la taille du cache indéfiniment

80 Caches 80