1 Linformatique : une grande cuisine

2 Les caches Dans lexemple de la bibliothèque, le bureau fait office de cache. Cache est le nom qui a été choisi pour représenter le niveau de hiérarchie de mémoire situé entre lUC et la mémoire principale. Lélément de base est le bloc. Mémoire Centrale Mémoire Centrale UC

3 Hiérarchie mémoire motsBlocs de mots Pages de mots UC Cache RAM Disque 100 Ko512 Ko Méga 10 Téra 5 ns ns60 ns8 ms

4 Problématique

5 Référence à un mot Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3

6 Référence à un mot Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3 UC veut faire référence à Xn 1

7 Référence à un mot Xn dans le cache Recherche de Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3 2

8 Référence à un mot Xn dans le cache Recherche de Xn dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 X3 X4 X1 Xn-2 Xn-1 X5 X3 Xn Défaut de cache 2

9 Référence à un mot Xn dans le cache Extraction de Xn dans la mémoire Insertion dans le cache Mémoire Centrale Mémoire Centrale UC X4 X1 Xn-2 Xn-1 X5 Xn X3 X4 X1 Xn-2 Xn-1 X5 Xn X3 3

10 Bilan : Référence à un mot Xn X4 X1 Xn-2 Xn-1 X5 Xn X3 Après la référence à Xn X4 X1 Xn-2 Xn-1 X5 X3 Avant la référence à Xn

11 But du cours Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

12 Question 1 : Où placer un bloc? Caches à correspondances directes Caches totalement associatifs Caches associatifs par ensemble

13 web cachespentium3

14 Les caches à correspondance directe Le moyen le plus simple est dassigner un emplacement unique dans le cache. Cet emplacement est fonction du mot en mémoire. La correspondance est la suivante : numéro de bloc modulo le nombre de blocs dans le cache Cette structure du cache est dite à correspondance directe. adresse Rappel : Modulo n = reste de la division par n

15 Rappel modulo

16 Rappel modulo mod 8 =3

17 Cache à correspondance directe 8 entrées Mémoire Centrale Mémoire Centrale UC Exemple :

18 Cache à correspondance directe 8 entrées UC Adresse Donnée Adresse Donnée ?

19 Cache à correspondance directe 8 entrées UC mod 8 = 1

20 Cache à correspondance directe 8 entrées UC

21 Simulateur

22 Cache à correspondance directe 8 entrées UC Aux 4 adresses 00001, 01001, 10001, correspond la même entrée dindex (adresse dans le cache) 001 du cache Aux 4 adresses 00001, 01001, 10001, correspond la même entrée dindex (adresse dans le cache) 001 du cache

23 Cache à correspondance directe 8 entrées UC

24 Cache à correspondance directe 8 entrées UC PROBLEME : Un emplacement dans le cache peut appartenir à plusieurs emplacements mémoire. Comment savoir si la donnée correspond au mot demandé ?

25 Cache à correspondance directe 8 entrées UC Réponse : Une Etiquette permet de savoir si le mot demandé est dans le cache DonnéeEtiquette

26 Cache à correspondance directe 8 entrées UC Index Etiquette donnée 00 01

27 Question 1 : Où placer un bloc? Caches à correspondance directe Caches totalement associatifs Caches associatifs par ensemble

28 Les caches totalement associatifs Si un bloc peut être placé nimporte où dans le cache, celui ci est totalement associatif.

29 Les caches totalement associatifs UC ?

30 Les caches totalement associatifs UC

31 Simulateur Simulateurdecache

32 Question 1 : Où placer un bloc? Caches à correspondance directe Caches totalement associatifs Caches associatifs par ensemble

33 Caches associatif par ensemble Si un bloc peut être placé dans un ensemble restreint de places dans le cache, le cache est dit associatif par ensemble de blocs. Un ensemble est un groupe de blocs dans le cache. Un bloc est dabord affecté à un ensemble, puis placé nimporte où dans lensemble. numéro de lensemble = numéro de bloc modulo le nombre densembles dans le cache

34 Cache associatif par ensemble de 4 UC E0 E1 E2 E3

35 Cache associatif par ensemble de 4 UC mod 4 = 1 E0 E1 E2 E3

36 Alors quel cache est à utiliser ? Augmenter le degré dassociativité présente généralement lavantage de diminuer le taux de défaut. (Voir TD) Mais cela a tendance à augmenter le coût et le temps daccès.

37 But du cours Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

38 Organisation de la mémoire principale Adresse du mot Adresse de loctet

39 Organisation de la mémoire principale Adresse du mot Adresse de loctet Mémoire Transfert du mot de 32 bits Pour se déplacer dans le bloc il faut 2 bits dadresse, mais tous les octets Ont le même index. Mémoire Cache

40 Comment trouver un bloc ? Quelle est la relation de ladresse UC avec le cache ? Numéro de lensemble Déplacement dans le bloc Cache associatif par ensemble de bloc Etiquette Index Déplacement dans le bloc Cache direct Etiquette Taille =Log2(blocCache)-1 Index Remarque : en augmentant dun facteur de deux lassociativité on diminue de 1 bit la taille de lindex.

41 Cache à correspondance directe Validité Etiquettedonnée Index Succès

42 UC veux la donnée qui est à ladresse : Etiquette Index Validité Etiquettedonnée Index Adresse doctet 32 UCUC UCUC

43 Lindex sélectionne une entrée du cache : Etiquette Index Validité Etiquettedonnée Index Adresse doctet 32 UCUC UCUC

44 Compare létiquette Etiquette Index Validité Etiquettedonnée Index Adresse doctet = UCUC UCUC

45 Le mot est délivré au processeur Etiquette Index Validité Etiquettedonnée Index Adresse doctet 32 SUCCES UCUC UCUC ET

46 En cas de défaut Etiquette Index UCUC UCUC Mémoire Cache Défaut/succès Donnée Adresse UC

47 Comment tirer parti de la localité spatiale ? Le cache que nous avons décrit jusquà présent ne tire pas parti de la localité spatiale dans les requêtes. En effet, chaque mot dispose de son propre bloc. EXEMPLE Supposons que les adresses doctets suivantes soient demandées par un programme :

48 Exemple : 16,...,19,...,17 UC

49 Exemple : 16,...,19,...,17 UC 16 UC Etiquette Index

50 Exemple : 16,...,19,...,17 UC 16 UC Etiquette Index DEFAUT

51 Exemple : 16,...,19,...,17 UC 16 UC Etiquette Index 10

52 Exemple : 16,...,19,...,17 UC 19 UC Etiquette Index

53 Exemple : 16,...,19,...,17 UC 19 UC Etiquette Index DEFAUT

54 Exemple : 16,...,19,...,17 UC 19 UC Etiquette Index

55 Exemple : 16,...,19,...,17 UC 17 UC Etiquette Index DEFAUT

56 Exemple : 16,...,19,...,17 UC Bilan : 3 défauts

57 Jai une idée ! Ce Dupont.... Dans mes bras = Augmenter la taille des blocs

58 Caches à 4 mots mémoire UC

59 Caches à 4 mots mémoire UC indexadresse dans le bloc remarque : pas détiquette 2 bits3 bits

60 Exemple : 16,...,19,...,17 UC indexadresse dans le bloc remarque : pas détiquette DEFAUT

61 Exemple : 16,...,19,...,17 UC index adresse dans le bloc remarque : pas détiquette On ramène les ref : 16,17,18,19

62 Exemple : 16,...,19,...,17 UC index adresse dans le bloc remarque : pas détiquette succès

63 Exemple : 16,...,19,...,17 UC index adresse dans le bloc remarque : pas détiquette succès

64 Exemple : 16,...,19,...,17 Bilan : 1 seul défaut survient pour trois références. SUPER : JE SUIS LE MEILLEUR

65 Exemple : 16,...,19,...,17 Bilan : 1 seul défaut survient pour trois références. SUPER : JE SUIS LE MEILLEUR DUPONT and Co

66 Si nous avons les temps daccès suivants : 1 cycle dhorloge pour envoyer ladresse 10 cycles dhorloge pour chaque accès mémoire 1 cycle dhorloge pour envoyer un mot de donnée. Total = 3* (1+10+1) = 36 cycles

67 Exemple : 16,...,19,...,17 Reprenons les chiffres précédent : 1 cycle dhorloge pour envoyer ladresse 10 cycles dhorloge pour chaque accès mémoire 1 cycle dhorloge pour envoyer un mot de donnée. Total = 1+4*10+4*1 = 45 cycles Le gain nest pas ici enorme !!!!!. Comment diminuer ce temps ?

68 Organisation des mémoires UC Cache Bus Mémoire UC Cache Bus Mémoire UC Cache Bus BMBM BMBM BMBM BMBM

69 Organisation dune mémoire entrelacée Adresse externe a=4b bbbbbbbb Mot 1Mot 2Mot 3Mot Mémoire entrelacée

70 Tirer parti de la localité spatiale Question : De quelle manière une plus grande taille de bloc influence-t-elle les performances ? Le taux de défauts chute lorsque nous augmentons la taille de bloc. Attention : il faut adapter le système mémoire en conséquence.

71 Encore plus compliqué : Le taux de défaut peut augmenter, si la taille de bloc est prise très grande par rapport à la taille du cache, car le nombre de blocs pouvant être contenus dans le cache deviendra petit, et la compétition entre ces blocs sera rude. Par conséquent un bloc sera éjecté du cache avant quun grand nombre de ses mots soit accédé. Le coût du défaut croît. Car le temps nécessaire(si on ne modifie pas le système mémoire) pour accéder à une données augmente.

72 Les caches par ensemble

73 Par ensemble (256) de 4 blocs V ED Index V ED Succès Donnée Multiplexeur 4 par 1 4 Blocs 256 Ensembles

74 Par ensemble (256) de 4 blocs V ED Index V ED Succès Donnée Multiplexeur 4 par 1 4 Blocs 256 Ensembles Adresse doctet UCUC UCUC

75 Par ensemble (256) de 4 blocs V ED Index Adresse doctet V ED Succès Donnée Multiplexeur 4 par UCUC UCUC

76 Par ensemble (256) de 4 blocs V ED Index Adresse doctet V ED Succès Donnée Multiplexeur 4 par

77 Par ensemble (256) de 4 blocs V ED Index Adresse doctet V ED Succès Donnée Multiplexeur 4 par UCUC UCUC

78 Les étiquettes en fonction du type de caches Adresse doctet Etiquette Index Adresse doctet Etiquette Index Totalement associatif Associatif par ensemble de bloc Correspondance directe Pour des caches de même dimension :

79 But du cours Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

80 Quel bloc remplacé lors dun défaut ? Il existe trois stratégies principales employées pour choisir le bloc à remplacer : FIFO (Pas bonne) Le hasard (facile à réaliser) Le plus ancien (LRU Least Rencently Used). Ceci utilise un corollaire de la localité temporelle. Remarque = FIFOdifférent de LRU.

81 Les défauts de caches Défauts obligatoires de chargement (défaut de démarrage à froid). Un bloc accédé pour la première fois nest pas dans le cache. Défauts de capacité. Si le cache ne peut contenir tous les blocs nécessaires au cours de lexécution dun programme Défauts de conflits (défaut de collision). Si la stratégie de placement de bloc est associative par ensembles de blocs ou à correspondance directe, des défauts de conflit surviendront, car un bloc peut être rejeté puis récupéré si trop de blocs sont en correspondance avec le même ensemble.

82 But du cours Question 1 : Où placer un bloc? Question 2 : Comment un bloc est-il trouvé ? Question 3 : Quel bloc remplacé lors dun défaut ? Question 4 : Comment sont traités les écritures?

83 Comment sont traités les écritures? Lécriture simultanée (ou rangement simultané) : Linformation est écrite à la fois dans le bloc du cache et dans le bloc de la mémoire de niveau inférieur. La réécriture (la recopie) : Linformation est écrite uniquement dans le bloc du cache. Le bloc modifié du cache est recopié en mémoire principale uniquement quand il est remplacé.

84 Tirer parti de la localité spatiale Question : De quelle manière une plus grande taille de bloc influence-t-elle les performances ? Le taux de défauts chute lorsque nous augmentons la taille de bloc. Attention : il faut adapter le système mémoire en conséquence.

85 Encore plus compliqué : ATTENTION (voir TD) Le taux de défaut peut augmenter, si la taille de bloc est prise très grande par rapport à la taille du cache, car le nombre de blocs pouvant être contenus dans le cache deviendra petit, et la compétition entre ces blocs sera rude. Par conséquent un bloc sera éjecté du cache avant quun grand nombre de ses mots soit accédé. Le coût du défaut croît. Car le temps nécessaire(si on ne modifie pas le système mémoire).

86 Les performances des caches Le temps UC est divisé entre les cycles dhorloge passés par lUC à exécuter le programme et les cycles dhorloge que lUC passe à attendre le système mémoire. Tps UC = (Cycles dexécution UC + Cycles dattente mémoire) * Tps C

87 Les cycles dattente mémoire Les cycles dhorloge dattente mémoire proviennent principalement des défauts de cache. (Une prédiction précise des performances implique généralement des simulations très détaillées du processeur et du système mémoire). Cycles dattente = (Nb. dinst/programmes) mémoire*(Nb. de défauts/instruction) *Coût défaut Cycles dattente = (Nb. d'accès par programme) mémoire*(taux de défaut) *Coût défaut

88 Résumé Où peut être placer un bloc ? Un corresp. direct, plusieurs (associatif par ensembles), ou tout (totalement associatif) endroit. Comment un bloc est il trouvé ? Indexation (correspondance direct) Recherche limitée (associatif par ensembles) Recherche totale (totalement associatif) Quel bloc est remplacé lors dun défaut ? Généralement, soit le moins récemment utilisé, soit un bloc au hasard, de manière aléatoire. Comment sont traitées les écritures ? Chaque niveau de la hiérarchie peut utiliser soit lécriture simultanée soit la réécriture.

89 Résumé Le défi lancé par la conception des hiérarchies de mémoires est que tout changement qui peut améliorer le taux de défauts peut aussi affecter de façon négative les performances globales. Cest une combinaison d'effets positifs et négatifs pour chaque paramètre de conception qui rend délicate la conception dune hiérarchie de mémoires Changement de Conception Augmenter la taille Augmenter lassociativité Augmenter la taille de bloc Effet sur le taux de défauts Réduit les défauts de capacité Réduit le taux de défaut dû aux défauts de conflit Réduit le taux de défaut pour un large éventail de tailles de bloc Effet négatif possible sur les performances Peut augmenter le Tps daccès Peut augmenter le temps daccès Peut augmenter le coût de défaut

90 Caches : taille des blocs Coût de léchec Tps transfert Tps daccès Taille du bloc Taux déchec T ps daccès Augmenter la taille du cache indéfiniment