1 Performance Evaluation Jean-Yves Le Boudec

2 De quoi sagit-il ? Problème: Évaluer la performance dun système informatique ou de communications Solutions Analyser le problème (facteurs, charge, métrique de performance) Proposer un ou plusieurs modèles Analyser le modèle par simulation ou théoriquement Dans le cours nous étudions les méthodes à utiliser en pratique les théories associées des exemples de travaux pratiques

3 Exemple 1: simulation de serveur web Vous avez developpé un logiciel de gestion de serveur web. Vous voulez évaluer sa performance. Pourquoi ?

4 Comment fonctionne loutil que nous utiliserons (Surge) Idea: find a stochastic model that represents user well User modelled as sequence of downloads, followed by think time Tool can implement several user equivalents Used to generate real work over TCP connections

5 Exemple de trace de simulation

6 Observations La sortie de la simulation est aléatoire Parce que le modèle est probabiliste Il y a une période transitoire Tout ceci est typique de nimporte quel modèle de simulation Cest relié à la théorie des Chaînes de Markov

7 Exemple de trace de simulation

8 Observations Le système est non stationaire Il explose Tout ceci est typique de nimporte quel modèle de simulation Cest relié à la théorie des Chaînes de Markov

9 Traitement dune simulation Savoir si le système va tendre vers la stationarité En utilisant des résultats théoriques de stabilité Ex: une file dattente: coeff. dutilisation < 1 Supprimer les transitoires Quantifier la précision de loutput (intervalle de confiance)

10 Results of 30 Independent Replications

11 Confidence Intervals Mean, normal approx Median Mean, bootstrap

12 Exemple 2: LImportance du Point de Vue Women perform better than men [Weber-C11]

13 Exemple 2: LImportance du Point de Vue Women perform better than men – really ? This is an example of importance of the viewpoint or conditioning must be done well or playing with ratios

14 LImportance du Point de Vue Vous voulez mesure limpact dune modification du logiciel de communication sur la performance dun reseau de mobiles Il nous faut définir un modèle de mobilité Exemple: random trip on city graph

15 City Section

16 Exemple simplifié Lexemple le plus simple : random waypoint dans un rectangle: Mobile picks next waypoint M n uniformly in area, independent of past and present Mobile picks next speed V n uniformly in [v min, v max ] independent of past and present Mobile moves towards M n at constant speed V n M n-1 MnMn

17 Problèmes avec ce modèle simple Les distributions de la vitesse, de la position, des distances, etc. changent avec le temps Distributions of speeds at times 0 s and 2000 s Samples of location at times 0 s and 2000 s Sample of instant speed for one and average of 100 users

18 Que sest-il passé ? Transitoires Différence de point de vue transition arbitraire vs instant arbitraire

19 Pourquoi est-ce important ? Exemple (véridique) : on veut évaluer un protocole en fonction de la mobilité On compare static (uniforme) vs random wapyoint On trouve que mobile meilleur Q. Find the bug ! A. dans le cas mobile, la distribution moyenne dans le temps des mobiles nest pas uniforme – ils sont plus proches ? Random waypoint Static

20 Une Comparaison Juste Il faut comparer le cas statique et mobile en 1.Éliminant les transitoires du cas mobile 2.En donnant la même distribution géographique au cas statique que la distribution stationaire du cas mobile (obtenue par le calcul de Palm) Random waypoint Static, from uniform Static, same node location as RWP

21 Exemple 3: Patterns Quand on évalue la performance, des patterns reviennent souvent Les connaître permet de gagner beaucoup de temps

22 Bottleneck Temps de réponse en fonction du trafic offert

23 In Out In = 5 kb/s pour chaque, out = ? In = 1000 kb/s pour chaque, out = ? Quel est loptimal ? A: in=10 source 1, in=100 source 2 Effet Réseau

24 In Out 20 Mb/s Out In Congestion Collapse Travail inutile brûle des resources

25 Joes Online Shop Online shop Sous haute charge: saturation Que feriez vous pour augmenter le nombre de transactions ?

26 Joe ajoute un serveur Que sest-il passé ? Avant Après

27 Interprétation Deux patterns Bottleneck: le serveur (CPU) est le bottleneck Congestion collapse: le WLAN du shop seffondre sous le trafic Avant: le bottleneck empêche le congestion collapse en limitant le trafic Après: le deuxième serveur engendre plus de trafic (inutile) – le congestion collapse se révèle

28 Exemple 4: Prévision Trafic US Sprint

29 Prévision avec Modèle SARIMA

30 Trafic EPFL

31 Conours de Prévision des Etudiants EPFL Vraie valeur gagnant

32 Conclusion Le cours Performance Evaluation est une application pratique des cours de Programmation Probabilités Réseaux et Systèmes dInformation Un composant essentiel pour comprendre les phénomènes et les méthodes des systèmes informatiques et de communication