La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Une introduction à la gestion de la performance Paul Koufalis Président Progresswiz Informatique Your logo here.

Présentations similaires


Présentation au sujet: "Une introduction à la gestion de la performance Paul Koufalis Président Progresswiz Informatique Your logo here."— Transcription de la présentation:

1 Une introduction à la gestion de la performance Paul Koufalis Président Progresswiz Informatique Your logo here

2 Simplify your business © 2005 GUPQ2 Gestion de la performance Progresswiz Informatique n Offre de lexpertise technique Progress, UNIX, Windows et plus depuis 1999 n Spécialisé en matière de performance, disponibilité des systèmes et planification de la continuité daffaires

3 Simplify your business © 2005 GUPQ3 Gestion de la performanceAgenda n Introduction n Les « vrais » paramètres par défaut n Promon n Iostat, vmstat, nmon et autres outils UNIX n Les liens entre le O.S. et la BD n Questions

4 Simplify your business © 2005 GUPQ4 Gestion de la performance Avant de commencer n Désolé – pas de Windows aujourdhui –Les principes sont les mêmes quen UNIX n Si vous avez des questions, nhésitez surtout pas! –Par contre, on va laisser les grosses questions existentielles pour la fin

5 Simplify your business © 2005 GUPQ5 Gestion de la performance Avant de commencer n Cette présentation nest quun survol de la gestion de la performance –On ne peut pas compresser deux semaines de formation dans une présentation dune heure! n Et finalement: Your Mileage May Vary –Linformation dans cette présentation ne sapplique pas nécessairement à votre environnement –Nhésitez pas à demander une évaluation ou de la formation à votre DBA Progress préféré

6 Simplify your business © 2005 GUPQ6 Gestion de la performanceIntroduction n Quest-ce que la gestion de la performance exactement? n Il faut bien savoir comment identifier et documenter un problème précis

7 Simplify your business © 2005 GUPQ7 Gestion de la performanceIntroduction n « Cest lent » –Hmmm…non n Le rapport prenait 15 minutes et maintenant prend 2 hrs –Mieux n Un problème doit être quantifiable –Sinon, comment est-ce que je peux mesurer si ma solution a résolu le problème?

8 Simplify your business © 2005 GUPQ8 Gestion de la performance Le début… n Du livre « Progress Performance Tuning Guide » de Dan Foreman –www.bravepoint.com –Le livre sur la performance Progress n En général, je commence avec ces paramètres –Ça devient le nouveau « baseline » pour les améliorations futures

9 Simplify your business © 2005 GUPQ9 Gestion de la performance Les vrais params par défaut n -bibufs: n -bi (cluster size): 1Mb – 32Mb n -blocksize (BD): 8K n -biblocksize: 8K ou 16K n -B: à discuter mais généralement le plus possible n -directio: à discuter mais typiquement sur AIX seulement n -spin: X # CPU n -semsets: 1 par 100 utilisateurs n APW: 2-4 n AIW/BIW: Oui (vous avez activé le AI, non?)

10 Simplify your business © 2005 GUPQ10 Gestion de la performance Les outils n Progress: –Promon –VST –DB Analysis n UNIX: –iostat –vmstat –sar –Nmon/glance/topas/etc

11 Simplify your business © 2005 GUPQ11 Gestion de la performancePromon n Connaissez-vous le menu caché R&D? PROGRESS MONITOR Version 9 Database: /database/sports 1. User Control 2. Locking and Waiting Statistics 3. Block Access 4. Record Locking Table 5. Activity 6. Shared Resources 7. Database Status 8. Shut Down Database T. Transactions Control L. Resolve Limbo Transactions C. Coordinator Information M. Modify Defaults Q. Quit Enter your selection: R&D

12 Simplify your business © 2005 GUPQ12 Gestion de la performancePromon 12/12/05 Progress Version 9 Monitor (R&D) 18:57:58 Main (Top) Menu 1. Status Displays Activity Displays Other Displays Administrative Functions Adjust Monitor Options Enter a number,, P, T, or X (? for help):

13 Simplify your business © 2005 GUPQ13 Gestion de la performancePromon 12/12/05 Progress Version 9 Monitor (R&D) 18:59:39 Activity Displays Menu 1. Summary 2. Servers 3. Buffer Cache 4. Page Writers 5. BI Log 6. AI Log 7. Lock Table 8. I/O Operations by Type 9. I/O Operations by File 10. Space Allocation 11. Index 12. Record 13. Other Enter a number,, P, T, or X (? for help):

14 Simplify your business © 2005 GUPQ14 Gestion de la performancePromon 12/12/05 Activity: Summary 19:00:38 12/10/05 07:53 to 12/12/05 18:57 (59 hrs 4 min) Event Total Per Sec |Event Total Per Sec Commits |DB Reads Undos |DB Writes Record Reads |BI Reads Record Updates |BI Writes Record Creates |AI Writes Record Deletes |Checkpoints Record Locks |Flushed at chkpt Record Waits Rec Lock Waits 0 % BI Buf Waits 0 % AI Buf Waits 0 % Writes by APW 99 % Writes by BIW 74 % Writes by AIW 95 % DB Size: 29 GB BI Size: 1376 MB AI Size: 1166 MB Empty blocks: Free blocks: 6218 RM chain: Buffer Hits 0 % Active trans: 3 10 Servers, 39 Users (36 Local, 3 Remote, 36 Batch), 6 Apws Enter, A, L, R, S, U, Z, P, T, or X (? for help):

15 Simplify your business © 2005 GUPQ15 Gestion de la performanceSummary n Attention aux chiffres bizarres –0% de buffer hits? n Les compteurs sont 32 bits –Quand ils arrivent au max ils retournent à zéro

16 Simplify your business © 2005 GUPQ16 Gestion de la performancePromon 12/12/05 Activity: Buffer Cache 19:01:59 12/10/05 07:53 to 12/12/05 18:57 (59 hrs 4 min) Total Per Min Per Sec Per Tx Logical reads Logical writes O/S reads O/S writes Checkpoints Marked to checkpoint Flushed at checkpoint Writes deferred LRU skips LRU writes APW enqueues Hit Ratio: 0 % Enter, A, L, R, S, U, Z, P, T, or X (? for help): Real Buffer Hits = ( ) – ( ) ( ) = 99.46%

17 Simplify your business © 2005 GUPQ17 Gestion de la performance Buffer Hits n La « norme » semble être 95% ou plus –Non – 99% ou plus n Pourquoi? –95% = 95 lectures sur 100 sont satisfaites en mémoire et 5 sur disque –99% = Une lecture sur 100 sur disque n 99% est 5 FOIS MIEUX que 95% n 99.9% = 1:1000 = 10 X mieux que 99%

18 Simplify your business © 2005 GUPQ18 Gestion de la performance Buffer Hits n Comment atteindre 99% –Augmenter le –B n Ça va possiblement nécessiter une migration vers une plate-forme 64bit –Corriger les programmes qui font trop de lectures pour rien n Essayer des outils comme le profiler de Progress –Gratuit mais non-supporté

19 Simplify your business © 2005 GUPQ19 Gestion de la performancePromon 12/12/05 Activity: BI Log 19:02:49 12/10/05 07:53 to 12/12/05 18:57 (59 hrs 4 min) Total Per Min Per Sec Per Tx Total BI writes BIW BI writes Records written Bytes written Total BI Reads Records read Bytes read Clusters closed Busy buffer waits Empty buffer waits Log force waits Log force writes Partial writes Enter, A, L, R, S, U, Z, P, T, or X (? for help):

20 Simplify your business © 2005 GUPQ20 Gestion de la performance BI Waits n Rien de pire que de faire attendre une écriture au BI –Éliminer les « Empty Buffer Waits » –Il va toujours y avoir un peu de « Busy Buffer Waits » n Les « Partial Writes » sont normales –Cest le –Mf qui force la BD à écrire les changements avant que le BI buffer soit plein

21 Simplify your business © 2005 GUPQ21 Gestion de la performancePromon 12/12/05 Activity: Other 19:03:51 12/10/05 07:53 to 12/12/05 18:57 (59 hrs 4 min) Total Per Min Per Sec Per Tx Commit Undo Wait on semaphore Flush master block

22 Simplify your business © 2005 GUPQ22 Gestion de la performance Wait on Semaphore n Pas de valeur magique mais en bas de 10/seconde est acceptable n Si plus haut il suffit souvent daugmenter le –spin (Enterprise DB) n Si –spin est déjà assez haut il y a une autre contention quelque part

23 Simplify your business © 2005 GUPQ23 Gestion de la performancePromon 12/12/05 Activity: Performance Indicators 19:04:32 12/10/05 07:53 to 12/12/05 18:57 (59 hrs 4 min) Total Per Min Per Sec Per Tx Commits Undos Index operations Record operations Total o/s i/o Total o/s reads Total o/s writes Background o/s writes Partial log writes Database extends Total waits Lock waits Resource waits Latch timeouts Buffer pool hit rate: 0 % Enter, A, L, R, S, U, Z, P, T, or X (? for help):

24 Simplify your business © 2005 GUPQ24 Gestion de la performance Indicateurs de performance n Il ny a pas de valeur magique ici non plus n Essayez de garder les « waits » aussi bas que possible n Souvent tous les « wait » viennent du « Wait on semaphore »

25 Simplify your business © 2005 GUPQ25 Gestion de la performancePromon 12/12/05 Checkpoints 19:04:56 Ckpt Database Writes No. Time Len Dirty CPT Q Scan APW Q Flushes :03: :02: :00: :59: :58: :56: :54: :52: Enter, R, P, T, or X (? for help):

26 Simplify your business © 2005 GUPQ26 Gestion de la performance Checkpoints n Progress utilise des « fuzzy checkpoint » –Demandez moi de vous lexpliquer après la présentation –De façon simple, tous les changements à la BD doivent être écrit au disque à la fin du CKPT –Sinon, la BD arrête toutes les TX le temps de finir n Les blocs qui restent à écrire sont les « Buffers flushed at CKPT » n À éviter!

27 Simplify your business © 2005 GUPQ27 Gestion de la performance Longueur des CKPT n Minimum une minute quand il y a un grand volume de transactions –Si moins dune minute les APWs nauront probablement pas le temps de finir leur travail n Typiquement aux 15 minutes n Le temps de CKPT est inversement proportionnel à la taille du cluster BI

28 Simplify your business © 2005 GUPQ28 Gestion de la performance Index Analysis n proutil -C idxanalys n Regarder les colonnes « % Util » et « Level » –Garder le % dutilisation aussi haut que possible –En bas de 80% il faut penser à des idxbuild ou idxcompact n Attention au idxcompact avant 9.1E –Lidxbuild réduira aussi le nombre de niveau –Le plus de niveau, le plus de lecture de blocs dindex pour éventuellement trouver le rowid de lenregistrement voulu n Ignorer les index de moins dun Mo

29 Simplify your business © 2005 GUPQ29 Gestion de la performance Table Analysis n proutil -C tabanalys n Je ne lutilise pas vraiment n Certains regardent le « scatter factor » mais cest relatif –Dans quel ordre est-ce que vous accéder vos données le plus souvent? n Index principal? n Essayer de faire des dump and load sur une de vos tables volumineuse –Utiliser des index différent pour chaque dump et essayer le même FOR EACH après chaque load n Il va y avoir une différence assez importante

30 Simplify your business © 2005 GUPQ30 Gestion de la performance _Tablestat et _indexstat n Des VST qui vous donnent des statistiques dutilisations de la table ou de lindex n Utiliser les paramètres de démarrage – tablebase, -tablelimit, -indexbase et – indexlimit pour activer la collecte de données pour toutes les tables et indexes

31 Simplify your business © 2005 GUPQ31 Gestion de la performance _Tablestat et _indexstat File-Name: customer TableStat-id: 1 read: update: create: delete: 1548 Index-Name: name IndexStat-id: 15 read: create: delete: split: 447 blockdelete: 3

32 Simplify your business © 2005 GUPQ32 Gestion de la performance Le serveur n Trois sous-systèmes principaux: –CPU –Mémoire –Disque n Ils sont tous faciles à surveiller –Par contre, cest parfois difficile de trouver le processus qui en abuse

33 Simplify your business © 2005 GUPQ33 Gestion de la performanceCPU n Lutilisation CPU est séparé en 4 catégories: –Utilisateur, système, IO wait et idle n Utilisateur: Le vrai travail –On veut maximiser le temps CPU de lutilisateur n Système: Tout le travail que le système dexploitation doit faire en arrière-plan pour supporter les processus n Idle: Du temps ou le CPU ne fait rien n IO wait: Du temps ou le CPU ne fait rien MAIS il y a au moins un processus qui attend après du IO

34 Simplify your business © 2005 GUPQ34 Gestion de la performanceCPU n Le wait IO nest pas nécessairement mauvais –Si le système na rien à faire il va accorder plus de temps CPU à chaque processus –Une application BD fait normalement beaucoup dIO, alors sil est accordé « trop » de temps CPU il va attendre n Résultat: Wait IO n Sil y a beaucoup de wait IO dans un système occupé (idle à zéro) il se peut quil aie un bottleneck aux disques

35 Simplify your business © 2005 GUPQ35 Gestion de la performanceCPU # sar :34:48 %usr %sys %wio %idle 20:34: :34: :35: :35: :35: Average

36 Simplify your business © 2005 GUPQ36 Gestion de la performanceMémoire n Il ne devrait jamais y avoir de la mémoire libre n Si un processus ne lutilise pas, le système dexploitation devrait lutiliser pour ces tampons fichiers n ATTENTION: Pas de pagination vers la mémoire virtuelle –Il ny a rien de pire pour tuer la performance!

37 Simplify your business © 2005 GUPQ37 Gestion de la performanceMémoire # vmstat 5 5 kthr memory page faults cpu r b avm fre re pi po fr sr cy in sy cs us sy id wa

38 Simplify your business © 2005 GUPQ38 Gestion de la performance Les disques n Toujours une controverse n Les vendeurs de carrosseries essaient de nous vendre du RAID 5 (ou leur propre SuperHyperNotRaid5RAID) –Oh well…cest normale…ils ont une vente à faire et ils peuvent offrir le même espace disque effectif avec moins despace brut

39 Simplify your business © 2005 GUPQ39 Gestion de la performance Les disques n Normalement, on veut le BI sur un disque séparé des.d* –Le BI ne profite pas de systèmes de fichiers striped –On ne veut surtout pas ralentir les écritures au BI –Et pendant quon parle du BI, arrêter de le tronquer à tous les soirs!

40 Simplify your business © 2005 GUPQ40 Gestion de la performance Les disques n Pour les.d*, on ne se casse plus la tête à essayer de placer les fichiers –« Poor mans striping » n Prenez tous les disques disponibles et créez un gros systèmes de fichiers n Mettez tous les fichiers.d dans ce FS

41 Simplify your business © 2005 GUPQ41 Gestion de la performance La vérité et toute la vérité sur RAID5 n RAID 5 is NOT EVIL –Sans rentrer dans une explication détaillée, on peut dire que le RAID 5 fait plus dopérations décritures que le RAID 10 (stripe and mirror) –Pour atténuer leffet, les manufacturiers mettent des tampons de mémoire entre le serveur et le disque –Sur des systèmes bas de gamme, les tampons sont directement sur la carte SCSI/RAID –Si les tampons se remplissent, le sous-système disque agit effectivement comme sil navait aucun tampon

42 Simplify your business © 2005 GUPQ42 Gestion de la performance RAID 5 n Pensez à un évier –Le robinet = demandes décritures du serveur –Le drain = les écritures actuelles aux disques –Si lévier se remplit, il faut arrêter le robinet jusquà temps que le drain puisse faire de lespace n Dans des gros SAN, lévier est tellement gros que ça prend un méchant robinet pour le remplir!

43 Simplify your business © 2005 GUPQ43 Gestion de la performance Le risque du RAID 5 n Dans des systèmes bas de gamme, il y a un vrai risque de corruption de BD si le serveur plante –Encore une fois un sujet qui prendrait trop de temps à expliquer n Pour éliminer le risque, il faut arrêter lutilisation des tampons lors des écritures –Bye-bye à la performance n Encore, dans un vrai SAN, toutes les composantes sont redondantes et protégées par des systèmes de UPS avancés

44 Simplify your business © 2005 GUPQ44 Gestion de la performance Le mot final sur le RAID 5 n Il y aura un prix de performance à payer –Mais on ne sait pas à quel débit et si ce débit est suffisant pour votre environnement n Si ce nest pas un vrai SAN, éviter la configuration RAID 5 –La différence de coût est négligeable comparer au coût si jamais il y a un problème

45 Simplify your business © 2005 GUPQ45 Gestion de la performance La surveillance des disques n Les Kb/sec ne mintéressent pas –Ce sont les opérations par secondes qui sont importantes n Un disque normale peu faire environ 100 IOPS –150 pour les disques tours –Souvent encore plus pour les disques SAN –Attention sur les SAN: Un « disque » de lO.S. est rarement un vrai disque physique

46 Simplify your business © 2005 GUPQ46 Gestion de la performance La surveillance des disques # iostat 5 5 Disks: % tm_act Kbps tps Kb_read Kb_wrtn hdisk hdisk hdisk # sar –d :16:18 device %busy avque r+w/s blks/s avwait avserv hdisk hdisk hdisk

47 Simplify your business © 2005 GUPQ47 Gestion de la performance La surveillance des disques n On veut valider quelques statistiques –Les tps sont plus ou moins égales pour toutes les disques des BDs –Avque et avwait sont zéro –Attention – le % activité parfois nest pas exact parce que les disques sont cachés derrière le contrôleur RAID

48 Simplify your business © 2005 GUPQ48 Gestion de la performanceNmon/Topas/Glance n Il existe plusieurs utilitaires de surveillance en temps réel n Moi jaime bien nmon mais ils sont tous pas mal équivalents

49 Simplify your business © 2005 GUPQ49 Gestion de la performancenmon CPU Utilisation CPU User% Sys% Wait% Idle|0 |25 |50 |75 100| |s > | |Us > | |UUUUUUssssssWWWWWWWWWWWWWWWWWWWWWW > | |UUUUUssssWWWWWWWWWWWWWWWWWWWWW > | |UUUUUUUUUUsssssWWWW > | |UUUUUUUUUUUUUUssssssWWWWWWWWWWWW >| |UUUUUUUUUUUUUUUsss > | |UUUUUUs > | |UUUUUUUsssWWWWWWW > | Memory Use Physical Virtual Paging pages/sec In Out VM parameters % Used 100.0% 0.3% to Paging Space numperm 61.4% % Free 0.0% 99.7% to File System minperm 4.9% MB Used MB 27.0MB Page Scans maxperm 9.7% MB Free 4.4MB MB Page Cycles 0.0 minfree 960 Total(MB) MB MB Page Reclaim 0.0 maxfree 1216 Top Processes Procs=1066 mode=3 (1=Basic, 2=CPU 3=Perf 4=Size 5=I/O w=wait-procs) PID %CPU Size Res Res Res Char RAM Paging Command Used KB Set Text Data I/O Use io other repage % _progres % _progres % _progres % lrud % _mprosrv % java

50 Simplify your business © 2005 GUPQ50 Gestion de la performance Questions ?

51 Simplify your business © 2005 GUPQ51 Gestion de la performance Merci !


Télécharger ppt "Une introduction à la gestion de la performance Paul Koufalis Président Progresswiz Informatique Your logo here."

Présentations similaires


Annonces Google