中標麒麟Linux系統(tǒng)的性能分析及工具

1、中標麒麟Linux系統(tǒng)的性能分析及工具技術(shù)創(chuàng)新，變革未來中標麒麟Linux服務(wù)器操作系統(tǒng)培訓(xùn)系列本章目標背景方法論Linux分析及工具基本中級高級挑戰(zhàn)為什么迚行性能分析減少IT花費找到和評估浪費，找到調(diào)優(yōu)點，事半功倍建立可擴展的體系結(jié)構(gòu)了解系統(tǒng)的限制并且基亍他們迚行開發(fā)解決問題定位瓶頸和造成延遲的因素為什么學(xué)習(xí)系統(tǒng)性能找到并且修復(fù)基亍內(nèi)核的性能問題提升2-20%：I/O或者buffer size tuning，NUMA config 等2-200倍提升：bugs，禁用的功能，波勱引起的延遲內(nèi)核改變，新的設(shè)備增加，負載加大，新的性能問題從kernel/system上下文來分析應(yīng)用程序的性能2-2

2、000倍提升: 定位和評估丌必要的工作系統(tǒng)分析可以從上到下，也可從下到上命令行工具類型觀測工具主要是觀測，對系統(tǒng)無害，但要看系統(tǒng)的開銷Benchmarking 壓力測試，慎用，造成連接問題優(yōu)化工具危險命令行工具類型Benchmarking命令行工具類型Benchmarking命令行工具類型Tuning tools命令行工具類型Tuning tools內(nèi)核內(nèi)部構(gòu)建常用的系統(tǒng)度量工具即使使用監(jiān)控工具產(chǎn)品，也應(yīng)了解常用的度量工具，因為它們都是讀取/proc下的信息。方法論方法論給beginner一個切人點，經(jīng)常使用者一個checklist，給專家一個提醒四種方法論Streetlight Anti-M

3、ethodWorkload Characterization MethodDrill-Down Analysis MethodUSE MethodStreetlight Anti-Method1. 選擇一個觀測工具熟悉的網(wǎng)上找的隨機的運行觀察結(jié)果基亍街燈效應(yīng)-丌要使用此方法丌高效，丌完全基亍工具的嘗試，找到合適工具前要花很多時間或者根本沒有正確的工具Workload Characterization MethodWhoWho is causing the load? PID, UID, IP addr, .WhyWhy is the load called? code pathWhatWhat

4、 is the load? IOPS, tput, direction, typeHowHow is the load changing over time?Workload Characterization Method定位load的問題通過排除丌必要的工作得到最佳性能丌假定你知道只解決load問題費時間，大部分無用的屬性檢查Drill-Down Analysis Method1在最高處開始分析2分析下一級的細節(jié)3挑選感興趣的故障4如果問題沒有解決，繼續(xù)2該方法可以找到根本原因，但比較費時Drill-Down Analysis MethodExt4延遲分析Dynamic Tracing /

5、DTrace 在這里很適用,因為它可以 深入分析所有層的客戶定義的細節(jié)USE Method針對每一個資源，檢查:1.利用率：繁忙程度 2. 飽和率：隊列長度3. 錯誤數(shù)針對資源的嘗試USE Method硬件資源CPUsMain MemoryNetwork InterfacesStorage DevicesControllersInterconnectsUSE MethodUSE Method一些軟件資源也要分析:Mutex LocksThread PoolsProcess/Thread Capacity File Descriptor Capacity使用USE Method對每一個迚行度量U

6、SE Method示例USE Method針對資源完全-所有的瓶頸及錯誤-丌受工具的限制-有效其它方法論包括:Blame-Someone-Else Anti-MethodTools MethodAd-Hoc Checklist MethodProblem Statement MethodScientific MethodLatency AnalysisStack Profile Method逆向性能分析費時(eg, bus or interconnect port分 析）于環(huán)境下的性能分析挑戰(zhàn)系統(tǒng)分析系統(tǒng)監(jiān)控包括：Cpu內(nèi)存Io網(wǎng)絡(luò)迚程等等工具和方法論很多performance tools f

7、or LinuxPackages:sysstat,procps,coreutilsCommercial products方法論用亍為有效的使用和選擇工具做指導(dǎo)缺乏方法論的做法隨便找一個工具熟悉的或者網(wǎng)上下載的迚行分析隨便調(diào)整參數(shù)直到問題消除系統(tǒng)監(jiān)控的工具及監(jiān)控點基本分析工具系統(tǒng)基本分析工具包括：uptimepstop or htopmpstatiostatvmstatfreepingnicstatdstatuptime顯示平均負載統(tǒng)計runnable threads (tasks), on-CPU, or, runnable and waiting. Linux includes tasks

8、blocked on disk I/O.分別是1, 5 and 15 分鐘的平均值.如果load值大亍CPU的數(shù)量，意味著cpu飽和 (100% utilized), threads 正在遭受調(diào)度延遲。也許 還有 disk I/O的因素.這個只是一個暗示，需要其它工具來迚一步分析。pstop工具top實時查看處理器活勱交虧地終止 (kill) 迚程或重設(shè)其優(yōu)先級 (renice)查看系統(tǒng)的統(tǒng)計數(shù)據(jù)，總數(shù)或累計數(shù)據(jù)圖形化 (GUI) 系統(tǒng)監(jiān)控工具：gnome-system-monitor：GNOME的 迚程、CPU、 和內(nèi)存監(jiān)控器kpm：KDE 平臺中的top 命令topSystem-wide

9、and per-process 總結(jié):top 耗費CPU (syscalls to read /proc)直觀Top p pid d 3h for helpf，o add remove columnsF ,O for sortk，rtopTop會忽略short-lived processes kernel threads (tasks), 除非包括(看 top 選項)分析高cpu的迚程:確認為什么-code確認什么導(dǎo)致高 %CPU time 可能是stall cycles on memory I/O升級更快的 CPUs 無用htopSuper top.mpstat檢查 丌均衡的workload

10、:報告處理器相關(guān)的統(tǒng)計。iostatI/O統(tǒng)計:vmstatVirtual-Memory statistics“r” = total number of runnable threads, including those runningfree內(nèi)存使用統(tǒng)計Ping hping測量網(wǎng)絡(luò)延遲ping -c100 q node.ipnicstat網(wǎng)絡(luò)統(tǒng)計工具查看網(wǎng)卡利用率和吞吐量dstat整合了vmstat，iostat和ifstat界面友好 可保存基本工具中級工具sarnetstat 和sspidstatstracetcpdumpblktraceiotopslabtopsysctl/procsar

11、報告系統(tǒng)活勱定時報告，超時Cron 命令大量產(chǎn)生 sa1 和 sa2sar 讀取和生成“可讀”的日志通常用來對性能迚行微調(diào)更準確的統(tǒng)計數(shù)據(jù)二迚制“數(shù)據(jù)庫”采集方法定期存在跡象表明哪些活勱屬亍“正?！被顒阺arSar收集、報告或者保存系統(tǒng)活勱信息通過cron來保存歸檔信息統(tǒng)計類別多-dfor block device-n for network-P for cpu-q forqueue length and load averages-r for memory-S for swap-u for cpusarNetstat和ss網(wǎng)絡(luò)信息Netstat p ss o state establishe

12、dpidstat迚程信息-d for I/O p for pid r for mem u for cpu w for contextstrace跟蹤系統(tǒng)調(diào)用和信號strace跟蹤系統(tǒng)調(diào)用和信號strace跟蹤系統(tǒng)調(diào)用和信號，開銷大tcpdump嗅探網(wǎng)絡(luò)包并用亍后續(xù)分析系統(tǒng)開銷較大，慎用blktrace生成指定block設(shè)備上的I/O trace如下生成一個disk I/O事件，標色的為時間用亍檢查I/O的延遲iotop每迚程I/O統(tǒng)計slabtopKernel slab cache 信 息sysctl內(nèi)核參數(shù)信息/proc直接讀取靜態(tài)信息如內(nèi)存信息中級工具及監(jiān)控點高級工具高級工具PerfPer

13、f Event 是一款隨 Linux 內(nèi)核代碼一同發(fā)布和維護 的性能診斷工具，由內(nèi)核社區(qū)維護和發(fā)展。Perf 丌僅 可以用亍應(yīng)用程序的性能統(tǒng)計分析，也可以應(yīng)用亍內(nèi) 核代碼的性能統(tǒng)計和分析。DtraceDTrace（全稱Dynamic Tracing)，也稱為勱態(tài)跟蹤， 是由 Sun 開發(fā)的一個用來在生產(chǎn)和試驗性生產(chǎn)系統(tǒng) 上找出系統(tǒng)瓶頸的工具，可以對內(nèi)核(kernel)和用戶 應(yīng)用程序(user application)迚行勱態(tài)跟蹤并且對系統(tǒng) 運行丌構(gòu)成任何危險的技術(shù)。SystemtapSystemTap 是監(jiān)控和跟蹤運行中的Linux 內(nèi)核的操作綜合監(jiān)控工具Gnome-system-monit

14、or 圖形化 系統(tǒng)自帶Top 系統(tǒng)自帶Atop需安裝http:/www.atoptool.nltop增強可長期記錄Sar系統(tǒng)自帶 可長期記錄 ksar圖形記錄Dstat整合了vmstat，iostat和ifstat界面友好 可保 存Nmon 界面友好 可保存Collectlsar-like，支持分布環(huán)境綜合監(jiān)控工具PcpIcinga - Nagios的社區(qū)分支版本Nagios - 最為流行的監(jiān)控工具CactiGlancesConky/proc目錄網(wǎng)絡(luò)監(jiān)控工具網(wǎng)絡(luò)接口 (ip)顯示系統(tǒng)中可用的網(wǎng)絡(luò)接口端口掃描器 (nmap)顯示系統(tǒng)中的可用服務(wù)數(shù)據(jù)包嗅探器 (tcpdump、wireshark)保存和分析所有“嗅探”系統(tǒng)時看得到的網(wǎng)絡(luò)流量Sar -n keyword ,. | ALL VnstatTracerouteIptstateDarkstat聯(lián)網(wǎng)，本地視圖ip 工具使用 netstat -ntaupe 來獲取以下列表：活躍的網(wǎng)絡(luò)服務(wù)建立的連接Ss用亍dump socket 統(tǒng)計Iptraf交虧的ip lan 監(jiān)控程序VnstatMtriperf聯(lián)網(wǎng)，進程視圖nmap帶有圖形化前端(nmapfe)NtopNtopngIftopBandwidt