WAS常見問題處理與系統(tǒng)維護(hù)建議ppt課件

1、WAS常見問題處理與系統(tǒng)維護(hù)建議,IBM WebSphere技術(shù)支持工程師,Page 2,議程,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 3,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 4,WAS是什么,三層電子商務(wù)環(huán)境中的Web中間件（中間層） IBM

2、實(shí)現(xiàn)的J2EE 平臺 Java 運(yùn)行時(shí)環(huán)境（JRE,Page 5,WAS是什么？ Web中間件,第一層：HTTP服務(wù)器，處理并轉(zhuǎn)發(fā)客戶端發(fā)來的請求 第二層：WAS，處理執(zhí)行請求，連接前端HTTP服務(wù)器和后臺系統(tǒng) 第三層：商業(yè)數(shù)據(jù)庫和其他業(yè)務(wù)邏輯,Page 6,WAS是什么？ J2EE 平臺,Page 7,WAS是什么？ Java 運(yùn)行時(shí)環(huán)境,Page 8,WAS拓?fù)渲械幕靖拍?單元（Cell）： 由一組節(jié)點(diǎn)組成的一個(gè)管理域 節(jié)點(diǎn)（Node）： 在一臺物理機(jī)上若干應(yīng)用服務(wù)器配置和運(yùn)行時(shí)管理的集合 應(yīng)用程序服務(wù)器（Application Server）： 所有配置中最主要的運(yùn)行時(shí)組件，是應(yīng)用程序

3、真正運(yùn)行的環(huán)境 部署管理器（Deployment Manager或dmgr）： Network Deployment (ND) 環(huán)境中管理整個(gè)單元的進(jìn)程 節(jié)點(diǎn)代理（Nodeagent）： Network Deployment (ND) 環(huán)境中管理某個(gè)節(jié)點(diǎn)的進(jìn)程 集群（Cluster）： 一起管理的一組應(yīng)用程序服務(wù)器，用來進(jìn)行負(fù)載均衡,Page 9,WAS的基本組件,Page 10,如何管理WAS,基于web的管理工具 - 管理控制臺 基于腳本編制的管理工具 - wsadmin,Page 11,如何管理WAS 管理控制臺,單機(jī)環(huán)境：運(yùn)行在本server上，只能管理自己 ND環(huán)境：運(yùn)行在dmgr上

4、，可管理單元中所有的server，通過“同步”操作將配置更改同步到各個(gè)節(jié)點(diǎn) http:/:9060/ibm/console (or /admin) https:/:9043/ibm/console (or /admin,Page 12,如何管理WAS wsadmin,通過腳本方式管理WAS的運(yùn)行時(shí)環(huán)境和配置 支持兩種腳本編制語言：Jacl 和Jython 三種使用方式： 執(zhí)行單個(gè)命令： C:profilesbinwsadmin -c AdminControl.getNode() 進(jìn)入交互式環(huán)境： C:profilesbinwsadmin wsadmin 執(zhí)行腳本文件： C:profilesbi

5、nwsadmin -f myScript.py,Page 13,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 14,WAS問題的分類和特點(diǎn),配置相關(guān)問題 安裝/升級失敗 HTTP請求轉(zhuǎn)發(fā)失敗 類加載異常 應(yīng)用程序發(fā)布及訪問異常 性能相關(guān)問題 內(nèi)存溢出 響應(yīng)慢/線程掛起 高CPU 宕機(jī)，進(jìn)程退出 處理性能問題和性能調(diào)優(yōu)對于系統(tǒng)運(yùn)維部門來說是一項(xiàng)長期、重要的工作,配置問題多出現(xiàn)在新環(huán)境剛上線后的一段時(shí)間 問題相對比較明確 解決一次

6、即可 性能問題通常會伴隨系統(tǒng)較長時(shí)間 有些問題需要積累很長時(shí)間才會體現(xiàn)出來，如內(nèi)存溢出 有些問題可能只在某些特殊條件下才會出現(xiàn)，如宕機(jī) 有些問題是隨著新的業(yè)務(wù)高峰的到來而出現(xiàn)的 有些問題是應(yīng)用程序變更后引起的性能瓶頸,Page 15,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 16,WAS使用的內(nèi)存,Java 堆內(nèi)存（Java heap) 存放Java對象的內(nèi)存空間 通過-Xms（初始堆大?。┖?Xmx（最大堆大小）設(shè)置，并

7、在運(yùn)行過程中由JVM動(dòng)態(tài)調(diào)整 本地內(nèi)存（native memory） Java對象之外使用的一些內(nèi)存 不能手動(dòng)設(shè)置，等于進(jìn)程可用總內(nèi)存（User Space）減去Java最大堆內(nèi)存 32-bit WAS AIX： 2.75G-Xmx (Xmx2304M) Linux: 3G-Xmx Windows： 2G-Xmx 64-bit WAS 64-bit環(huán)境尋址空間非常大，本地內(nèi)存理論上可以很大,Page 17,Java堆內(nèi)存溢出 主要分類,堆內(nèi)存耗盡 內(nèi)存泄漏 內(nèi)存使用量短時(shí)間內(nèi)達(dá)到最大值（如很大的數(shù)據(jù)庫查詢結(jié)果集） 大對象分配 64KB 即為大對象 可添加JVM參數(shù)找出大對象：-Xdump:st

8、ack:events=allocation,filter=#5m 堆內(nèi)存碎片化（主要是V6.0及以前的版本） pinned objects 不可移動(dòng)的對象,Page 18,Java堆內(nèi)存溢出 內(nèi)存泄漏,監(jiān)控和調(diào)整 - 性能查看器 - 當(dāng)前活動(dòng) - （服務(wù)器名字）- 性能模塊 堆內(nèi)存使用量持續(xù)增長，當(dāng)增長到最大堆后，將無法分配新內(nèi)存，出現(xiàn)內(nèi)存溢出,Page 19,Java堆內(nèi)存溢出 內(nèi)存泄漏,正常情況下堆內(nèi)存的大小應(yīng)該是均值穩(wěn)定的鋸齒狀圖形,Page 20,Java堆內(nèi)存溢出 需要收集的數(shù)據(jù),堆內(nèi)存轉(zhuǎn)儲 heapdump文件 分析堆內(nèi)存的具體使用情況 默認(rèn)生成在下 詳細(xì)垃圾回收日志 native

9、_stderr.log 分析出現(xiàn)內(nèi)存溢出的過程 確認(rèn)觸發(fā)內(nèi)存溢出的直接原因 評估垃圾回收性能，找出合適的GC策略和調(diào)優(yōu)參數(shù) 需要手動(dòng)啟用 Java線程轉(zhuǎn)儲 javacore文件 Java線程信息，環(huán)境變量及Java變量設(shè)置，類加載信息 java.lang.OutOfMemoryError /logs目錄下的其他日志和server.xml文件 MustGather: Out of Memory errors with WebSphere Application Server on AIX, Linux, or Windows http:/,Page 21,本地內(nèi)存溢出,常見原因 最大堆設(shè)置過大

10、java.lang.ThreadLocal泄漏本地內(nèi)存 AIO：DirectByteBuffer 泄漏本地內(nèi)存 JIT（Just-In-Time）編譯器內(nèi)存泄漏 Classloader及其他JNI調(diào)用內(nèi)存泄漏 通常不會生成heapdump，生成系統(tǒng)core，導(dǎo)致crash 64-bit環(huán)境可能表現(xiàn)為WAS進(jìn)程的總內(nèi)存不斷增大 MustGather: Native Memory Issues on Linux http:/ MustGather: Native Memory Issues on AIX http:/,配置建議 減小最大堆 設(shè)置WebContainer線程池最大值等于最小值 設(shè)置W

11、ebContainer定制屬性： com.ibm.ws.webcontainer.channelwritetype=sync 禁用JIT 分析系統(tǒng)core文件,Page 22,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 23,WAS響應(yīng)慢 性能瓶頸在哪里,HTTP服務(wù)器和插件 Java堆內(nèi)存配置不合理 WebContainer線程池 數(shù)據(jù)源連接池 網(wǎng)絡(luò)質(zhì)量 數(shù)據(jù)庫性能,Page 24,線程掛起 現(xiàn)象和成因,線程掛起是JVM不

12、再響應(yīng)客戶端請求的一種狀態(tài)，現(xiàn)象可能表現(xiàn)為： 應(yīng)用程序首頁無法打開 WAS訪問端口（9080）連接數(shù)高 SystemOut.log日志中出現(xiàn)WSVR0605W,可能導(dǎo)致線程掛起的原因： 線程死鎖：A線程等待B線程正在使用的某個(gè)資源，同時(shí)，B線程也在等待A線程正在使用的某個(gè)資源 應(yīng)用程序代碼問題：部分代碼效率不高，在業(yè)務(wù)壓力大的時(shí)候成為性能瓶頸 線程池和/或數(shù)據(jù)源配置不合理 數(shù)據(jù)庫和/或其他后臺系統(tǒng)存在性能問題 垃圾回收效率低下，GC開銷過大 系統(tǒng)物理資源瓶頸：物理內(nèi)存不足，出現(xiàn)換頁；I/O高；,Page 25,線程掛起 需要收集的數(shù)據(jù),用kill -3生成三個(gè)javacore，每兩個(gè)間隔兩分鐘

13、（問題發(fā)生時(shí)收集） 線程信息 監(jiān)控鎖信息 詳細(xì)垃圾回收日志native_stderr.log 垃圾回收效率 有沒有OutOfMemoryError及其他JVM異常 /logs目錄下所有日志 運(yùn)行時(shí)日志SystemOut.log，SystemErr.log ffdc日志 netstat an 端口使用情況 MustGather: Performance, hang, or high CPU issues on Linux （linperf.sh） http:/ MustGather: Performance, hang, or high CPU issues on AIX （aixperf.sh

14、） http:/,Page 26,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 27,WAS高CPU常見原因,高CPU，性能下降，線程掛起幾個(gè)問題常常相互伴隨出現(xiàn) 分析方式和收集數(shù)據(jù)有類似的地方，又各有側(cè)重點(diǎn) 造成WAS高CPU的主要原因包括： 垃圾回收消耗大量CPU資源 應(yīng)用程序出現(xiàn)死循環(huán)/復(fù)雜遞歸調(diào)用/消耗資源的操作 不恰當(dāng)?shù)呐渲?系統(tǒng)CPU資源不足,Page 28,WAS高CPU問題分析思路,垃圾回收消耗大量CPU資源

15、通過tprof/top定位問題 分析垃圾回收日志找出消耗資源的原因 通過-Xgcpolicy設(shè)置合適的垃圾回收策略 調(diào)整其他垃圾回收相關(guān)的JVM參數(shù) 應(yīng)用程序出現(xiàn)死循環(huán)/復(fù)雜遞歸調(diào)用/消耗資源的操作 通過tprof/top定位問題線程 對應(yīng)到j(luò)avacore里找到問題線程的Java堆棧信息 將此堆棧信息提供給程序開發(fā)人員，繼續(xù)排查程序問題 不恰當(dāng)?shù)呐渲?單個(gè)線程消耗的CPU都不高 垃圾回收基本正常 線程數(shù)量很多 系統(tǒng)CPU資源不足 物理CPU個(gè)數(shù)太小 CPU處理出現(xiàn)排隊(duì)等待（vmstat,Page 29,WAS高CPU處理辦法 AIX,數(shù)據(jù)收集方式： 自動(dòng)方式： aixperf.sh 需要以r

16、oot用戶來執(zhí)行 確保腳本有執(zhí)行權(quán)限 輸出：aixperf_RESULTS.tar.gz 手動(dòng)方式： ps avwwwg ps.outkill -3 PIDvmstat 5 12 vmstat.outtprof -skex sleep 60kill -3 PID（等待兩分鐘）kill -3 PID MustGather: Performance, hang, or high CPU issues on AIX （aixperf.sh） http:/,收集的數(shù)據(jù)： aixperf_RESULTS.tar.gz 三個(gè)javacore /logs 三個(gè)javacore /logs ps.out vm

17、stat.out f,Page 30,WAS高CPU處理辦法 Linux,數(shù)據(jù)收集方式： 自動(dòng)方式： linperf.sh 需要以root用戶來執(zhí)行 確保腳本有執(zhí)行權(quán)限 輸出：linperf_RESULTS.tar.gz 手動(dòng)方式： top -bc -d 60 -n 5 top.out &top -bH -d 5 -n 48 -p PID topdashH.out &ps -eLf ps.outkill -3 PIDvmstat 5 12 vmstat.out （等待一分鐘） ps -eLf ps.outkill -3 PIDvmstat 5 12 vmstat.out （等

18、待一分鐘） ps -eLf ps.outkill -3 PIDvmstat 5 12 vmstat.out,收集的數(shù)據(jù)： linperf_RESULTS.tar.gz 三個(gè)javacore /logs 三個(gè)javacore /logs top.out vmstat.out topdashH.out ps.out MustGather: Performance, hang, or high CPU issues on Linux （linperf.sh） http:/,Page 31,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響

19、應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 32,什么是WAS crash（宕機(jī),應(yīng)用程序服務(wù)器因?yàn)檐浖矫娴脑蜻M(jìn)程意外終止的一種故障。 要區(qū)分crash和線程掛起 crash進(jìn)程不在 線程掛起進(jìn)程還在 兩個(gè)問題收集的數(shù)據(jù)有不小的差別,Page 33,WAS crash的常見原因,Segmentation Violation 應(yīng)用程序訪問了錯(cuò)誤的內(nèi)存地址 Native Stack Overflow 棧指針超出線程棧的限制 本地內(nèi)存溢出 OutOfMemoryError，無法使用malloc方法分配到內(nèi)存,Page 34,WAS cr

20、ash的常見原因,垃圾回收異常 垃圾回收過程中出現(xiàn)異常 垃圾回收后出現(xiàn)異常，說明可能存在內(nèi)存故障 JIT（Just-In-Time）異常 編譯過程中出現(xiàn)異常 編譯輸出的本地代碼異常，導(dǎo)致WAS執(zhí)行時(shí)出錯(cuò) JNI（Java Native Interface）調(diào)用異常 程序中調(diào)用到了本地庫文件，或程序中的第三方代碼使用了本地庫文件 如JDBC驅(qū)動(dòng)，MQ庫文件，CM庫文件,Page 35,Crash問題需要收集的數(shù)據(jù),最主要的數(shù)據(jù)： javacore 通常會自動(dòng)生成 /logs下的全部日志 運(yùn)行時(shí)日志：SystemOut.log SystemErr.log JVM日志：native_stderr.l

21、og native_stdout.log ffdc日志 系統(tǒng)core文件 目錄下，系統(tǒng)/tmp目錄下，目錄下 用jextract處理 完整數(shù)據(jù)收集請參考Must Gather文檔： AIX: http:/ Linux：http:/,Page 36,特定操作系統(tǒng)需要收集的數(shù)據(jù),AIX errpt 記錄系統(tǒng)事件和系統(tǒng)報(bào)錯(cuò) dbx輸出 提供native堆棧信息 Linux gdb輸出 libsgrabber,Page 37,Crash的預(yù)防措施,及時(shí)升級JDK 安裝較新的操作系統(tǒng)補(bǔ)丁 如果用到本地庫文件（JDBC驅(qū)動(dòng)，MQ庫，CM庫等），保證這些文件版本足夠新,Page 38,Crash問題的應(yīng)對和

22、處理,發(fā)生之前 確認(rèn)kill -3 能夠生成javacore 系統(tǒng)ulimit設(shè)置成unlimited 確認(rèn)WebSphere和/tmp所在的文件系統(tǒng)有足夠大的剩余空間 關(guān)于core不完整或沒有生成core的處置文檔 AIX：http:/ Linux： http:/ 發(fā)生之后 查看native_stderr.log，確認(rèn)javacore和系統(tǒng)core生成的位置 按照Must Gather文檔的步驟收集完整的數(shù)據(jù) 收集的數(shù)據(jù)一定要完整，便于分析文件 在問題解決/原因找到之前，暫時(shí)保留生成的系統(tǒng)core文件,Page 39,故障處理 總結(jié)與建議,系統(tǒng)配置要合理，預(yù)防可以規(guī)避大量問題 軟件版本要更新

23、，不要被已經(jīng)解決的問題絆倒 垃圾回收要打開，解決多種問題都用到 收集腳本要拷貝，收集數(shù)據(jù)快且全 診斷工具要安裝，避免無米之炊干著急（gdb，dbx ） 發(fā)生故障要冷靜，區(qū)分故障類型，定位問題 收集數(shù)據(jù)要及時(shí)，在“正在發(fā)生”時(shí)收集，錯(cuò)過還需等重現(xiàn) 收集數(shù)據(jù)要完整，節(jié)省診斷時(shí)間，減少重復(fù)收集,Page 40,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 41,WebSphere Application Server (WAS) 介

24、紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理 Q&A,Page 42,健康檢查有什么用,統(tǒng)一配置，規(guī)范管理 排查不合理的配置與設(shè)置，規(guī)避“愚蠢”的問題 監(jiān)控系統(tǒng)運(yùn)行狀況，提早發(fā)現(xiàn)可能存在的性能瓶頸與故障隱患,Page 43,健康檢查查什么,全部配置信息 OS信息，network信息，WAS全部配置 重點(diǎn)配置核實(shí) WAS重點(diǎn)配置（通過管理控制臺和xml配置文件） 運(yùn)行時(shí)日志中的報(bào)錯(cuò)和異常 SystemOut.log，SystemErr.log， ffdc日志 JVM運(yùn)行健康狀況 native_stderr.log 其

25、他性能相關(guān)數(shù)據(jù) 手動(dòng)生成javacore，heapdump,Page 44,健康檢查分類,日常運(yùn)行監(jiān)控 周檢 及時(shí)了解系統(tǒng)運(yùn)行狀況 主要節(jié)假日前檢查 降低節(jié)日期間出現(xiàn)故障的概率 重要時(shí)段健康檢查 兩會，大型國內(nèi)、國際賽事，重要業(yè)務(wù)高峰 新系統(tǒng)上線前檢查 規(guī)避不合理配置，標(biāo)準(zhǔn)化配置，可以避免大量問題的發(fā)生 新系統(tǒng)上線后跟蹤檢查 以排查運(yùn)行時(shí)異常和性能問題為主 重要系統(tǒng)定期深度健康檢查,Page 45,WebSphere Application Server (WAS) 介紹 WAS常見性能問題處理 內(nèi)存問題 響應(yīng)慢/線程掛起 高CPU crash宕機(jī) 系統(tǒng)維護(hù)建議 健康檢查 問題管理 補(bǔ)丁管理

26、Q&A,Page 46,問題管理管什么？ 示例,五分之一操作系統(tǒng)類問題，五分之四中間件問題。WAS問題占據(jù)了整個(gè)問題數(shù)的50,Page 47,問題管理管什么？ 示例,44%的問題跟內(nèi)存溢出相關(guān),Page 48,問題管理管什么？ 示例,內(nèi)存耗盡導(dǎo)致的堆內(nèi)存溢出 (A系統(tǒng)) 應(yīng)用程序優(yōu)化代碼，化整為零 業(yè)務(wù)角度優(yōu)化，減少幵發(fā)、集中大的內(nèi)存申請 增大JVM最大堆大小 大對象引起的堆內(nèi)存溢出 (B系統(tǒng)) 通過增加WAS參數(shù)明確哪個(gè)應(yīng)用程序使用了大對象 禁止使用已知的引起大對象問題的第三方組件，如Jxl 內(nèi)存泄露 (C系統(tǒng)) 修改應(yīng)用程序，解決泄露問題 加強(qiáng)監(jiān)控，部署GC監(jiān)控腳本，定期重啟WAS Nat

27、ive內(nèi)存溢出 (D系統(tǒng)) 應(yīng)用程序優(yōu)化 配置WAS相關(guān)參數(shù)（固定的3個(gè)方法） 減小堆內(nèi)存，增加本地內(nèi)存 使用大對象模型 遷移32 bit WAS到64bit WAS 頻繁的SysGC (E系統(tǒng)) 過于頻繁引起WAS hang 盡量從應(yīng)用角度禁用 從系統(tǒng)角度增加屏蔽參數(shù),Page 49,問題管理管什么？ 示例,為什么WAS的問題如此多，處理時(shí)間比較長？ 1.產(chǎn)品性質(zhì)：WAS是基于java的具有很強(qiáng)靈活性、復(fù)雜性、開放性的商業(yè)中間件 a）WAS性能不穩(wěn)定性受其上運(yùn)行的應(yīng)用程序的影響很大，丌像操作系統(tǒng)等有些產(chǎn)品自身封裝的很嚴(yán)（開放性） b）WAS處于電子商務(wù)IT架構(gòu)標(biāo)準(zhǔn)三層體系結(jié)構(gòu)的中間層，其性能

28、受到前端網(wǎng)絡(luò)/負(fù)載均衡器、后端信息系統(tǒng)（如數(shù)據(jù)庫），以及其運(yùn)行的操作系統(tǒng)等眾多因素的影響（復(fù)雜性） c）WAS是基于j2ee的運(yùn)行時(shí)環(huán)境，j2ee相關(guān)標(biāo)準(zhǔn)復(fù)雜龐大，可編程性極強(qiáng)，WAS環(huán)境可以調(diào)整/設(shè)置成各種丌同的特點(diǎn)（靈活性） 2.當(dāng)前處于集中上線和運(yùn)維的階段，客戶程序尚不穩(wěn)定，WAS相關(guān)的問題會比較多 WAS環(huán)境對于每一個(gè)丌同特點(diǎn)的應(yīng)用程序都需要迚行定制的調(diào)優(yōu)，沒有所謂“通用”的配置，這個(gè)調(diào)整的過程會一直伴隨著應(yīng)用的變化，壓力大變化而丌斷迚行，直到每個(gè)環(huán)境都趨于穩(wěn)定，出現(xiàn)問題的數(shù)量和頻率才會有明顯的下降 3.處理WAS問題的特點(diǎn)決定了處理周期會比較長 a）數(shù)據(jù)收集比較復(fù)雜：WAS很多問題提前丌好預(yù)防，而丏問題出現(xiàn)后，現(xiàn)有的數(shù)據(jù)（日志和配置等）通常丌足以診斷問題，需要有針對性的