Wls_weblogic管理監(jiān)控參考模板

1、中間件Weblogic管理監(jiān)控注意事項(xiàng)Weblogic監(jiān)控的目的：發(fā)現(xiàn)系統(tǒng)中的隱患及系統(tǒng)運(yùn)行是否穩(wěn)定。主要從以下幾方面進(jìn)行檢查：一、 操作系統(tǒng)：檢查系統(tǒng)cpu、內(nèi)存等使用是否異常。如在負(fù)載不大的情況下，cpu是否一直居高不下，內(nèi)存占用是否一直很大。可以通過(guò)top(topas)、vmstat、free m、ps等命令查看。二、 網(wǎng)絡(luò)：1、位于一個(gè)domain中各個(gè)服務(wù)器是否能夠聯(lián)通。2、weblogic服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器的鏈接是否暢通。三、 Weblogic1、檢查是否對(duì)jvm進(jìn)行了優(yōu)化，如最大堆內(nèi)存、最小堆內(nèi)存，以及gc算法是否合理。2、檢查gc是否正常主要是通過(guò)weblogic控制臺(tái)，查看

2、jvm的空閑內(nèi)存的變化情況，每次gc的回收情況。特別是可以在控制臺(tái)強(qiáng)制垃圾回收，看看回收的內(nèi)存是否太小。如果回收的內(nèi)存太小，說(shuō)明可能存在內(nèi)存益處的隱患。3、檢查線程數(shù)通過(guò)weblogic控制臺(tái)可以查看線程數(shù)的統(tǒng)計(jì)信息。weblogic9及以上的線程是自優(yōu)化的。但應(yīng)該查看系統(tǒng)的線程最大數(shù)是否過(guò)大，如果過(guò)大，就要注意系統(tǒng)為什么會(huì)有這么大的壓力。如下為示例截圖Active Execute Threads：在活動(dòng)的線程池內(nèi)處理請(qǐng)求的線程個(gè)數(shù)Execute Thread Total Count：線程池內(nèi)線程的總數(shù)Execute Thread Idle Count：池內(nèi)的空閑線程數(shù)。它不包含stuck和s

3、tandby的線程數(shù)。它是指等待接收新請(qǐng)求到來(lái)并處理的線程個(gè)數(shù)queue length ：請(qǐng)求隊(duì)列的長(zhǎng)度，及隊(duì)列中等待線程處理的請(qǐng)求的個(gè)數(shù)2 / 7hogging thread count ：線程處理一個(gè)請(qǐng)求時(shí)間超過(guò)一定值被視為hogging狀態(tài)，如果繼續(xù)處理請(qǐng)求超過(guò)一定時(shí)間將被視為stuck，或處理完請(qǐng)求后被放回線程池standby thread count ：統(tǒng)計(jì)在standby（備用）線程池內(nèi)的線程數(shù)。這些線程不需要處理當(dāng)前請(qǐng)求被放入standby池內(nèi)，當(dāng)活動(dòng)的線程池內(nèi)需要更多線程時(shí)，這些線程將被激活。Execute Thread Total Count= Active Execute

4、Threads+ standby thread count4、線程是否有stuck狀態(tài)的。 線程stuck狀態(tài)說(shuō)明存在超時(shí)的線程，也有可能存在線程的死鎖。在查看線程數(shù)的時(shí)候，查看Health一欄，如果出現(xiàn)Warning則代表有stuck（阻塞線程），就要查看系統(tǒng)的運(yùn)行狀態(tài)，jvm等的狀態(tài)是否正常，內(nèi)存使用率等。立即做thread dump得到當(dāng)前虛擬機(jī)下線程活動(dòng)快照，就可以分析服務(wù)器線程之間是否存在死鎖，以及哪些線程處于stuck狀態(tài)。產(chǎn)生thread dump，可以通過(guò)命令ps ef | grep java 列出所有java進(jìn)程即啟動(dòng)的所有的weblogic server進(jìn)程，找到有線程阻塞

5、的進(jìn)程號(hào)wls_pid，然后使用kill -3 wls_pid得到thread dump。通常thread dump會(huì)被輸入到標(biāo)準(zhǔn)輸出中，如果用nohup后臺(tái)方式啟動(dòng)則會(huì)出現(xiàn)在nohup.out或重命名的文件中 。如果是windows環(huán)境則在dos標(biāo)準(zhǔn)輸出窗口中用“ctrl+break”組合鍵獲取thread dump。5、jdbc連接池檢查連接池中等待連接的數(shù)目是否過(guò)大，可以做適當(dāng)調(diào)整。如果用戶訪問(wèn)系統(tǒng)變慢，且連接池基本占滿，但是weblogic的線程數(shù)量很少，就要懷疑應(yīng)用是否沒(méi)有釋放數(shù)據(jù)庫(kù)連接。如下為監(jiān)控?cái)?shù)據(jù)庫(kù)連接池截圖示例：查找連接泄露點(diǎn)的方法：如下圖所示選中數(shù)據(jù)源，點(diǎn)擊Configur

6、ation->Diagnostics，把Profile Connection Leak前打上即可。當(dāng)再次出現(xiàn)連接池泄漏時(shí)查看server日志便可找到具體發(fā)生泄露的代碼，并加以改正，通常打上finally塊，關(guān)閉連接。四、 系統(tǒng)日志通過(guò)系統(tǒng)的日志分析weblogic服務(wù)器及應(yīng)用程序出現(xiàn)的錯(cuò)誤，找到可能影響系統(tǒng)性能的服務(wù)器和應(yīng)用的地方。舉例如下：1、已經(jīng)對(duì)用戶進(jìn)行響應(yīng)java.lang.IllegalStateException: Cannot forward a response that is already committedat ernal.R

7、equestDispatcherImpl.forward(Request DispatcherImpl.java:110)at com.qtong.hebmc.ExceptionFilter.doFilter(ExceptionFilter.java:55)如上異常，為什么對(duì)用戶的response已經(jīng)提交給用戶了，就要懷疑代碼中某些地方在過(guò)濾器過(guò)濾之前已經(jīng)顯示的提交或關(guān)閉了對(duì)用戶的響應(yīng)的outputstream。有些時(shí)候在過(guò)濾器中要做后續(xù)的一些處理，這時(shí)候filter中出現(xiàn)異常，有可能導(dǎo)致數(shù)據(jù)庫(kù)連接不釋放及一些后續(xù)的處理得不到執(zhí)行。2、線程一直處于stuck狀態(tài)<STUCK Execut

8、eThread: '32' for queue: 'weblogic.kernel.Default (self-tuning)' has been busy for "632" seconds working on the request "Http Request: /stat/test/TestCtrl.statOracleTest.do", which is more than the configured time (StuckThreadMaxTime) of "600" seconds. 這

9、句表名線程32執(zhí)行時(shí)間超過(guò)600秒設(shè)定的時(shí)間。檢查這個(gè)請(qǐng)求是否會(huì)導(dǎo)致線程執(zhí)行超時(shí)，是否是長(zhǎng)時(shí)間的處理。當(dāng)前系統(tǒng)狀態(tài)是否正常，是否是cpu、內(nèi)存等資源不足導(dǎo)致的線程執(zhí)行緩慢。重要的一點(diǎn)要查看線程32是否變成unstuck狀態(tài)。否則就有可能出現(xiàn)線程死鎖。<STUCK ExecuteThread: '32' for queue: 'weblogic.kernel.Default (self-tuning)' has become "unstuck".>3、數(shù)據(jù)庫(kù)連接問(wèn)題java.sql.SQLException: BEAOracle J

10、DBC DriverError establishing socket to host and port: dbnew2_vip:1521. Reason: Connection refused當(dāng)出現(xiàn)此問(wèn)題時(shí)，一般系統(tǒng)都執(zhí)行緩慢。檢查是否ping通數(shù)據(jù)庫(kù)，是否有權(quán)限，也可以請(qǐng)數(shù)據(jù)庫(kù)工程師查看數(shù)據(jù)庫(kù)是否運(yùn)行正常。檢查dns服務(wù)器或本地dns映射是否正常，域名dbnew2_vip能否解析。4、檢查Weblogic記錄的Error級(jí)別的日志。找到可能影響系統(tǒng)運(yùn)行及功能的問(wèn)題。如：#<Feb 28, 2010 4:26:20 PM GMT+08:00> <Error> <

11、HTTP> <yanzheng2> <wls6> <ExecuteThread: '1' for queue: 'weblogic.socket.Muxer'> <<WLS Kernel>> <> <> <1267345580932> <BEA-101215> <Malformed Request "/service/js/mareal/mareal.肅移動(dòng)</option><option value=".

12、 Request parsing failed, Code: -1>此出，說(shuō)明線程1執(zhí)行請(qǐng)求“/service/js/mareal/mareal.肅移動(dòng)</option><option value=”的時(shí)候，weblogic對(duì)這個(gè)請(qǐng)求解析失敗，可以請(qǐng)工程師修改請(qǐng)求的格式，以免影響應(yīng)用的功能。5、class文件找不到j(luò)ava.lang.ClassNotFoundException: .service.LoginCtrlat java.lang.Class.forNameImpl(Native Method)at java.lang.Class.forName(Class.

13、java:130)at com.mareal.sterna.Controller.parseController(Controller.java:67). 20 more檢查控制器是否書(shū)寫(xiě)正確，還是這個(gè)java文件沒(méi)有正確編譯部署。6、郵件服務(wù)器異常mons.mail.EmailException: Sending the email to the following server failed : 5:25Caused by: javax.mail.MessagingException: Could not connect to SMTP host: 218.207.

14、67.75, port: 25; nested exception is:.SocketException: Connection timed out:could be due to invalid address檢查郵件服務(wù)器是否有問(wèn)題，ip是否沖突，網(wǎng)絡(luò)連接是否正常，以免影響應(yīng)用的功能。7、是否是算法的bug導(dǎo)致的oom。如下：java.lang.OutOfMemoryError: Initializing Writerat com.sun.imageio.plugins.jpeg.JPEGImageWriter.initJPEGImageWriter(Native Method)at c

15、om.sun.imageio.plugins.jpeg.JPEGImageWriter.<init>(JPEGImageWriter.java:206)at com.sun.imageio.plugins.jpeg.JPEGImageWriterSpi.createWriterInstance(JPEGImageWriterSpi.java:130)at javax.imageio.spi.ImageWriterSpi.createWriterInstance(ImageWriterSpi.java:358)at javax.imageio.ImageIO$ImageWriterIterator.next(ImageIO.java:851)at javax.imageio.ImageIO$ImageWriterIterator.next(ImageIO.java:835)at javax.imageio.ImageIO.write(ImageIO.java:1473)at javax.imageio.ImageIO.write(ImageIO.java:1554)at com.qtong.hebmc.controller.LoginCtrl.smsRandomPic(LoginCtrl.java:267). 21 more應(yīng)該查看com.sun.