weblogic中間件周報

1、中國移動江蘇公司W(wǎng)eblogic健康優(yōu)化建議報告報告人：趙偉杰報告日期：2013年08月27日審核人：審核日期： 中國移動通信集團江蘇有限公司上周對應(yīng)用系統(tǒng)進行巡檢，問題主要存在于決策管理與局長平臺兩個系統(tǒng)中。主要工作說明存在問題與優(yōu)化：管理決策應(yīng)用啟動時存在servlet加載過程出錯，影響啟動速度；決策管理JDK版本差異可能導致受管服務(wù)經(jīng)常自動斷開與主控的連接; 局長平臺JVM進行GC優(yōu)化。故障解決：管理決策應(yīng)用首頁報表無法顯示的問題。詳細的巡檢報告如下決策管理系統(tǒng)一、存在問題1. 管理決策應(yīng)用啟動時存在Servlet加載過程中出錯應(yīng)用日志 - Job execution threads w

2、ill use class loader of thread: main- Quartz Scheduler v.1.5.1 created.- RAMJobStore initialized.- Quartz scheduler DefaultQuartzScheduler initialized from default resource file in Quartz package: perties- Quartz scheduler version: 1.5.1問題定位根據(jù)錯誤的信息判斷是由于應(yīng)用啟動的時候加載QuartzInitializer這個servlet，這

3、個servlet有初始化quartz定時任務(wù)的作用，在perties中定義了使用的數(shù)據(jù)源：myDS ,但是WebLogic中是沒有配置這個數(shù)據(jù)源的，因此報了相關(guān)的錯誤，請開發(fā)公司核對一下這些錯誤信息，既然這個數(shù)據(jù)源不起作用，請在配置文件或者程序中去掉對這個數(shù)據(jù)源的加載，以免影響應(yīng)用的啟動速度。2. 決策管理JDK版本差異可能導致受管服務(wù)經(jīng)常自動斷開與主控連接決策管理系統(tǒng)分別安裝在6與6兩臺AIX操作系統(tǒng)的機器上，通過監(jiān)控發(fā)現(xiàn)經(jīng)常會出現(xiàn)受管的服務(wù)與主控斷開連接，導致主控無法對受管的服務(wù)進行連接檢測、監(jiān)控、發(fā)布等操作。應(yīng)用日志# 問題

4、定位經(jīng)過系統(tǒng)的檢查，發(fā)現(xiàn)WebLogic集群中使用了不同版本的JDK，由于不同的JDK的存在不一樣的BUG，提升與改善了一些特定的性能，因此估計是由于兩臺機器所使用不同JDK造成的受管服務(wù)經(jīng)常與主控斷開連接，現(xiàn)兩臺機器使用JDK情況如下IP地址JDK版本6java version 1.4.2Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2)Classic VM (build 1.4.2, J2RE 1.4.2 IBM AIX build ca142-20080923 (SR12) (JIT enab

5、led: jitc)6java version 1.4.2Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2)Classic VM (build 1.4.2, J2RE 1.4.2 IBM AIX build ca142-20070317 (SR8) (JIT enabled: jitc)建議升級6操作系統(tǒng)的JDK，使其版本與6的JDK所使用的版本一致。二、故障1.決策管理首頁報表無法顯示訪問決策系統(tǒng)，首頁的報表無法顯示，查看應(yīng)用日志得到WARNING: .

6、ConnectException: Connection refusedjava.sql.SQLException: .ConnectException: Connection refused at oracle.bi.jdbc.AnaJdbcDriver.connectToNQSNode(AnaJdbcDriver.java:413) at oracle.bi.jdbc.AnaJdbcDriver.connect(AnaJdbcDriver.java:439) at java.sql.DriverManager.getConnection(DriverManager.java:559) at

7、 java.sql.DriverManager.getConnection(DriverManager.java:189) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:129) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:116) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:111) at oracle.apps.xdo.

8、servlet.security.SecurityManagerImpl.getBIServerPrincipal(SecurityManagerImpl.java:1172) at oracle.apps.xdo.servlet.security.SecurityManagerImpl.getPrincipal(SecurityManagerImpl.java:327) at jsp_servlet._login._jspService(_login.java:398) at weblogic.servlet.jsp.JspBase.service(JspBase.java:33) at w

9、ernal.ServletStubImpl$ServletInvocationAction.run(ServletStubImpl.java:1006) at ernal.ServletStubImpl.invokeServlet(ServletStubImpl.java:419) at ernal.TailFilter.doFilter(TailFilter.java:28) at ernal.FilterChainImpl.doFil

10、ter(FilterChainImpl.java:27) at oracle.apps.xdo.servlet.security.SecurityFilter.doFilter(SecurityFilter.java:160) at ernal.FilterChainImpl.doFilter(FilterChainImpl.java:27) at ernal.RequestDispatcherImpl.forward(RequestDispatcherImpl.java:326) at oracle.apps.x

11、do.servlet.security.SecurityFilter.doFilter(SecurityFilter.java:176) at ernal.FilterChainImpl.doFilter(FilterChainImpl.java:27) at ernal.WebAppServletContext$ServletInvocationAction.run(WebAppServletContext.java:6724) at ernal.Authenti

12、catedSubject.doAs(AuthenticatedSubject.java(Compiled Code) at weblogic.security.service.SecurityManager.runAs(SecurityManager.java(Compiled Code) at ernal.WebAppServletContext.invokeServlet(WebAppServletContext.java:3764) at ernal.ServletRequestImpl.execute(Se

13、rvletRequestImpl.java:2644) at weblogic.kernel.ExecuteThread.execute(ExecuteThread.java(Compiled Code) at weblogic.kernel.ExecuteThread.run(ExecuteThread.java:178)Aug 22, 2013 10:50:57 AM oracle.bi.jdbc.AnaJdbcDriver connect問題定位分析原因可能是由于應(yīng)用需要連接某一特定的服務(wù)被拒絕導致，去查看部署應(yīng)用的web.xml文件，得到以下內(nèi)容SAWBridgecom.siebel.

14、analytics.web.SAWBridgeoracle.bi.presentation.sawserver.Host6oracle.bi.presentation.sawserver.Port9710 確定本應(yīng)用需要連接本機的9710端口，但查看之后發(fā)現(xiàn)本機的9710端口并沒有被使用，和開發(fā)公司溝通得知，此為BIEE的服務(wù)。解決通過重啟BIEE的服務(wù)系統(tǒng)已經(jīng)恢復(fù)正常。分析BIEE服務(wù)停止的原因： 使用uptime 看到操作系統(tǒng)運行時間為8天， 想到這是由于上周調(diào)整數(shù)據(jù)庫資源時重啟這個操作系統(tǒng)導致的，建議維護BIEE服務(wù)的工作人員，定時檢查BIEE服務(wù)的運行狀態(tài)。局長平

15、臺一.對局長平臺JVM進行GC優(yōu)化GC日志17.537: GC 17.537: ParNew: 393215K-39216K(458752K), 0.1084250 secs 393215K-39216K(1470464K), 0.1085510 secs20.876: GC 20.876: ParNew: 432432K-21071K(458752K), 0.1903290 secs 432432K-40862K(1470464K), 0.1904330 secs23.465: GC 23.465: ParNew: 414287K-13255K(458752K), 0.0792040 sec

16、s 434077K-33046K(1470464K), 0.0793040 secs24.391: GC 24.391: ParNew: 406471K-13771K(458752K), 0.0310160 secs 426262K-33561K(1470464K), 0.0311460 secs29.740: GC 29.740: ParNew: 406987K-18716K(458752K), 0.0693540 secs 426777K-38506K(1470464K), 0.0694530 secs30.161: Full GC 30.161: ParNew: 56852K-13635

17、K(458752K), 0.0438380 secs30.205: CMS: 19790K-33354K(1011712K), 0.4998790 secs 76643K-33354K(1470464K), CMS Perm : 34070K-34000K(262144K), 0.5439120 secs90.732: Full GC 90.733: ParNew: 391640K-12418K(458752K), 0.0844650 secs90.817: CMS: 33354K-45142K(1011712K), 0.5793540 secs 424995K-45142K(1470464K

18、), CMS Perm : 38480K-38452K(262144K), 0.6640360 secs151.415: Full GC 151.415: ParNew: 5805K-110K(458752K), 0.0047490 secs151.420: CMS: 45142K-41259K(1011712K), 0.5500330 secs 50948K-41259K(1470464K), CMS Perm : 38465K-38462K(262144K), 0.5549870 secs內(nèi)存使用狀況問題定位系統(tǒng)運行的過程中不斷的進行FGC，而且過于頻繁，查看GC日志是由于permgen區(qū)

19、導致的FGC進行。查看內(nèi)存的使用狀況，permgen區(qū)的使用量并不大，不是由于permgen區(qū)不足導致的FGC。 和開發(fā)人員溝通得知系統(tǒng)底層框架有用到spring、hibernate。由于spring和hibernate大量的采用了cglib，導致生成的proxy會比較多，而這些存放在permgen區(qū)域的，Sun JDK默認的情況下并不會去回收，因此出現(xiàn)了較為頻繁的FGC。頻繁的進行FGC反映到前臺的具體表現(xiàn)為：打開頁面會頻繁的出現(xiàn)卡頓的現(xiàn)象。優(yōu)化增加對permgen區(qū)域的gc回收的參數(shù): -XX:+CMSPermGenSweepingEnabled -XX:+CMSClassUnloadingEnabled，優(yōu)化后的效果如下2296.620: GC 2296.620: ParNew: 26468K-250K(29504K), 0.0040210 secs 97819K-71603K(1532736K), 0.0041100 secs2299.196: GC 2299.196: ParNew: 26490K-278K(29504K), 0.0038650 secs 97843K-71632K(1532736K), 0.0039520 secs2301