某單位X系統(tǒng)報(bào)表打開故障分析報(bào)告

某單位X系統(tǒng)報(bào)表打開故障分析報(bào)告目錄1故障現(xiàn)象2業(yè)務(wù)訪問邏輯及分析部署2.1業(yè)務(wù)訪問路徑2.2分析設(shè)備部署3分析過程3.1省局訪問情況分析3.1.1數(shù)據(jù)庫上聯(lián)采集點(diǎn)分析情況3.1.2核心交換機(jī)采集點(diǎn)分析情況3.2徐州訪問情況分析3.2.1表格正常打開情況分析3.2.2表格打開未成功情況分析4分析結(jié)果及建議4.1分析小結(jié)4.2分析建議1故障現(xiàn)象國稅X系統(tǒng)基于B/S架構(gòu)設(shè)計(jì)，通過網(wǎng)頁上“生成報(bào)表”功能讀取用戶希望打開的報(bào)表。目前的故障現(xiàn)象歸納為以下幾點(diǎn)：1)X系統(tǒng)的特定報(bào)表打開速度非常緩慢，有些長(zhǎng)達(dá)半天時(shí)間；2)省局和A局點(diǎn)打開表格速度雖然緩慢，但最終能夠打開表格；3)B局點(diǎn)經(jīng)常出現(xiàn)打開表格過程中斷的情況。2業(yè)務(wù)訪問邏輯及分析部署2.1業(yè)務(wù)訪問路徑（1）省局客戶端?省局內(nèi)網(wǎng)防火墻?IDC機(jī)房防火墻?IDC核心交換機(jī)?數(shù)據(jù)庫防火墻?數(shù)據(jù)庫上聯(lián)交換機(jī)?數(shù)據(jù)庫服務(wù)器（2）B局點(diǎn)客戶端?B局點(diǎn)防火墻?省局內(nèi)網(wǎng)防火墻?IDC機(jī)房防火墻?IDC核心交換機(jī)?數(shù)據(jù)庫防火墻?數(shù)據(jù)庫上聯(lián)交換機(jī)?數(shù)據(jù)庫服務(wù)器2.2分析設(shè)備部署采用多點(diǎn)7*24小時(shí)實(shí)時(shí)抓包分析，通過對(duì)比多個(gè)采集點(diǎn)的流量，找出引起故障的根本原因，定位具體的故障點(diǎn)?？苼砭W(wǎng)絡(luò)回溯分析系統(tǒng)的部署拓?fù)淙缦聢D所示。針對(duì)X業(yè)務(wù)訪問故障情況，分別設(shè)置了如下監(jiān)控點(diǎn)，對(duì)業(yè)務(wù)拓?fù)溥M(jìn)行了全面覆蓋式監(jiān)控:l省局內(nèi)網(wǎng)lIDC機(jī)房核心交換機(jī)l數(shù)據(jù)庫上聯(lián)交換機(jī)lB局點(diǎn)內(nèi)網(wǎng)3分析過程省局客戶端IP為77.16.28.228，B局點(diǎn)IP為77.48.17.111。省局及B局點(diǎn)訪問數(shù)據(jù)庫均存在數(shù)據(jù)庫響應(yīng)非常緩慢的情況，數(shù)據(jù)庫對(duì)每個(gè)數(shù)據(jù)庫查詢請(qǐng)求響應(yīng)時(shí)間達(dá)到幾分鐘至幾十分鐘，而一次表格查詢需要發(fā)出多個(gè)數(shù)據(jù)庫查詢請(qǐng)求，導(dǎo)致每次表格打開需要等待較長(zhǎng)時(shí)間。3.1省局訪問情況分析3.1.1數(shù)據(jù)庫上聯(lián)采集點(diǎn)分析情況77.16.28.228訪問77.88.16.33一共產(chǎn)生了3.31MB的數(shù)據(jù)，但卻花費(fèi)了1小時(shí)47分鐘。如下圖所示。通過回溯分析系統(tǒng)的TCP流重組技術(shù)，具體察看本次TCP會(huì)話的統(tǒng)計(jì)信息。1)三次握手時(shí)間約為5毫秒，客戶端與服務(wù)器之間的網(wǎng)絡(luò)傳輸質(zhì)量良好；2)客戶端傳輸數(shù)據(jù)時(shí)間約為5秒；3)服務(wù)器傳輸數(shù)據(jù)時(shí)間約為2秒；4)服務(wù)器響應(yīng)時(shí)間約為1小時(shí)47分，大大超出正常響應(yīng)范圍。通過數(shù)據(jù)包的篩選，發(fā)現(xiàn)多個(gè)耗時(shí)幾百秒甚至是上千秒響應(yīng)的通訊。響應(yīng)時(shí)間616秒響應(yīng)時(shí)間474秒響應(yīng)時(shí)間478秒響應(yīng)時(shí)間352秒響應(yīng)時(shí)間1820秒響應(yīng)時(shí)間1694秒響應(yīng)時(shí)間447秒響應(yīng)時(shí)間306秒具體造成延遲的查詢語句如下表所示3.1.2核心交換機(jī)采集點(diǎn)分析情況77.16.28.228訪問77.88.16.33一共產(chǎn)生了3.29MB的數(shù)據(jù)，但卻花費(fèi)了1小時(shí)47分鐘。如下圖所示。通過回溯分析系統(tǒng)的TCP流重組技術(shù)，具體察看本次TCP會(huì)話的統(tǒng)計(jì)信息。經(jīng)過分析，與服務(wù)器上聯(lián)采集點(diǎn)觀察到的情況一模一樣。同樣，通過數(shù)據(jù)包篩選也存在耗時(shí)幾百秒甚至是上千秒服務(wù)器才作出響應(yīng)的情況，這里就不再截圖了。3.2B局點(diǎn)訪問情況分析對(duì)B局點(diǎn)多次打開表格的流量監(jiān)控情況來看，完整的表格打開過程中，數(shù)據(jù)庫響應(yīng)時(shí)間均在2000秒以內(nèi)的表格雖然打開非常緩慢，但最終能夠打開；表格打開過程中出現(xiàn)數(shù)據(jù)庫響應(yīng)超過2000秒的表格無法正常打開。3.2.1表格正常打開情況分析B局點(diǎn)IP：77.48.17.111在6月16號(hào)下午16：46分打開了一個(gè)表格，在18：47分成功打開表格，中間出現(xiàn)多次數(shù)據(jù)庫響應(yīng)時(shí)間達(dá)到500秒以上的情況，但響應(yīng)時(shí)間均未超過2000秒。6月16號(hào)下午16：46分打開表格，發(fā)出數(shù)據(jù)庫查詢請(qǐng)求：16：51分?jǐn)?shù)據(jù)庫響應(yīng)出現(xiàn)824秒的延時(shí)：17：05分?jǐn)?shù)據(jù)庫響應(yīng)出現(xiàn)669秒的延時(shí)經(jīng)過多次延時(shí)表格最終在18：47分成功打開。3.2.2表格打開未成功情況分析3.2.2.1B局點(diǎn)內(nèi)網(wǎng)監(jiān)控情況77.48.17.111在6月17號(hào)上午8：17分發(fā)起打開表格的請(qǐng)求，最終表格打開異常中斷。B局點(diǎn)內(nèi)網(wǎng)監(jiān)控情況截圖如下：6月17號(hào)上午8：17分發(fā)起打開表格的請(qǐng)求：9：29分發(fā)出一個(gè)數(shù)據(jù)庫查詢請(qǐng)求，收到數(shù)據(jù)庫的確認(rèn)包后沒有再收到數(shù)據(jù)庫的響應(yīng)數(shù)據(jù)，數(shù)據(jù)庫回復(fù)的ACK序列號(hào)為“1897986096”。B局點(diǎn)反應(yīng)該表格未成功打開。3.2.2.2數(shù)據(jù)庫上聯(lián)交換機(jī)監(jiān)控情況在數(shù)據(jù)庫上聯(lián)交換機(jī)監(jiān)控鏈路找到77.48.17.111在6月17號(hào)上午8：17分發(fā)起的會(huì)話，并找到B局點(diǎn)內(nèi)網(wǎng)監(jiān)控點(diǎn)最后收到服務(wù)器的ACK序列號(hào)“1897986096”，發(fā)現(xiàn)數(shù)據(jù)庫在經(jīng)過2453秒后給77.48.17.111回復(fù)了查詢數(shù)據(jù),響應(yīng)時(shí)間為2453秒。數(shù)據(jù)庫響應(yīng)數(shù)據(jù)在經(jīng)過多次重傳后，再無后續(xù)報(bào)文：對(duì)比B局點(diǎn)內(nèi)網(wǎng)監(jiān)控點(diǎn)在序列號(hào)為“1897986096”的ACK后未收到任何數(shù)據(jù)庫響應(yīng)的數(shù)據(jù)，確認(rèn)B局點(diǎn)至數(shù)據(jù)庫中間鏈路問題導(dǎo)致徐州未收到數(shù)據(jù)庫回復(fù)的數(shù)據(jù)。我們分析了IDC機(jī)房交換機(jī)、數(shù)據(jù)庫上聯(lián)交換機(jī)監(jiān)控點(diǎn)的情況，均能看到數(shù)據(jù)庫在序列號(hào)為“1897986096”的ACK后回復(fù)的數(shù)據(jù)，確認(rèn)問題出現(xiàn)在徐州防火墻。詢問B局點(diǎn)防火墻長(zhǎng)連接設(shè)置的超時(shí)時(shí)間為30分鐘，也就是1800秒，而數(shù)據(jù)庫最后一次響應(yīng)時(shí)間為2453秒，超過了B局點(diǎn)國稅防火墻設(shè)置的1800秒，導(dǎo)致防火墻等待1800秒后還未收到會(huì)話的任何數(shù)據(jù)，主動(dòng)斷開連接，導(dǎo)致數(shù)據(jù)庫后續(xù)數(shù)據(jù)未能成功發(fā)送。反觀省局的防火墻長(zhǎng)連接時(shí)間為不限時(shí)，導(dǎo)致省局能夠打開表格，而B局點(diǎn)經(jīng)常無法打開表格的情況。4分析結(jié)果及建議4.1分析小結(jié)通過數(shù)據(jù)包級(jí)的深入分析，可以確定表格打開緩慢原因是數(shù)據(jù)庫對(duì)查詢語句的響應(yīng)時(shí)間非常長(zhǎng)。省局能夠打開表格，B局點(diǎn)國稅經(jīng)常無法打開表格的原因是B局點(diǎn)防火墻長(zhǎng)連接設(shè)置時(shí)間為1800秒，數(shù)據(jù)庫對(duì)查詢語句的響應(yīng)時(shí)間經(jīng)常超過1800秒，導(dǎo)致B局點(diǎn)經(jīng)常無法打開表格的現(xiàn)象。4.2分析建議1.該問題根本原因在于數(shù)據(jù)庫查詢緩慢，建議數(shù)據(jù)庫管理員優(yōu)化數(shù)據(jù)庫查詢效率，尤其需要關(guān)注如下語句：1)SUBSTR(HY_DM,1,3)….SUM(BQYXSSSR)2)SUBSTR(HY_DM,1,3)SUM(QMLDSE_GDZC)3)ZSPM_DM….SUM(BQYXSSSR)…ORA-01403:nod