XX-138應(yīng)急-數(shù)據(jù)庫緊急處理手冊

第頁文檔編號XX_應(yīng)急_數(shù)據(jù)庫緊急處理手冊版本號V1.0密級秘密應(yīng)急_數(shù)據(jù)庫緊急處理手冊XXX信息技術(shù)有限公司

版本控制編號修訂人修訂時間版本號修訂內(nèi)容說明23目錄1 數(shù)據(jù)庫故障緊急處理流程圖 42 數(shù)據(jù)庫故障緊急的分析處理 53 數(shù)據(jù)庫異常處理——查殺SQL處理 73.1 目的 73.2 適用范圍 73.3 執(zhí)行時間 73.4 流程說明 83.5 自動化腳本原理及實現(xiàn)方法介紹 93.6 技術(shù)部處理流程 9 數(shù)據(jù)庫故障緊急處理流程圖數(shù)據(jù)庫故障緊急的分析處理緊急場景：服務(wù)器掉電或其它硬件故障緊急處理：如果服務(wù)器掉電或其它硬件故障，則直接切換數(shù)據(jù)庫到備機(jī)運(yùn)行。把數(shù)據(jù)庫浮動ip地址綁定到切換后的主機(jī)。預(yù)防措施：做好服務(wù)器硬件的選型工作,減少硬件出現(xiàn)問題的概率做好服務(wù)器硬件方面的巡檢工作，提前發(fā)現(xiàn)問題保證數(shù)據(jù)庫雙機(jī)狀態(tài)的可用性，保證切換的有效性。緊急場景：數(shù)據(jù)庫服務(wù)器負(fù)載異常升高，檢查操作系統(tǒng)日志/var/log/messages，如果確定出現(xiàn)系統(tǒng)內(nèi)核bug，導(dǎo)致db2主進(jìn)程出現(xiàn)問題緊急處理：首先查看HADR備機(jī)的HADR狀態(tài)，確定主備數(shù)據(jù)是否完全同步。如果主備數(shù)據(jù)同步，啟用備機(jī)提供服務(wù)，將主機(jī)浮動IP綁定在備機(jī)上；如果主備數(shù)據(jù)不同步，則直接重啟主機(jī)操作系統(tǒng)，然后啟動數(shù)據(jù)庫，重新綁定主機(jī)的浮動IP地址。預(yù)防措施：做好數(shù)據(jù)庫服務(wù)器的硬件和操作系統(tǒng)選型工作，盡量減少系統(tǒng)內(nèi)核bug的出現(xiàn)。緊急場景：數(shù)據(jù)庫服務(wù)器負(fù)載異常升高，有大量的數(shù)據(jù)庫請求被阻塞，并且時間發(fā)生在數(shù)據(jù)庫全備份結(jié)束時，可確定原因為數(shù)據(jù)庫正在修剪備份歷史文件緊急處理：重啟數(shù)據(jù)庫實例，以中斷備份歷史文件的修剪操作或者停止應(yīng)用服務(wù)器，減少數(shù)據(jù)庫請求，以使修剪操作盡快完成預(yù)防措施：定期檢查數(shù)據(jù)庫備份歷史文件大小，如果比較大（經(jīng)驗值超過10M），則在凌晨或者停機(jī)維護(hù)時使用prune命令修剪此文件。緊急場景：數(shù)據(jù)庫服務(wù)器負(fù)載高，發(fā)現(xiàn)存在耗時和耗資源的SQL語句緊急處理：視情況決定是否將此連接殺掉分析此SQL，如果SQL寫的有問題，則要求相應(yīng)開發(fā)人員修改SQL；如果統(tǒng)計信息有問題，則視情況重新收集統(tǒng)計信息；如果索引創(chuàng)建有問題，則視情況創(chuàng)建索引。預(yù)防措施：定期巡查各庫的SQL語句并進(jìn)行優(yōu)化緊急場景：表空間狀態(tài)異常，處于offline和前滾暫掛狀態(tài)緊急處理：確定表空間容器文件的權(quán)限是否異常，如果權(quán)限有異常，將權(quán)限更改后，前滾數(shù)據(jù)庫至日志末尾預(yù)防措施：嚴(yán)禁修改數(shù)據(jù)庫文件的權(quán)限（包括表空間容器文件、日志文件等）緊急場景：表空間狀態(tài)異常，處于備份暫掛狀態(tài)緊急處理：備份異常表空間預(yù)防措施：嚴(yán)禁在生產(chǎn)數(shù)據(jù)庫使用未帶copyyes選項的load命令帶有復(fù)制或者HADR的環(huán)境中，嚴(yán)禁使用load命令緊急場景：表狀態(tài)狀態(tài)異常，處于reorg暫掛狀態(tài)緊急處理：立即對異常表進(jìn)行重組預(yù)防措施：表結(jié)構(gòu)變更操作必須在測試環(huán)境嚴(yán)格測試后再在生產(chǎn)環(huán)境執(zhí)行嚴(yán)禁在生產(chǎn)數(shù)據(jù)庫中，進(jìn)行刪除列、設(shè)置已有字段非空等的表結(jié)構(gòu)變更操作。數(shù)據(jù)庫異常處理——查殺SQL處理目的為了解決部分應(yīng)用（SQL語句）導(dǎo)致數(shù)據(jù)庫負(fù)載過高，甚至導(dǎo)致數(shù)據(jù)庫無法響應(yīng)，從而影響所有業(yè)務(wù)，特制定該流程。適用范圍該流程的由系統(tǒng)部牽頭，技術(shù)部、產(chǎn)品部協(xié)助，共同制定。當(dāng)發(fā)現(xiàn)異常事件時啟動該流程。異常事件定義:暫定為包含一次數(shù)據(jù)更改（包括插入，更新，刪除數(shù)據(jù)）超過5000行的SQL語句的執(zhí)行（該操作將會被kill掉）。大負(fù)載的SQL語句。暫定為一個數(shù)據(jù)查詢操作行讀超過400萬條的SQL語句的執(zhí)行（此操作會被記錄下來，但是不會被kill掉）。執(zhí)行時間2009-6-22開始執(zhí)行流程說明出現(xiàn)問題，及時溝通處理。并且系統(tǒng)部數(shù)據(jù)庫組成員最晚（李卓總負(fù)責(zé)）在第二個工作日的10：30之前，將前一天的kill事務(wù)（自動化腳本）信息收集整理，填寫下表，郵件發(fā)送平臺負(fù)責(zé)人（張禮文和李均檸）cc給sysadmin@；yan.fu@，并口頭通知到平臺負(fù)責(zé)人（張禮文和李均檸）。格式如下：日期（系統(tǒng)部填寫）發(fā)起的機(jī)器（系統(tǒng)部填寫）執(zhí)行用戶（系統(tǒng)部填寫）執(zhí)行時間（系統(tǒng)部填寫）更新記錄數(shù)（系統(tǒng)部填寫）SQL語句（系統(tǒng)部填寫）影響的業(yè)務(wù)（技術(shù)部填寫）解決方案（技術(shù)部填寫）何時優(yōu)化（技術(shù)部填寫）效果（系統(tǒng)部在填寫）6月15號效果不明顯，XXX技術(shù)部就相關(guān)信息進(jìn)行分析，如果需要其他部門配合，由技術(shù)部牽頭。當(dāng)天下午15：30之前，由技術(shù)部填寫該表(影響的業(yè)務(wù)、解決方案)，全部回復(fù)收件人。系統(tǒng)部數(shù)據(jù)庫組進(jìn)行存檔，并對效果進(jìn)行檢驗，并補(bǔ)充填寫“效果”一列，并全部回復(fù)給收件人。如果相同的異常事件連續(xù)發(fā)生兩天，以上郵件必須抄送給系統(tǒng)部與應(yīng)用中心負(fù)責(zé)人。如達(dá)不到效果，由系統(tǒng)部數(shù)據(jù)庫組重新發(fā)起該流程。

自動化腳本原理及實現(xiàn)方法介紹1)原理編寫shell腳本通過數(shù)據(jù)庫快照表函數(shù)監(jiān)控數(shù)據(jù)庫的運(yùn)行，分析快照并抓取我們認(rèn)為運(yùn)行異常的事務(wù)，記錄下該事務(wù)的相關(guān)信息并取得該事務(wù)的applicationhandle。在shell中執(zhí)行forceapplication停止該異常事務(wù)的執(zhí)行。2）實現(xiàn)監(jiān)控數(shù)據(jù)庫并抓取異常事務(wù)SELECTAGENT_ID,ROWS_READ,STMT_ELAPSED_TIME_MS,STMT_TEXTFROMTABLE(SNAPSHOT_STATEMENT('mobile',-1))asdynSnapTabwhereSTMT_STARTisnotnullandSTMT_TEXTisnotnullandminute(currenttimestamp-STMT_START)>1orROWS_READ>50000停止異常事務(wù)的執(zhí)行db2"forceapplications($id)"技術(shù)部處理流程平臺負(fù)責(zé)人（XX）接到系統(tǒng)部數(shù)據(jù)庫小組“數(shù)據(jù)庫異常更新”的通知，著手處理。13：30前，根據(jù)系統(tǒng)部提供的“異常數(shù)據(jù)庫更新”發(fā)起的機(jī)器IP、服務(wù)名稱、SQL語句，初步判定異常更新SQL語句對應(yīng)的應(yīng)用、根據(jù)SQL語句定位到相應(yīng)的代碼。（如果無法判斷，則召集相關(guān)人員討論）根據(jù)分析結(jié)果，找到負(fù)責(zé)相應(yīng)應(yīng)用的小組或開發(fā)人員，評估該SQL語句的影響到的業(yè)務(wù)、解決方案、解決方