投訴預處理系統(tǒng)應急預案

投訴預處理系統(tǒng)應急預案投訴預處理系統(tǒng)應急預案00/23中國移動通信集團遼寧信息技術中心集客投訴預處理系統(tǒng)應急預案網(wǎng)管支撐室202305投訴預處理系統(tǒng)應急預案投訴預處理系統(tǒng)應急預案10/23修訂記錄1.02.0

2023-2-92023-5-16

修改內(nèi)容 修訂人名目\l“_TOC_250020“目的 3\l“_TOC_250019“應急預案啟動條件 3\l“_TOC_250018“應急預案執(zhí)行原則 3\l“_TOC_250017“應急預案執(zhí)行留意事項 3\l“_TOC_250016“應急環(huán)境介紹 4\l“_TOC_250015“應急預案處理流程 5\l“_TOC_250014“應急預案內(nèi)容及過程 6\l“_TOC_250013“系統(tǒng)安全類大事 6\l“_TOC_250012“信息篡改大事 6\l“_TOC_250011“拒絕效勞大事 8\l“_TOC_250010“網(wǎng)管系統(tǒng)劫持大事 9\l“_TOC_250009“惡意代碼大事 11\l“_TOC_250008“垃圾郵件大事 12\l“_TOC_250007“系統(tǒng)故障類大事 13\l“_TOC_250006“數(shù)據(jù)庫故障場景 13\l“_TOC_250005“網(wǎng)絡故障場景 16\l“_TOC_250004“應用訪問特別故障 17\l“_TOC_250003“數(shù)據(jù)源故障場景 18\l“_TOC_250002“效勞器故障場景 20\l“_TOC_250001“相關人員聯(lián)系表 21\l“_TOC_250000“本應急預案知曉范圍 22目的投訴預處理系統(tǒng)應急處理流程及突發(fā)安全大事的處理力量。應急預案啟動條件應急預案執(zhí)行原則下，實施本應急預案。以最低限度業(yè)務影響為前提、做到以下幾點：先搶通、再搶修。以業(yè)務恢復為第一要務。重點保障業(yè)務正常下發(fā)。應急預案執(zhí)行留意事項急預案時應留意以下幾點：處理大事前：大事上報相關部門領導。不能隨便刪除數(shù)據(jù)或日志，避開盲目操作。處理大事后：總結突發(fā)大事，匯報相關問題。應急環(huán)境介紹(Santiago)應用系統(tǒng)名：集客投訴預處理系統(tǒng)。(Santiago)2.相關效勞器信息：效勞器名稱效勞器地址操作系統(tǒng)效勞器功能jkts-app-oss4HatEnterpriseLinuxServerrelease6.0(Santiago)應用效勞器jkts-cj-oss5RedHatEnterpriseLinuxServerrelease6.0(Santiago)應用效勞器-負載均衡jkts-apptest-oss6RedHatEnterpriseLinuxServerrelease6.0(Santiago)采集器jkts-cjtest-oss7RedHatEnterpriseLinuxServerrelease6.0(Santiago)MQjkts-test1-oss2RedHatEnterpriseLinuxServerrelease6.0(Santiago)應用效勞器-測試jkts-test2-oss3RedHatEnterpriseLinuxServerrelease6.0采集器-測試(Santiago)jkts-test3-oss4RedHatEnterpriseLinuxServerrelease6.0MQ數(shù)據(jù)庫：集中數(shù)據(jù)庫hn_x86oss3_1523_P1效勞器防火墻策略為開放指定協(xié)議端口。拓撲圖：應急預案處理流程常規(guī)處理流程：應急演練流程11.上報部門領應急演練流程11.上報部門領導，應急完畢8.登錄效勞器主機，替換配置文件9.檢查系統(tǒng)使用是否正常應急啟動大事上報大事處理大事總結安全服3.通過分析系統(tǒng)日志及查看系統(tǒng)7.登錄效勞器主機，修改賬號口務名目文件確認為令，刪除特別賬人信息篡改攻擊號員安全2.系統(tǒng)無法4.通過核實情6.組織運維人10.匯總各部門人管使用疑似攻況，報告至部門員、安全效勞人員意見，形成演理擊告知領導員進展應急練總結員部門5.下達應急指領示，啟動應急導運維管1.覺察系統(tǒng)無法使用，理告知安全管人理員員大事演練流程圖3.通過分析日志確認為受到攻擊致使應用進程內(nèi)存溢出，導致進程效勞掛死4.通過核實情6.組織運維人9.匯總各部門人況，報告至部門員、安全效勞人員意見，形成演領導員進展應急練總結員部門領導5.下達應急指示，啟動應急運維1.覺察系統(tǒng)翻開管理提示404錯誤，無法使用，告知7.重啟應用相關程序8.檢查系統(tǒng)使用是否正常人安全治理員員應急演練流程應急啟動應急演練流程應急啟動大事上報大事處理大事總結安全效勞人員安全治理2.系統(tǒng)無法使用，日志存在內(nèi)存溢出10.上報部門領導，應急完畢是否具備投訴綠色通道：不具備。是否具備批量投訴保障措施：不具備。VIP應急預案內(nèi)容及過程系統(tǒng)安全類大事信息篡改大事大事背景和不良影響。響應。安全大事的覺察現(xiàn)象：系統(tǒng)監(jiān)控人員在監(jiān)控過程中，覺察某個域名解析非法篡改。域名為：04.211.54:8088/CAS-server/login，正常解析為，當前解析不是該地址。大事緊急處理重要文件恢復：將效勞器上最一次保存的配置文件進展恢復。e2e-gum.zip#unzipe2e-gum.zip./ISS_HOME/WebUIServer/webapps/重啟應用系統(tǒng)相關效勞/home/lnjk/ISS_HOME/bin/startUIServer.sh在必要狀況下，進展操作系統(tǒng)和網(wǎng)管系統(tǒng)應用軟件和程序的重安裝。安全大事分析分析訪問日志：#more/var/log/messages、secure、lastlogIP#more/etc/passwd#passwd logonuser查找是否存在可疑文件和后門程序；psnetstat權限和是否對被攻擊效勞器留有后門程序。鏟除措施通過配置防火墻策略，嚴格限制惡意地址的訪問懇求?；謴痛胧┸浖?，并恢復配置文件，對系統(tǒng)進展加固；進展業(yè)務測試，確定系統(tǒng)完全恢復；系統(tǒng)上線運行。拒絕效勞大事大事背景慢甚至不響應。該大事目的主要是對來自于互聯(lián)網(wǎng)針對域名解析發(fā)起的大量非法連接。安全大事的覺察同時系統(tǒng)監(jiān)控人員在監(jiān)控過程中，也覺察了大量半連接。攻擊源的定位系統(tǒng)狀態(tài)不正常，覺察有很多外網(wǎng)特別端口TCP連接；通過網(wǎng)絡分析大量連接的源地址，局部來源為假地址，局部為真地址。通過網(wǎng)絡設備日志等，根本確定攻擊的來源。安全防護措施加以下配置setaddress“Untrust““DeniedIP-N“x.x.x.x55setgroupaddress“Untrust““DeniedIP“add“DeniedIP-N“#ps-ef#kill-HUP進程號#pkgadd-d補丁號鏟除措施通過虛擬化防護系統(tǒng)，對攻擊源進展阻斷處理。網(wǎng)管系統(tǒng)劫持大事大事背景和安全威逼。理的流程。安全大事的覺察系統(tǒng)效勞器有被未知用戶掌握的記錄。大事緊急處理e2e-gum.zip#unzipe2e-gum.zip./ISS_HOME/WebUIServer/webapps/分析訪問日志#more/var/log/messages中添加以下配置setaddress“Untrust““DeniedIP-N“x.x.x.x55setgroupaddress“Untrust““DeniedIP“add“DeniedIP-N“#more/etc/passwd#passwd logonuser在必要狀況下，進展操作系統(tǒng)和網(wǎng)管系統(tǒng)應用軟件和程序的重安裝。安全大事分析對問題主機進展進程、日志、端口、效勞等分析，確認問題。鏟除措施增加防火墻配置，限制惡意地址的訪問懇求。進展系統(tǒng)安全加固?；謴痛胧┲匕惭b操作系統(tǒng)和網(wǎng)管系統(tǒng)應用軟件和程序；進展系統(tǒng)安全加固；測試業(yè)務正常；系統(tǒng)上線運行。惡意代碼大事大事背景主機系統(tǒng)感染病毒的可能性也越來越大。目的擊處理的流程。安全大事的覺察現(xiàn)象：維護人員在檢測過程中覺察UDPUDP大事緊急處理e2e-gum.zip#unzipe2e-gum.zip./ISS_HOME/WebUIServer/webapps/#more/etc/passwd#passwd logonuser在必要狀況下，進展操作系統(tǒng)和網(wǎng)管系統(tǒng)應用軟件和程序的重安裝。安全大事分析在問題主機上，確定惡意代碼特征：進程、端口等，通常以 netstat–naple查看進程和端口的綁定狀況，分析出特別的端口或者進程Ps–ef會列出系統(tǒng)正在運行的全部進程Netstat–anLsof–iArp–aarpMAC使用top命令查看cpu、內(nèi)存利用率高的進程。鏟除措施去除惡意代碼，一般先停頓惡意進程，同時將其相關文件刪除。安裝補丁或通過安全配置，修復漏洞?；謴痛胧┲匕惭b操作系統(tǒng)，并恢復數(shù)據(jù)庫系統(tǒng)；對系統(tǒng)進展安全加固。測試應用系統(tǒng)，系統(tǒng)上線運行。垃圾郵件大事大事背景發(fā)送的特征。見內(nèi)容包括賺錢信息、商業(yè)信等。的流程。安全大事的覺察現(xiàn)象：維護人員在檢測過程中覺察有郵件進程啟動。大事緊急處理關閉郵件效勞進程#ps-ef|grepsendmail#kill進程號安全大事分析確定垃圾郵件的關鍵字特征。鏟除措施停頓郵件進程?；謴痛胧┘僭O攻擊者放置了惡意程序，建議對主機重安裝操作系統(tǒng)對系統(tǒng)進展安全加固。測試應用系統(tǒng)，系統(tǒng)上線運行。系統(tǒng)故障類大事數(shù)據(jù)庫故障場景大事背景突發(fā)數(shù)據(jù)庫無法連接或數(shù)據(jù)入庫提示對表空間”XXXX” 從而影響系統(tǒng)數(shù)據(jù)無法記錄，無法提取數(shù)據(jù)等現(xiàn)象。目的：該大事目的主要是對來自于數(shù)據(jù)庫突發(fā)故障大事進展響應。安全大事的覺察現(xiàn)象大事緊急處理登錄效勞器6，檢查數(shù)據(jù)是否獵取到本地，查看路徑/home/lnjk/zhzyyldat檢 查 數(shù) 據(jù) 入 庫 日 志 ，/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log覺察日志中存在“ORA-01950:對表空間”tnmsdbjk1_data”無權限”錯誤；數(shù)據(jù)庫連接串：hn_x86oss3_1523_P1=(DESCRIPTION_LIST=(LOAD_BALANCE=no)(FAILOVER=on)(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=1)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss31)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=2)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss32)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=3)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss33)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=4)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss34))))用戶名：TNMSDBJK1安全大事分析狀況，如正常查看數(shù)據(jù)入庫日志；否則，通過數(shù)據(jù)冗余機制，人為誤刪除數(shù)據(jù)操作影響，緊急進展人工操作恢復數(shù)據(jù)；登錄效勞器6，客戶表:nohup./DataImportUtil.sh-sY-vgumUserUnit>/dev/null& gumuserC_NE_GROUPCUSTOMER_TRIAL_20230927.txt業(yè)務表:nohup./DataImportUtil.sh-sY-vgumServiceBaseUnit>/dev/null& GUMSERVICEBASEC_NE_GROUPSERVICE_TRIAL_20230927.txt互聯(lián)網(wǎng)專線:nohup ./DataImportUtil.sh -s Y -vgumInternetServiceUnit >/dev/null C_NE_INTERNET_LINE_TRIAL_20230927.txt

GUMINTERNETSERVICE傳 輸 專 線 :nohup ./DataImportUtil.sh -s Y -vgumLeaseServiceUnit>/dev/null& C_NE_TRANS_LINE_TRIAL_20230927.txtAPN專線:nohup./DataImportUtil.sh-sY-vgumGprsServiceUnit>/dev/null& GUMGPRSSERVICEC_NE_GPRS_LINE_TRIAL_20230927.txt語音專線:nohup./DataImportUtil.sh-sY-vgumVoiceServiceUnit>/dev/null& GUMVOICESERVICEC_NE_SPEECH_LINE_TRIAL_20230927.txt短彩信專線:nohup./DataImportUtil.sh-sY-vgumSmsMmsServiceUnit>/dev/null& GUMSMSMMSSERVICE需留意文件生成時間，查看數(shù)據(jù)執(zhí)行狀況/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log；分析數(shù)據(jù)入庫日志/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log，是否存在報錯ORA-01950:對表空間”tnmsdbjk1_data”TNMSDBJK1該用戶RESOURCE角色，增加TNMSDBJK1該用戶表空間“tnmsdbjk1_data”中的配額。鏟除措施集中數(shù)據(jù)庫定期核查各系統(tǒng)數(shù)據(jù)庫用戶及表空間權限?；謴痛胧┎僮鳎患僭O數(shù)據(jù)未獵取，緊急人工操作恢復數(shù)據(jù)，后續(xù)查找具體緣由；數(shù)據(jù)入庫日志正常，庫表數(shù)據(jù)已入庫。網(wǎng)絡故障場景大事背景等狀況，影響系統(tǒng)使用。目的：該大事主要是對來自于數(shù)據(jù)庫無法連接的狀況。安全大事的覺察現(xiàn)象：有用戶反映在使用系統(tǒng)統(tǒng)計報表時，無法統(tǒng)計查詢出全部報表數(shù)據(jù)。大事緊急處理驗證系統(tǒng)本地使用狀況，是否消滅無法查詢現(xiàn)象；2. 登錄服務器 4，查看運維報表/home/lnjk/ISS_HOME/logs/件；無 報 錯 ， 重 啟 服 務 器 上表數(shù)據(jù)查詢狀況。perties，包括數(shù)據(jù)庫連接串，用戶名，密碼。pingi.ping1/52/53/54，查看是否網(wǎng)絡可通，如不通，查看路由信息traceroute1/52/53/54，記錄路由信息，緊急聯(lián)系網(wǎng)絡治理員，進展處理；ii. ping1/52/53/54，查看是否網(wǎng)絡可通，網(wǎng)絡可通，查看數(shù)據(jù)1523，如不通，緊急聯(lián)系網(wǎng)絡治理員，進展處理。安全大事分析是否為數(shù)據(jù)庫配置文件錯誤影響；是否為效勞程序掛死，影響數(shù)據(jù)查詢；是否網(wǎng)絡不行達影響數(shù)據(jù)查詢。鏟除措施定期檢查數(shù)據(jù)庫連接狀況。應用訪問特別故障大事背景404統(tǒng)無法使用。該大事主要是針對應用效勞器應用程序突發(fā)掛死現(xiàn)象導致的故障場景。安全大事的覺察客服人員在使用中突然覺察翻開頁面提示404統(tǒng)頁面。大事緊急處理驗證系統(tǒng)本地使用狀況，是否消滅頁面報錯現(xiàn)象；登錄效勞器4，查看使用進程是否存在 ps-ef|grepDWebUIServer；3.查看是否因客服網(wǎng)絡32、網(wǎng)投網(wǎng)絡20〕問是否存在報錯，無報錯；查看頁面翻開狀況；在必要狀況下，恢復應用程序備份版本。安全大事分析是否因網(wǎng)絡故障導致；是否因效勞程序存在隱蔽BUG。鏟除措施定期在未使用系統(tǒng)時間段，人工重啟相關效勞；定制腳本，在未使用系統(tǒng)時間段進展效勞重啟；測試環(huán)境重復測應用程序版本，是否存在致命BUG?；謴痛胧┬枰罁?jù)定位狀況，逐步處理。臨時重啟應用程序。數(shù)據(jù)源故障場景大事背景據(jù)等狀況，主要集中在各個廠商系統(tǒng)數(shù)據(jù)的維護方面，影響系統(tǒng)的使用。目的：該大事目的主要是通過功能使用覺察接口返回很多據(jù)的狀況。安全大事的覺察對應的工單編號，導致無法獵取投