某電臺(tái)故障處理報(bào)告

某電視臺(tái)故障處理報(bào)告故障現(xiàn)象某電視臺(tái)備播系統(tǒng)存儲(chǔ)設(shè)備擴(kuò)容過程中產(chǎn)生瞬時(shí)網(wǎng)絡(luò)風(fēng)暴，導(dǎo)致重大播出事故，采用應(yīng)急處理后網(wǎng)絡(luò)恢復(fù)正常，電視臺(tái)領(lǐng)導(dǎo)責(zé)令查找網(wǎng)絡(luò)風(fēng)暴產(chǎn)生原因。根底網(wǎng)絡(luò)環(huán)境分析方案分析目標(biāo)查找備播系統(tǒng)內(nèi)部產(chǎn)生瞬時(shí)網(wǎng)絡(luò)風(fēng)暴的原因。分析思路第一步：先檢查備播網(wǎng)絡(luò)環(huán)境中是否存在干擾因素：如病毒、網(wǎng)絡(luò)配置不當(dāng)導(dǎo)致網(wǎng)絡(luò)環(huán)路；第二步：如果沒有干擾因素，那么需要重現(xiàn)存儲(chǔ)擴(kuò)容操作過程，查找是否因操作異常導(dǎo)致網(wǎng)絡(luò)風(fēng)暴出現(xiàn)；工具軟件：利用科來協(xié)議分析儀進(jìn)行精確定位；排除環(huán)境干擾定位是否為病毒引起病毒特征分析根據(jù)上面的現(xiàn)象，能夠出現(xiàn)這種網(wǎng)絡(luò)風(fēng)暴的病毒一般情況是蠕蟲或者攻擊類的病毒，該病毒有如下幾種特征：蠕蟲類病毒網(wǎng)絡(luò)層：同大量的主時(shí)機(jī)話，大多是發(fā)包，每個(gè)會(huì)話流量很少；連接層：連接很多，大多是發(fā)出的TCPSYN包，大局部沒有響應(yīng)或被拒絕；總體流量：發(fā)包遠(yuǎn)大于收包數(shù)量arp病毒Arp掃描病毒：發(fā)送大量arp請(qǐng)求，掃描本網(wǎng)段內(nèi)的mac地址，消耗交換機(jī)資源；Arp欺騙攻擊：通過主動(dòng)發(fā)送大量的arp響應(yīng)實(shí)現(xiàn)地址欺騙，從而獲取其它主機(jī)通訊信息，結(jié)合現(xiàn)場(chǎng)環(huán)境情況分析網(wǎng)絡(luò)中的計(jì)算機(jī)設(shè)備被感染該類病毒后會(huì)掃描所有網(wǎng)段內(nèi)的設(shè)備，根據(jù)故障現(xiàn)象描述，單臺(tái)被感染的計(jì)算機(jī)設(shè)備掃描網(wǎng)絡(luò)的流量不會(huì)這么大，除非備播系統(tǒng)內(nèi)部很多的計(jì)算機(jī)設(shè)備被感染，而且是在同一個(gè)時(shí)間進(jìn)行這樣的操作，否那么不會(huì)導(dǎo)致備播系統(tǒng)內(nèi)部4臺(tái)交換機(jī)的指示燈全部狂閃。根據(jù)了解系統(tǒng)升級(jí)前后運(yùn)行狀態(tài)均正常，但是需要查看是否有隱含該類病毒的情況，即是否個(gè)別計(jì)算機(jī)設(shè)備存在這類現(xiàn)象，只是數(shù)據(jù)量比擬小，交換機(jī)表現(xiàn)不明顯；另外根據(jù)故障現(xiàn)象，產(chǎn)生網(wǎng)絡(luò)風(fēng)暴應(yīng)該主要是播送風(fēng)暴，因此通過抓取播送數(shù)據(jù)包能夠檢查是否存在該類現(xiàn)象；確認(rèn)病毒的方法部署協(xié)議分析儀〔筆記本電腦安裝科來軟件〕：監(jiān)控對(duì)象：在每臺(tái)交換機(jī)上鏡像所有端口流量到協(xié)議分析儀端口科來軟件抓包結(jié)果：分析軟件診斷界面中沒有出現(xiàn)頻率很高的掃描行為；診斷界面出現(xiàn)很多IP地址沖突192.168.0.128，經(jīng)過了解，該IP在所有的計(jì)算機(jī)上都存在，是HP效勞器默認(rèn)管理IP，經(jīng)過了解對(duì)網(wǎng)絡(luò)無任何影響，業(yè)務(wù)系統(tǒng)中也沒有使用該網(wǎng)段；少量arp掃描信息，172.27.112.36、172.27.112.6，經(jīng)過了解這2個(gè)IP掃描屬于正常業(yè)務(wù)情況，這2個(gè)效勞器正在查找?guī)讉€(gè)業(yè)務(wù)效勞器，而這些效勞器已經(jīng)關(guān)機(jī)；結(jié)果判定備播系統(tǒng)內(nèi)正常情況下無異常流量；定位網(wǎng)絡(luò)配置根據(jù)上面?zhèn)洳ハ到y(tǒng)網(wǎng)絡(luò)拓?fù)鋱D和實(shí)際的交換機(jī)配置，網(wǎng)絡(luò)設(shè)備物理連接根本為單鏈路連接，網(wǎng)絡(luò)設(shè)備為2層配置，但是和全臺(tái)網(wǎng)互聯(lián)為3層連接，因此初步排查備播交換機(jī)網(wǎng)絡(luò)設(shè)備的配置不會(huì)存在網(wǎng)絡(luò)路由環(huán)路，但是需要進(jìn)一步驗(yàn)證是否受全臺(tái)網(wǎng)核心交換機(jī)的影響。網(wǎng)絡(luò)路由環(huán)路原理：同一個(gè)數(shù)據(jù)包在路由器間循環(huán)傳輸最終丟掉；由于路由實(shí)際上是不可達(dá)的，IP包的TTL值在傳輸過程中斷減小直至1；路由器在丟掉數(shù)據(jù)包時(shí)會(huì)向源地址發(fā)送ICMP數(shù)據(jù)包；網(wǎng)絡(luò)物理環(huán)路原理：同一個(gè)數(shù)據(jù)包在2臺(tái)設(shè)備間無限循環(huán)傳輸，不丟棄；循環(huán)播送報(bào)文形成播送風(fēng)暴〔播送報(bào)文死循環(huán)〕，導(dǎo)致整個(gè)網(wǎng)絡(luò)阻塞；部署協(xié)議分析儀〔筆記本電腦安裝科來軟件〕：監(jiān)控對(duì)象：鏡像備播系統(tǒng)內(nèi)1臺(tái)效勞器訪問通信信息到協(xié)議分析儀端口驗(yàn)證思路：看數(shù)據(jù)包解碼中3個(gè)參數(shù)：IPID、TTL、ICMP是否同時(shí)出現(xiàn)，并且3個(gè)參數(shù)的特征如下：IPID：如果PID相同的tcp/udp數(shù)據(jù)包那么表示同一個(gè)數(shù)據(jù)包TTL：即同一個(gè)數(shù)據(jù)包的TTL為第一個(gè)值逐漸減1，到最后TTL為1；檢查是否有ICMP協(xié)議返回給該效勞器；科來分析儀抓包結(jié)果：診斷界面：只有診斷界面中出現(xiàn)很多IP地址沖突192.168.0.128，；出現(xiàn)很多IP地址沖突192.168.0.128，前面已經(jīng)介紹過對(duì)網(wǎng)絡(luò)無任何影響；沒有異常報(bào)警；少量arp掃描信息，172.27.112.36、172.27.112.6，經(jīng)過了解這2個(gè)IP掃描屬于正常業(yè)務(wù)情況，這2個(gè)效勞器正在查找?guī)讉€(gè)業(yè)務(wù)效勞器，而這些效勞器已經(jīng)關(guān)機(jī)；數(shù)據(jù)包解碼界面：3個(gè)參數(shù)沒有上面的特征分析結(jié)果：沒有網(wǎng)絡(luò)路由環(huán)路和物理環(huán)路產(chǎn)生；環(huán)境干擾分析總結(jié)根據(jù)前面對(duì)病毒、網(wǎng)絡(luò)配置的分析結(jié)果，網(wǎng)絡(luò)中的設(shè)備無明顯大量發(fā)包情況，現(xiàn)場(chǎng)網(wǎng)絡(luò)環(huán)境正常，無任何干擾因素。重現(xiàn)故障思路：根據(jù)前面環(huán)境干擾分析總結(jié)結(jié)果，網(wǎng)絡(luò)環(huán)境正常，而網(wǎng)絡(luò)風(fēng)暴是瞬時(shí)出現(xiàn)，疑心是操作過程中操作不當(dāng)導(dǎo)致，因此讓存儲(chǔ)擴(kuò)容人員詳細(xì)講解和重現(xiàn)擴(kuò)容當(dāng)天的操作過程和線纜連接過程，看是否出現(xiàn)故障現(xiàn)象，并通過科來協(xié)議分析儀來詳細(xì)分析和定位?；謴?fù)連接存儲(chǔ)1的B控制器的數(shù)據(jù)端口說明：存儲(chǔ)控制器上有2個(gè)RJ45類型的端口，其中1個(gè)端口為數(shù)據(jù)訪問端口，另外1個(gè)端口為存儲(chǔ)固件升級(jí)專用管理口。交換機(jī)備播系統(tǒng)4臺(tái)交換機(jī)沒有出現(xiàn)網(wǎng)絡(luò)風(fēng)暴現(xiàn)象；科來協(xié)議監(jiān)控對(duì)象：交換機(jī)上連接存儲(chǔ)1的B控制器的數(shù)據(jù)端口抓包時(shí)間：15分鐘；概要界面：播送流量所占比例很低；診斷界面：沒有異常報(bào)警信息；矩陣界面：矩陣連接數(shù)量正常，未見明顯異常會(huì)話連接；Tcp會(huì)話/udp會(huì)話/IP會(huì)話界面：均正常連接，未見發(fā)包數(shù)量很多的會(huì)話；連接存儲(chǔ)1的B控制器的固件專用管理端口根據(jù)存儲(chǔ)擴(kuò)容人員回憶，操作過程中A控制器的數(shù)據(jù)口能夠連通，但是B控制器的數(shù)據(jù)口不通，疑心是端口插錯(cuò)了，于是直接將不通的線纜拔下來插到另外1個(gè)端口上，然后去做其它的業(yè)務(wù)操作，之后便出現(xiàn)了交換機(jī)所有指示燈全部狂閃的現(xiàn)象〔實(shí)際情況是該操作人員把2個(gè)控制器標(biāo)記給記顛倒了〕。根據(jù)其提供的信息我們按照其操作過程演示了一遍：第一次：網(wǎng)線1連接A控制器的數(shù)據(jù)口，網(wǎng)線2連接B控制器的固件管理口現(xiàn)象：網(wǎng)線1能夠連通，網(wǎng)線2連接后不能ping通172.27.112.201；交換機(jī)現(xiàn)象：備播系統(tǒng)4臺(tái)交換機(jī)沒有出現(xiàn)網(wǎng)絡(luò)風(fēng)暴現(xiàn)象；部署協(xié)議分析儀〔筆記本電腦安裝科來軟件〕：監(jiān)控對(duì)象：鏡像交換機(jī)連接B控制器的固件管理口的通信信息到協(xié)議分析儀端口抓包分析結(jié)果：抓包時(shí)間：15分鐘；診斷界面：沒有異常報(bào)警信息；概要界面：播送流量所占比例很低；矩陣界面：矩陣連接數(shù)量正常，未見明顯異常會(huì)話連接；Tcp會(huì)話/udp會(huì)話/IP會(huì)話界面：均正常連接；第二次：網(wǎng)線1連接A控制器固件管理口，網(wǎng)線2連接B控制器固件管理口交換機(jī)現(xiàn)象：備播系統(tǒng)4臺(tái)交換機(jī)立刻出現(xiàn)網(wǎng)絡(luò)風(fēng)暴現(xiàn)象；部署協(xié)議分析儀〔筆記本電腦安裝科來軟件〕：監(jiān)控對(duì)象：鏡像交換機(jī)連接B控制器的固件管理口的通信信息到協(xié)議分析儀端口抓包分析結(jié)果：抓包時(shí)間：持續(xù)；診斷界面：網(wǎng)卡2連通后立刻出現(xiàn)arp請(qǐng)求風(fēng)暴，并且數(shù)量不斷增加，源IP為2臺(tái)效勞器IP；矩陣界面：矩陣連接數(shù)量正常，未見明顯異常會(huì)話連接；數(shù)據(jù)包解碼：主機(jī)172.27.112.36和172.27.112.6發(fā)送arp請(qǐng)求的數(shù)據(jù)包非常頻繁；訪問的目標(biāo)IP比擬固定，經(jīng)過了解這些IP是業(yè)務(wù)工作站和數(shù)據(jù)庫的IP，只是當(dāng)時(shí)這些設(shè)備關(guān)機(jī)了；處理：將連接B控制器固件管理口網(wǎng)線2拔掉后，網(wǎng)絡(luò)立刻恢復(fù)正常；第三次：將有問題的2臺(tái)效勞器網(wǎng)卡斷網(wǎng)，并重新將網(wǎng)線2連接B控制器固件管理口網(wǎng)線連通后沒過多久，又再次出現(xiàn)以下現(xiàn)象；交換機(jī)現(xiàn)象：備播系統(tǒng)4臺(tái)交換機(jī)立刻出現(xiàn)網(wǎng)絡(luò)風(fēng)暴現(xiàn)象；部署協(xié)議分析儀〔筆記本電腦安裝科來軟件〕：監(jiān)控對(duì)象：鏡像交換機(jī)連接B控制器的固件管理口的通信信息到協(xié)議分析儀端口抓包分析結(jié)果：抓包時(shí)間：持續(xù)抓包；診斷界面：再次出現(xiàn)arp請(qǐng)求風(fēng)暴，并且數(shù)量不斷增加，源IP為其它效勞器IP；處理：將連接B控制器固件管理口網(wǎng)線2拔掉后，網(wǎng)絡(luò)又立刻恢復(fù)正常；至此找到該故障現(xiàn)象，出現(xiàn)交換機(jī)網(wǎng)絡(luò)風(fēng)暴是人為操作不當(dāng)導(dǎo)致：網(wǎng)線應(yīng)該連接到控制器數(shù)據(jù)口，但是被錯(cuò)誤的連接到控制器的固件管理端口上，經(jīng)過與存儲(chǔ)擴(kuò)容操作人員確認(rèn)，確實(shí)有這種情況；深入分析與結(jié)論存儲(chǔ)控制器第一：2個(gè)存儲(chǔ)控制器的固件專用管理口實(shí)際上為1個(gè)物理端口，可能是控制器板卡內(nèi)部部件將這2個(gè)固件的管理端口連通，經(jīng)過與廠商工程師了解得到確認(rèn)；第二：由于2個(gè)存儲(chǔ)控制器的固件專用管理口為1個(gè)端口，因此同時(shí)連接2個(gè)控制器的固件管理口會(huì)直接將交換機(jī)2和交換機(jī)3物理連通，導(dǎo)致交換機(jī)物理環(huán)路；交換機(jī)被物理環(huán)路的表現(xiàn)特征向播送地址x.x.x.255發(fā)送的數(shù)據(jù)包頻率很高，在毫秒級(jí)；向播送地址x.x.x.255發(fā)送的數(shù)據(jù)包的IPID號(hào)相同、TTL值不變；發(fā)生物理環(huán)路會(huì)出現(xiàn)arp請(qǐng)求風(fēng)暴報(bào)警，即網(wǎng)絡(luò)中同時(shí)會(huì)伴隨大量的arp請(qǐng)求數(shù)據(jù)包出現(xiàn)，不能找到目標(biāo)MAC的arp請(qǐng)求數(shù)據(jù)包被交換機(jī)重復(fù)轉(zhuǎn)發(fā)，造成死循環(huán)，最終導(dǎo)致arp請(qǐng)求風(fēng)暴出現(xiàn)；同時(shí)如果將出現(xiàn)arp請(qǐng)求風(fēng)暴的設(shè)備斷網(wǎng)，那么會(huì)陸續(xù)有其它設(shè)備接連出現(xiàn)請(qǐng)求風(fēng)暴報(bào)警；交換機(jī)配置經(jīng)過檢查交換機(jī)上的生成樹spanning-tree協(xié)議沒有啟用，在交換機(jī)存在物理環(huán)路的情況下沒有阻塞其中1條鏈路，從而導(dǎo)致數(shù)據(jù)包被重復(fù)轉(zhuǎn)發(fā)