交換機CPU使用率高問題定位

1、Security Level: HUAWEI TECHNOLOGIES CO., LTD.交換機交換機CPUCPU使用率高問題定位使用率高問題定位目錄目錄l診斷工具pdisplay工具plog工具l報文沖擊導致的CPU使用率高問題lCPU使用率高問題信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 3display cpu-usage CPU Usage Stat. Cycle: 60 (Second) CPU Usage : 40% Max: 54% CPU Usage Stat. Time : 2008-05-27 09:21:46

2、CPU utilization for five seconds: 50%: one minute: 49%: five minutes: 47% Max CPU Usage Stat. Time : 2008-05-26 09:30:07. TaskName CPU Runtime(CPU Tick High/Tick Low) Task Explanation BOX 0% 0/ 35090 BOX Output _TIL 0% 0/ 0 Infinite loop event task _EXC 0% 0/ 0 Exception Agent Task bcmRX 2% 0/ 3b69a

3、 bcmRX VIDL 50% 0/af3cd700 DOPRA IDLE TICK 0% 0/ 1414bb FOAM 0% 0/ 0 FOAM FTS 25% 0/ 416 FTS IPCQ 0% 0/ 10105f IPCQIPC task for single queue SOCK 10% 0/ ecb2fc SOCKPacket schedule and process 空閑任務任務描述HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 4display cpu-defend statistics all Statistics on sl

4、ot 0: - Packet Type Pass(Bytes) Drop(Bytes) Pass(Packets) Drop(Packets) - arp-miss 0 0 0 0 arp-reply 384 0 6 0 arp-request 346825664 83619584 5419151 1306556 dhcp-client 0 0 0 0 dhcp-server 1427 0 4 0 igmp 2240 0 35 0 nap 0 0 0 0 nd 1424 0 16 0 snmp 0 0 0 0 tcp 0 0 0 0 telnet 0 0 0 0 ttl-expired 0 0

5、 0 0 unknown-multicast 0 0 0 0 - l對于報文沖擊導致CPU高的情形，可進一步通過cpu-defend統(tǒng)計查詢功能確認具體的協(xié)議類型。l協(xié)議上送過多判斷標準：該協(xié)議對應的Drop列有大量計數(shù)，且相對于Pass計數(shù)占比較高，例如上表中的arp-request類型。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 5display logbuffer Logging buffer configuration and contents : enabled Allowed max buffer size : 1024 Act

6、ual buffer size : 512 Channel number : 4 , Channel name : logbuffer Dropped messages : 0 Overwritten messages : 0 Current messages : 395 Feb 28 2012 16:37:40 Quidway %01SNMP/4/DECODE_ERR(l):Failed to login through SNMP, because of the decoded PDU error. (Ip=9, Times=4) Feb 28 2012 16:35:3

7、6 Quidway %01VOSCPU/4/CPU_USAGE_HIGH(l)126:Slot=5;The CPU is overloaded, and the tasks with top three CPU occupancy are FTS(40%), SNPG(30%), bcmRX(5%). (CpuUsage=99%, Threshold=80%) lCPU使用率高往往還伴有告警、日志出現(xiàn)，可以通過查看日志緩沖區(qū)的歷史記錄，搜索CPU_USAGE_HIGH日志，以便確認CPU占用率TOP 3的任務。目錄目錄l診斷工具l報文沖擊導致的CPU使用率高問題p定位思路p故障舉例p第一步：檢

8、查CPU占用率TOP任務p第二步：檢查上送過多的協(xié)議類型p第三步：按協(xié)議類型分別處理lCPU使用率高問題信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 7CPU使用率檢查確認TOP任務確認報文類型協(xié)議分類處理其它情形信息采集l最常見協(xié)議沖擊CPU致使用率高主要表現(xiàn)在bcmRX、FTS、SOCK等任務上。lbcmRX是設備硬件中斷觸發(fā)的的收包任務，它會將收取到的報文立刻轉(zhuǎn)交軟件層面的FTS任務進行分發(fā)處理。l對于屬于三層協(xié)議處理的報文，往往還伴隨有SOCK任務占用率高的情況出現(xiàn)。HUAWEI TECHNOLOGIES CO., LTD.H

9、uawei Confidential 8故障描述：故障描述：交換機產(chǎn)生CPU_USAGE_HIGH告警：備注：備注：如果網(wǎng)管需要主動監(jiān)測CPU使用率，可通過OID：.4.1.20.1.5獲取。Feb 28 2012 16:35:36 Quidway %01VOSCPU/4/CPU_USAGE_HIGH(l)126:Slot=5;The CPU is overloaded, and the tasks with top three CPU occupancy are FTS(27%), VPS(15%), bcmRX(5%). (CpuUsage=9

10、9%, Threshold=80%)HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 9display cpu-usage slot x CPU Usage Stat. Cycle: 60 (Second) CPU Usage : 85% Max: 99% CPU Usage Stat. Time : 2001-04-25 16:15:00 CPU utilization for five seconds: 90%: one minute: 85%: five minutes: 86% Max CPU Usage Stat. Time : 200

11、1-04-24 17:17:07. TaskName CPU Runtime(CPU Tick High/Tick Low) Task Explanation BOX 0% 0/ dad772 BOX Output _TIL 0% 0/ 0 Infinite loop event task _EXC 0% 0/ 0 Exception Agent Task VIDL 15% 8/b51c8f1b DOPRA IDLE TICK 0% 0/ 91e2d7f CLKI 0% 0/ 0 CLKI DEV 0% 0/ 12202d9 DEV Device bcmRX 5% 0/ cb817af bcm

12、RX CHAL 0% 0/ 0 CHAL FTS 23% 0/ 5a876 FTS MOD 0% 0/ 0 MOD Module Management l通過故障現(xiàn)象中的告警信息，可以確認CPU占用率TOP任務中包含有bcmRX、FTS報文收取任務，基本可以確認屬于協(xié)議收報過多導致CPU占用率上升。l可以通過CPU使用率查詢功能進一步核實TOP任務中是否包含有收包任務；可以通過slot指明查詢的槽位號。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 10l通過cpu-defend統(tǒng)計查詢功能，確認哪類協(xié)議存在沖擊情形，可以通過各類協(xié)議的Drop

13、列計數(shù)進行確認。如果某類協(xié)議Drop計數(shù)非常大，且Drop列計數(shù)相對于Pass列計數(shù)占比較高(例如達到20%以上)，則認為屬于此類協(xié)議存在沖擊CPU情況。例如上表中的arp-request，后續(xù)按照第三步中的ARP協(xié)議對應處理方式進行處理。l注意，查看統(tǒng)計時，需要關注協(xié)議沖擊位于哪個槽位，即“Statistics on slot x”。display cpu-defend statistics all Statistics on slot 0: - Packet Type Pass(Bytes) Drop(Bytes) Pass(Packets) Drop(Packets) - arp-mis

14、s 0 0 0 0 arp-reply 384 0 6 0 arp-request 346825664 83619584 5419151 1306556 dhcp-client 0 0 0 0 dhcp-server 1427 0 4 0 dhcpv6-reply 0 0 0 0 dhcpv6-request 0 0 0 0 icmp 0 0 0 0 icmpv6 0 0 0 0 igmp 2240 0 35 0 HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 11第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-1lARPARP通過dis

15、play interface檢查哪些接口存在Broadcast數(shù)量異常，并在此接口配置廣播流量抑制，限制單個接口廣播速率(例如限制為50pps)：# #broadcast-suppression pps 50.broadcast-suppression pps 50.# #lDHCPDHCP請確認本機是否需要開啟DHCP，如果不需要請在全局undo dhcp enable；如果需要，建議在下行接口開啟dhcp error-down功能(具體信息請參考用戶手冊)：#dhcp snooping check dhcp-rate enabledhcp snooping check dhcp-rate

16、trigger error-down# 并建議通過基于dhcp報文的流量統(tǒng)計功能，來發(fā)現(xiàn)哪個接口發(fā)送了過多的DHCP報文。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 12第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-2lTCP/ARP-MISSTCP/ARP-MISS此種情況一般是由于網(wǎng)絡中存在針對不存在的某些直連網(wǎng)段IP地址進行掃描導致的. 當有數(shù) 據(jù)報文發(fā)送到這些不存在的IP地址時，會將數(shù)據(jù)上送CPU處理，以觸發(fā)ARP學習過程，建議此時在每個vlanif接口下調(diào)整ARP學習延遲時間：# #interface vlanif1000

17、interface vlanif1000 arp-fake expire-time 30 arp-fake expire-time 30# #lTTL-EXPIREDTTL-EXPIRED如果不需要本機在tracert中顯示，建議丟棄此類報文：# #cpu-defend policy testcpu-defend policy test deny packet-type ttl-expired deny packet-type ttl-expired# #Cpu-defend-policy test globalCpu-defend-policy test globalCpu-defend-p

18、olicy testCpu-defend-policy test# #HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 13第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-3lReserved-multicast Reserved-multicast 此類報文一般屬路由協(xié)議報文，目的IP地址224.0.0.X，如果設備不需要此類報文(或者啟用OSPF路由但未起組播功能)，可以直接丟棄處理(或者升級到最新版本)：# #cpu-defend policy testcpu-defend policy test deny packet-type r

19、eserved-multicast deny packet-type reserved-multicast# #Cpu-defend-policy test globalCpu-defend-policy test globalCpu-defend-policy testCpu-defend-policy test# #HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 14第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-4lND/ICMPV6/DHCPV6ND/ICMPV6/DHCPV6如果本機不需要IPV6功能，建議直接丟棄此類報文：#

20、#cpu-defend policy testcpu-defend policy test deny packet-type nd deny packet-type nd deny packet-type icmpv6 deny packet-type icmpv6 deny packet-type dhcpv6-request deny packet-type dhcpv6-request deny packet-type dhcpv6-reply deny packet-type dhcpv6-reply# #Cpu-defend-policy test globalCpu-defend-

21、policy test globalCpu-defend-policy testCpu-defend-policy test# #HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 15第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-5lOSPFOSPF請檢查是否存在路由表項過大，或者OSPF PEER過多情形，并根據(jù)實際情況考慮對路由進行優(yōu)化，以降低路由表項數(shù)目或OSPF PEER數(shù)目。lSNMPSNMP檢查是否存在頻繁的網(wǎng)管操作，例如獲取接口流量，建議適當降低網(wǎng)管獲取交換機信息的頻率。l如果不屬于上述常見協(xié)議類型，或者其它情況導致的CPU

22、高情形，建議立刻搜集設備當前診斷信息、日志信息、本次定位過程的操作記錄等，并返回華為服務處理。目錄目錄l診斷工具l報文沖擊導致的CPU使用率高問題lCPU使用率高問題信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 17信息搜集信息搜集l搜集cfcard中的logfile目錄下的日志信息，針對沒有cfcard的盒式設備，請通過如下命令搜集：display logbufferdisplay logbufferdisplay trapbufferdisplay trapbufferl搜集設備診斷信息，命令為： display diagnost

23、ic-information display diagnostic-information l搜集cpu-defend統(tǒng)計信息(10分鐘內(nèi)多搜集幾次) display cpu-defend statistics alldisplay cpu-defend statistics allHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 18信息搜集信息搜集l搜集搜集TOPTOP任務的監(jiān)控信息：任務的監(jiān)控信息：1. 通過_hidecmd或diagnose進入診斷視圖；2. 通過display cpu-usage檢查cpu占用較高任務，例如EOAM較高：

24、Quidway-hidecmd displaydisplay cpu-usagecpu-usage slot x - 可指定槽號檢查CPU Usage Stat. Cycle: 10 (Second)CPU Usage : 38% Max: 99%CPU Usage Stat. Time : 2013-01-06 03:08:57 CPU utilization for five seconds: 38%: one minute: 33%: five minutes: 35%.TaskName CPU Runtime(CPU Tick High/Tick Low) Task Explanati

25、onBOX 0% 0/ 18f78e BOX Output _TIL 0% 0/ 0 Infinite loop event task _EXC 0% 0/ 0 Exception Agent Task VIDL 61% 0/b7abe65c DOPRA IDLE TICK 0% 0/ 143074e STND 0% 0/ b3412 STNDStandby task EOAM 24% EOAM 24% 0/4994c174 EOAMEthernet OAM 802.1ag 0/4994c174 EOAMEthernet OAM 802.1ag HUAWEI TECHNOLOGIES CO.,

26、 LTD.Huawei Confidential 19信息搜集信息搜集3. 通過display taskdisplay task查找任務對應的taskid，例如EOAM的taskid為79:Quidway-hidecmd display taskdisplay task slot x - 可指定槽號name Tid VOS_TidVOS_Tid priority Status CPU Total(Millsecs)=BOX 0 x6ec5230 1 8 sleep 36830_TIL 0 x6ebaf90 2 250 eventblock 0_EXC 0 x6eb0cf0 3 135 even

27、tblock 0VIDL 0 x6ea6a50 4 1 preemptready 79669745TICK 0 x6e9c7b0 5 205 preemptready 476396STND 0 x6daa8b0 6 80 eventblock 18097FTPS 0 x6dbc240 7 100 sleep 230536DEV 0 x6e7ffd0 8 140 eventblock 14818TCTL 0 x6c6a460 77 100 eventblock 45NAP 0 x6c601c0 78 100 eventblock 45EOAM EOAM 0 x6c55f20 0 x6c55f20

28、 7979 100 eventblock 29468818TRAF 0 x6c4bc80 80 100 eventblock 25659SLAG 0 x6c419e0 81 100 eventblock 56HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 20信息搜集信息搜集4. 根據(jù)taskid設置監(jiān)控閥值。閥值的設置可參考相應任務的現(xiàn)有占用率，如上面的EOAM模塊CPU利用率為24，那么我們設置監(jiān)控比這個值低一點，例如設置成20，具體命令為: set task-monitor-record threshold threshold taski

29、d taskidQuidway-hidecmdset task-monitor-record threshold 20 taskid 79set task-monitor-record threshold 20 taskid 79 slot x 可指定槽號Task Monitor has been set on slot 5, TaskId is 79, Threshold is 55. 查看任務監(jiān)控記錄，具體命令為：display task-monitor-recordQuidway-hidecmddisplay task-monitor-recorddisplay task-monitor-record slot x 可指定槽號= Task Cpu-usage Monitor Record (slot: 5) =Current Index: 0HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 21信息搜集信息搜集6.最后，必須要關閉任務監(jiān)控