硬件故障診斷命令-share

本課程內(nèi)容學(xué)習(xí)和了解在

linux操作系統(tǒng)下常用服務(wù)器硬件故障排查命令方法本課程關(guān)鍵點(diǎn)PC服務(wù)器Linux操作系統(tǒng)硬件故障診斷排查非現(xiàn)場(chǎng)機(jī)房故障排查匯集一些故障診斷命令主要內(nèi)容網(wǎng)絡(luò)硬件類故障服務(wù)器硬件類故障網(wǎng)絡(luò)故障排查命令pingtracerouteifconfigethtoolroutearp,arpingnmaptcpdump網(wǎng)絡(luò)故障排查命令ping同機(jī)房，響應(yīng)在10ms以內(nèi)ping一個(gè)大包，檢測(cè)網(wǎng)絡(luò)帶寬和質(zhì)量ping-s65500dstIP網(wǎng)絡(luò)故障排查命令traceroute公司服務(wù)器沒有使用DNS解析traceroute-ndestIP去掉DNS反向解析，加快速度路由環(huán)路、骨干網(wǎng)環(huán)路、機(jī)房外網(wǎng)IP不通網(wǎng)絡(luò)故障排查命令－ifconfigdropped:刪除carrier：線路質(zhì)量問題collisions：沖突網(wǎng)絡(luò)故障排查命令－ethtool重點(diǎn)Speed網(wǎng)速降到100M或者10M業(yè)務(wù)高峰期延時(shí)、擁塞dmesg,/var/log/warn網(wǎng)絡(luò)故障排查命令-route內(nèi)網(wǎng)部分網(wǎng)段不通

看子網(wǎng)掩碼，老機(jī)器，子網(wǎng)掩碼比較小，沒有覆蓋公司后續(xù)擴(kuò)容的內(nèi)網(wǎng)網(wǎng)絡(luò)故障排查命令-route外網(wǎng)不通

內(nèi)外網(wǎng)均設(shè)置了默認(rèn)網(wǎng)關(guān)，一般是手工調(diào)整默認(rèn)網(wǎng)關(guān)導(dǎo)致。routeadddefaultgw

該命令重復(fù)執(zhí)行時(shí)，不能夠覆蓋和修改上次該命令執(zhí)行時(shí)產(chǎn)生的默認(rèn)網(wǎng)關(guān)配置;如果需要修改默認(rèn)網(wǎng)關(guān)，必須先執(zhí)行routedeldefaultgw刪除原有默認(rèn)網(wǎng)關(guān)，然后再增加。網(wǎng)絡(luò)故障排查命令arp

同一個(gè)VLAN的機(jī)器，可以看到mac

搶IP情況arpingnmapnmap可用于掃描目標(biāo)機(jī)器端口是否開放檢查鏈路上是否存在防火墻tcpdump強(qiáng)大的抓包工具在源側(cè)和目的側(cè)同時(shí)抓包排查防火墻策略是否開通實(shí)踐案例 現(xiàn)象：可以ping，ssh不穩(wěn)定處理過程1.操作系統(tǒng)重裝2.更換硬盤，重裝操作系統(tǒng)3.更換主板、內(nèi)存4.報(bào)單現(xiàn)場(chǎng)排查網(wǎng)絡(luò)故障排查命令討論歡迎大家提供相關(guān)命令和案例休息5分鐘主要內(nèi)容網(wǎng)絡(luò)硬件類故障服務(wù)器硬件類故障服務(wù)器硬件類故障回顧下PC服務(wù)器的硬件組成Linux操作系統(tǒng)上的硬件排錯(cuò)命令PC服務(wù)器的硬件組成CPU內(nèi)存主板、網(wǎng)卡、網(wǎng)線、帶外卡（iLo、bmc）raid卡HBA卡硬盤硬盤背板排線電源查看當(dāng)前服務(wù)器硬件信息hwinfodmidecodedmesglspci

查看當(dāng)前服務(wù)器硬件信息/proccat/proc/cpuinfocat/proc/scsi/scsicat/proc/interrupts/sys系統(tǒng)錯(cuò)誤日志文件/var/log/warn操作系統(tǒng)內(nèi)核自身能夠發(fā)現(xiàn)的常見錯(cuò)誤信息/etc/syslog-ng/syslog-ng.conf硬件故障排錯(cuò)命令磁盤類命令e2fsckbadblockssmartctl硬件故障排錯(cuò)命令raid卡類命令hpacuclimegacliarrconf硬件故障排錯(cuò)命令平臺(tái)類命令ipmitool硬件故障排錯(cuò)命令磁盤類命令e2fsckbadblockssmartctl磁盤類－e2fsck ext3建議每半年檢查一次能夠自動(dòng)修復(fù)小錯(cuò)誤lost+found存放錯(cuò)誤文件mklost+founde2fsck/etc/fstab最后一列決定是否在機(jī)器重啟時(shí)，自動(dòng)進(jìn)行e2fsck檢查/分區(qū)數(shù)值一般為1,最先檢查其它設(shè)備分區(qū)，數(shù)值為2，隨后檢查數(shù)值為0

，不檢查，適合大分區(qū)硬件故障排錯(cuò)命令磁盤類命令e2fsckbadblockssmartctlbadblocksbadblocks是e2fsprogs中的一個(gè)命令.檢查磁盤壞塊越過文件系統(tǒng)badblocksbadblocks可以對(duì)磁盤進(jìn)行如下幾種測(cè)試:只讀測(cè)試破壞原有數(shù)據(jù)的讀寫測(cè)試.不破壞數(shù)據(jù)的讀寫測(cè)試badblocks對(duì)/dev/sda4進(jìn)行讀測(cè)試:badblocks-v/dev/sda4Checkingblocks0to38114212Checkingforbadblocks(read-onlytest):202944/38114212badblocksPasscompleted,89badblocksfound./var/log/warn文件有類似如下報(bào)錯(cuò):Mar317:06:34Tencentkernel:[6296420.607700]end_request:I/Oerror,devsda,sector4688407Mar317:06:34Tencentkernel:[6296420.607705]BufferI/Oerrorondevicesda1,logicalblock586043badblocks破壞原有數(shù)據(jù)的讀寫測(cè)試.badblocks-wv/dev/sda4Checkingforbadblocksinread-writemodeFromblock0to38114212Testingwithpattern0xaa:179584/38114212badblocks不破壞數(shù)據(jù)的讀寫測(cè)試badblocks-nvv/dev/sda4Checkingforbadblocksinnon-destructiveread-writemodeFromblock0to38114212Checkingforbadblocks(non-destructiveread-writetest)Testingwithrandompattern:14208/38114212badblocks服務(wù)器只讀故障定位在互娛空閑機(jī)、備機(jī)池發(fā)現(xiàn)多臺(tái)機(jī)器有磁盤壞道主動(dòng)預(yù)防只讀問題硬件故障排錯(cuò)命令磁盤類命令e2fsckbadblockssmartctlsmartctlSMART Self-Monitoring,AnalysisandReportingTechnologysmartctl

適合單硬盤機(jī)器smartctl操作系統(tǒng)母盤，該命令版本比較舊自行編譯升級(jí)到最新版5.40smartctlsmartctl-a/dev/sda獲取硬盤smart信息協(xié)助定位硬盤故障smartctl部分硬件不兼容硬件故障排錯(cuò)命令raid卡類命令hpacuclimegacliarrconfhpacucliHPccissraid卡需自行下載rpm包安裝/linuxhpacucli-8.70-8.0.noarch.rpm當(dāng)前最新版hpacucli顯示主機(jī)上所有控制器hpacuclictrlallshow

SmartArrayE200iinSlot0(Embedded)(sn:PR7BMU6740)hpacucli顯示具體某個(gè)控制器信息hpacuclictrlslot=0showhpacuclihpacucli顯示邏輯盤信息hpacuclictrlslot=0ldallshowhpacucli顯示單個(gè)硬盤盤信息hpacuclictrlslot=0pdallshow硬件故障排錯(cuò)命令raid卡類命令hpacuclimegacliarrconfMegaCliLSI卡廠家提供的工具大部分Dell服務(wù)器、少部分IBM服務(wù)器rpm-ivhMegaCli-1.01.39-0.i386.rpm/opt/MegaRAID/MegaCli/MegaCli64/opt/MegaRAID/MegaCli/MegaCliMegaCli/opt/MegaRAID/MegaCli/MegaCli64-h參數(shù)相當(dāng)多、復(fù)雜MegaCli64-LdPdInfo-aALL獲取所有邏輯盤和物理硬盤信息MegaCliMegaCli64-LDInfo-Lall-Aall獲取邏輯磁盤信息MegaCliMegaCli64-PDList-aALL列出所有硬盤信息MegaCliMegaCli64-AdpBbuCmd-GetBbuStatus-aALL獲取電池信息MegaCliMegaCli64-AdpAllInfo-aALL|grepBBU|head-n1HWConfiguration================SASAddress:500188b037d70c00BBU:PresentAlarm:PresentNVRAM:PresentSerialDebugger:PresentMemory:PresentFlash:Present故障的是absent硬件故障排錯(cuò)命令raid卡類命令hpacuclimegacliarrconfarcconf IBMAdaptecAAC-RAIDibm_utl_aacraid_9.10_linux_32-64.zip/support/entry/portal/docdisplay?brand=5000020&lndocid=MIGR-5073618arcconfaarconfarcconfGETVERSIONarcconfGETCONFIG1AL硬件故障排錯(cuò)命令平臺(tái)類命令ipmitoolipmi需要內(nèi)核支持公司母盤內(nèi)核默認(rèn)不支持需自行編譯內(nèi)核kernel-tlinux-9-rc1-ipmi.x86_64.rpmIPMI內(nèi)核編譯devicedrivers--characterdevices-IPMICONFIG_IPMI_HANDLER=yCONFIG_IPMI_PANIC_EVENT=yCONFIG_IPMI_PANIC_STRING=yCONFIG_IPMI_DEVICE_INTERFACE=yCONFIG_IPMI_SI=yCONFIG_IPMI_WATCHDOG=yCONFIG_IPMI_POWEROFF=yIPMIipmitool-Iopensensor獲取傳感器信息ipmitool-Iopensensorget"SystemFan6"獲取風(fēng)扇轉(zhuǎn)速信息ipmitoolchassispoh機(jī)器加電時(shí)間ipmitoolsdrlistall顯示傳感器數(shù)據(jù)倉(cāng)庫(kù)記錄ipmitoolseltimeget獲取事件日志記錄當(dāng)前時(shí)間ipmitoolsellistipmitoolsellist列出bmc事件日志通過查看該日志,可以獲取部分機(jī)器死機(jī)原因和故障信息如電源故障、電源掉電、raid卡問題、高溫ipmitool機(jī)器多次自動(dòng)重啟查因IPMI電源斷電記錄IPMI高溫