【移動應(yīng)用開發(fā)技術(shù)】如何分析磁盤IO高的問題排查過程

【移動應(yīng)用開發(fā)技術(shù)】如何分析磁盤IO高的問題排查過程

這期內(nèi)容當(dāng)中在下將會給大家?guī)碛嘘P(guān)如何分析磁盤IO高的問題排查過程，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。我們服務(wù)器搭建了cacti進行監(jiān)控，一次通過查看磁盤IO圖像的時候，發(fā)現(xiàn)每天凌晨3：20-3：35的時候磁盤IO一下飆的很高，然后想知道到底是哪個進程占用那么高的IO，下面是解決方法：寫個檢測腳本check_io_process.sh,當(dāng)磁盤IO占用高的時候進行磁盤IO讀寫進程次數(shù)的檢測:#!/bin/bash#Date:2013/8/20#Author:zhangkai#Description:ThisscriptisusedtocheckIOhigherprocess.#History:iostat_log=/data/logs/iostat/iostat.logdmesg_log=/data/logs/iostat/dmesg.logdstat_log=/data/logs/iostat/dstat.logif[!-d/data/logs/iostat];thenmkdir-p/data/logs/iostatfiadd(){str=$@sum=`echo${str///+}|bc-l`}iostat-x15>$iostat_logidle_percent=`cat$iostat_log|awk'BEGIN{flag=0}{if(flag==1){print$12;flag=0;}if(index($0,"%util"))

{flag=1;}}'`add$idle_percent#求5次查詢IO占用率的平均值avg=`echo$sum/5|bc`if[[$avg-ge70]];thenecho1>/proc/sys/vm/block_dumpecho"">>$dmesg_logecho`date"+%Y-%m-%d%H:%M:%S"`>>$dmesg_logpython/data/dmesg_io.py>>$dmesg_logecho"">>$dstat_logecho`date"+%Y-%m-%d%H:%M:%S"`>>$dstat_logdstat-d--top-bio110>>$dstat_logecho0>/proc/sys/vm/block_dump

fi其中該shell腳本調(diào)用了檢測磁盤IO讀寫進程次數(shù)的python腳本,下面是dmesg_io.py的代碼：#!/usr/bin/python#Monitoringper-processdiskI/Oactivity#writtenbyimportsys,os,time,signal,reclassDiskIO:def__init__(self,pname=None,pid=None,reads=0,writes=0):self.pname=pnameself.pid=pidself.reads=0self.writes=0defmain():argc=len(sys.argv)ifargc!=1:print"usage:./iotop"sys.exit(0)ifos.getuid()!=0:print"mustberunasroot"sys.exit(0)signal.signal(signal.SIGINT,signal_handler)os.system('echo1>/proc/sys/vm/block_dump')print"TASK

PID

READ

WRITE"#

whileTrue:os.system('dmesg-c>/tmp/diskio.log')l=[]f=open('/tmp/diskio.log','r')line=f.readline()whileline:m=re.match(\'^(\S+)\((\d+)\):(READ|WRITE)block(\d+)on(\S+)',line)ifm!=None:ifnotl:l.append(DiskIO(m.group(1),m.group(2)))line=f.readline()continuefound=Falseforiteminl:ifitem.pid==m.group(2):found=Trueifm.group(3)=="READ":item.reads=item.reads+1elifm.group(3)=="WRITE":item.writes=item.writes+1ifnotfound:l.append(DiskIO(m.group(1),m.group(2)))line=f.readline()time.sleep(1)foriteminl:print"%-10ssdd"%\(item.pname,item.pid,item.reads,item.writes)defsignal_handler(signal,frame):os.system('echo0>/proc/sys/vm/block_dump')sys.exit(0)if__name__=="__main__":main()發(fā)現(xiàn)在3：20-3：35的日志如下(僅列出部分)：[root@localhostiostat]#catdmesg.log2013-08-2203:23:06TASK

PID

READ

WRITEupdatedb

18661

2951

0kjournald

804

0

525kjournald

1826

0

5762013-08-2203:24:05TASK

PID

READ

WRITEupdatedb

18661

3007

0kjournald

804

0

238kjournald

1826

0

112flush-8:0

11687

0

182013-08-2203:25:05TASK

PID

READ

WRITEupdatedb

18661

2689

0kjournald

804

0

229kjournald

1826

0

44說明是updatedb這進程惹的禍，google查之，這個是由[cron]自動運行的更新系統(tǒng)數(shù)據(jù)的腳本。其作用是為你系統(tǒng)里面的文件建立索引，以便于locate和whereis等查詢命令的能夠快速執(zhí)行而我們服務(wù)器/data/目錄每天會產(chǎn)生大量的小文件，導(dǎo)致建立索引的時候占用很高的磁盤IO服務(wù)器每天定時對硬盤上的文件進行索引，簡單的說就是建立一個數(shù)據(jù)庫，把所有文件目錄信息存放到這個庫里面，當(dāng)使用whereis和locate命令搜索文件時，它直接到這個數(shù)據(jù)庫中讀取數(shù)據(jù)。而不是像find一樣在硬盤上找文件。Whereis搜索一個文件幾乎只要幾秒鐘就可以搞定，而find需要花費幾分鐘或者更長時間。updatedb.Conf使搜索的效率提高了很多倍。但是有缺點，它每天都需要索引更新，這會導(dǎo)致IO負載過高，因為不是時時更新，所以會出現(xiàn)搜索到已經(jīng)刪除的文件，搜不出新添加的文件，平時管理中我們很少用到。如果文件數(shù)量多而且更新平凡，我們大可把這個功能關(guān)閉優(yōu)化方法：1.停止對/data目錄進行