騰訊大講堂19系統(tǒng)優(yōu)化的方向.ppt

sunshinexiong 2008-01-15,系統(tǒng)優(yōu)化的方向？,監(jiān)控對(duì)研發(fā)的支持,系統(tǒng)優(yōu)化的驅(qū)動(dòng)力,問(wèn)題,監(jiān)控,自我實(shí)現(xiàn)和挑戰(zhàn),監(jiān)控,被動(dòng)式監(jiān)控 運(yùn)維監(jiān)控，Port、CPU、Memory、Disk IO、Net IO、FileSize、DiskSize 主動(dòng)式監(jiān)控 HttpWatch工具 Cgi自動(dòng)化測(cè)試 立體化監(jiān)控體系 運(yùn)營(yíng)數(shù)據(jù)采集, 每天自動(dòng)郵件，紀(jì)錄每臺(tái)設(shè)備的運(yùn)維情況 綜合負(fù)載 CPU占用率 網(wǎng)絡(luò)流量（出、入） 網(wǎng)絡(luò)包（出、入） Load Average/5min 磁盤Block in/out,監(jiān)控郵件、url地址,HttpWatch工具,Cgi自動(dòng)化測(cè)試平臺(tái), 3.0結(jié)果展示,Cgi自動(dòng)化測(cè)試原理,模擬前臺(tái)JS代碼發(fā)送cgi請(qǐng)求，并接收返回，紀(jì)錄響應(yīng)時(shí)間，并分析返回包 實(shí)質(zhì)是一種黑盒集成測(cè)試 監(jiān)控結(jié)果存在某種程度的失真 建議在返回包中，提供返回碼,立體化監(jiān)控,LogServer,立體化監(jiān)控,運(yùn)營(yíng)數(shù)據(jù)分析,,IDC測(cè)試平臺(tái),,優(yōu)化工作基礎(chǔ),數(shù)據(jù)分析,舉例：猜?lián)淇伺?enum card cardA,card2,card3,card4,card5,card6,card7,card8,card9,card10,cardJ,cardQ,cardK; enum card i,j,k; for ( i = cardA, i cardK, i+) for ( j= cardA, j cardK, j+) for ( k = cardA, k cardK, k+) if ( 3=func(i,j,k) ) Print(i,j,k), return 0;,int func(int x, int y, int z);,如何優(yōu)化？,func(A,A,A) func(A,A,2) func(A,A,3) func(A,A,4) ,func(A,2,A) func(A,2,2) func(A,2,3) func(A,2,4) ,func(2,A,A) func(2,A,2) func(2,A,3) func(2,A,4) ,int func(int x, int y, int z); enum card cA,c2,c3,c4,c5,c6,c7,c8,c9,c10,cJ,cQ,cK; enum card i; int count=0,ret; for ( i = cA, i cK, i+ ) if ( ret=func(i,i,i) != 0 ) Print(i,ret), 3=count+ret?return 0, count+=ret;,日志優(yōu)化,新cache優(yōu)化后效果,日志回復(fù)CACHE上線后，CACHE高峰期處理的平均延時(shí)由200500ms左右降至20ms左右；目前日志title的命中率在92%左右，其平均延時(shí)在8ms左右，以前高峰期在50-60ms左右 目前日志title還需8ms的原因，應(yīng)該與目前日志title的數(shù)據(jù)有關(guān)，每次DB的IO操作的數(shù)據(jù)量比較大影響的 后臺(tái)數(shù)據(jù)CACHE的性能提升，減少了前臺(tái)WEB接入的httpsvr的壓力，用戶體驗(yàn)提升，同時(shí)也相應(yīng)帶來(lái)了系統(tǒng)穩(wěn)定性的提升,舊系統(tǒng)結(jié)構(gòu),模塊 日志回復(fù) 日志標(biāo)題 日志計(jì)數(shù) 優(yōu)點(diǎn) CACHE內(nèi)存化，提升性能 多進(jìn)程號(hào)段分布處理 業(yè)務(wù)異步化 缺點(diǎn) CACHE量有限，命中率低，對(duì)DB的性能依賴比較重 模塊相互獨(dú)立，容易造成數(shù)據(jù)不一致,現(xiàn)網(wǎng)數(shù)據(jù)分析,數(shù)據(jù)量 日志標(biāo)題 cache 10臺(tái) 約69G 命中率：約90% DB 5臺(tái) 約340G 日志回復(fù) cache 20臺(tái) 約68G 命中率：約50% DB 20臺(tái) 約9T 日志計(jì)數(shù) cache 10臺(tái) 約122G 命中率：約100% DB 4臺(tái) 約100G 訪問(wèn)量 日志標(biāo)題 高峰期：7100次/秒 日志回復(fù) 高峰期：5000次/秒 日志計(jì)數(shù) 高峰期：7000次/秒,新系統(tǒng)結(jié)構(gòu),系統(tǒng)分三個(gè)模塊：日志信息、日志標(biāo)題、訪問(wèn)計(jì)數(shù) CGI層對(duì)日志標(biāo)題、訪問(wèn)計(jì)數(shù)模塊有讀/寫權(quán)限；對(duì)日志標(biāo)題模塊只有讀權(quán)限，其數(shù)據(jù)來(lái)源于日志信息模塊,新cache優(yōu)化后效果,日志回復(fù)CACHE上線后，CACHE高峰期處理的平均延時(shí)由200500ms左右降至20ms左右；目前日志title的命中率在92%左右，其平均延時(shí)在8ms左右，以前高峰期在50-60ms左右 目前日志title還需8ms的原因，應(yīng)該與目前日志title的數(shù)據(jù)有關(guān)，每次DB的IO操作的數(shù)據(jù)量比較大影響的 后臺(tái)數(shù)據(jù)CACHE的性能提升，減少了前臺(tái)WEB接入的httpsvr的壓力，用戶體驗(yàn)提升，同時(shí)也相應(yīng)帶來(lái)了系統(tǒng)穩(wěn)定性的提升,日志信息模塊性能,單臺(tái)機(jī)器4個(gè)CACHE，容納6000萬(wàn)個(gè)存儲(chǔ)節(jié)點(diǎn)，CACHE數(shù)據(jù)量為210G左右空間，每秒中的處理請(qǐng)求約900次（其中讀800/寫100），平均延時(shí)為100ms，每分鐘內(nèi)處理超過(guò)1秒的請(qǐng)求為32個(gè)，占這分鐘內(nèi)訪問(wèn)約1/1000 現(xiàn)網(wǎng)布局：15臺(tái)cache 6臺(tái)DB,日志容量擴(kuò)容,日志數(shù)據(jù)幾何級(jí)數(shù)增長(zhǎng)，每12個(gè)月數(shù)據(jù)容量翻一番 DB設(shè)備越來(lái)越多，舊架構(gòu)需要翻倍增長(zhǎng) 日志正文同回復(fù)的存儲(chǔ)在一起,新日志存儲(chǔ),日志不再按照QQ ID存儲(chǔ),謝謝！,Qzone 網(wǎng)管監(jiān)控：coatizhao、johnzhao Cgi 自