QQ億級(jí)業(yè)務(wù)演變——文件、音視頻

1、億級(jí)業(yè)務(wù)演變 文件、音視頻即通 王帥 A 需求背景 B 主架構(gòu)設(shè)計(jì) C 海量服務(wù)機(jī)群管理D 服務(wù)器設(shè)計(jì)理念改革目錄 Contents通過(guò)QQ文件、音視頻的后臺(tái)架構(gòu)設(shè)計(jì)，與大家分享大數(shù)據(jù)傳輸后臺(tái)架構(gòu)及海量服務(wù)器管理的方法。背景需求- QQ傳文件數(shù)據(jù)中轉(zhuǎn)服務(wù)器數(shù)據(jù)直連通道Traceroute from xxx.xxx.xxx.xxx 深圳市 電信 To xxx.xxx.xxx.xxx 上海市 聯(lián)通 XXXXXXXXXX 廣東省深圳市 騰訊計(jì)算機(jī)公司 0.286 ms 121.xx.72.xx 廣東省深圳市 電信IDC機(jī)房 3.329 ms3 202.97.46.xx 廣東省 電信省際互聯(lián)骨干網(wǎng) 1

2、0.304 ms4 * * * 5 219.158.22.xx 中國(guó) 聯(lián)通骨干網(wǎng) 136.584 ms6 219.158.9.xx 北京市 聯(lián)通骨干網(wǎng) 137.206 ms7 219.158.97.xx 北京市 聯(lián)通ADSL 147.207 ms8 112.64.243.xx 上海市 聯(lián)通IDC機(jī)房 150.270 ms9 211.95.77.xx 上海市 聯(lián)通 161.787 ms10 XXXXXXXXXXX 上海市 聯(lián)通IDC機(jī)房 166.039 ms背景需求-運(yùn)營(yíng)商間互換數(shù)據(jù)背景需求-運(yùn)營(yíng)商間互換數(shù)據(jù)北京北京深圳深圳上海上海n運(yùn)營(yíng)商間沒(méi)有省級(jí)交換點(diǎn)n交換點(diǎn)最容易網(wǎng)絡(luò)擁塞n跨ISP的用戶(hù)進(jìn)

3、行直接連接效果一般會(huì)比較差n用戶(hù)連接和自己ISP不相同的服務(wù)器，效果也會(huì)比較差n好的服務(wù)要解決不同運(yùn)營(yíng)商接入問(wèn)題背景需求-中國(guó)特色的運(yùn)營(yíng)商背景需求-傳文件關(guān)鍵點(diǎn)n提高NAT穿透成功率n壓縮傳輸n中轉(zhuǎn)直連雙通道保證n最佳服務(wù)器接入n海量服務(wù)器運(yùn)營(yíng)主架構(gòu)設(shè)計(jì)-邏輯架構(gòu)主架構(gòu)設(shè)計(jì)-配置中心功能nConfigCenter是整個(gè)機(jī)群的運(yùn)營(yíng)核心n負(fù)責(zé)中轉(zhuǎn)SET服務(wù)機(jī)群的配置n負(fù)責(zé)中轉(zhuǎn)SET服務(wù)機(jī)群的狀態(tài)總結(jié)“機(jī)器故障直接重啟，不用給機(jī)器負(fù)責(zé)人打電話(huà)機(jī)器故障直接重啟，不用給機(jī)器負(fù)責(zé)人打電話(huà)”主架構(gòu)設(shè)計(jì)-配置中心功能主架構(gòu)設(shè)計(jì)-配置中心設(shè)計(jì)原理n靜態(tài)信息：靜態(tài)信息：存儲(chǔ)在數(shù)據(jù)庫(kù)，可視化配置。程序啟動(dòng)后把數(shù)據(jù)從

4、數(shù)據(jù)庫(kù)刷入共享內(nèi)存n動(dòng)態(tài)信息：動(dòng)態(tài)信息：存儲(chǔ)在共享內(nèi)存，由各個(gè)set服務(wù)器定時(shí)上報(bào)而來(lái)主架構(gòu)設(shè)計(jì)-策略中心流程主架構(gòu)設(shè)計(jì)-策略中心流程n根據(jù)雙方ip，得到IDC服務(wù)場(chǎng)景服務(wù)場(chǎng)景 服務(wù)器地域服務(wù)器地域機(jī)器列表信息。n然后去掉最后上報(bào)時(shí)間超時(shí)上報(bào)時(shí)間超時(shí)的機(jī)器。n得到可以提供滿(mǎn)足當(dāng)前場(chǎng)景的服務(wù)器列表，接下來(lái)就是如何從這批機(jī)器中選一臺(tái)？ 負(fù)載均衡負(fù)載均衡主架構(gòu)設(shè)計(jì)-負(fù)載均衡n平均分配n最小分配n隨機(jī)分配nLVSn一致性哈希n帶權(quán)值的隨機(jī)負(fù)載均衡?主架構(gòu)設(shè)計(jì)-負(fù)載均衡帶權(quán)值的隨機(jī)負(fù)載均衡帶權(quán)值的隨機(jī)負(fù)載均衡n 計(jì)算出每臺(tái)服務(wù)器的空余率（0.011.0）。n 將所有的空余率加在一起，得到集群的空余率 I

5、n 將 I 乘以一個(gè)0.0,1.0)0到1的隨機(jī)數(shù)，得到Dn 將D逐個(gè)減去逐個(gè)減去每臺(tái)服務(wù)器的空余率，當(dāng)D小于0時(shí)，取對(duì)應(yīng)的服務(wù)器即可。主架構(gòu)設(shè)計(jì)-負(fù)載均衡對(duì)比 新產(chǎn)品，新人用最小值實(shí)現(xiàn)的負(fù)載均衡，實(shí)際運(yùn)行一段時(shí)間，發(fā)現(xiàn)抖動(dòng)，重新改為帶權(quán)值的隨機(jī)數(shù)新挑戰(zhàn)-音視頻的崛起n 音視頻溝通效率高，對(duì)延遲、抖動(dòng)的處理更高n 手機(jī)天然具備攝像頭、話(huà)筒、耳麥，更方便n 精細(xì)化控制，cpu、攝像頭、網(wǎng)絡(luò)環(huán)境n 手機(jī)的爆發(fā)點(diǎn)還沒(méi)到， 手機(jī)需要服務(wù)器更大的支持 即：TAF = 400600ms分析： 服務(wù)器抓包：TCD = 34ms 客戶(hù)端自環(huán)：TAB+TEF = 200300ms新挑戰(zhàn)-數(shù)據(jù)包的延遲n服務(wù)器處理

6、音視頻數(shù)據(jù)包時(shí)限短，且是平滑n可能一個(gè)簡(jiǎn)單操作，會(huì)引起每隔一段時(shí)間的小波動(dòng)新挑戰(zhàn)-數(shù)據(jù)包的延遲新挑戰(zhàn)-設(shè)計(jì)理念的變革從從“瘦服務(wù)端瘦服務(wù)端”到到“把服務(wù)端養(yǎng)成個(gè)胖子把服務(wù)端養(yǎng)成個(gè)胖子”n 以前，協(xié)議組合、邏輯判斷由客戶(hù)端做。服務(wù)器主 要要保證面對(duì)海量請(qǐng)求的穩(wěn)定。n 手持設(shè)備崛起，客戶(hù)端要做到更輕。協(xié)議組合、邏 輯組合、核心控制更適合放在服務(wù)器，客戶(hù)端做簡(jiǎn) 單的執(zhí)行角色。n 簡(jiǎn)單、再簡(jiǎn)單。能力越高、架構(gòu)設(shè)計(jì)越簡(jiǎn)單。n 一切盡在掌握，對(duì)單模塊性能了如指掌。n 策略具備“過(guò)載保護(hù)”、“灰度”、“柔性”。n“全面的監(jiān)控”是架構(gòu)的眼睛。n 可運(yùn)營(yíng)：開(kāi)發(fā)的時(shí)間x20 = 運(yùn)營(yíng)時(shí)間。海量服務(wù)架構(gòu)設(shè)計(jì)的核心：n全新音視頻引擎“劍魚(yú)”出動(dòng)，語(yǔ)音視頻更流暢更清晰，最高支持720P高清視頻n視