騰訊內(nèi)部云架構(gòu)設(shè)計介紹.pptx

1、騰訊內(nèi)部云架構(gòu)設(shè)計介紹,曾經(jīng)存在的問題,內(nèi)部云建設(shè)的目的,內(nèi)部云建設(shè)的依據(jù),依據(jù)互聯(lián)網(wǎng)業(yè)務(wù)特性打造內(nèi)部云,云模式劃分,內(nèi)部云層次劃分,內(nèi)部云建設(shè)方式,TEG主攻公共特性更突出的接入和存儲兩部分，業(yè)務(wù)BG主攻情況復(fù)雜各具特色的業(yè)務(wù)邏輯層,接入層,業(yè)務(wù)接入問題,業(yè)務(wù)接入通常會遭遇下面三個問題：,云網(wǎng)關(guān)TGW,TGW,電信用戶,接入服務(wù)器,聯(lián)通用戶,移動用戶,IPV6用戶,.,云網(wǎng)關(guān)TGW,多網(wǎng)統(tǒng)一接入 節(jié)省外網(wǎng)IP 外網(wǎng)安全隔離 負載均衡 業(yè)務(wù)后臺自動容災(zāi),TGW是騰訊自建的網(wǎng)關(guān)系統(tǒng)，具有如下特點：,2. TGW7 C/S,第三方 Web應(yīng)用 Flash應(yīng)用,互娛自研游戲 互始代理游戲 其它,解決

2、方案,解決方案,4. TGW4- windows,七層,1. TGW7 B/S,四層,解決方案,3. TGW4,私有協(xié)議 大流量業(yè)務(wù),Windows業(yè)務(wù),解決方案,TGW整體解決方案,TGW整體解決方案,TGW為業(yè)務(wù)量身定做4種方案，使公司所有業(yè)務(wù)都能夠接入TGW。四種方案分別為：七層B/S方案， 七層C/S方案，四層TGW方案，四層windows方案。,云網(wǎng)關(guān)TGW,通過集群提供服務(wù)，4臺服務(wù)器為一個集群 雙機架，雙交換機備份 強大的抗DDoS攻擊能力。,容災(zāi),TGW死機探測 TGW流量，連接數(shù)等異常監(jiān)控 業(yè)務(wù)流量，質(zhì)量，server死機探測等監(jiān)控,監(jiān)控,目標(biāo),存儲層,云存儲,依靠這三個云存

3、儲平臺，解決業(yè)務(wù)的cache、db和文件存儲,云存儲之CDB,“三高”的數(shù)據(jù)庫系統(tǒng) 高通用：無需業(yè)務(wù)改代碼 使用mysql的業(yè)務(wù)換一下IP/Port即可 高可用：三種切換模式 高性能：4倍于A5,云存儲之CMEM,“三高”的Key-Value Cache系統(tǒng) 高通用：無需業(yè)務(wù)改代碼 兼容memcache協(xié)議、TTC協(xié)議、redis協(xié)議等 高性能：內(nèi)核級優(yōu)化 高性價比：冷熱數(shù)據(jù)動態(tài)調(diào)度到不同存儲介質(zhì),云存儲之CFS,“四高”的分布式文件存儲系統(tǒng) 高通用：無需業(yè)務(wù)改代碼 像訪問本地文件系統(tǒng)一樣 高并發(fā)：后臺是TFS集群 高附加：數(shù)據(jù)共享 業(yè)務(wù)層高可用：業(yè)務(wù)設(shè)備死機可以直接拿新機器頂替，不涉及數(shù)據(jù)恢

4、復(fù)/遷移,邏輯層,邏輯層要解決的問題,邏輯層現(xiàn)狀,邏輯層的框架各Bg自建為主 業(yè)務(wù)需求不同 歷史包袱 主流的后臺開發(fā)框架 TAF、SPP、MCP+、SrvFramework,模塊眾多(上千個服務(wù)),配置管理弱,面向兩種語言( c+/java),背景,監(jiān)控不夠立體化,服務(wù)模型和協(xié)議多樣化,部署管理凌亂,MIG邏輯層建設(shè)背景,容錯機制 部署與發(fā)布 流量監(jiān)控,異常監(jiān)控 集中日志,配置管理 服務(wù)管理 消息染色機制 調(diào)用鏈及調(diào)用時序分析,接口級別測試 集成測試,服務(wù)(tcp/udp,select/epoll) 協(xié)議(字符串,二進制,xml) 遠程調(diào)用(同步,異步) ,開發(fā),測試,運營,產(chǎn)品,開發(fā)響應(yīng)時間

5、更快 產(chǎn)品更加穩(wěn)定/可靠 業(yè)務(wù)之間交叉更加容易,分層設(shè)計，讓平臺解決大部分問題，并根據(jù)運營不斷完善！,TAF結(jié)構(gòu),透明部署 自動發(fā)布 集中配置/LOG 調(diào)用鏈分析,管理 容錯 負載均衡 灰度,RPC(同步/異步/單項) 高性能 過載,提供給框架以及業(yè)務(wù)使用,多平臺 二進制可擴展 自動生成,讓開發(fā)更關(guān)注業(yè)務(wù)，讓運營更簡單！,Notify,Stat,Log,Patch,Registry1,Registry2,RegistryN,Web,Server1,Server2,ServerN,Node1,Server1,Server2,ServerN,NodeN,主控節(jié)點（熱備）,運維管理平臺,異常信息,指

6、標(biāo)統(tǒng)計,遠程LOG,發(fā)布平臺,服務(wù) 節(jié)點,業(yè)務(wù)Server,Config,配置中心,172.16.28.153,172.16.28.154,Property,業(yè)務(wù)信息,registry,client,stringToProxy(“PetObj”);,petsvr,petsvr,tcp/udp,node1,node2,keep alive,report status,patch,patch,stat,prop,notify,config,log,admin command,admin,sync/async,服務(wù)交互流程,TAF關(guān)鍵特性,開發(fā)便捷 容錯、容災(zāi) 支持set部署 業(yè)務(wù)特性路由 用戶消息

7、染色 調(diào)用鏈分析 統(tǒng)一管理、運營支撐平臺 指標(biāo)監(jiān)控與告警,代碼自動生成,客戶端,服務(wù)端,Jce 文件,jce2cpp,遠程調(diào)用(遠程調(diào)用原來如此簡單),業(yè)務(wù)同步調(diào)用,業(yè)務(wù)異步調(diào)用,業(yè)務(wù)單向調(diào)用,容錯、容災(zāi)(減小服務(wù)器/網(wǎng)絡(luò)的影響) 1h5m,服務(wù)器掛掉基本不影響業(yè)務(wù),Client,svr,tcp/udp,svr,svr,連續(xù)超時次數(shù),超時比率(client),定時重試,降低網(wǎng)絡(luò)波動帶來的影響,SET分組,SET分組,按SET部署的優(yōu)點： 1，服務(wù)名統(tǒng)一，服務(wù)配置統(tǒng)一管理。 2，按照小組為單位，容量容易控制。 3，各個小組之間沒有調(diào)用關(guān)系，不干擾。 4，對IDC分組的再細化。,web/wap s

8、vr,proxy.taf_set_router(router),0,0,1,int getGridByKey(String key);,user,根據(jù)狀態(tài)選擇路由,0,1,0,如果有router，則以router為準(zhǔn)； 否則使用已有的灰度值,0,0,0,UI Server,Logic Server,DB Server,狀態(tài)為1的服務(wù)收到狀態(tài)為0 的消息時，返回reset grid 服務(wù)端只有一種狀態(tài)時，則 忽略路由值，但是會透傳 服務(wù)端邏輯在業(yè)務(wù)自己啟動 的線程中時，狀態(tài)會丟失,特性路由(灰度策略),web/wap svr,0,0,1,user,根據(jù)狀態(tài)選擇路由,0,1,0,taf_dye(“

9、queryInfo”, “88883245”),0,0,0,UI Server,Logic Server,DB Server,對任意一條消息進行染色 染色的key值由業(yè)務(wù)指定 后續(xù)調(diào)用在框架層自動染色 染色消息集中到log server,用戶消息染色(跟蹤用戶消息流),dye log server,web/wap/tafserver,S1,S2,user,A1,A2,入口消息采樣 Key、深度、廣度； 采樣率； 樹狀結(jié)構(gòu)； 采樣消息統(tǒng)一stat服務(wù)； 跨IDC調(diào)用情況；,B1,B3,B2,調(diào)用鏈分析(合理部署、架構(gòu)優(yōu)化),stat,C1,C3,C2,深度,廣度,調(diào)用鏈分析(看清楚一個用戶請求)

10、,用戶入口,查詢是否是超Q,查詢是否綁定,查詢關(guān)注的好友列表,循環(huán)查詢好友昵稱？ 循環(huán)過濾敏感字？,優(yōu)化為批量接口 解決調(diào)用鏈過長的問題,TAF 管理平臺: ,發(fā)布管理 服務(wù)啟停、日至等級設(shè)置，發(fā)送自定義命令 配置文件維護，配置文件主動push 一鍵式的擴容 自動測試 業(yè)務(wù)配置信息維護 運營情況統(tǒng)計 ,指標(biāo)統(tǒng)計與監(jiān)控(嵌入式監(jiān)控、讓數(shù)據(jù)說明一切),已采集指標(biāo)包括： 主調(diào)模塊、被調(diào)模塊、主調(diào)ip、被調(diào)ip、被調(diào)端口、返回值、 成功數(shù)、超時數(shù)、異常數(shù)、最大處理時間、最小處理時間、 總處理時間、服務(wù)調(diào)用時間區(qū)間分布,邏輯層要解決的問題,TAF,MIG業(yè)務(wù)整體架構(gòu),規(guī)模： 業(yè)務(wù)數(shù)：100+ 服務(wù)數(shù)：6000+ 節(jié)點數(shù)：4000+ 進程數(shù)：20000+ 調(diào)用量：4P/天,TAF,MIG業(yè)務(wù)整體架構(gòu),手機QQ瀏覽器后臺架構(gòu),Login,Config,接入代理,Stat,IPInfo,Auth,c,d,b,Web運營 管理平臺,帳號中心,同步中心,消息中心,云U盤,LBS代理,插件服務(wù),Local Cache,分布式Cache平臺,文件系統(tǒng) CFS,智能預(yù)抓,圖片轉(zhuǎn)換,內(nèi)核解析,渲染服務(wù),頁面轉(zhuǎn)換,部署 發(fā)布,配置