負(fù)載均衡續(xù)：萬(wàn)億流量場(chǎng)景下的負(fù)載均衡實(shí)踐

負(fù)載均衡續(xù)：萬(wàn)億流量場(chǎng)景下的負(fù)載均衡實(shí)踐垂直性能提升架構(gòu)優(yōu)化：集群部署，負(fù)載均衡本篇內(nèi)容：萬(wàn)億流量下負(fù)載均衡的實(shí)現(xiàn)上篇基本把負(fù)載均衡涉及到的基礎(chǔ)都羅列了，那么到了實(shí)際場(chǎng)景下，特別是萬(wàn)億流量場(chǎng)景下，真實(shí)的負(fù)載均衡方案又是怎么做的呢。本篇分別就淘寶雙11、春運(yùn)12306、微信紅包和抖音春晚紅包等場(chǎng)景在負(fù)載均衡方面的運(yùn)用進(jìn)行一些介紹和討論。阿里雙11流量下的負(fù)載均衡[1]雙十一流量特點(diǎn)請(qǐng)求量巨大，脈沖式的。是對(duì)阿里生態(tài)鏈路雙十一流量特點(diǎn)請(qǐng)求量巨大，脈沖式的。是對(duì)阿里生態(tài)鏈路上所有服務(wù)的考驗(yàn)對(duì)負(fù)載均衡器的要求:性能優(yōu)良：應(yīng)對(duì)雙11當(dāng)晚脈沖式的流量沖擊服務(wù)穩(wěn)定：可用性高，以應(yīng)對(duì)設(shè)備和網(wǎng)絡(luò)的抖動(dòng)業(yè)務(wù)無(wú)感：順滑的自身升級(jí)和容災(zāi)切換實(shí)現(xiàn)原理1）優(yōu)良性能依賴DPDK

阿里的新一代負(fù)載均衡器是基于DPDK[2]來(lái)實(shí)現(xiàn)的。其優(yōu)勢(shì)總結(jié)如下 *⑶晝通過(guò)UIO技朮將報(bào)文拷貝到應(yīng)用空間處理‘規(guī)避干必要的內(nèi)存拷貝和系址調(diào)用，便于怏速迭代優(yōu)仏吳通過(guò)大頁(yè)內(nèi)存HUGEPAGE,KUcachemiss｛訪存幵銷)，利用內(nèi)存劣通道交錯(cuò)訪問(wèn)提高內(nèi)存訪問(wèn)有效帶寬，即提高命中率，進(jìn)而提高epu訪問(wèn)速度樣呈通過(guò)CPU親稻性郭定趙卡和線程到固定的8理讖少匚凹任務(wù)切換口特定任務(wù)可以被指定只在某個(gè)核上工作，避免堆程在不同核間頻繁切棘保證M^feache命中。呈通過(guò)無(wú)鎖趴列，減少資淋競(jìng)爭(zhēng)"cache行對(duì)齊’預(yù)取數(shù)據(jù),勢(shì)元數(shù)抵批量操年。. 了匚刖廿的技律之銘1通過(guò)輪詢可在包處理時(shí)謹(jǐn)免中斷上下文切隸的開(kāi)銷。 "正是由于這些專門針對(duì)數(shù)據(jù)包的高性能支持，才得以實(shí)現(xiàn)性能優(yōu)良的負(fù)載均衡器來(lái)支撐多年雙11場(chǎng)景下的脈沖流量的壓力。2)應(yīng)對(duì)ECMP重選導(dǎo)致的連接中斷ECPM(Equal-CostMultipathRouting)是一種最大限度利用最短路徑的等價(jià)多路徑路由算法。無(wú)感容災(zāi)與升級(jí)——連接斷開(kāi)問(wèn)題③無(wú)感容災(zāi)與升級(jí)——連接斷開(kāi)問(wèn)題③DPDK轉(zhuǎn)題彌n轉(zhuǎn)題彌n問(wèn)題-單抽臘時(shí)，ECMF更癥路鬧丸衆(zhòng)5^中甌■單冋卡或者鏈路城備時(shí)，ECMP重新說(shuō)蹈導(dǎo)5!旌接中新-交換機(jī)弼時(shí)，切換交換機(jī)r造路不叵魯致逬接中匪*JE群通過(guò)輪潮柵版仙」導(dǎo)甦EGdPHi新選宿導(dǎo)雜連擺中斷影響-交易直接下跌?用戶訪問(wèn)超時(shí),異常?會(huì)話同步?同_組轉(zhuǎn)炭服務(wù)器加入同一個(gè)組播組?利用組播解決機(jī)器的上線與下線?高性能；?會(huì)話同步?同_組轉(zhuǎn)炭服務(wù)器加入同一個(gè)組播組?利用組播解決機(jī)器的上線與下線?高性能；發(fā)送T分‘組播復(fù)制叢份?轉(zhuǎn)發(fā)面簡(jiǎn)單、高效1GJWF轉(zhuǎn)發(fā)確器TIconnsSconnsSconnsLconn±交m-iLconnsSconnsSU埶播住話同歩示危圖三「心二<7?二之12VVV左右滑動(dòng)見(jiàn)更多>>>如上圖，SLB采用水平擴(kuò)展的集群部署，多臺(tái)服務(wù)器發(fā)布相同路由,在交換機(jī)處形成ECPM路由。以達(dá)到高可用的目的。但，在連接沒(méi)有同步之前，遇到服務(wù)器硬件或網(wǎng)絡(luò)異常，會(huì)使該服務(wù)器不可用，ECPM重選路由，會(huì)使連接到達(dá)其他服務(wù)器，導(dǎo)致已有連接中斷，造成用戶訪問(wèn)異常。SLB使用了會(huì)話同步的機(jī)制來(lái)解決了升級(jí)與容災(zāi)場(chǎng)景下長(zhǎng)連接中斷的問(wèn)題。用組播技術(shù)解決會(huì)話同步機(jī)制中的機(jī)器上下線問(wèn)題。詳細(xì)解釋參見(jiàn)文獻(xiàn)［1］。鐵路12306的負(fù)載均衡⑷12306大名鼎鼎，無(wú)需多介紹。其中很多的場(chǎng)景和技術(shù)都可以給我們做一些很好的參考。但只找到了16年發(fā)表的論文，沒(méi)有能了解到最新的架構(gòu)部署。12306的業(yè)務(wù)難點(diǎn)動(dòng)態(tài)庫(kù)存，余票可以按站點(diǎn)拆分事務(wù)強(qiáng)一致，下單交易性質(zhì)多維度數(shù)據(jù)一致性，線上線下售票渠道流量洪峰，遇節(jié)假日有流量洪峰這里對(duì)前幾個(gè)問(wèn)題就暫不討論，單說(shuō)負(fù)載均衡在應(yīng)對(duì)流量洪峰時(shí)的作用。12306架構(gòu)的發(fā)展歷程如下：由上圖可以看到，第一次優(yōu)化之前，幾乎全鏈路服務(wù)都出現(xiàn)了性能瓶頸，因?yàn)椴l(fā)查詢導(dǎo)致查詢系統(tǒng)負(fù)載過(guò)高，用戶重試引發(fā)AS過(guò)載；AS阻塞導(dǎo)致響應(yīng)增加，引發(fā)WEB負(fù)載問(wèn)題，線上壓力導(dǎo)致整個(gè)票務(wù)系統(tǒng)異常，進(jìn)而影響了線下購(gòu)票渠道正常運(yùn)轉(zhuǎn)，直至鏈路雪朋。第一次優(yōu)化后，引入排隊(duì)系統(tǒng)，不同車次使用不同隊(duì)列，已達(dá)到請(qǐng)求分流；且排隊(duì)系統(tǒng)采用了動(dòng)態(tài)流量控制，根據(jù)各鐵路局客票中心處理速度，進(jìn)行控速請(qǐng)求下發(fā)；并進(jìn)行了客票網(wǎng)服務(wù)拆分，根據(jù)不同規(guī)則，使流量負(fù)載均衡。此次優(yōu)化讓12306順利度過(guò)了13年春運(yùn)。但隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)上訂票人數(shù)不斷增加，目前的架構(gòu)已經(jīng)達(dá)到了帶寬、性能、穩(wěn)定性的瓶頸。因此第二次優(yōu)化如下:本篇重點(diǎn)還是看負(fù)載均衡在業(yè)務(wù)場(chǎng)景下的實(shí)際作用，因此，其

他優(yōu)化點(diǎn)就不做討論了。正是因?yàn)槎嗑S度，多層次的負(fù)載均衡，才使得12306能夠承載更咼的流量沖擊（如果哪些同學(xué)有12306最新的部署架構(gòu)，希望能私信交流學(xué)習(xí)~）微信紅包背后的負(fù)載均衡 ⑸2017年正月，微信公布用戶在除夕當(dāng)天收發(fā)微信紅包的數(shù)量142億個(gè)，收發(fā)峰值已達(dá)到76萬(wàn)每秒。百億紅包業(yè)務(wù)特點(diǎn)：不同于普通電商場(chǎng)景，一個(gè)群紅包就相當(dāng)于一個(gè)秒殺活動(dòng)，并發(fā)要求更高金融屬性，不允許數(shù)據(jù)出現(xiàn)一致性，安全級(jí)別要求更高。那么微信的紅包方案是怎么設(shè)計(jì)的SET化，分而治之SET化，分而治之如果采用普通的服務(wù)拆分和部署方式，由于需要鎖庫(kù)存來(lái)防止超發(fā)，海量的鎖競(jìng)爭(zhēng)將對(duì)DB造成不可估量的壓力。及時(shí)是使用外部存儲(chǔ)的分布式鎖進(jìn)行前置壓力緩解，只是對(duì)壓力的轉(zhuǎn)移，而無(wú)法減少。采用SET化部署的好處，就是同一個(gè)紅包只會(huì)被路由到同一個(gè)的SET內(nèi)，相當(dāng)于對(duì)龐大的洪流，進(jìn)行了reduce似的細(xì)小拆分，不同的SET之間互不影響，極大的減少了不同SET之間的資源壓力。（其實(shí)和阿里的RGCzone單元化部署原理差不多）server層請(qǐng)求排隊(duì)

產(chǎn)生并發(fā)搶鎖的原因,是因?yàn)榈竭_(dá)DB的請(qǐng)求可能是并發(fā),如果可以保證到達(dá)DB的請(qǐng)求穿行，那就不存在并發(fā)了。

隊(duì)DB按￡'舊Cedar的技世之路接收請(qǐng)求隊(duì)DB按￡'舊Cedar的技世之路接收請(qǐng)求worker進(jìn)程組lYiemcahcedvvv左右滑動(dòng)見(jiàn)更多>>>首先,通過(guò)IDhash確保同一紅包的請(qǐng)求被分配到同一臺(tái)Server,然后再進(jìn)行單機(jī)紅包排隊(duì)，這樣，就可以保證同一紅包的請(qǐng)求順序的達(dá)到DB，從而減少DB搶鎖并發(fā)。雙維度庫(kù)表設(shè)計(jì)因?yàn)榧t包數(shù)量巨大，單表數(shù)據(jù)達(dá)到一定程度就會(huì)出現(xiàn)性能問(wèn)題；因此除了按紅包ID分庫(kù)分表，還按天進(jìn)行冷熱數(shù)據(jù)拆分，在保障數(shù)據(jù)可以優(yōu)雅遷移的前提下，保證了當(dāng)天的DB性能。而在查詢時(shí)，通過(guò)數(shù)據(jù)庫(kù)中間件，進(jìn)行庫(kù)表路由?？偨Y(jié)從負(fù)載均衡的角度看紅包的架構(gòu)設(shè)計(jì)，可以看到，整個(gè)架構(gòu)設(shè)計(jì)可以理解為使用了三層負(fù)載均衡，首先是入口層，將流量進(jìn)行set拆分，達(dá)到整體SET集群的負(fù)載均衡；然后是server層，對(duì)紅包ID進(jìn)行業(yè)務(wù)邏輯Hash,ID穿行的同時(shí)，達(dá)到server集群內(nèi)部的負(fù)載均衡；再有是DB層，通過(guò)雙維度庫(kù)表設(shè)計(jì)，在保障DB性能的同時(shí)達(dá)到數(shù)據(jù)訪問(wèn)的負(fù)載均衡。抖音春晚紅包背后的負(fù)載均衡 [6][7]前幾部分分別從網(wǎng)絡(luò)層、架構(gòu)層、內(nèi)部設(shè)計(jì)等角度闡述了負(fù)載均衡的實(shí)際運(yùn)用。而這里會(huì)著重介紹下抖音架構(gòu)中涉及到的下一代微服務(wù)技術(shù)ServiceMesh在負(fù)載均衡上的優(yōu)勢(shì)。什么是ServiceMesh[8]為了解決端到端的字節(jié)碼通信問(wèn)題，TCP協(xié)議誕生，讓多機(jī)通信變得簡(jiǎn)單可靠；微服務(wù)時(shí)代，ServiceMesh誕生，屏蔽了分布式系統(tǒng)的諸多復(fù)雜性，讓開(kāi)發(fā)者可以回歸業(yè)務(wù)。

ServiceAEnvnyf-^ServiceAknv-oyR理ServiceAEnvnyf-^ServiceAknv-oyR理HTTP；1.1.HTTP/；,

gKlFCcwTCF??

with,urwithout

ntri-gFnlicychecks,

tckm&tr^__AdapterMixrrAdapterCunfijpjurian.fCunfijpjurian.“acfatalflproxies:cfatalflproxies:C-onfi^M^riixi:JlLtlL■J'LScerlifiriilrh*

toproxies.GalleyCitadelIstio服務(wù)網(wǎng)格在邏輯上分為控制平面和數(shù)據(jù)平面兩部分。其中,數(shù)據(jù)平面由一組以Sidecar方式部署的智能代理（Envoy）組成，這些代理可以調(diào)節(jié)和控制微服務(wù)及Mixer之間所有的網(wǎng)絡(luò)通信。Envoy代理可以發(fā)出很多指標(biāo)和遙測(cè)數(shù)據(jù)，這些遙測(cè)數(shù)據(jù)發(fā)送到何處，取決于Envoy的配置.Envoy作為代理，在網(wǎng)絡(luò)體系中扮演著中介的角色，可以為網(wǎng)絡(luò)中的流量管理添加額外的功能，包括提供安全性、隱私保護(hù)或負(fù)載策略等。在服務(wù)間調(diào)用的場(chǎng)景中，代