云計(jì)算（典藏版）課件 第9、10章 云計(jì)算數(shù)據(jù)中心、云計(jì)算核心算法

第9章云計(jì)算數(shù)據(jù)中心9.1云數(shù)據(jù)中心的特征9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署9.3綠色節(jié)能技術(shù)9.4自動(dòng)化管理of3119.5容災(zāi)備份高級(jí)人工智能人才培養(yǎng)叢書(shū)習(xí)題9.1云數(shù)據(jù)中心的特征第9章云計(jì)算數(shù)據(jù)中心of312Facebook、谷歌、亞馬遜等在多地建立了自己的大規(guī)模數(shù)據(jù)中心9.1云數(shù)據(jù)中心的特征of313高設(shè)備利用率綠色節(jié)能高可用性自動(dòng)化管理1234采用虛擬化和容器化技術(shù)進(jìn)行系統(tǒng)和數(shù)據(jù)中心整合，優(yōu)化資源利用率；通過(guò)先進(jìn)的供電和散熱技術(shù)，降低數(shù)據(jù)中心的能耗；系統(tǒng)中各部分的冗余、容錯(cuò)以至容災(zāi)設(shè)計(jì)，保證應(yīng)用服務(wù)的不間斷性；7×24小時(shí)無(wú)人值守并可通過(guò)Internet實(shí)現(xiàn)可視化遠(yuǎn)程管理。云數(shù)據(jù)中心將云計(jì)算與數(shù)據(jù)中心有效結(jié)合實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，具備以下幾個(gè)特征：第9章云計(jì)算數(shù)據(jù)中心第9章云計(jì)算數(shù)據(jù)中心9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署9.1云數(shù)據(jù)中心的特征9.3綠色節(jié)能技術(shù)9.4自動(dòng)化管理of3149.5容災(zāi)備份高級(jí)人工智能人才培養(yǎng)叢書(shū)習(xí)題9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of315數(shù)據(jù)中心網(wǎng)絡(luò)數(shù)據(jù)中心內(nèi)部通過(guò)高速鏈路和交換機(jī)連接大量服務(wù)器構(gòu)成網(wǎng)絡(luò)拓?fù)湟?guī)模帶寬容錯(cuò)性擴(kuò)展性布線

復(fù)雜性成本兼容性配置開(kāi)銷(xiāo)流量隔離靈活性FatTree中中中中較高較高高較高無(wú)低VL2大大中中較高較高中較高無(wú)中OSA小大差中較低較高低中無(wú)高WDCN小大較好中較低中中中無(wú)高DCell大較大較好較好高較高中較高無(wú)較高FiConn大較大較好較好較高中中較高無(wú)較高BCube小大好較好高較高中較高無(wú)較高M(jìn)DCube大大較好較好高高中較高無(wú)較高第9章云計(jì)算數(shù)據(jù)中心9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of316FatTree網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)采用三層級(jí)聯(lián)的交換機(jī)拓?fù)浣Y(jié)構(gòu)，有k個(gè)Pod，每個(gè)Pod中包含k個(gè)交換機(jī)，其中k/2個(gè)是接入交換機(jī)，k/2個(gè)是匯聚交換機(jī)。每個(gè)接入交換機(jī)有k個(gè)端口，其中k/2個(gè)連接到主機(jī)端，k/2個(gè)連接到匯聚交換機(jī)。同樣每個(gè)匯聚交換機(jī)的k/2個(gè)端口連接到接入交換機(jī)，另外k/2個(gè)連接到核心交換機(jī)。第9章云計(jì)算數(shù)據(jù)中心9.2.1改進(jìn)型樹(shù)結(jié)構(gòu)9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of317FatTree網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與傳統(tǒng)層次結(jié)構(gòu)相比，F(xiàn)atTree結(jié)構(gòu)有如下特點(diǎn)：消除了樹(shù)形結(jié)構(gòu)上層鏈路對(duì)吞吐量的限制為內(nèi)部節(jié)點(diǎn)間通信提供多條并行鏈路橫向擴(kuò)展的嘗試降低了構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)的成本與現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)使用的以太網(wǎng)結(jié)構(gòu)和IP配置的服務(wù)器兼容FatTree的擴(kuò)展性受限于核心交換機(jī)端口數(shù)量，目前比較常用的是48端口10G核心交換機(jī)，在3層樹(shù)結(jié)構(gòu)中能夠支持27648臺(tái)主機(jī)。第9章云計(jì)算數(shù)據(jù)中心9.2.1改進(jìn)型樹(shù)結(jié)構(gòu)9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of318VL2架構(gòu)VL2的核心思想是使用CLOS拓?fù)浣Y(jié)構(gòu)建立扁平的第二層網(wǎng)絡(luò)。VL2仍然采用三層拓?fù)浣Y(jié)構(gòu)進(jìn)行交換機(jī)級(jí)聯(lián)。但不同的是，VL2中的各級(jí)交換機(jī)之間都采用10Gbps端口以減小布線開(kāi)銷(xiāo)。VL2依賴(lài)于中心化的基礎(chǔ)設(shè)施來(lái)實(shí)現(xiàn)2層語(yǔ)義和資源整合，面臨單點(diǎn)失效和擴(kuò)展性問(wèn)題。具有以下特點(diǎn)：第9章云計(jì)算數(shù)據(jù)中心9.2.1改進(jìn)型樹(shù)結(jié)構(gòu)扁平尋址，這可以允許服務(wù)實(shí)例被放置到網(wǎng)絡(luò)覆蓋的任何地方；負(fù)載均衡將流量統(tǒng)一的分配到網(wǎng)絡(luò)路徑；終端系統(tǒng)的地址解析拓展到巨大的服務(wù)器池，并不需要將網(wǎng)絡(luò)復(fù)雜度傳遞給網(wǎng)絡(luò)控制平臺(tái)。9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of319遞歸層次結(jié)構(gòu)：主要是設(shè)計(jì)好最小遞歸單元的結(jié)構(gòu)和確定好遞歸規(guī)律DCell拓?fù)浣Y(jié)構(gòu)低層網(wǎng)絡(luò)是基本的構(gòu)建單元，n個(gè)服務(wù)器連接一個(gè)具有n個(gè)端口的交換機(jī)第9章云計(jì)算數(shù)據(jù)中心9.2.2遞歸層次結(jié)構(gòu)構(gòu)建高層次網(wǎng)絡(luò)時(shí)，需要的低層網(wǎng)絡(luò)的個(gè)數(shù)等于每個(gè)低層網(wǎng)絡(luò)中的服務(wù)器個(gè)數(shù)加1DCell拓?fù)涞膬?yōu)勢(shì)是網(wǎng)絡(luò)可擴(kuò)展性好，但其拓?fù)涞膶訑?shù)受限于服務(wù)器的端口數(shù)。9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3110FiConn拓?fù)浣Y(jié)構(gòu)低層網(wǎng)絡(luò)是基本的構(gòu)建單元，n個(gè)服務(wù)器連接一個(gè)具有n個(gè)端口的交換機(jī)與DCell類(lèi)似，如果將FiConn看成一個(gè)虛擬服務(wù)器，那么高層次的FiConn網(wǎng)絡(luò)是由若干個(gè)低層次的FiConn網(wǎng)絡(luò)構(gòu)成的一個(gè)完全圖。第9章云計(jì)算數(shù)據(jù)中心9.2.2遞歸層次結(jié)構(gòu)優(yōu)點(diǎn)：不需要對(duì)服務(wù)器和交換機(jī)的硬件做任何修改缺點(diǎn)：每個(gè)FiConn對(duì)外連接的鏈路仍然有限，F(xiàn)iConn的容錯(cuò)性較弱，且其路徑長(zhǎng)度較大，路由效率不高9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3111BCube拓?fù)浣Y(jié)構(gòu)BCube主要為集裝箱規(guī)模的數(shù)據(jù)中心設(shè)計(jì)第9章云計(jì)算數(shù)據(jù)中心9.2.2遞歸層次結(jié)構(gòu)第0層就是將n個(gè)服務(wù)器連接到一個(gè)n端口的交換機(jī)；BCubek由n個(gè)BCubek?1和nk個(gè)n端口交換機(jī)組成；優(yōu)勢(shì)：鏈路資源非常豐富，提供了負(fù)載均衡；不足：探測(cè)過(guò)程會(huì)造成較大的通信和計(jì)算開(kāi)銷(xiāo)。9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3112Helios拓?fù)浣Y(jié)構(gòu)混合電/光結(jié)構(gòu)網(wǎng)絡(luò)，兩層的多根樹(shù)結(jié)構(gòu)，適用于集裝箱數(shù)據(jù)中心將所有的服務(wù)器劃分為若干集群，每個(gè)集群中的服務(wù)器連接到接入交換機(jī)，每個(gè)接入交換機(jī)與一個(gè)2層或3層電交換網(wǎng)絡(luò)和一個(gè)光網(wǎng)絡(luò)連接。第9章云計(jì)算數(shù)據(jù)中心9.2.3光交換網(wǎng)絡(luò)該拓?fù)浔ＷC了服務(wù)器之間的通信可使用分組鏈路，也可使用光纖鏈路。9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3113OSA體系結(jié)構(gòu)OSA(OpticalSwitchingArchitecture)是基于光交換的數(shù)據(jù)中心網(wǎng)絡(luò)體系結(jié)構(gòu)；主要引入光交換矩陣和波長(zhǎng)選擇交換機(jī)作為技術(shù)基礎(chǔ)，光交換模塊是雙向N×N矩陣，任意輸入端口可以連接到任意的輸出端口，波長(zhǎng)選擇交換機(jī)WSS是一個(gè)1×N交換機(jī)，由一個(gè)通用和N個(gè)波長(zhǎng)端口組成第9章云計(jì)算數(shù)據(jù)中心9.2.3光交換網(wǎng)絡(luò)優(yōu)點(diǎn)：光交換具有潛在的更高的傳輸速率、更靈活的拓?fù)浣Y(jié)構(gòu)，并且其制冷成本更低；不足：面向連接的網(wǎng)絡(luò)，將不可避免引入時(shí)延。9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3114WDCN體系結(jié)構(gòu)2009年美國(guó)微軟的Kandula指出可以增加新的“飛路”（Flyways）來(lái)緩解部分熱節(jié)點(diǎn)的擁塞狀況，2011年Cui等人提出了一個(gè)異構(gòu)的以太網(wǎng)/無(wú)線體系結(jié)構(gòu)WDCN；第9章云計(jì)算數(shù)據(jù)中心9.2.4無(wú)線數(shù)據(jù)中心網(wǎng)絡(luò)優(yōu)點(diǎn)：可靈活調(diào)整網(wǎng)絡(luò)拓?fù)洌槐剡M(jìn)行重新布線；不足：傳輸距離是有限的，限制大規(guī)模數(shù)據(jù)中心部署。9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3115SDN架構(gòu)SDN是一種新型的網(wǎng)絡(luò)技術(shù)，它將網(wǎng)絡(luò)的控制平面與數(shù)據(jù)轉(zhuǎn)發(fā)平面進(jìn)行分離，數(shù)據(jù)流的接入、路由等都由一個(gè)集中控制器來(lái)控制，而交換機(jī)只是按控制器所設(shè)定的規(guī)則進(jìn)行數(shù)據(jù)分組的轉(zhuǎn)發(fā)第9章云計(jì)算數(shù)據(jù)中心9.2.5軟件定義網(wǎng)絡(luò)SDN架構(gòu)主要分為基礎(chǔ)設(shè)施層、控制層和應(yīng)用層：基礎(chǔ)設(shè)施層由經(jīng)過(guò)資源抽象的網(wǎng)絡(luò)設(shè)備組成；控制層是整個(gè)SDN架構(gòu)的核心,負(fù)責(zé)網(wǎng)絡(luò)的控制和管理；應(yīng)用層包含組織使用的典型網(wǎng)絡(luò)應(yīng)用或功能。9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3116OpenFlowOpenFlow是第一個(gè)針對(duì)SDN實(shí)現(xiàn)的標(biāo)準(zhǔn)接口，包括數(shù)據(jù)層與控制層之間的傳輸協(xié)議、控制器上的API等。OpenFlow主要由OpenFlow交換機(jī)、控制器兩部分組成。OpenFlow交換機(jī)負(fù)責(zé)數(shù)據(jù)轉(zhuǎn)發(fā)功能，技術(shù)細(xì)節(jié)由三部分組成：流表、安全信道和OpenFlow協(xié)議?？刂破髦械木W(wǎng)絡(luò)操作系統(tǒng)實(shí)現(xiàn)控制邏輯功能，NOX控制器維護(hù)整個(gè)網(wǎng)絡(luò)視圖。第9章云計(jì)算數(shù)據(jù)中心9.2.5軟件定義網(wǎng)絡(luò)9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署of3117B4SDN網(wǎng)絡(luò)架構(gòu)谷歌將自己的SDN網(wǎng)絡(luò)命名為為B4，其網(wǎng)絡(luò)結(jié)構(gòu)分為三層：物理設(shè)備層（SwitchHardware）、局部網(wǎng)絡(luò)控制層（SiteControllers）和全局控制層（Global）。第9章云計(jì)算數(shù)據(jù)中心9.2.5軟件定義網(wǎng)絡(luò)鏈路帶寬利用率提高了3倍以上，鏈路成本大大降低，而且網(wǎng)絡(luò)更穩(wěn)定，對(duì)路徑失效的反應(yīng)更快，大大簡(jiǎn)化了管理，也不再需要交換機(jī)使用大的包緩存，降低了對(duì)交換機(jī)的要求。第9章云計(jì)算數(shù)據(jù)中心9.3綠色節(jié)能技術(shù)9.1云數(shù)據(jù)中心的特征9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署9.4自動(dòng)化管理of31189.5容災(zāi)備份高級(jí)人工智能人才培養(yǎng)叢書(shū)習(xí)題9.3綠色節(jié)能技術(shù)of3119第9章云計(jì)算數(shù)據(jù)中心Google公司云數(shù)據(jù)中心解決云計(jì)算數(shù)據(jù)中心的高能耗問(wèn)題已經(jīng)成為一個(gè)環(huán)境問(wèn)題，構(gòu)建綠色節(jié)能的云計(jì)算數(shù)據(jù)中心也成為一個(gè)重要的研究熱點(diǎn)。云計(jì)算數(shù)據(jù)中心的耗能越來(lái)越大9.3綠色節(jié)能技術(shù)of3120UPS不間斷供電系統(tǒng)UPS系統(tǒng)自身的效率和服務(wù)器自身的電源模塊效率，傳統(tǒng)數(shù)據(jù)中心配電系統(tǒng)的效率一般低于77%。轉(zhuǎn)換級(jí)數(shù)過(guò)多，結(jié)構(gòu)復(fù)雜。供電架構(gòu)復(fù)雜且難以維護(hù)。云計(jì)算數(shù)據(jù)中心如何改善配電系統(tǒng)的效率成為一個(gè)重要的問(wèn)題，目前常見(jiàn)的兩個(gè)方案是高壓直流配電和市電直供配電。第9章云計(jì)算數(shù)據(jù)中心9.3.1配電系統(tǒng)節(jié)能技術(shù)傳統(tǒng)數(shù)據(jù)中心UPSUn-interruptiblePowerSupply電池系統(tǒng)過(guò)渡油機(jī)發(fā)電系統(tǒng)9.3綠色節(jié)能技術(shù)of3121高壓直流配電技術(shù)機(jī)架式電源將傳統(tǒng)的集中供電分散到每個(gè)機(jī)架，可靠性較傳統(tǒng)UPS有很大提高，能夠更好地適應(yīng)云計(jì)算業(yè)務(wù)場(chǎng)景。高壓直流供電+機(jī)架式PSU：去除了服務(wù)器節(jié)點(diǎn)的交流電源系統(tǒng)，在效率方面有了更大的提升，這種配電系統(tǒng)的實(shí)際測(cè)試效率可以提高到85.5%左右。第9章云計(jì)算數(shù)據(jù)中心9.3.1配電系統(tǒng)節(jié)能技術(shù)9.3綠色節(jié)能技術(shù)of3122市電直供配電技術(shù)市電直供電源保留了機(jī)架式電源支持熱插拔的模塊化設(shè)計(jì)，也采用機(jī)架分散供電的方式，其最大的特點(diǎn)在于最大化減少配電系統(tǒng)的轉(zhuǎn)換環(huán)節(jié)，整個(gè)配電系統(tǒng)的綜合效率能夠達(dá)到92%左右第9章云計(jì)算數(shù)據(jù)中心9.3.1配電系統(tǒng)節(jié)能技術(shù)9.3綠色節(jié)能技術(shù)of3123在數(shù)據(jù)中心運(yùn)行過(guò)程中，服務(wù)器節(jié)點(diǎn)、網(wǎng)絡(luò)設(shè)備、辦公環(huán)境等時(shí)刻產(chǎn)生著熱量，如果不能及時(shí)散發(fā)熱量，數(shù)據(jù)中心將無(wú)法運(yùn)行。第9章云計(jì)算數(shù)據(jù)中心9.3.2空調(diào)系統(tǒng)節(jié)能技術(shù)數(shù)據(jù)中心IT設(shè)備散熱環(huán)節(jié)9.3綠色節(jié)能技術(shù)of3124云計(jì)算數(shù)據(jù)中心空調(diào)系統(tǒng)的核心理念：注重IT設(shè)備的溫濕度要求，高效解決區(qū)域化的制冷，是機(jī)架級(jí)別甚至是IT設(shè)備級(jí)別的制冷解決方案，而非著眼機(jī)房環(huán)境溫濕度控制；云計(jì)算數(shù)據(jù)中心空調(diào)系統(tǒng)節(jié)能措施如下：高溫回風(fēng)空調(diào)系統(tǒng)根據(jù)不同出水溫度下的制冷和能耗，對(duì)應(yīng)的出水溫度（即空調(diào)回風(fēng)溫度）提高1℃，空調(diào)系統(tǒng)約節(jié)能3%；低能耗加濕系統(tǒng)將純凈的水直接噴灑在多孔介質(zhì)或者空氣中，形成顆粒極小的水霧，由送風(fēng)氣流送；自然冷空調(diào)系統(tǒng)使用室外自然冷風(fēng)直接帶走機(jī)房的IT設(shè)備的散熱，減少了機(jī)械制冷系統(tǒng)中最大的壓縮耗能環(huán)節(jié)，壓縮機(jī)制冷系統(tǒng)的EER由2～3.5提高到10～15，節(jié)能空間巨大。第9章云計(jì)算數(shù)據(jù)中心9.3.2空調(diào)系統(tǒng)節(jié)能技術(shù)9.3綠色節(jié)能技術(shù)of3125能效利用系數(shù)PUE（PowerUsageEffectiveness，PUE=1+（配電損耗+空調(diào)功耗+其他損耗）/IT功耗）核算第9章云計(jì)算數(shù)據(jù)中心9.3.2空調(diào)系統(tǒng)節(jié)能技術(shù)FACEBOOK新風(fēng)自然冷空調(diào)系統(tǒng)（PUE=1.07,空調(diào)EER約為15）（1）低溫和降溫風(fēng)系統(tǒng)（2）新風(fēng)過(guò)濾系統(tǒng)（3）氣流組織（4）智能控制9.3綠色節(jié)能技術(shù)of3126集裝箱式數(shù)據(jù)中心，就是將數(shù)據(jù)中心的服務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備、空調(diào)設(shè)備、供電設(shè)備等高密度地裝入固定尺寸的集裝箱中，使其成為數(shù)據(jù)中心的標(biāo)準(zhǔn)構(gòu)建模塊，進(jìn)而通過(guò)若干集裝箱模塊網(wǎng)絡(luò)和電力的互連互通構(gòu)建完整的數(shù)據(jù)中心第9章云計(jì)算數(shù)據(jù)中心9.3.3集裝箱數(shù)據(jù)中心節(jié)能技術(shù)9.3綠色節(jié)能技術(shù)of3127集裝箱數(shù)據(jù)中心的主要特點(diǎn)：第9章云計(jì)算數(shù)據(jù)中心9.3.3集裝箱數(shù)據(jù)中心節(jié)能技術(shù)1高密度集裝箱數(shù)據(jù)中心模塊可容納高密度計(jì)算設(shè)備，相同空間內(nèi)可容納六倍于傳統(tǒng)數(shù)據(jù)中心的機(jī)柜數(shù)量。2模塊化建立一個(gè)最優(yōu)的數(shù)據(jù)中心生態(tài)系統(tǒng)，具有恰如所需的供電、冷卻和計(jì)算能力等。3按需快速部署集裝箱數(shù)據(jù)中心不需要企業(yè)再經(jīng)過(guò)空間租用、土地申請(qǐng)、機(jī)房建設(shè)、硬件部署等周期，可大大縮短部署周期。4移動(dòng)便攜集裝箱數(shù)據(jù)中心的安裝非常容易，只需要提供電源連接、水源連接（用于冷卻）和數(shù)據(jù)連接即可。9.3綠色節(jié)能技術(shù)of3128從綠色節(jié)能的角度看，集裝箱數(shù)據(jù)中心也采用了諸多良好的設(shè)計(jì)提高數(shù)據(jù)中心的能效比。第9章云計(jì)算數(shù)據(jù)中心9.3.3集裝箱數(shù)據(jù)中心節(jié)能技術(shù)12345縮短送風(fēng)距離提高冷通道溫度冷/熱通道完全隔離隔熱保溫材料FreeCooling功能9.3綠色節(jié)能技術(shù)of3129海底數(shù)據(jù)中心（UnderwaterDataCenter,UDC）是將服務(wù)器等IT設(shè)施安裝在水下密封壓力容器中的數(shù)據(jù)中心；UDC的解決方案主要由岸站、海底高壓復(fù)合纜、海底分電站及海底數(shù)據(jù)艙四部分組成；相較于傳統(tǒng)IDC，UDC通過(guò)與海水進(jìn)行熱交換進(jìn)行冷卻，無(wú)需額外部署制冷系統(tǒng)，營(yíng)運(yùn)成本具有明顯優(yōu)勢(shì)；UDC已實(shí)現(xiàn)模塊化建設(shè)，施工周期短，通過(guò)部署在沿海發(fā)達(dá)地區(qū)，可以有效降低數(shù)據(jù)傳輸?shù)难舆t。第9章云計(jì)算數(shù)據(jù)中心9.3.4海底數(shù)據(jù)中心9.3綠色節(jié)能技術(shù)of3130海底數(shù)據(jù)中心的特點(diǎn)：高功率密度、低PUE，同時(shí)兼顧安全性搭載海水冷卻系統(tǒng)，使用壽命長(zhǎng)支持規(guī)模化部署第9章云計(jì)算數(shù)據(jù)中心9.3.4海底數(shù)據(jù)中心特征傳統(tǒng)數(shù)據(jù)中心海底數(shù)據(jù)中心建設(shè)周期1-2年90天左右制冷設(shè)施需要不需要營(yíng)運(yùn)成本高（用電量及電價(jià)相對(duì)較高；電費(fèi)0.8元/度）低（用電量及電價(jià)相對(duì)較低；電費(fèi)≤0.4元/度）數(shù)據(jù)傳輸高延遲低延遲9.3綠色節(jié)能技術(shù)of3131目前常見(jiàn)的云計(jì)算數(shù)據(jù)中心節(jié)能策略和算法可以從功率管理和降低能耗兩個(gè)角度進(jìn)行分類(lèi)：第9章云計(jì)算數(shù)據(jù)中心9.3.5數(shù)據(jù)中心節(jié)能策略和算法研究功率管理降低能耗云計(jì)算數(shù)據(jù)中心節(jié)能動(dòng)態(tài)功率管理靜態(tài)功率管理關(guān)閉/開(kāi)啟技術(shù)動(dòng)態(tài)電壓/頻率調(diào)整技術(shù)虛擬機(jī)技術(shù)降低空閑能耗降低運(yùn)行時(shí)能耗主要前提是數(shù)據(jù)中心所面臨的負(fù)載隨時(shí)間動(dòng)態(tài)變化，它允許根據(jù)負(fù)載對(duì)功率進(jìn)行動(dòng)態(tài)調(diào)整主要利用高效硬件設(shè)備，通過(guò)設(shè)備結(jié)構(gòu)的改變來(lái)降低能耗9.3綠色節(jié)能技術(shù)of3132目前常見(jiàn)的云計(jì)算節(jié)能技術(shù)：第9章云計(jì)算數(shù)據(jù)中心9.3.5數(shù)據(jù)中心節(jié)能策略和算法研究4．其他節(jié)能技術(shù)1．DVFS節(jié)能技術(shù)當(dāng)CPU未被完全利用時(shí)，通過(guò)降低CPU的供電電壓和時(shí)鐘頻率主動(dòng)降低CPU性能，這樣可以帶來(lái)立方數(shù)量級(jí)的動(dòng)態(tài)能耗降低，并且不會(huì)對(duì)性能產(chǎn)生影響。2．基于虛擬化的節(jié)能技術(shù)允許在一個(gè)主機(jī)上創(chuàng)建多個(gè)虛擬機(jī)，因此減少了硬件資源的使用數(shù)量，改進(jìn)了資源利用率。3．基于主機(jī)關(guān)閉/開(kāi)啟的節(jié)能技術(shù)基于主機(jī)關(guān)閉/開(kāi)啟技術(shù)的節(jié)能策略可以分為隨機(jī)式策略、超時(shí)式策略和預(yù)測(cè)式策略三類(lèi)。9.3綠色節(jié)能技術(shù)of3133新能源一般指在新技術(shù)基礎(chǔ)上加以開(kāi)發(fā)利用的可再生能源，包括太陽(yáng)能、生物質(zhì)能、風(fēng)能等；綠色和平組織（GreenPeace）定義實(shí)現(xiàn)綠色I(xiàn)T的方式是“高能效+新能源”；第9章云計(jì)算數(shù)據(jù)中心9.3.6新能源的應(yīng)用谷歌海上數(shù)據(jù)中心谷歌風(fēng)能數(shù)據(jù)中心Facebook太陽(yáng)能數(shù)據(jù)中心現(xiàn)在，越來(lái)越多的IT企業(yè)和機(jī)構(gòu)正在逐步實(shí)現(xiàn)完全或者部分新能源驅(qū)動(dòng)的數(shù)據(jù)中心9.3綠色節(jié)能技術(shù)of3134綠色網(wǎng)絡(luò)組織GreenGrid采用碳使用效率（CarbonUsageEffectiveness，CUE）表示每千瓦時(shí)用電產(chǎn)生的碳排放密集程序。數(shù)據(jù)中心應(yīng)用新能源策略新能源模型和預(yù)測(cè)機(jī)制：根據(jù)新能源的不同特性進(jìn)行建模，根據(jù)歷史數(shù)據(jù)建立能量曲線表等方法來(lái)預(yù)測(cè)新能源產(chǎn)量的變化趨勢(shì)；數(shù)據(jù)中心能源配額規(guī)劃：選擇最佳的能源組合來(lái)最小化開(kāi)銷(xiāo)和碳排放量；數(shù)據(jù)中心內(nèi)作業(yè)調(diào)試機(jī)制：根據(jù)新能源可用量，來(lái)分級(jí)調(diào)度交互性和延遲容忍型作業(yè)、調(diào)節(jié)服務(wù)功耗狀態(tài)以最大化利用新能源；數(shù)據(jù)中心間負(fù)載均衡機(jī)制：對(duì)不同地區(qū)數(shù)據(jù)中心的不同新能源可用量和不同碳排放量，負(fù)載均衡器將請(qǐng)求分發(fā)到不用的地區(qū)進(jìn)行執(zhí)行處理，從而最大化新能源的利用，減少能耗開(kāi)銷(xiāo)和碳排放量。第9章云計(jì)算數(shù)據(jù)中心9.3.6新能源的應(yīng)用CUE數(shù)據(jù)中心總的CO2排放量IT設(shè)備能耗9.3綠色節(jié)能技術(shù)of31352006年ChristianBelady提出了數(shù)據(jù)中心能源利用率（PUE）的概念，已發(fā)展成為一個(gè)全球性的數(shù)據(jù)中心能耗標(biāo)準(zhǔn)。PUE的值等于數(shù)據(jù)中心總能耗與IT設(shè)備能耗的比值，基準(zhǔn)是2，比值越接近1，表示數(shù)據(jù)中心的能源利用率越高。第9章云計(jì)算數(shù)據(jù)中心9.3.7典型的綠色節(jié)能數(shù)據(jù)中心PUE數(shù)據(jù)中心總能耗IT設(shè)備能耗全球最節(jié)能的5個(gè)數(shù)據(jù)中心：1．雅虎“雞窩”式數(shù)據(jù)中心PUE=1.082．Facebook數(shù)據(jù)中心PUE=1.153．谷歌比利時(shí)數(shù)據(jù)中心PUE=1.164．惠普英國(guó)溫耶德數(shù)據(jù)中心PUE=1.165．微軟都柏林?jǐn)?shù)據(jù)中心PUE=1.259.3綠色節(jié)能技術(shù)of3136Facebook數(shù)據(jù)中心為例，具體的節(jié)能措施：整個(gè)冷卻系統(tǒng)都位于二樓，空氣直接吹向服務(wù)器，無(wú)須風(fēng)道，并采用定制的供電設(shè)備第9章云計(jì)算數(shù)據(jù)中心9.3.7典型的綠色節(jié)能數(shù)據(jù)中心混調(diào)室和過(guò)濾室機(jī)架和主板第9章云計(jì)算數(shù)據(jù)中心9.4自動(dòng)化管理9.1云數(shù)據(jù)中心的特征9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署9.3綠色節(jié)能技術(shù)of31379.5容災(zāi)備份高級(jí)人工智能人才培養(yǎng)叢書(shū)習(xí)題9.4自動(dòng)化管理of3138數(shù)據(jù)中心自動(dòng)化管理提供實(shí)現(xiàn)所有硬件、軟件和流程協(xié)調(diào)一致工作的組合方法，能跨越技術(shù)領(lǐng)域幫助自動(dòng)完成IT系統(tǒng)管理流程，以提高IT運(yùn)營(yíng)水平；數(shù)據(jù)中心的管理和控制由軟件驅(qū)動(dòng)，通過(guò)數(shù)據(jù)中心統(tǒng)一管理軟件達(dá)到對(duì)數(shù)據(jù)中心設(shè)備、網(wǎng)絡(luò)、服務(wù)、客戶的智能化統(tǒng)一管理；云自動(dòng)化：按需分配和收回服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、應(yīng)用程序。第9章云計(jì)算數(shù)據(jù)中心9.4.1自動(dòng)化管理的特征全面的可視性自動(dòng)的控制執(zhí)行多層次的無(wú)縫集成綜合與實(shí)時(shí)的報(bào)告全生命周期支持9.4自動(dòng)化管理of3139由于資金、效率等問(wèn)題，實(shí)現(xiàn)自動(dòng)化管理不可能一蹴而就，自動(dòng)化管理通常須經(jīng)歷三個(gè)階段。第9章云計(jì)算數(shù)據(jù)中心9.4.2自動(dòng)化管理實(shí)現(xiàn)階段數(shù)據(jù)中心自動(dòng)化IT服務(wù)管理第一階段第二階段第三階段IT服務(wù)操作這一階段主要是監(jiān)控和管理IT基礎(chǔ)設(shè)施的廣義集合，如網(wǎng)絡(luò)、服務(wù)器、應(yīng)用和相關(guān)的存儲(chǔ)設(shè)備。這一階段會(huì)制定一系列的設(shè)施間的交互和協(xié)作處理，確保IT服務(wù)符合標(biāo)準(zhǔn)規(guī)范。這一階段的時(shí)間和精力主要是維護(hù)IT環(huán)境，定制、檢查和執(zhí)行服務(wù)層協(xié)議。9.4自動(dòng)化管理of3140數(shù)據(jù)中心自動(dòng)化的最關(guān)鍵成功因素是其基礎(chǔ)服務(wù)和支持流程都已到位。在最低限度上，一個(gè)公司想要采用數(shù)據(jù)中心自動(dòng)化工具必須具備下列條件：第9章云計(jì)算數(shù)據(jù)中心9.4.2自動(dòng)化管理實(shí)現(xiàn)階段管理系統(tǒng)定義過(guò)程認(rèn)知非自動(dòng)化過(guò)程的成本內(nèi)部流程資源支持各類(lèi)IT管理軟件，能管理、監(jiān)控、探測(cè)、識(shí)別和解決IT設(shè)施的異常行為。一套基本明確定義的流程并能運(yùn)作良好，應(yīng)包括事件管理、變更管理、配置管理和版本管理。為了計(jì)算引入自動(dòng)化的成本節(jié)約，必須知道非自動(dòng)化過(guò)程的成本，避免為了自動(dòng)化而自動(dòng)化。在初始配置時(shí)可使用外部資源，但是在后續(xù)的維護(hù)中，使用內(nèi)部資源是更節(jié)約并有效的。9.4自動(dòng)化管理of3141Facebook在OCP項(xiàng)目硬件管理中對(duì)設(shè)備自動(dòng)化管理給出了具體規(guī)則，硬件管理主要關(guān)注四個(gè)方面的內(nèi)容：固件的生命周期、事件告警和日志、遠(yuǎn)程管理、策略技術(shù)。第9章云計(jì)算數(shù)據(jù)中心9.4.3Facebook自動(dòng)化管理固件的生命周期事件告警和日志遠(yuǎn)程管理策略技術(shù)提供一個(gè)統(tǒng)一界面獨(dú)立地對(duì)固件的二進(jìn)制文件和配置進(jìn)行部署和更新對(duì)產(chǎn)生的機(jī)器事件和日志消息進(jìn)行格式統(tǒng)一遠(yuǎn)程控制機(jī)器配置和執(zhí)行系統(tǒng)操作，并打開(kāi)一個(gè)遠(yuǎn)程控制臺(tái)遵循和鼓勵(lì)有潛在利益的產(chǎn)品和標(biāo)準(zhǔn)，探索未來(lái)的開(kāi)放計(jì)算規(guī)范9.4自動(dòng)化管理of3142每個(gè)Facebook數(shù)據(jù)中心的運(yùn)維工作人員管理了至少20000臺(tái)服務(wù)器，其中部分員工會(huì)管理數(shù)量高達(dá)26000多個(gè)的系統(tǒng)。一體化管理軟件減少了工程師設(shè)計(jì)數(shù)據(jù)中心性能優(yōu)化方案的時(shí)間，從過(guò)去的12小時(shí)縮短到半個(gè)小時(shí)。第9章云計(jì)算數(shù)據(jù)中心9.4.3Facebook自動(dòng)化管理9.4自動(dòng)化管理of3143當(dāng)你輸入一個(gè)創(chuàng)建服務(wù)器集群的命令時(shí)，StarCluster會(huì)完成如下工作：第9章云計(jì)算數(shù)據(jù)中心9.4.3Facebook自動(dòng)化管理1234567初始化虛擬機(jī)實(shí)例；配置一個(gè)新的安全組；定義一個(gè)用戶友好的主機(jī)名（如node001）；創(chuàng)建一個(gè)非管理員的用戶賬號(hào)；為密碼登錄配置SSH；定義跨集群的網(wǎng)絡(luò)文件系統(tǒng)（NFS）文件共享；配置Oracle網(wǎng)格引擎排隊(duì)系統(tǒng)以實(shí)現(xiàn)跨服務(wù)器集群的任務(wù)管理。第9章云計(jì)算數(shù)據(jù)中心9.5容災(zāi)備份9.1云數(shù)據(jù)中心的特征9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署9.3綠色節(jié)能技術(shù)of31449.4自動(dòng)化管理高級(jí)人工智能人才培養(yǎng)叢書(shū)習(xí)題9.5容災(zāi)備份of3145容災(zāi)備份是通過(guò)在異地建立和維護(hù)一個(gè)備份存儲(chǔ)系統(tǒng)，利用地理上的分離來(lái)保證系統(tǒng)和數(shù)據(jù)對(duì)災(zāi)難性事件的抵御能力第9章云計(jì)算數(shù)據(jù)中心9.5.1容災(zāi)系統(tǒng)的等級(jí)標(biāo)準(zhǔn)容災(zāi)系統(tǒng)對(duì)災(zāi)難的抵抗程度數(shù)據(jù)級(jí)容災(zāi)應(yīng)用級(jí)容災(zāi)數(shù)據(jù)級(jí)容災(zāi)只保證數(shù)據(jù)的完整性、可靠性和安全性，但提供實(shí)時(shí)服務(wù)的請(qǐng)求在災(zāi)難中會(huì)中斷。應(yīng)用級(jí)容災(zāi)系統(tǒng)能夠提供不間斷的應(yīng)用服務(wù)，讓服務(wù)請(qǐng)求能夠透明地繼續(xù)運(yùn)行，保證數(shù)據(jù)中心提供的服務(wù)完整、可靠、安全。9.5容災(zāi)備份of3146數(shù)據(jù)中心的容災(zāi)備份系統(tǒng)主要用兩個(gè)技術(shù)指標(biāo)：數(shù)據(jù)容災(zāi)原理圖第9章云計(jì)算數(shù)據(jù)中心9.5.1容災(zāi)系統(tǒng)的等級(jí)標(biāo)準(zhǔn)數(shù)據(jù)恢復(fù)點(diǎn)目標(biāo)（RecoveryPointObjective，RPO），主要指的是業(yè)務(wù)系統(tǒng)所能容忍的數(shù)據(jù)丟失量恢復(fù)時(shí)間目標(biāo)（RecoveryTimeObjective，RTO），RTO主要指的是所能容忍的業(yè)務(wù)停止服務(wù)的最長(zhǎng)時(shí)間9.5容災(zāi)備份of3147容災(zāi)系統(tǒng)的等級(jí)標(biāo)準(zhǔn)第9章云計(jì)算數(shù)據(jù)中心9.5.1容災(zāi)系統(tǒng)的等級(jí)標(biāo)準(zhǔn)SHARE78GB/T20988—2007Tier-0在異地沒(méi)有備份數(shù)據(jù)第一級(jí)異地有備份數(shù)據(jù)，沒(méi)有備份系統(tǒng)，沒(méi)有網(wǎng)絡(luò)Tier-1異地有備份數(shù)據(jù)，沒(méi)有備份系統(tǒng)，沒(méi)有網(wǎng)絡(luò)Tier-2異地有備份數(shù)據(jù)，有備份系統(tǒng)，沒(méi)有網(wǎng)絡(luò)第二級(jí)異地有備份數(shù)據(jù)，備份系統(tǒng)和網(wǎng)絡(luò)在預(yù)定時(shí)間內(nèi)可以安裝好Tier-3異地有備份數(shù)據(jù)，有備份系統(tǒng)，有網(wǎng)絡(luò)支持第三級(jí)異地有備份數(shù)據(jù)，有備份系統(tǒng)，部分網(wǎng)絡(luò)支持Tier-4主備兩個(gè)中心的數(shù)據(jù)相互備份，關(guān)鍵應(yīng)用恢復(fù)時(shí)間達(dá)到小時(shí)級(jí)第四級(jí)異地有備份數(shù)據(jù)，有備份系統(tǒng)，完整網(wǎng)絡(luò)支持，關(guān)鍵應(yīng)用恢復(fù)時(shí)間達(dá)到小時(shí)級(jí)Tier-5數(shù)據(jù)同時(shí)寫(xiě)向主備中心，實(shí)現(xiàn)雙重在線存儲(chǔ)，關(guān)鍵應(yīng)用恢復(fù)時(shí)間達(dá)到分鐘級(jí)第五級(jí)數(shù)據(jù)同時(shí)寫(xiě)向主備中心，關(guān)鍵應(yīng)用恢復(fù)時(shí)間達(dá)到分鐘級(jí)Tier-6主備中心同時(shí)向外提供服務(wù)，可實(shí)現(xiàn)負(fù)載均衡，數(shù)據(jù)丟失率為零第六級(jí)主備中心同時(shí)向外提供服務(wù)，應(yīng)用遠(yuǎn)程集群，數(shù)據(jù)丟失率為零9.5容災(zāi)備份of3148國(guó)際上，比較成熟的災(zāi)備技術(shù)：第9章云計(jì)算數(shù)據(jù)中心9.5.2容災(zāi)備份的關(guān)鍵技術(shù)1．遠(yuǎn)程鏡像技術(shù)2．快照技術(shù)3．基于IP的SAN的遠(yuǎn)程數(shù)據(jù)容災(zāi)備份技術(shù)4．?dāng)?shù)據(jù)庫(kù)復(fù)制技術(shù)核心技術(shù)，同時(shí)也是保持遠(yuǎn)程數(shù)據(jù)同步和實(shí)現(xiàn)災(zāi)難恢復(fù)的基礎(chǔ)由快照軟件提供系統(tǒng)磁盤(pán)存儲(chǔ)的即時(shí)數(shù)據(jù)映像，它存在緩沖區(qū)調(diào)度的問(wèn)題可以跨越LAN、MAN和WAN，成本低、可擴(kuò)展性好，具有廣闊的發(fā)展前景服務(wù)于全球可用性和地理局部性；客戶端會(huì)自動(dòng)在副本之間進(jìn)行失敗恢復(fù)9.5容災(zāi)備份of3149云存儲(chǔ)是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)；Google的所有在線應(yīng)用（包括Gmail，GoogleCalendar，GoogleDocs，以及GoogleSites等）均采用了數(shù)據(jù)同步復(fù)制技術(shù)。第9章云計(jì)算數(shù)據(jù)中心9.5.3云存儲(chǔ)在容災(zāi)備份中的應(yīng)用1Google的一個(gè)數(shù)據(jù)中心支撐著數(shù)百萬(wàn)用戶，因此，每個(gè)用戶分?jǐn)偟某杀鞠鄬?duì)低很多。Google的備用數(shù)據(jù)中心并不是在災(zāi)難發(fā)生時(shí)才啟用，而是一直在使用中，Google始終在這些數(shù)據(jù)中心之間進(jìn)行平衡，保證沒(méi)有資源浪費(fèi)。Google的數(shù)據(jù)中心之間有自己的高度連接網(wǎng)絡(luò)，保證數(shù)據(jù)快速傳送。23第9章云計(jì)算數(shù)據(jù)中心習(xí)題9.2云數(shù)據(jù)中心網(wǎng)絡(luò)部署9.3綠色節(jié)能技術(shù)9.4自動(dòng)化管理of31509.5容災(zāi)備份高級(jí)人工智能人才培養(yǎng)叢書(shū)9.1云數(shù)據(jù)中心的特征習(xí)題：1．集裝箱數(shù)據(jù)中心有哪些優(yōu)點(diǎn)？常見(jiàn)的節(jié)能措施有哪些？2．云計(jì)算數(shù)據(jù)中心配電系統(tǒng)節(jié)能的原理是什么？3．能源利用效率（PUE）的計(jì)算方式是什么？4．海底數(shù)據(jù)中心與傳統(tǒng)數(shù)據(jù)中心對(duì)比。52云計(jì)算的基礎(chǔ)技術(shù)是集群技術(shù)，支撐集群高效協(xié)同工作需要一系列資源和任務(wù)調(diào)度算法，良好的調(diào)度算法可以提高集群處理能力，有效分配資源，加速作業(yè)進(jìn)度。三種核心算法Paxos算法DHT算法Gossip協(xié)議解決分布式系統(tǒng)中信息一致性問(wèn)題解決分布式網(wǎng)絡(luò)的應(yīng)用層選路問(wèn)題解決分布式環(huán)境下信息高效分發(fā)問(wèn)題《云計(jì)算》第三版配套PPT課件第十章云計(jì)算核心算法(一)10.1

Paxos算法10.2DHT算法10.3Gossip協(xié)議of3953高級(jí)人工智能人才培養(yǎng)叢書(shū)Paxos算法解決的問(wèn)題是一個(gè)分布式系統(tǒng)如何就某個(gè)value（決議）達(dá)成一致。Paxos算法作為分布式系統(tǒng)中最著名的算法之一，在目前所有的一致性算法中，該算法最常用而且被認(rèn)為是最有效的。10.1Paxos算法10.1.1Paxos算法背景知識(shí)10.1.2Paxos算法詳解10.1.3Paxos算法舉例10.1.4Chubby中Paxos算法的具體實(shí)現(xiàn)5610.1Paxos算法Paxos算法背景知識(shí)processor可以擔(dān)任三個(gè)角色“proposer”、“accepter”和“l(fā)earner”中的一個(gè)或多個(gè)角色。proposal和value：proposal一般譯為“提案”，value一般譯為“決議”。proposer可以propose（提出）proposal；accepter可以accept（接受）proposal各個(gè)processor之間信息的傳遞可以延遲、丟失，但是在這個(gè)算法中假設(shè)傳達(dá)到的信息都是正確的1234《云計(jì)算》第三版配套PPT課件10.1Paxos算法10.1.1Paxos算法背景知識(shí)10.1.2Paxos算法詳解10.1.3Paxos算法舉例10.1.4Chubby中Paxos算法的具體實(shí)現(xiàn)5810.1Paxos算法Paxos算法詳解Paxos算法的核心是，只要滿足下面三個(gè)條件就能保證數(shù)據(jù)的一致性：1一個(gè)value只有在被proposer提出之后才可以被choose；2每次只有一個(gè)value被choose；3value只有被choose之后才能被learners所獲取?！对朴?jì)算》第三版配套PPT課件5910.1Paxos算法Paxos算法詳解對(duì)一個(gè)proposal的提出和接受做一個(gè)系統(tǒng)的描述，這個(gè)過(guò)程分為請(qǐng)求和提出兩個(gè)階段。請(qǐng)求階段提出階段proposer選擇一個(gè)編號(hào)n，并向accepter多數(shù)派發(fā)出一個(gè)prepare請(qǐng)求如果accepter接受到的prepare所帶有的編號(hào)n比它之前所做出過(guò)回應(yīng)的prepare請(qǐng)求的編號(hào)都要高，則該accepter回應(yīng)proposer一個(gè)promise如果proposer收到了accepter多數(shù)派對(duì)它所發(fā)出的prepare請(qǐng)求所做的回應(yīng)，則它發(fā)出帶有proposal的accept請(qǐng)求，proposal=(num,value)，value為回應(yīng)所帶回的proposal的value值如果accepter接受到一個(gè)accept請(qǐng)求，如果該accepter之前沒(méi)有對(duì)任何編號(hào)大于n的prepare請(qǐng)求做出過(guò)promise，則接受該proposal《云計(jì)算》第三版配套PPT課件60PR：preparerequest（假設(shè)p1到a3的PR丟失）a1和a2是第一次接受到prepare請(qǐng)求，所以返回promise（不帶回proposal），此時(shí)p1收到了a1和a2的promise，但是根據(jù)提出階段的proposer必須接受來(lái)自多數(shù)派的promise才可以提出accept請(qǐng)求，因此不會(huì)出現(xiàn)先前例子中的情況。10.1Paxos算法Paxos算法詳解p1a1a2a3PRPRPR《云計(jì)算》第三版配套PPT課件10.1Paxos算法10.1.1Paxos算法背景知識(shí)10.1.2Paxos算法詳解10.1.3Paxos算法舉例10.1.4Chubby中Paxos算法的具體實(shí)現(xiàn)6210.1Paxos算法Paxos算法舉例S2（Accepter）S3（Accepter）S4（Accepter）S5（Accepter）S1（Proposer）PrepareRequestPrepareRequestPrepareRequestPrepareRequestS1選定編號(hào)1（假設(shè)第一個(gè)命令編號(hào)為1），向集合database={s2,s3,s4,s5}的一個(gè)多數(shù)派子集發(fā)送PrepareRequest（PR）步驟一《云計(jì)算》第三版配套PPT課件6310.1Paxos算法Paxos算法舉例S2（Accepter）S3（Accepter）S4（Accepter）S5（Accepter）S1（Proposer）PromiseProposalPromiseProposalPromiseProposalPromiseProposal步驟二如果通信順利，所有的多數(shù)派都收到了PR如果通信部分失敗導(dǎo)致接受到PR的節(jié)點(diǎn)不構(gòu)成多數(shù)派則S1重復(fù)步驟1（PR編號(hào)遞增）《云計(jì)算》第三版配套PPT課件64S1接收到多數(shù)派的Paromise，向集合database發(fā)出帶有第一個(gè)SQL命令（這里的SQL命令就是之前的value）的Proposal，編號(hào)為1，因?yàn)镻romise沒(méi)有帶回Proposal所以這里的SQL命令沒(méi)有限制。10.1Paxos算法Paxos算法舉例步驟三《云計(jì)算》第三版配套PPT課件6510.1Paxos算法Paxos算法舉例S2（Accepter）S3（Accepter）S4（Accepter）S5（Accepter）S1（Proposer）SQLSQLSQLSQL步驟四通信順利決議產(chǎn)生接收Proposal通信失敗構(gòu)成多數(shù)派決議不產(chǎn)生不構(gòu)成多數(shù)派《云計(jì)算》第三版配套PPT課件66重復(fù)以上操作，注意Proposal、Prepare以及Promise的編號(hào)遞增，以及Promise根據(jù)情況帶回Proposal。10.1Paxos算法Paxos算法舉例步驟五《云計(jì)算》第三版配套PPT課件10.1Paxos算法10.1.1Paxos算法背景知識(shí)10.1.2Paxos算法詳解10.1.3Paxos算法舉例10.1.4Chubby中Paxos算法的具體實(shí)現(xiàn)6810.1Paxos算法Chubby中Paxos算法的具體實(shí)現(xiàn)Chubby是一個(gè)為松散耦合分布式系統(tǒng)提供粗粒度的鎖服務(wù)以及可靠性存儲(chǔ)。Chubby的底層一致性實(shí)現(xiàn)是以Paxos算法為基礎(chǔ)。Chubby的整個(gè)系統(tǒng)結(jié)構(gòu)主要由服務(wù)端和客戶端兩部分組成，客戶端通過(guò)RPC調(diào)用和服務(wù)端進(jìn)行通信。《云計(jì)算》第三版配套PPT課件6910.1Paxos算法Chubby中Paxos算法的具體實(shí)現(xiàn)Chubby服務(wù)端的基本架構(gòu)大致分為三層：最底層是容錯(cuò)日志系統(tǒng)，通過(guò)Paxos算法保證集群所有機(jī)器上日志的一致性。中間層是容錯(cuò)數(shù)據(jù)庫(kù)，其通過(guò)下層的日志來(lái)保證一致性和容錯(cuò)性。最頂層是Chubby對(duì)外提供的分布式鎖服務(wù)和小文件存儲(chǔ)服務(wù)。《云計(jì)算》第三版配套PPT課件7010.1Paxos算法Chubby中Paxos算法的具體實(shí)現(xiàn)Chubby事務(wù)日志中的Value對(duì)應(yīng)Paxos算法中的Instance。Chubby通過(guò)選舉一個(gè)副本節(jié)點(diǎn)作為Paxos算法的Master節(jié)點(diǎn)來(lái)避免提出提案陷入多個(gè)PaxosRound并存的情況。Chubby為了在保證正確性的前提下盡可能地提高算法運(yùn)行性能，可以讓多個(gè)Instance共用一套序號(hào)分配機(jī)制，并將Prepare->Promise合并為一個(gè)階段?！对朴?jì)算》第三版配套PPT課件7110.1Paxos算法Chubby中Paxos算法的具體實(shí)現(xiàn)當(dāng)某個(gè)副本節(jié)點(diǎn)選舉成為Master，通過(guò)新分配的編號(hào)N廣播一個(gè)Prepare消息，Prepare消息會(huì)被所有未達(dá)成一致的Instance和目前還未開(kāi)始的Instance共用。若是Acceptor接收到Prepare消息，可以通過(guò)將反饋信息封裝在一個(gè)數(shù)據(jù)包中來(lái)實(shí)現(xiàn)對(duì)多個(gè)Instance同時(shí)做出回應(yīng)。Master服務(wù)器對(duì)所有未做決定的Instance和所有未來(lái)的Instance分別執(zhí)行Propose->Accept階段的處理。如果Master服務(wù)器能夠一直穩(wěn)定運(yùn)行的話，在接下來(lái)的算法運(yùn)行過(guò)程中，就不再需要進(jìn)行Prepare->Promise處理了123《云計(jì)算》第三版配套PPT課件10.1

Paxos算法10.2

DHT算法10.3Gossip協(xié)議of3972高級(jí)人工智能人才培養(yǎng)叢書(shū)第十章云計(jì)算核心算法(一)7310.2DHT算法Client/Server計(jì)算模式（即客戶—服務(wù)器計(jì)算模式）主要應(yīng)用于小規(guī)模的網(wǎng)絡(luò)環(huán)境。Client/Server計(jì)算模式采用中央集中式架構(gòu)，中央節(jié)點(diǎn)（服務(wù)器）對(duì)整個(gè)網(wǎng)絡(luò)服務(wù)具有決定性的作用。大部分的計(jì)算都集中在服務(wù)器端，因而引起負(fù)載的不平衡。即所謂的“服務(wù)器端的計(jì)算瓶頸”，而客戶機(jī)端則存在資源浪費(fèi)的情況。集中式計(jì)算模式對(duì)用戶的隱私以及數(shù)據(jù)安全也將存在不可能解決的難題。《云計(jì)算》第三版配套PPT課件7410.2DHT算法P2P計(jì)算模式是一種非集中計(jì)算模式。P2P網(wǎng)絡(luò)中的每臺(tái)計(jì)算機(jī)（或稱(chēng)對(duì)等點(diǎn)），具有同樣的地位，既可以請(qǐng)求服務(wù)，也可以提供服務(wù)。P2P計(jì)算模式具有資源充分利用，網(wǎng)絡(luò)規(guī)模可擴(kuò)展（節(jié)點(diǎn)越多網(wǎng)絡(luò)越穩(wěn)定，不存在瓶頸）等優(yōu)點(diǎn)。下一代計(jì)算機(jī)網(wǎng)絡(luò)（即云計(jì)算和物聯(lián)網(wǎng)）都是巨大的網(wǎng)絡(luò)，因此，未來(lái)的計(jì)算模式應(yīng)該是P2P計(jì)算模式《云計(jì)算》第三版配套PPT課件7510.2DHT算法P2P按照拓?fù)浣Y(jié)構(gòu)的不同可以分為三種：集中式拓?fù)淠Ｊ竭@種模式必須有中央服務(wù)器。當(dāng)系統(tǒng)中節(jié)點(diǎn)數(shù)增多時(shí)，中央服務(wù)器就成為系統(tǒng)的瓶頸。分布式非結(jié)構(gòu)化拓?fù)淠Ｊ皆诜墙Y(jié)構(gòu)化P2P系統(tǒng)中，信息搜索的算法難免會(huì)帶有一定的盲目性。分布式結(jié)構(gòu)化拓?fù)淠Ｊ接捎谟脩纛A(yù)先知道應(yīng)該搜索哪些節(jié)點(diǎn)，避免了非結(jié)構(gòu)化P2P系統(tǒng)中使用的泛洪式查找，提高了信息搜索的效率?！对朴?jì)算》第三版配套PPT課件10.2DHT算法10.2.1DHT原理介紹10.2.2Chord中DHT的具體實(shí)現(xiàn)10.2.3Pastry中DHT的具體實(shí)現(xiàn)10.2.4CAN中DHT的具體實(shí)現(xiàn)10.2.5Tapestry中DHT的具體實(shí)現(xiàn)77DHT技術(shù)的基本概念10.2DHT算法DHT原理介紹事件通知網(wǎng)絡(luò)存儲(chǔ)其他應(yīng)用DHTTCP/IP應(yīng)用層DHT層網(wǎng)絡(luò)層DHT分布式哈希表采用Hash函數(shù)加速了查找速度和增強(qiáng)了安全性，而且便于管理，同時(shí)不會(huì)占用太多的網(wǎng)絡(luò)帶寬《云計(jì)算》第三版配套PPT課件78DHT應(yīng)用層的接口10.2DHT算法DHT原理介紹應(yīng)用層DHTNodeNodeNodeInsert（Key，data）LookUp（Key）……通過(guò)DHT層的LookUp(Key)操作，可以把應(yīng)用層的數(shù)據(jù)均勻分布在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)內(nèi)，這種方法使下層網(wǎng)絡(luò)完全不受中心控制《云計(jì)算》第三版配套PPT課件7910.2DHT算法DHT原理介紹所有的DHT路由算法都主要包括三個(gè)方面:第一方面第二方面第三方面DHT的散列值空間的描述DHT中各節(jié)點(diǎn)如何分配管理散列空間路由發(fā)現(xiàn)算法即如何進(jìn)行散列即散列后的信息如何決定其存儲(chǔ)的節(jié)點(diǎn)位置即對(duì)散列值進(jìn)行查詢(xún)時(shí)節(jié)點(diǎn)如何高效地路由到存儲(chǔ)目標(biāo)信息的節(jié)點(diǎn)《云計(jì)算》第三版配套PPT課件本章未完待續(xù)第十章云計(jì)算核心算法(二)10.1

Paxos算法10.2

DHT算法10.3Gossip協(xié)議of3981高級(jí)人工智能人才培養(yǎng)叢書(shū)10.2DHT算法10.2.1DHT原理介紹10.2.2Chord中DHT的具體實(shí)現(xiàn)10.2.3Pastry中DHT的具體實(shí)現(xiàn)10.2.4CAN中DHT的具體實(shí)現(xiàn)10.2.5Tapestry中DHT的具體實(shí)現(xiàn)10.2DHT算法第十章云計(jì)算核心算法(二)1．Chord中DHT的具體實(shí)現(xiàn)ChordChord中所有節(jié)點(diǎn)按節(jié)點(diǎn)ID大小順時(shí)針排列并首尾相接組成一個(gè)擁有2m（m一般為160）個(gè)節(jié)點(diǎn)的環(huán)空間后繼節(jié)點(diǎn)successor消息的目標(biāo)節(jié)點(diǎn)就是節(jié)點(diǎn)ID大于或者等于消息Key值的節(jié)點(diǎn)中節(jié)點(diǎn)ID最小的一個(gè)完全分布可擴(kuò)展性可用性好負(fù)載均衡Chord環(huán)of398310.2DHT算法第十章云計(jì)算核心算法(二)Chord模型示意圖Chord中DHT的具體實(shí)現(xiàn)m=6且只有10個(gè)節(jié)點(diǎn)的查找示意圖，其中節(jié)點(diǎn)標(biāo)識(shí)前加上N而關(guān)鍵字標(biāo)識(shí)前加上K加以區(qū)別，圖中給出了節(jié)點(diǎn)N8、N42、N51的finger表。of398410.2DHT算法第十章云計(jì)算核心算法(二)Chord中DHT的具體實(shí)現(xiàn)節(jié)點(diǎn)N的加入過(guò)程初始化新節(jié)點(diǎn)的指針表更新現(xiàn)有其他節(jié)點(diǎn)的指針表從后繼節(jié)點(diǎn)把關(guān)鍵字傳遞到節(jié)點(diǎn)N節(jié)點(diǎn)的退出過(guò)程在Chord中，當(dāng)節(jié)點(diǎn)N失效時(shí)，所有指針表中包括N的節(jié)點(diǎn)都必須把N替換成N的后繼節(jié)點(diǎn)。在失效處理中最關(guān)鍵的步驟是維護(hù)正確的后繼指針of398510.2DHT算法10.2.1DHT原理介紹10.2.2Chord中DHT的具體實(shí)現(xiàn)10.2.3Pastry中DHT的具體實(shí)現(xiàn)10.2.4CAN中DHT的具體實(shí)現(xiàn)10.2.5Tapestry中DHT的具體實(shí)現(xiàn)10.2DHT算法第十章云計(jì)算核心算法(二)Pastry中DHT的具體實(shí)現(xiàn)1．節(jié)點(diǎn)的加入假定新加入節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)為N，節(jié)點(diǎn)號(hào)的分配過(guò)程是由應(yīng)用程序決定的。N的加入過(guò)程主要包括初始化自己的節(jié)點(diǎn)數(shù)據(jù)結(jié)構(gòu)，并通知其他節(jié)點(diǎn)自己已經(jīng)加入系統(tǒng)。N在加入Pastry之前，需要知道一個(gè)相鄰節(jié)點(diǎn)A的位置信息。2．節(jié)點(diǎn)的退出Pastry網(wǎng)絡(luò)中的節(jié)點(diǎn)可能會(huì)隨時(shí)失效或者不發(fā)出通知離開(kāi)系統(tǒng)。當(dāng)相鄰節(jié)點(diǎn)不能和某個(gè)Pastry節(jié)點(diǎn)通信時(shí)，就認(rèn)為該節(jié)點(diǎn)發(fā)生了失效。of398710.2DHT算法10.2.1DHT原理介紹10.2.2Chord中DHT的具體實(shí)現(xiàn)10.2.3Pastry中DHT的具體實(shí)現(xiàn)10.2.4CAN中DHT的具體實(shí)現(xiàn)10.2.5Tapestry中DHT的具體實(shí)現(xiàn)10.2DHT算法第十章云計(jì)算核心算法(二)CAN中DHT的具體實(shí)現(xiàn)CAN是內(nèi)容可編址網(wǎng)絡(luò)（Content-AddressableNetwork）的縮寫(xiě)CAN可以在Internet規(guī)模的大型對(duì)等網(wǎng)絡(luò)上提供類(lèi)似哈希表的功能。CAN具有可擴(kuò)展、容錯(cuò)和完全自組織等特點(diǎn)。CAN類(lèi)似于一張大哈希表，基本操作包括插入、查找和刪除。CAN由大量自治的節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)保存哈希表的一部分，稱(chēng)為一個(gè)區(qū)。CAN的設(shè)計(jì)完全是分布式的，不需要任何形式的中央控制點(diǎn)。CAN具有很好的可擴(kuò)展性，節(jié)點(diǎn)只需要維護(hù)少量的控制狀態(tài)而且狀態(tài)數(shù)量獨(dú)立于系統(tǒng)中的節(jié)點(diǎn)數(shù)量。CAN支持容錯(cuò)特性，節(jié)點(diǎn)可以繞過(guò)錯(cuò)誤節(jié)點(diǎn)進(jìn)行路由。of398910.2DHT算法第十章云計(jì)算核心算法(二)二維坐標(biāo)空間中CAN的節(jié)點(diǎn)示意圖CAN中DHT的具體實(shí)現(xiàn)C(0-0.5,0.5-1.0)D(0.5-0.75,0.5-1.0)E(0.75-1.0,0.5-1.0)A(0-0.5,0-0.5)B(0.5-1.0,0-0.5)0.01.01.0整個(gè)區(qū)域坐標(biāo)由5個(gè)節(jié)點(diǎn)A，B，C，D，E組成，每個(gè)節(jié)點(diǎn)負(fù)責(zé)部分區(qū)域，CAN中通過(guò)哈希函數(shù)把資源映射到d維空間中的一點(diǎn)，資源對(duì)象就發(fā)布在該節(jié)點(diǎn)上。of399010.2DHT算法第十章云計(jì)算核心算法(二)CAN路由模型的路由過(guò)程CAN中DHT的具體實(shí)現(xiàn)(0,1)(1,0)(0,0)(1,1)Key=(0,8,0,9)Node=(0.75,0,0.75,1)查詢(xún)操作通過(guò)在d維笛卡兒坐標(biāo)空間中轉(zhuǎn)發(fā)查詢(xún)消息被執(zhí)行，轉(zhuǎn)發(fā)從查詢(xún)初始化點(diǎn)沿著坐標(biāo)系上最接近直線的路徑到達(dá)存儲(chǔ)關(guān)鍵字的節(jié)點(diǎn)。of399110.2DHT算法10.2.1DHT原理介紹10.2.2Chord中DHT的具體實(shí)現(xiàn)10.2.3Pastry中DHT的具體實(shí)現(xiàn)10.2.4CAN中DHT的具體實(shí)現(xiàn)10.2.5Tapestry中DHT的具體實(shí)現(xiàn)10.2DHT算法第十章云計(jì)算核心算法(二)Tapestry中DHT的具體實(shí)現(xiàn)Tapestry分層路由和組織結(jié)構(gòu)的查詢(xún)算法，它為面向廣域網(wǎng)的分布式應(yīng)用提供了一個(gè)分布式查找和路由定位基礎(chǔ)平臺(tái)。Tapestry網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)和文檔通過(guò)哈希變換得到各自160位比特的唯一標(biāo)識(shí)符Tapestry基于文檔標(biāo)識(shí)符的后綴進(jìn)行路由Tapestry基于Plaxton中提出的定位和路由機(jī)制進(jìn)行優(yōu)化Tapestry采用的基本定位和路由機(jī)制和Plaxton很類(lèi)似Tapestry中的每個(gè)節(jié)點(diǎn)都可以用Plaxton中描述的算法轉(zhuǎn)發(fā)消息of399310.2DHT算法第十章云計(jì)算核心算法(二)Tapestry中DHT的具體實(shí)現(xiàn)1．節(jié)點(diǎn)的加入Tapestry的節(jié)點(diǎn)加入算法和Pastry很類(lèi)似。構(gòu)造完自己的數(shù)據(jù)結(jié)構(gòu)后，節(jié)點(diǎn)N將通知網(wǎng)絡(luò)中的其他節(jié)點(diǎn)，自己已經(jīng)加入網(wǎng)絡(luò)。構(gòu)造過(guò)程中還需要進(jìn)行一些優(yōu)化工作。2．節(jié)點(diǎn)的退出一種情況是節(jié)點(diǎn)從網(wǎng)絡(luò)中自行消失，在這種情況下，它的鄰居可以檢測(cè)到它已經(jīng)退出網(wǎng)絡(luò)并可以相應(yīng)地調(diào)整路由表；另一種機(jī)制是節(jié)點(diǎn)在退出系統(tǒng)之前，利用后向指針確定所有把它作為鄰居的節(jié)點(diǎn)，這些節(jié)點(diǎn)會(huì)相應(yīng)調(diào)整路由表并通知對(duì)象服務(wù)器該節(jié)點(diǎn)已經(jīng)退出網(wǎng)絡(luò)。of3994第十章云計(jì)算核心算法(二)10.1

Paxos算法10.2

DHT算法10.3Gossip協(xié)議of3995高級(jí)人工智能人才培養(yǎng)叢書(shū)10.3Gossip協(xié)議10.3.1Gossip協(xié)議的特點(diǎn)10.3.2Gossip協(xié)議的通信方式及收斂性10.3.3Gossip節(jié)點(diǎn)管理算法10.3.4Cassandra中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.5CoolStreaming系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.6H.F.系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.7Chord網(wǎng)絡(luò)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3Gossip協(xié)議第十章云計(jì)算核心算法(二)Gossip協(xié)議的特點(diǎn)Gossip協(xié)議具有以下幾個(gè)優(yōu)點(diǎn):分布式容錯(cuò)最終一致性去中心化當(dāng)系統(tǒng)中有節(jié)點(diǎn)因?yàn)殄礄C(jī)而重啟，或有新節(jié)點(diǎn)加入，經(jīng)過(guò)一段時(shí)間后，這些節(jié)點(diǎn)的狀態(tài)仍會(huì)與系統(tǒng)中其他節(jié)點(diǎn)達(dá)成一致，也就是說(shuō)Gossip天然具有分布式容錯(cuò)的特點(diǎn)。Gossip協(xié)議雖然無(wú)法保證在某個(gè)時(shí)刻所有節(jié)點(diǎn)狀態(tài)保持一致，但可以保證在“最終”所有節(jié)點(diǎn)一致。“最終”是一個(gè)現(xiàn)實(shí)中存在，但理論上難以證明的時(shí)間點(diǎn)。Gossip協(xié)議不要求節(jié)點(diǎn)知道系統(tǒng)中所有節(jié)點(diǎn)的狀態(tài)，節(jié)點(diǎn)之間完全對(duì)等，不需要任何中心節(jié)點(diǎn)。of3997of3998Gossip協(xié)議的缺點(diǎn)也很明顯冗余通信會(huì)大大增加網(wǎng)絡(luò)和CPU的負(fù)載并進(jìn)一步影響算法收斂的速度10.3Gossip協(xié)議10.3.1Gossip協(xié)議的特點(diǎn)10.3.2Gossip協(xié)議的通信方式及收斂性10.3.3Gossip節(jié)點(diǎn)管理算法10.3.4Cassandra中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.5CoolStreaming系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.6H.F.系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.7Chord網(wǎng)絡(luò)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3Gossip協(xié)議第十章云計(jì)算核心算法(二)Gossip協(xié)議的通信方式及收斂性傳染病算法（EpidemicAlgorithm）中存在三種不同單元：人口（population）交互（asetofinteractive）交流（communicating）這三個(gè)單元通過(guò)既定規(guī)則決定如何傳遞信息。規(guī)則可以由用戶自由設(shè)定，但是任意單元在特定時(shí)間內(nèi)必須處于以下三種狀態(tài)之一。易受感染（Susceptible）傳染（Infective）恢復(fù)（Recovered）單元不了解信息的內(nèi)容，但可以收到這條信息。單元知道（接收到）信息，按照指定規(guī)則進(jìn)行傳播。單元知道（接收到）信息，但不進(jìn)行轉(zhuǎn)發(fā)。of3910010.3Gossip協(xié)議第十章云計(jì)算核心算法(二)Gossip協(xié)議的通信方式及收斂性1．感染-傳染（Susceptible-Infective，SI）該類(lèi)算法中幾乎每個(gè)單元最初都設(shè)定為感染狀態(tài)，當(dāng)一個(gè)單元接收到更新的信息后立即轉(zhuǎn)為傳染狀態(tài)，并保持這種狀態(tài)直到所有單元都成為傳染狀態(tài)。與SI算法模型不同，SIS算法可以決定在全部人口被傳染前停止傳播。SIR算法和SIS算法唯一區(qū)別是恢復(fù)單元在停止傳播信息之后便不再收到傳染。2．感染—傳染—感染（SIS）3．感染—傳染—恢復(fù)（SIR）of3910110.3Gossip協(xié)議10.3.1Gossip協(xié)議的特點(diǎn)10.3.2Gossip協(xié)議的通信方式及收斂性10.3.3Gossip節(jié)點(diǎn)管理算法10.3.4Cassandra中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.5CoolStreaming系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.6H.F.系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.7Chord網(wǎng)絡(luò)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3Gossip協(xié)議第十章云計(jì)算核心算法(二)Gossip節(jié)點(diǎn)管理算法1．節(jié)點(diǎn)加入接觸Contact新加入Newsubscription轉(zhuǎn)發(fā)加入Forwardsubscription保持加入Keepingasubscription運(yùn)行初期，節(jié)點(diǎn)的局部視圖只包含這些接觸記錄當(dāng)一個(gè)節(jié)點(diǎn)收到一個(gè)新加入請(qǐng)求時(shí)，它會(huì)把新節(jié)點(diǎn)的標(biāo)識(shí)符轉(zhuǎn)發(fā)到局部視圖里的所有成員這些被轉(zhuǎn)發(fā)的加入請(qǐng)求或者被某個(gè)節(jié)點(diǎn)保留，或者被轉(zhuǎn)發(fā)，直到一些節(jié)點(diǎn)將其保留才會(huì)消失群體中每個(gè)節(jié)點(diǎn)都會(huì)維護(hù)兩張表：局部視圖（PartialView）、入度視圖（InView）of3910310.3Gossip協(xié)議第十章云計(jì)算核心算法(二)2．節(jié)點(diǎn)離開(kāi)離開(kāi)機(jī)制是用來(lái)控制節(jié)點(diǎn)局部視圖大小的。機(jī)制的缺陷是一個(gè)節(jié)點(diǎn)可能需要在局部視圖中保存某個(gè)節(jié)點(diǎn)的多個(gè)副本，或者保存自己的ID，此時(shí)只需要把相關(guān)ID刪除即可。Gossip節(jié)點(diǎn)管理算法of3910410.3Gossip協(xié)議10.3.1Gossip協(xié)議的特點(diǎn)10.3.2Gossip協(xié)議的通信方式及收斂性10.3.3Gossip節(jié)點(diǎn)管理算法10.3.4Cassandra中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.5CoolStreaming系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.6H.F.系統(tǒng)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3.7Chord網(wǎng)絡(luò)中Gossip協(xié)議的具體實(shí)現(xiàn)方式10.3Gossip協(xié)議第十章云計(jì)算核心算法(二)Cassandra中Gossip協(xié)議的具體實(shí)現(xiàn)方式有4臺(tái)機(jī)器，分別用A、B、C、D表示，并且配置它們都是seed節(jié)點(diǎn)，當(dāng)它們同時(shí)啟動(dòng)時(shí)，可能會(huì)出現(xiàn)如下情形。1324A節(jié)點(diǎn)啟動(dòng)了，發(fā)現(xiàn)不存在其他在線節(jié)點(diǎn)，走到步驟c，和任意一個(gè)seed節(jié)點(diǎn)同步，假設(shè)選擇了seed節(jié)點(diǎn)B。B節(jié)點(diǎn)和A節(jié)點(diǎn)完成同步，則認(rèn)為A在線，它將和A同步，由于A是種子，B將不再和其他種子節(jié)點(diǎn)同步。C節(jié)點(diǎn)啟動(dòng)后發(fā)現(xiàn)沒(méi)有其他節(jié)點(diǎn)在線，同樣走到步驟c，和任意一個(gè)seed節(jié)點(diǎn)同步，假設(shè)這次恰好選擇了seed節(jié)點(diǎn)D。D節(jié)點(diǎn)和C節(jié)點(diǎn)完成同步，則認(rèn)為C在線，它將和C同步，由于C是種子，D將不再和其他種子節(jié)點(diǎn)同步。of3910610.3Gossip協(xié)議第十章云計(jì)算核心算法(二)Cassandra中Gossip協(xié)議的具體實(shí)現(xiàn)方式下面介紹一下Cassandra中Gossip協(xié)議的數(shù)據(jù)結(jié)構(gòu)。Gossip協(xié)議通信的狀態(tài)信息主要有三種：EndPointState

封裝了一個(gè)節(jié)點(diǎn)的所有ApplicationState和HeartBeatState。HeartBeatState

由generation和version組成：generation每次啟動(dòng)都會(huì)變化，用于區(qū)分機(jī)器重啟前后的狀態(tài)；version只能增長(zhǎng)，每次心跳之前進(jìn)行遞增。pplicationState