云計(jì)算（第三版）配套之36第11章中國(guó)云計(jì)算技術(shù)（一）

11.1國(guó)內(nèi)云計(jì)算發(fā)展概況11.2國(guó)產(chǎn)云存儲(chǔ)技術(shù)11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)11.4云視頻監(jiān)控技術(shù)11.5阿里巴巴阿里云服務(wù)11.6云創(chuàng)存儲(chǔ)萬(wàn)物云服務(wù)11.1國(guó)內(nèi)云計(jì)算開(kāi)展概況311.1國(guó)內(nèi)云計(jì)算開(kāi)展概況以“BAT〞等為代表的互聯(lián)網(wǎng)企業(yè)成為現(xiàn)階段中國(guó)云計(jì)算效勞創(chuàng)新開(kāi)展的主導(dǎo)力量。后起之秀UCloud、QingCloud等，也希望能夠在未來(lái)的龐大的企業(yè)級(jí)市場(chǎng)占據(jù)領(lǐng)導(dǎo)地位。11.1國(guó)內(nèi)云計(jì)算開(kāi)展概況未來(lái)云計(jì)算的開(kāi)展離不開(kāi)以下四大開(kāi)展趨勢(shì)：第一，隨著云計(jì)算創(chuàng)新水平的不斷提升，產(chǎn)業(yè)鏈上中下游整合趨勢(shì)更加明顯。第二，國(guó)內(nèi)云計(jì)算應(yīng)用市場(chǎng)進(jìn)一步開(kāi)展成熟，市場(chǎng)空間顯著擴(kuò)大。第三，云計(jì)算效勞開(kāi)展迅速，公共云效勞和大型企業(yè)、機(jī)構(gòu)內(nèi)部的私有云建設(shè)與運(yùn)維將成為重點(diǎn)。第四，云計(jì)算公共化程度將進(jìn)一步提升。國(guó)內(nèi)云計(jì)算應(yīng)用市場(chǎng)進(jìn)一步開(kāi)展與成熟，市場(chǎng)空間顯著擴(kuò)大。11.1國(guó)內(nèi)云計(jì)算發(fā)展概況11.2國(guó)產(chǎn)云存儲(chǔ)技術(shù)11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)11.4云視頻監(jiān)控技術(shù)11.5阿里巴巴阿里云服務(wù)11.6云創(chuàng)存儲(chǔ)萬(wàn)物云服務(wù)11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲(chǔ)一體機(jī)7淘寶分布式文件系統(tǒng)TFSTaobaoFileSystem〔TFS〕是一個(gè)高可擴(kuò)展、高可用、高性能、面向互聯(lián)網(wǎng)效勞的分布式文件系統(tǒng)，主要針對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)，它構(gòu)建在普通的Linux機(jī)器集群上，可對(duì)外提供高可靠和高并發(fā)的存儲(chǔ)訪問(wèn)。淘寶提供海量小文件存儲(chǔ)采用了高容錯(cuò)架構(gòu)和平滑擴(kuò)容扁平化的數(shù)據(jù)組織結(jié)構(gòu)淘寶分布式文件系統(tǒng)TFSApplication/ClientBlockid<.>dataserverNameServerBlockid<.>dataserverNameServerDataServerdsp1dsp2dsp3hdahdahdaDataServerdsp1dsp2dsp3hdahdahdaBlockid,fildid/AllocateDataserverid(blockid,fileid)HeartbeatmessagecontrolmessageHeartbeatmessage89wBlockblockmasterblockmasterblockmasterblockmasterWirtableBlockListBlockListDataServerListSERVERWriteLeaseListBlock淘寶分布式文件系統(tǒng)TFS10淘寶分布式文件系統(tǒng)TFS1〕集群容錯(cuò)TFS可以配置主輔集群，一般主輔集群會(huì)存放在兩個(gè)不同的機(jī)房。主集群提供所有功能，輔集群只提供讀。2〕NameServer容錯(cuò)Namserve負(fù)責(zé)維護(hù)Block列表和DataServer與Block之間的關(guān)系。

NameServer和DataServer之間也會(huì)有定時(shí)的heartbeat。3〕DataServer容錯(cuò)TFS采用Block存儲(chǔ)多份的方式來(lái)實(shí)現(xiàn)DataServer的容錯(cuò)。TFS對(duì)每一個(gè)文件會(huì)記錄校驗(yàn)CRC對(duì)于每一個(gè)寫入請(qǐng)求，必須在所有的Block寫入成功時(shí)才算成功。11淘寶分布式文件系統(tǒng)TFS平滑擴(kuò)容TFS集群容量缺乏時(shí)，只需新增DataServer，在上面部署好應(yīng)用程序后啟動(dòng)即可。在集群負(fù)載較輕時(shí)，NameServer會(huì)對(duì)DataServer上的Block進(jìn)行均衡，保證每個(gè)DataServer的Block數(shù)盡可能均衡。11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲(chǔ)一體機(jī)卷配置節(jié)點(diǎn)參數(shù)配置存儲(chǔ)參數(shù)配置用戶配額管理QoS管理告警配置存儲(chǔ)空間監(jiān)控設(shè)備狀態(tài)監(jiān)控程序狀態(tài)監(jiān)控網(wǎng)絡(luò)狀態(tài)監(jiān)控磁盤狀態(tài)監(jiān)控流量監(jiān)控全面告警監(jiān)控中心配置中心管理監(jiān)控中心客戶端1客戶端2客戶端3客戶端4客戶端N主卷管理服務(wù)器備卷管理服務(wù)器用戶掛載客戶端卷管理節(jié)點(diǎn)主元數(shù)據(jù)管理節(jié)點(diǎn)1備元數(shù)據(jù)管理節(jié)點(diǎn)1卷A主元數(shù)據(jù)管理節(jié)點(diǎn)2備元數(shù)據(jù)管理節(jié)點(diǎn)2卷B主元數(shù)據(jù)管理節(jié)點(diǎn)3備元數(shù)據(jù)管理節(jié)點(diǎn)3卷C數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N元數(shù)據(jù)管理節(jié)點(diǎn)塊數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)總體架構(gòu)存儲(chǔ)機(jī)制cStor客戶端向系統(tǒng)中寫數(shù)據(jù)流程如圖云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)1cStor客戶端向元數(shù)據(jù)服務(wù)器發(fā)起數(shù)據(jù)寫請(qǐng)求2元數(shù)據(jù)服務(wù)器根據(jù)存儲(chǔ)服務(wù)器的負(fù)載情況，選擇負(fù)載較輕的存儲(chǔ)服務(wù)器1和存儲(chǔ)服務(wù)器2存儲(chǔ)數(shù)據(jù)的兩個(gè)副本，在存儲(chǔ)服務(wù)器1上預(yù)留存儲(chǔ)空間保存數(shù)據(jù)3存儲(chǔ)服務(wù)器1存儲(chǔ)空間足夠，向元數(shù)據(jù)服務(wù)器返回預(yù)留存儲(chǔ)空間成功4元數(shù)據(jù)服務(wù)器同時(shí)向存儲(chǔ)服務(wù)器2發(fā)起預(yù)留存儲(chǔ)空間申請(qǐng)5存儲(chǔ)服務(wù)器2存儲(chǔ)空間足夠，向元數(shù)據(jù)服務(wù)器返回預(yù)留存儲(chǔ)空間成功6主元數(shù)據(jù)服務(wù)器同步元數(shù)據(jù)信息到備元數(shù)據(jù)服務(wù)器，保證元數(shù)據(jù)始終保存兩份15云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)7同步元數(shù)據(jù)成功8元數(shù)據(jù)服務(wù)器向客戶端返回?cái)?shù)據(jù)可以寫到存儲(chǔ)服務(wù)器1和29客戶端向存儲(chǔ)服務(wù)器1發(fā)起數(shù)據(jù)請(qǐng)求10存儲(chǔ)服務(wù)器1保存數(shù)據(jù)11存儲(chǔ)服務(wù)器1同時(shí)把數(shù)據(jù)副本發(fā)送到存儲(chǔ)服務(wù)器2，存儲(chǔ)服務(wù)器2保存數(shù)據(jù)副本12存儲(chǔ)服務(wù)器2副本寫成功，返回寫成功給存儲(chǔ)服務(wù)器113客戶端收到成功信號(hào)后，即完成數(shù)據(jù)的存儲(chǔ)1617cStor客戶端從系統(tǒng)中讀數(shù)據(jù)流程如下圖云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)18云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)cStor云存儲(chǔ)系統(tǒng)的控制流和數(shù)據(jù)流是別離的：一方面降低了元數(shù)據(jù)管理節(jié)點(diǎn)的負(fù)擔(dān)，使得其處理能力更強(qiáng)；另一方面將數(shù)據(jù)讀/寫的負(fù)擔(dān)分?jǐn)偟礁鞔鎯?chǔ)節(jié)點(diǎn)，使得系統(tǒng)的整體性能得到了提高，系統(tǒng)整體性能與節(jié)點(diǎn)數(shù)目成正相關(guān)。1cStor客戶端向元數(shù)服務(wù)器發(fā)起數(shù)據(jù)讀請(qǐng)求2元數(shù)據(jù)服務(wù)器查找文件保存在存儲(chǔ)服務(wù)器1上，然后告知客戶端3客戶端存儲(chǔ)服務(wù)器1發(fā)出數(shù)據(jù)讀請(qǐng)求，并從存儲(chǔ)服務(wù)器1讀取數(shù)據(jù)4存儲(chǔ)服務(wù)器1返回?cái)?shù)據(jù)內(nèi)容給客戶端0102030405數(shù)據(jù)可擴(kuò)展性20D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8三副本超安存8:2編碼P1P2云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲(chǔ)一體機(jī)22A8000超低功耗云存儲(chǔ)一體機(jī)3600TB3000W10倍23A8000采用了標(biāo)準(zhǔn)42U機(jī)架。其中4U空間用于部署交換機(jī)、供電模塊和RMC模塊，其余38U用于部署38個(gè)1U的效勞器，包括2個(gè)E5系列的主控節(jié)點(diǎn)，36個(gè)Atom系列的存儲(chǔ)節(jié)點(diǎn)。供電模塊由電源模塊、配電板〔PDU〕、母排、背板組成。電源支持250VAC輸入，集中輸出至12VDC母排，機(jī)柜內(nèi)母排分為上下兩段，效勞器節(jié)點(diǎn)通過(guò)母排或背板直接取電。風(fēng)扇模塊采用了風(fēng)扇墻共享設(shè)計(jì)，由RMC實(shí)現(xiàn)獨(dú)立風(fēng)扇控制，其N+1冗余設(shè)計(jì)可以實(shí)現(xiàn)獨(dú)立維護(hù)，對(duì)節(jié)點(diǎn)透明。A8000超低功耗云存儲(chǔ)一體機(jī)機(jī)架結(jié)構(gòu)24A8000超低功耗云存儲(chǔ)一體機(jī)產(chǎn)品特性優(yōu)異性能超低功耗簡(jiǎn)單通用全面監(jiān)控便捷管理超高密度高度可靠25單塊主板最大可接18個(gè)SATA3.0硬盤，對(duì)外網(wǎng)絡(luò)提供4個(gè)千兆以太網(wǎng)，支持四網(wǎng)口綁定，網(wǎng)絡(luò)帶寬速率可達(dá)4千兆。處理器是Intel64位低功耗CPU，支持8GBDDR3內(nèi)存，單板可直接安裝Linux發(fā)行版操作系統(tǒng)。A8000超低功耗云存儲(chǔ)一體機(jī)26A8000超低功耗云存儲(chǔ)一體機(jī)27A8000超低功耗云存儲(chǔ)一體機(jī)28服務(wù)器服務(wù)器RMC管理模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊冷風(fēng)道熱風(fēng)道A8000超低功耗云存儲(chǔ)一體機(jī)A8000整套系統(tǒng)通過(guò)RMC管理模塊，對(duì)整個(gè)機(jī)架8個(gè)散熱模塊進(jìn)行實(shí)時(shí)控制，每個(gè)散熱模塊由6個(gè)獨(dú)立的風(fēng)扇組成，通過(guò)RMC集中管理模塊，根據(jù)每個(gè)區(qū)域的溫度，自動(dòng)調(diào)節(jié)風(fēng)扇轉(zhuǎn)速，針對(duì)整個(gè)系統(tǒng)的問(wèn)題進(jìn)行有效散熱，從而到達(dá)