36.《云計(jì)算(第三版)》配套PPT之三十六：第11章 中國云計(jì)算技術(shù)（一）

電子工業(yè)出版社《云計(jì)算(第三版)》配套課件云計(jì)算（第三版）CLOUDCOMPUTINGThirdEdition主編：劉鵬教授第11章中國云計(jì)算技術(shù)(一)本套PPT下載地址：/list.aspx?cid=20云計(jì)算的紅寶書書籍購買地址：/item.html?itemID=1469775685&p=-1微信掃描二維碼關(guān)注云計(jì)算頭條電子工業(yè)出版社《云計(jì)算(第三版)》配套課件（包郵且有劉鵬教授親筆簽名）教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士。現(xiàn)任中國云計(jì)算專家咨詢委員會(huì)秘書長、中國信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長、工業(yè)與信息化部云計(jì)算研究中心專家。主持完成科研項(xiàng)目25項(xiàng)，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級(jí)科技進(jìn)步二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)4項(xiàng)。主編了國內(nèi)第一本云計(jì)算教材《云計(jì)算》和第一本云計(jì)算編程書籍《實(shí)戰(zhàn)Hadoop》。創(chuàng)辦了知名的中國云計(jì)算（）和中國大數(shù)據(jù)（）網(wǎng)站。曾率隊(duì)奪得2002PennySort國際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國高?？萍急荣愖罡擢?jiǎng)，并三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號(hào)。劉鵬11.1國內(nèi)云計(jì)算發(fā)展概況11.2國產(chǎn)云存儲(chǔ)技術(shù)11.3國產(chǎn)大數(shù)據(jù)庫技術(shù)11.4云視頻監(jiān)控技術(shù)11.5阿里巴巴阿里云服務(wù)11.6云創(chuàng)存儲(chǔ)萬物云服務(wù)11.1國內(nèi)云計(jì)算發(fā)展概況611.1國內(nèi)云計(jì)算發(fā)展概況以“BAT”等為代表的互聯(lián)網(wǎng)企業(yè)成為現(xiàn)階段中國云計(jì)算服務(wù)創(chuàng)新發(fā)展的主導(dǎo)力量。后起之秀UCloud、QingCloud等，也希望能夠在未來的龐大的企業(yè)級(jí)市場占據(jù)領(lǐng)導(dǎo)地位。11.1國內(nèi)云計(jì)算發(fā)展概況未來云計(jì)算的發(fā)展離不開以下四大發(fā)展趨勢：第一，隨著云計(jì)算創(chuàng)新水平的不斷提升，產(chǎn)業(yè)鏈上中下游整合趨勢更加明顯。第二，國內(nèi)云計(jì)算應(yīng)用市場進(jìn)一步發(fā)展成熟，市場空間顯著擴(kuò)大。第三，云計(jì)算服務(wù)發(fā)展迅速，公共云服務(wù)和大型企業(yè)、機(jī)構(gòu)內(nèi)部的私有云建設(shè)與運(yùn)維將成為重點(diǎn)。第四，云計(jì)算公共化程度將進(jìn)一步提升。國內(nèi)云計(jì)算應(yīng)用市場進(jìn)一步發(fā)展與成熟，市場空間顯著擴(kuò)大。11.1國內(nèi)云計(jì)算發(fā)展概況11.2國產(chǎn)云存儲(chǔ)技術(shù)11.3國產(chǎn)大數(shù)據(jù)庫技術(shù)11.4云視頻監(jiān)控技術(shù)11.5阿里巴巴阿里云服務(wù)11.6云創(chuàng)存儲(chǔ)萬物云服務(wù)11.2國產(chǎn)云存儲(chǔ)技術(shù)11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲(chǔ)一體機(jī)1011.2國產(chǎn)云存儲(chǔ)技術(shù)淘寶分布式文件系統(tǒng)TFSTaobaoFileSystem（TFS）是一個(gè)高可擴(kuò)展、高可用、高性能、面向互聯(lián)網(wǎng)服務(wù)的分布式文件系統(tǒng)，主要針對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)，它構(gòu)建在普通的Linux機(jī)器集群上，可對(duì)外提供高可靠和高并發(fā)的存儲(chǔ)訪問。淘寶提供海量小文件存儲(chǔ)采用了高容錯(cuò)架構(gòu)和平滑擴(kuò)容扁平化的數(shù)據(jù)組織結(jié)構(gòu)11.2國產(chǎn)云存儲(chǔ)技術(shù)淘寶分布式文件系統(tǒng)TFSApplication/ClientBlockid<.>dataserverNameServerBlockid<.>dataserverNameServerDataServerdsp1dsp2dsp3hdahdahdaDataServerdsp1dsp2dsp3hdahdahdaBlockid,fildid/AllocateDataserverid(blockid,fileid)HeartbeatmessagecontrolmessageHeartbeatmessage1112wBlockblockmasterblockmasterblockmasterblockmasterWirtableBlockListBlockListDataServerListSERVERWriteLeaseListBlock11.2國產(chǎn)云存儲(chǔ)技術(shù)淘寶分布式文件系統(tǒng)TFS1311.2國產(chǎn)云存儲(chǔ)技術(shù)淘寶分布式文件系統(tǒng)TFS1）集群容錯(cuò)TFS可以配置主輔集群，一般主輔集群會(huì)存放在兩個(gè)不同的機(jī)房。主集群提供所有功能，輔集群只提供讀。2）NameServer容錯(cuò)Namserve負(fù)責(zé)維護(hù)Block列表和DataServer與Block之間的關(guān)系。

NameServer和DataServer之間也會(huì)有定時(shí)的heartbeat。3）DataServer容錯(cuò)TFS采用Block存儲(chǔ)多份的方式來實(shí)現(xiàn)DataServer的容錯(cuò)。TFS對(duì)每一個(gè)文件會(huì)記錄校驗(yàn)CRC對(duì)于每一個(gè)寫入請(qǐng)求，必須在所有的Block寫入成功時(shí)才算成功。1411.2國產(chǎn)云存儲(chǔ)技術(shù)淘寶分布式文件系統(tǒng)TFS平滑擴(kuò)容TFS集群容量不足時(shí)，只需新增DataServer，在上面部署好應(yīng)用程序后啟動(dòng)即可。在集群負(fù)載較輕時(shí)，NameServer會(huì)對(duì)DataServer上的Block進(jìn)行均衡，保證每個(gè)DataServer的Block數(shù)盡可能均衡。11.2國產(chǎn)云存儲(chǔ)技術(shù)11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲(chǔ)一體機(jī)卷配置節(jié)點(diǎn)參數(shù)配置存儲(chǔ)參數(shù)配置用戶配額管理QoS管理告警配置存儲(chǔ)空間監(jiān)控設(shè)備狀態(tài)監(jiān)控程序狀態(tài)監(jiān)控網(wǎng)絡(luò)狀態(tài)監(jiān)控磁盤狀態(tài)監(jiān)控流量監(jiān)控全面告警監(jiān)控中心配置中心管理監(jiān)控中心客戶端1客戶端2客戶端3客戶端4客戶端N主卷管理服務(wù)器備卷管理服務(wù)器用戶掛載客戶端卷管理節(jié)點(diǎn)主元數(shù)據(jù)管理節(jié)點(diǎn)1備元數(shù)據(jù)管理節(jié)點(diǎn)1卷A主元數(shù)據(jù)管理節(jié)點(diǎn)2備元數(shù)據(jù)管理節(jié)點(diǎn)2卷B主元數(shù)據(jù)管理節(jié)點(diǎn)3備元數(shù)據(jù)管理節(jié)點(diǎn)3卷C數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N元數(shù)據(jù)管理節(jié)點(diǎn)塊數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)總體架構(gòu)存儲(chǔ)機(jī)制cStor客戶端向系統(tǒng)中寫數(shù)據(jù)流程如圖11.2國產(chǎn)云存儲(chǔ)技術(shù)云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)1cStor客戶端向元數(shù)據(jù)服務(wù)器發(fā)起數(shù)據(jù)寫請(qǐng)求2元數(shù)據(jù)服務(wù)器根據(jù)存儲(chǔ)服務(wù)器的負(fù)載情況，選擇負(fù)載較輕的存儲(chǔ)服務(wù)器1和存儲(chǔ)服務(wù)器2存儲(chǔ)數(shù)據(jù)的兩個(gè)副本，在存儲(chǔ)服務(wù)器1上預(yù)留存儲(chǔ)空間保存數(shù)據(jù)3存儲(chǔ)服務(wù)器1存儲(chǔ)空間足夠，向元數(shù)據(jù)服務(wù)器返回預(yù)留存儲(chǔ)空間成功4元數(shù)據(jù)服務(wù)器同時(shí)向存儲(chǔ)服務(wù)器2發(fā)起預(yù)留存儲(chǔ)空間申請(qǐng)5存儲(chǔ)服務(wù)器2存儲(chǔ)空間足夠，向元數(shù)據(jù)服務(wù)器返回預(yù)留存儲(chǔ)空間成功6主元數(shù)據(jù)服務(wù)器同步元數(shù)據(jù)信息到備元數(shù)據(jù)服務(wù)器，保證元數(shù)據(jù)始終保存兩份1811.2國產(chǎn)云存儲(chǔ)技術(shù)云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)7同步元數(shù)據(jù)成功8元數(shù)據(jù)服務(wù)器向客戶端返回?cái)?shù)據(jù)可以寫到存儲(chǔ)服務(wù)器1和29客戶端向存儲(chǔ)服務(wù)器1發(fā)起數(shù)據(jù)請(qǐng)求10存儲(chǔ)服務(wù)器1保存數(shù)據(jù)11存儲(chǔ)服務(wù)器1同時(shí)把數(shù)據(jù)副本發(fā)送到存儲(chǔ)服務(wù)器2，存儲(chǔ)服務(wù)器2保存數(shù)據(jù)副本12存儲(chǔ)服務(wù)器2副本寫成功，返回寫成功給存儲(chǔ)服務(wù)器113客戶端收到成功信號(hào)后，即完成數(shù)據(jù)的存儲(chǔ)1920cStor客戶端從系統(tǒng)中讀數(shù)據(jù)流程如圖所示11.2國產(chǎn)云存儲(chǔ)技術(shù)云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)2111.2國產(chǎn)云存儲(chǔ)技術(shù)云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)cStor云存儲(chǔ)系統(tǒng)的控制流和數(shù)據(jù)流是分離的：一方面降低了元數(shù)據(jù)管理節(jié)點(diǎn)的負(fù)擔(dān)，使得其處理能力更強(qiáng)；另一方面將數(shù)據(jù)讀/寫的負(fù)擔(dān)分?jǐn)偟礁鞔鎯?chǔ)節(jié)點(diǎn)，使得系統(tǒng)的整體性能得到了提高，系統(tǒng)整體性能與節(jié)點(diǎn)數(shù)目成正相關(guān)。1cStor客戶端向元數(shù)服務(wù)器發(fā)起數(shù)據(jù)讀請(qǐng)求2元數(shù)據(jù)服務(wù)器查找文件保存在存儲(chǔ)服務(wù)器1上，然后告知客戶端3客戶端存儲(chǔ)服務(wù)器1發(fā)出數(shù)據(jù)讀請(qǐng)求，并從存儲(chǔ)服務(wù)器1讀取數(shù)據(jù)4存儲(chǔ)服務(wù)器1返回?cái)?shù)據(jù)內(nèi)容給客戶端關(guān)鍵技術(shù)0102030405負(fù)載均衡技術(shù)數(shù)據(jù)高可靠保證技術(shù)超安存編解碼技術(shù)高速并發(fā)訪問技術(shù)數(shù)據(jù)可擴(kuò)展性23D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8三副本超安存8:2編碼P1P211.2國產(chǎn)云存儲(chǔ)技術(shù)云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2國產(chǎn)云存儲(chǔ)技術(shù)11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲(chǔ)cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲(chǔ)一體機(jī)2511.2國產(chǎn)云存儲(chǔ)技術(shù)A8000超低功耗云存儲(chǔ)一體機(jī)3600TB3000W10倍26A8000采用了標(biāo)準(zhǔn)42U機(jī)架。其中4U空間用于部署交換機(jī)、供電模塊和RMC模塊，其余38U用于部署38個(gè)1U的服務(wù)器，包括2個(gè)E5系列的主控節(jié)點(diǎn)，36個(gè)Atom系列的存儲(chǔ)節(jié)點(diǎn)。供電模塊由電源模塊、配電板（PDU）、母排、背板組成。電源支持250VAC輸入，集中輸出至12VDC母排，機(jī)柜內(nèi)母排分為上下兩段，服務(wù)器節(jié)點(diǎn)通過母排或背板直接取電。風(fēng)扇模塊采用了風(fēng)扇墻共享設(shè)計(jì)，由RMC實(shí)現(xiàn)獨(dú)立風(fēng)扇控制，其N+1冗余設(shè)計(jì)可以實(shí)現(xiàn)獨(dú)立維護(hù)，對(duì)節(jié)點(diǎn)透明。11.2國產(chǎn)云存儲(chǔ)技術(shù)A8000超低功耗云存儲(chǔ)一體機(jī)機(jī)架結(jié)構(gòu)2711.2國產(chǎn)云存儲(chǔ)技術(shù)A8000超低功耗云存儲(chǔ)一體機(jī)產(chǎn)品特性優(yōu)異性能超低功耗簡單通用全面監(jiān)控便捷管理超高密度高度可靠28單塊主板最大可接18個(gè)SATA3.0硬盤，對(duì)外網(wǎng)絡(luò)提供4個(gè)千兆以太網(wǎng)，支持四網(wǎng)口綁定，網(wǎng)絡(luò)帶寬速率可達(dá)4千兆。處理器是Intel64位低功耗CPU，支持8GBDDR3內(nèi)存，單板可直接安裝Linux發(fā)行版操作系統(tǒng)。11.2國產(chǎn)云存儲(chǔ)技術(shù)A8000超低功耗云存儲(chǔ)一體機(jī)關(guān)鍵技術(shù)-(1)A8000低功耗主板2911.2國產(chǎn)云存儲(chǔ)技術(shù)A8000超低功耗云存儲(chǔ)一體機(jī)關(guān)鍵技術(shù)-(1)A8000低功耗主板3011.2國產(chǎn)云存儲(chǔ)技術(shù)A8000超低功耗云存儲(chǔ)一體機(jī)關(guān)鍵技術(shù)-(2)集中式直流供電31服務(wù)器服務(wù)器RMC管理模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊冷風(fēng)道熱風(fēng)道11.2國產(chǎn)云存儲(chǔ)技術(shù)A8000超低功耗云存儲(chǔ)一體機(jī)關(guān)鍵技術(shù)-(3)集中式散熱系統(tǒng)A8000整套系統(tǒng)通過RMC管理模塊，對(duì)整個(gè)機(jī)架8個(gè)散熱模塊進(jìn)行實(shí)時(shí)控制，每個(gè)散熱模塊由6個(gè)獨(dú)立的風(fēng)扇組成，通過RMC集中管理模塊，根據(jù)每個(gè)區(qū)域的溫度，自動(dòng)調(diào)節(jié)風(fēng)扇轉(zhuǎn)速，針對(duì)整個(gè)系統(tǒng)的問題進(jìn)行有效散熱，從而達(dá)到節(jié)點(diǎn)效果。本章未完待續(xù)百度排名首位的大數(shù)據(jù)資料和交流中心百度排名首位的云計(jì)算資料和交流中心終生免費(fèi)的智能硬件大數(shù)據(jù)托管平臺(tái)掃一掃，進(jìn)入萬物云終生免費(fèi)的環(huán)境大數(shù)據(jù)共享平臺(tái)掃一掃，進(jìn)入環(huán)境云云創(chuàng)大數(shù)據(jù)

給您一步到位的解決方案！高校Hadoop教學(xué)科研一攬子解決方案云計(jì)算、大數(shù)據(jù)時(shí)代，社會(huì)亟需相關(guān)人才！而高校缺平臺(tái)、缺人才、缺經(jīng)驗(yàn)！怎么辦？

建設(shè)一個(gè)Hadoop實(shí)驗(yàn)平臺(tái)一套開源的Hadoop一體機(jī)和開發(fā)環(huán)境，詳細(xì)的指導(dǎo)書籍和實(shí)驗(yàn)設(shè)計(jì)。

培養(yǎng)一支云計(jì)算師資隊(duì)伍來自云計(jì)算高手的系列培訓(xùn)，

早在2010年就培訓(xùn)了全國第一批云計(jì)算師資力量。

營造一個(gè)大數(shù)據(jù)科研環(huán)境為科研提供技術(shù)支持，與大數(shù)據(jù)應(yīng)用相結(jié)合，讓科研邁上新臺(tái)階。了解詳情運(yùn)用云計(jì)算，精彩你生活優(yōu)秀免費(fèi)云計(jì)算應(yīng)用推薦暫時(shí)僅有安卓版本支持安卓和蘋果支持安卓和蘋果學(xué)習(xí)云計(jì)算必須關(guān)注的公眾號(hào)知名微信公眾號(hào)推薦劉鵬看未來云計(jì)算頭條云創(chuàng)大數(shù)據(jù)中國大數(shù)據(jù)微信號(hào)：