中國電信云計算探索與應用實踐

云計算的探討和應用21234目錄5什么云計算KevinHartig：云是一個龐大的資源池，你按需購置；云是虛擬化的；云可以象自來水，電，煤氣那樣計費。JanPritzker：云計算是用戶友好的網(wǎng)格計算。3農(nóng)村城市化開展云計算-網(wǎng)格計算的開展4網(wǎng)格計算云計算MPIMAP-Ruduce，Dryad異構(gòu)資源同構(gòu)資源不同機構(gòu)單一機構(gòu)虛擬組織虛擬機科學計算為主數(shù)據(jù)處理為主高性能服務器服務器、PC標準化無標準科學界商業(yè)應用云計算的使用方式將計算和存儲等資源以效勞的方式提供，用戶按需使用，按用量付費5云計算關(guān)鍵特征云計算-關(guān)鍵特征按需擴展和使用快速獲得效勞通過互聯(lián)網(wǎng)提供自助式效勞按使用量付費6云計算-交付模型PC硬件資源〔PowerPC、x86、ARM〕操作系統(tǒng)Linux、Windows、UNIX 開發(fā)環(huán)境C、C++、Java、Python、Perl等軟件應用運行庫〔.Net、JRE〕SaaSPaaSIaaS基于互聯(lián)網(wǎng)Cloud共享資源7云計算-部署模型公有云：簡單來說，公有云效勞指的是用戶通過互聯(lián)網(wǎng)從第三方供給商獲取的云計算效勞。私有云：私有云具備公有云計算環(huán)境的許多優(yōu)點，如靈活性強、以效勞為根底等。社區(qū)云：社區(qū)云由一群共享利益〔如特定平安需求或共同目標〕的企業(yè)管理和使用?；旌显疲夯旌显剖枪性坪退接性频娜诤?，且兩者可互操作。8云計算-架構(gòu)9101234目錄511虛擬化領域效勞器虛擬化網(wǎng)絡虛擬化應用虛擬化客戶端虛擬化降低系統(tǒng)復雜度，提高資源利用率，動態(tài)劃分服務資源，動態(tài)部署資源池，統(tǒng)一管理，數(shù)據(jù)更加安全存儲虛擬化網(wǎng)絡容量的優(yōu)化，網(wǎng)絡各節(jié)點優(yōu)化交付模式的改變，應用能力的按需提供降低終端成本，滿足客戶動態(tài)需求概念：分布式存儲系統(tǒng)是分布式計算環(huán)境的根底架構(gòu)之一，它把分散在網(wǎng)絡中的存儲資源以統(tǒng)一的視點呈現(xiàn)給用戶，簡化了用戶訪問的復雜性，加強了分布系統(tǒng)的可管理性，也為進一步開發(fā)分布式應用準備了條件?；谠茢?shù)據(jù)中心的分布式存儲系統(tǒng)構(gòu)建在大規(guī)模效勞器群上，面臨以下幾個挑戰(zhàn)：1〕效勞器等組件的失效將是正?，F(xiàn)象，需解決系統(tǒng)的容錯問題；2〕提供海量數(shù)據(jù)的存儲和快速讀?。?〕多用戶同時訪問文件系統(tǒng)，需解決并發(fā)控制和訪問效率問題；4〕效勞器增減頻繁，需解決動態(tài)擴展問題；5〕需提供類似傳統(tǒng)文件系統(tǒng)的接口以兼容上層應用開發(fā)，支持創(chuàng)立、刪除、翻開、關(guān)閉、讀寫文件等常用操作。12GFS的設計理念效勞器DOWN機作為常態(tài)文件用塊存儲每個塊固定為64MB通過冗余解決可靠性問題每個塊同時拷貝在3個塊效勞器上主效勞器負責協(xié)調(diào)訪問和保存元數(shù)據(jù)簡單化的集中管理定制化的API無數(shù)據(jù)緩存較大文件塊和流式讀取使得緩存效果不佳13GFS體系結(jié)構(gòu)14 對于并行編程而言，核心的問題是如何把一個大的應用程序分解成假設干可以并行處理的子程序。有兩種可能處理的方法，一種是分割計算，即把應用程序的功能分割成假設干個模塊，由網(wǎng)絡上多臺機器協(xié)同完成；另一種是分割數(shù)據(jù)，即把數(shù)據(jù)集分割成小塊，由網(wǎng)絡上的多臺計算機分別計算。目的是實現(xiàn)分布式計算，讓幾個物理上獨立的組件作為一個單獨的系統(tǒng)協(xié)同工作，這些組件可能指多個CPU，或者網(wǎng)絡中的多臺計算機。15復雜，很難入門如何簡單化Map/Reduce用于大規(guī)模數(shù)據(jù)并行處理數(shù)據(jù)量大〔超過1TB〕在成百上千個CPU上并行處理用戶只需實現(xiàn)下面接口 map(in_key,in_value)-> (out_key,intermediate_value)list reduce(out_key,intermediate_valuelist)-> out_valuelist16Catinput|grepxxx|sort|uniq–c|cat>output架構(gòu)17實現(xiàn)原理1819分布式數(shù)據(jù)庫是對海量數(shù)據(jù)進行存儲和管理。分布式數(shù)據(jù)庫是一組結(jié)構(gòu)化的數(shù)據(jù)集，邏輯上屬于同一系統(tǒng)，而物理上分散在用計算機網(wǎng)絡連接的多個場地上，并統(tǒng)一由一個分布式數(shù)據(jù)庫管理系統(tǒng)管理。與集中式或分散數(shù)據(jù)庫相比，分布式數(shù)據(jù)庫具有可靠性高、模塊擴展容易、響應延遲小、負載均衡、容錯能力強等優(yōu)點。BigTable的設計理念面向網(wǎng)頁數(shù)據(jù)的發(fā)布、搜索和瀏覽等特定處理的需要，簡化數(shù)據(jù)管理系統(tǒng)的設計，并提高性能不支持關(guān)聯(lián)不支持SQL查詢簡化數(shù)據(jù)的一致性管理網(wǎng)頁數(shù)據(jù)的管理對一致性要求不高簡化事務管理網(wǎng)頁數(shù)據(jù)的處理〔搜索、發(fā)布〕對事務管理要求不高面向海量數(shù)據(jù)管理要求設計分割和合并管理機制〔基于元數(shù)據(jù)〕設計自動伸縮功能〔根據(jù)數(shù)據(jù)量調(diào)整資源用量〕20Bigtable根本架構(gòu)21 在分布式系統(tǒng)中，對共享資源的并行操作可能會引起喪失修改、讀臟數(shù)據(jù)、不可重復讀等數(shù)據(jù)不一致問題，這時需要引入同步機制，控制進程的并發(fā)操作。2223基本架構(gòu)組成：客戶端+5個效勞器〔Chubby單元〕；主效勞器機制：5個效勞器〔Chubby單元〕，只有一個主效勞器，租續(xù)期內(nèi)所有的客戶請求都是由主效勞器來處理的；客戶端定位主效勞器：DNS請求。Chubby的設計目標主要有以下幾點。1〕高可用性和高可靠性。這是系統(tǒng)設計的首要目標，在保證這一目標的根底上再考慮系統(tǒng)的吞吐量和存儲能力。2〕高擴展性。將數(shù)據(jù)存儲在價格較為低廉的RAM，支持大規(guī)模用戶訪問文件。3〕支持粗粒度的建議性鎖效勞。提供這種效勞的根本目的是提高系統(tǒng)的性能。4〕效勞信息的直接存儲?？梢灾苯哟鎯Πㄔ獢?shù)據(jù)、系統(tǒng)參數(shù)在內(nèi)的有關(guān)效勞信息，而不需要再維護另一個效勞。5〕支持通報機制?？蛻艨梢约皶r地了解到事件的發(fā)生。6〕支持緩存機制。通過一致性緩存將常用信息保存在客戶端，防止了頻繁地訪問主效勞器。24Chubby客戶端與效勞器端的通信過程251234目錄5云計算商用-開源比照26云計算開源-HadoopHadoop是Apache開源組織的一個分布式計算開源框架，在很多大型網(wǎng)站上都已經(jīng)得到了應用，如亞馬遜、Facebook和Yahoo等等。Google的開源實現(xiàn)HDFS是GoogleFileSystem〔GFS〕的開源實現(xiàn);MapReduce是GoogleMapReduce的開源實現(xiàn);HBase是GoogleBigTable的開源實現(xiàn)。27云計算開源-EucalyptusEucalyptus工程〔ElasticUtilityComputingArchitectureforLinkingYourProgramsToUsefulSystems〕是AmazonEC2的一個開源實現(xiàn)，它與商業(yè)效勞接口兼容。和EC2一樣，Eucalyptus依賴于Linux和Xen進行操作系統(tǒng)虛擬化。Eucalyptus是加利福尼亞大學〔SantaBarbara〕為進行云計算研究而開發(fā)的28OpenNebula云計算開源-10genMongoDB

10gen既是一個云平臺，又是一個可下載的開放源代碼包，可用于創(chuàng)立您自己的私有云。10gen是類似于AppEngine的一個軟件棧，它提供與AppEngine類似的功能―但有一些不同之處。通過10gen，可以使用Python以及JavaScript和Ruby編程語言開發(fā)應用程序。該平臺還使用沙盒概念隔離應用程序，并且使用它們自己的應用效勞器的許多計算機(當然，是在

Linux上構(gòu)建)提供一個可靠的環(huán)境。MongoDB是一個高性能的面向文件的開源數(shù)據(jù)存儲工程。十分容易部署，管理和使用。可以通過網(wǎng)絡訪問，并且由C++語言編寫。主要包含的功能特性有易存儲對象類型的數(shù)據(jù)，完全索引支持，查詢支持，復制和故障恢復支持，高效的二進制數(shù)據(jù)存儲，自動處理碎片提高云層次上的擴展性。高性能，可擴展，適當?shù)墓δ苁惯@個工程的主要設計目標。29301234目錄5電信云計算總體開展規(guī)劃初步構(gòu)建包含IaaS、PaaS和AaaS的完整效勞體系。IDC信息化應用云服務PaaS開放平臺戰(zhàn)略合作ＳａａＳ／ＡａａＳＰａａＳＩａａＳ商務領航號百彈性存儲服務彈性計算服務切入點產(chǎn)品平臺開展規(guī)劃合作廠家IBM微軟微軟IBMHadoopIBMVMWareXen２００９－２０１2SaaS軟件效勞天翼軟件廣場/OneApp移動互聯(lián)網(wǎng)云服務內(nèi)部試驗平臺SCE及開放API災備與恢復彈性大容量數(shù)據(jù)庫先試點后推廣，初步形成價值鏈；內(nèi)部應用：以提升性能為目的IaaS先試點再規(guī)模開展；內(nèi)部應用：以提升資源效益為主IT系統(tǒng)整合移動互聯(lián)網(wǎng)基礎設施整合外部開放平臺號百整合內(nèi)部海量數(shù)據(jù)處理平臺內(nèi)部應用31321234目錄5亞馬遜云計算AWS-商業(yè)應用

33彈性計算云EC2 一部具有無限采集能力的虛擬計算機，用戶能夠用來執(zhí)行一些處理任務。簡單存儲效勞S3 一個很大的磁盤驅(qū)動或一個SAN。簡單數(shù)據(jù)庫效勞SimpleDB 為復雜的，結(jié)構(gòu)化數(shù)據(jù)建立的，支持數(shù)據(jù)的查找、刪除、插入等操作。微軟Azure虛擬化平臺-Xen與KVM

34HadoopHDFS->GFS分布式文件系統(tǒng)

35HadoopHDFS->GFS分布式文件系統(tǒng)(read)

36HadoopHDFS->GFS分布式文件系統(tǒng)(write)

37HadoopHDFS操作命令38HadoopMapReduce->googleMapReduce工作流39SHELL:~>catinput|grepxxx|sort|uniq-c|cat>outputmapReduce：

Input|Map|Shuffle&Sort|Reduce|OutputInput：一個HadoopMapReduce應用通常需要提供一對通過實現(xiàn)合適的接口或抽象類提供的Map和Reduce函數(shù)，還應該指明輸入/輸出的位置（路徑）和其他一些運行參數(shù)。此外，此階段還會把輸入目錄下的大數(shù)據(jù)文件切分為若干獨立的數(shù)據(jù)塊。Map：MapReduce框架把應用作業(yè)的輸入看為是一組<key,value>鍵值對，在Map這個階段，框架會調(diào)用用戶自定義的Map函數(shù)處理每一個<key,value>鍵值對，生成一批新的中間<key,value>鍵值對，這兩組鍵值對的類型可能不同。Shuffle&Sort：為了保證Reduce的輸入是Map排好序的輸出。在Shuffle階段，框架通過HTTP為每個Reduce獲得所有Map輸出中與之相關(guān)的<key,value>鍵值對；而在Sort階段，框架將按照key的值對Reduce的輸入進行分組（因為不同map的輸出中可能會有相同的key）。通常Shuffle和Sort兩個階段是同時進行的，Reduce的輸入也是一邊被取回，一邊被合并的。Reduce：此階段會遍歷中間數(shù)據(jù)，對每一個唯一key，執(zhí)行用戶自定義的Reduce函數(shù)（輸入?yún)?shù)是<key,(listofvalues)>），輸出是新的<key,value>鍵值對。Output：此階段會把Reduce輸出的結(jié)果寫入輸出目錄的文件中。這樣，一個典型的MapReduce過程就結(jié)束了。HadoopMapReduce->googleMapReduce執(zhí)行過程40HadoopMapReduce->googleMapReduce并行執(zhí)行41HadoopMapReduce執(zhí)行例子監(jiān)控42://3:50030/jobtracker.jspHadoopZooKeeper->