最有價值云計算資料

概要背景云體系結(jié)構(gòu)云計算云存儲云傳輸討論第一頁，共40頁。阿喀琉斯之踵古希臘神話中的阿喀琉斯是海神之子，荷馬史詩中的英雄，傳說他的母親曾把他浸在冥河里使其能刀槍不入。但因冥河水流湍急，母親捏著他的腳后跟不敢松手，所以其腳踵是最脆弱的地方。在特洛伊戰(zhàn)爭中，阿喀琉斯殺死了特洛伊王子赫克托耳，因而惹怒了赫克托耳的保護神阿波羅，于是太陽神用毒箭射中了阿喀琉斯的腳踵，送了這位勇士的命。第二頁，共40頁。數(shù)據(jù)量數(shù)據(jù)爆炸性增漲(2006,161EB;2011,1800EB;年增長率達到60%.IDC報告)。數(shù)據(jù)中的絕大部分將存儲在世界各地的大型數(shù)據(jù)中心。GB-TB-PB-EB第三頁，共40頁。2005年,美國新建立的數(shù)據(jù)中心需要消耗的能量=加利福尼亞州所消耗能量的10%（大約5GW），約40億美金。英國的1500個數(shù)據(jù)中心每年消耗的能量和英國第十大城市萊卡斯特所需要的能量相當(dāng)。2010年，英國單個數(shù)據(jù)中心每年在能量上的花費達到大約740萬英鎊。計算機集群系統(tǒng)由于采用商用化部件，其能耗問題更為突出。IT基礎(chǔ)設(shè)施能耗第四頁，共40頁。熱密度第五頁，共40頁。Google數(shù)據(jù)中心Google數(shù)據(jù)中心以集裝箱為單位，每個集裝箱有1160臺服務(wù)器，每個數(shù)據(jù)中心有眾多集裝箱。Google一次搜索查詢的能耗能點亮100瓦的燈泡11秒鐘。比利時的圣吉蘭（SaintGhislain）數(shù)據(jù)中心完全依靠數(shù)據(jù)中心外面的空氣來冷卻系統(tǒng)。Dalles數(shù)據(jù)中心位于俄勒岡州的哥倫比亞河旁，河上的Dalles大壩為數(shù)據(jù)中心提供電力。數(shù)據(jù)中心有2座4層樓高的冷卻塔。第六頁，共40頁。WhatmattersmosttothecomputerdesignersatGoogleisnotspeedbutpower–lowpower,becausedatacenterscanconsumeasmuchelectricityasacity.

----EricSchmidt,CEO,Google第七頁，共40頁。Microsoft數(shù)據(jù)中心美國華盛頓州GrandCoulee水壩是世界第三大混合電力水壩，供電量是650萬千瓦。Microsoft在水壩邊上建一個有10個沃爾瑪商店那么大的數(shù)據(jù)中心。微軟在美國芝加哥的數(shù)據(jù)中心.總面積為70萬平方英尺。即使只啟用半數(shù)服務(wù)器,能耗也達到30兆瓦。第八頁，共40頁。機遇大部分企業(yè)IT基礎(chǔ)設(shè)施的利用率只有35%.還有許多企業(yè)的IT資源利用率不到15%（IDC報告）.Google的數(shù)據(jù)表明其絕大部分服務(wù)器的利用率在10%到50%之間。Why???

突發(fā)性的數(shù)據(jù)訪問行為。第九頁，共40頁。推動力摩爾定律。商用化的組件組成的電腦其性能已足以支持多個操作系統(tǒng)的并行運行。虛擬機技術(shù)的復(fù)蘇（出現(xiàn)在上世紀(jì)70年代，并主要用在IBM360的大型機中）利用商用化的計算機組件來構(gòu)造云環(huán)境利用虛擬機技術(shù)來實現(xiàn)計算資源的按需分配。第十頁，共40頁。殺手級的應(yīng)用任何一項新技術(shù)或者新的服務(wù)模式的成功，往往是因為其出現(xiàn)在恰當(dāng)?shù)臅r間，并且有合適的外因和內(nèi)因來推動。殺手級的應(yīng)用（WWW——互聯(lián)網(wǎng)）。云計算之歷史淵源：元計算（Metacomputing）、普適計算（pervasivecomputing）、按需計算（Ondemandcomputing）、效用計算（Utilitycomputing）、自主計算（Autonomiccomputing）、網(wǎng)格計算（Gridcomputing）等等。

第十一頁，共40頁。什么是云計算一種新的服務(wù)模式。按服務(wù)類型大致可分：將基礎(chǔ)設(shè)施作為服務(wù)（InfrastructureasaService,IaaS）、將平臺作為服務(wù)（Platformasaservice,PaaS）將軟件作為服務(wù)（Softwareasaservice,SaaS）。第十二頁，共40頁。服務(wù)模式根據(jù)實際需要通過定制或租用的方式使用基于Web的軟件來完成所需的工作。將應(yīng)用和計算機資源包括硬件和系統(tǒng)軟件包裝成服務(wù)，通過按需付費（pay-as-you-go）的方式，穿越Internet來滿足用戶各種不同的需求。用戶可以不再需要購買昂貴的計算機系統(tǒng)，不再因為需要短時間使用某個軟件而不得不購買該軟件的使用版權(quán)。云計算通過虛擬化技術(shù)，通過資源整合，實現(xiàn)按需資源分配。提高資源利用率，同時降低用戶的設(shè)備投入和使用成本。第十三頁，共40頁。云體系結(jié)構(gòu)第十四頁，共40頁。一條雙向可無限延長的、被分成一個個方格的磁帶,格里寫有符號一個有限狀態(tài)控制器一個讀寫磁頭圖靈機這個裝置就是根據(jù)程序的命令以及它的內(nèi)部狀態(tài)進行磁帶的讀寫、移動。圖靈機的動作由五元組確定： <q,b,a,m,q’>其中，q和q’為控制器的當(dāng)前狀態(tài)和下一狀態(tài)；b和a為方格中的原有符號和修改后的符號，m指示磁頭移動方向，或左或右或停。由狀態(tài)和符號確定的工作過程稱圖靈機程序。圖靈論題：凡是可計算的函數(shù)都可以用圖靈機計算。第十五頁，共40頁。馮·諾伊曼架構(gòu)計算機由控制器、運算器、存儲器、輸入設(shè)備和輸出設(shè)備五大部分組成?；驹恚捍鎯Τ绦颍╯toredprogram）并按地址順序執(zhí)行。控制器按照程序順序，逐條把指令和數(shù)據(jù)從存儲器中取出并加以執(zhí)行，自動完成由程序所描述的處理工作。以計算為中心第十六頁，共40頁。云環(huán)境架構(gòu)服務(wù)器存儲系統(tǒng)網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)應(yīng)用/計算傳輸數(shù)據(jù)第十七頁，共40頁。云環(huán)境架構(gòu)與用戶視圖第十八頁，共40頁。云架構(gòu)的特點：將地理上分布、大規(guī)模、異構(gòu)的資源進行虛擬化，并能夠?qū)τ脩籼峁┌葱璺?wù)。云的成功在很大程度上決定于云的規(guī)模效應(yīng)。同時，云環(huán)境下非常重要的問題之一就是如何合適地安排計算、存儲和傳輸，使得其規(guī)模和性能能夠同步擴展。第十九頁，共40頁。云計算:虛擬機虛擬機通過軟件來模擬具有完整硬件系統(tǒng)功能的、運行在一個完全隔離環(huán)境中的完整計算機系統(tǒng)。優(yōu)點：提高資源的利用率。多個操作系統(tǒng)可以同時存在和運行于同一個物理平臺上（在單個服務(wù)器上有可能同時運行數(shù)百個虛擬機器）。有效隔離操作系統(tǒng)和資源。虛擬機中的操作系統(tǒng)崩潰后恢復(fù)比較容易，并不會對同一個物理平臺上的其它操作系統(tǒng)造成影響，而且比較容易實現(xiàn)操作系統(tǒng)的數(shù)據(jù)重放和回滾。第二十頁，共40頁。一個典型的虛擬機環(huán)境第二十一頁，共40頁。虛擬機技術(shù)的問題虛擬機技術(shù)最初使用在IBM360的大型機中。大型機中往往采用專門的通道來來保證外部設(shè)備的訪問和性能。將該技術(shù)移植到基于商用組件的X86環(huán)境下，由于缺乏專用的通道和通道處理機來應(yīng)對I/O訪問，虛擬機環(huán)境下的I/O問題已經(jīng)成為當(dāng)前虛擬機系統(tǒng)中面臨的最大問題。第二十二頁，共40頁。虛擬機環(huán)境下：第二個域的應(yīng)用通過系統(tǒng)調(diào)用產(chǎn)生異步I/O，進入管理程序（Hypervisor），該管理程序?qū)⒃揑/O操作轉(zhuǎn)給第零個域，然后返回到第二個域的操作系統(tǒng)（異步I/O）和上層應(yīng)用程序。此時第零個域的操作系統(tǒng)將進行實際的I/O操作。待I/O完成后，會產(chǎn)生一個虛擬中斷給第零個域的操作系統(tǒng)，該操作系統(tǒng)給虛擬化軟件發(fā)出相應(yīng)的虛擬中斷。待虛擬化軟件完成I/O后，會給第零個域的操作系統(tǒng)返回一個系統(tǒng)調(diào)用來喚醒第二個域的操作系統(tǒng)，然后虛擬機管理程序?qū)/O完成的中斷交給第二個域的操作系統(tǒng)，最后將I/O操作產(chǎn)生的數(shù)據(jù)交給第二個域中的應(yīng)用程序。傳統(tǒng)的計算機系統(tǒng)中：應(yīng)用程序通過系統(tǒng)調(diào)用產(chǎn)生異步I/O操作后直接返回。待I/O操作完成后會產(chǎn)生中斷給操作系統(tǒng)，并將I/O操作產(chǎn)生的數(shù)據(jù)交給應(yīng)用程序。第二十三頁，共40頁。云存儲:磁盤驅(qū)動器磁盤是一種機電混合設(shè)備。在過去的十多年中，磁盤的區(qū)域密度、軌密度和線密度分別獲得了100%,50%和30%的增長。第二十四頁，共40頁。磁記錄技術(shù)第二十五頁，共40頁。存儲的角色演變數(shù)據(jù)的增漲導(dǎo)致了以“計算”為中心到以“數(shù)據(jù)存儲”為中心的的觀念革新。存儲領(lǐng)域的兩個重要轉(zhuǎn)折點：并行存儲。比如磁盤陣列技術(shù)（RAID）。網(wǎng)絡(luò)存儲。NAS,SAN第二十六頁，共40頁。新型存儲體系結(jié)構(gòu)將網(wǎng)絡(luò)引入存儲系統(tǒng)，改變主機與外部存儲節(jié)點間的連接模式，產(chǎn)生了若干新型存儲體系結(jié)構(gòu)：直接聯(lián)網(wǎng)存儲（Directattachedstorage,DAS）附網(wǎng)存儲（networkattachedstorage,NAS）存儲區(qū)域網(wǎng)(storageareanetwork,SAN)。存儲系統(tǒng)必須要從少數(shù)的存儲引擎向連在網(wǎng)絡(luò)上的成千上萬的商用化存儲設(shè)備進行轉(zhuǎn)變。第二十七頁，共40頁。三種典型的存儲系統(tǒng)附網(wǎng)存儲存儲區(qū)域網(wǎng)直連存儲第二十八頁，共40頁。存儲需求科學(xué)計算航空航天生物醫(yī)學(xué)石油勘探第二十九頁，共40頁。第三十頁，共40頁。在過去的十多年中集群網(wǎng)絡(luò)的重要進展之一是可以將成千上萬的節(jié)點連起來，同時保證高可擴展性和相對較低的通訊開銷。采用商用化的技術(shù)來構(gòu)造可擴展的集群是云存儲的基本組件。搭積木的形式來聚合存儲組件。云存儲理想架構(gòu)第三十一頁，共40頁。挑戰(zhàn)1：名字空間存儲器空間的組織和分配，數(shù)據(jù)的存儲、保護和檢索都依賴于文件系統(tǒng)。文件系統(tǒng)由文件和目錄構(gòu)成文件系統(tǒng)的樹形層次化結(jié)構(gòu)。包括集群文件系統(tǒng)。當(dāng)數(shù)據(jù)的訪問從樹根走向樹葉的時候，訪問的延遲會響應(yīng)的增加。如果不知道文件保存位置，必須遍歷整個目錄。還有兩個重要的因素導(dǎo)致樹形架構(gòu)不適合于云存儲環(huán)境：（1）樹根本身就是一個單一失效點，而且很容易形成系統(tǒng)的瓶頸。（2）樹形架構(gòu)很難在Internet上擴展到地理上分布的規(guī)模。云存儲只有采用非集中式的名字空間來避免潛在的性能瓶頸和單點失效。第三十二頁，共40頁。挑戰(zhàn)2：元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，主要用來反映地址信息和控制信息，通常包括文件名、文件大小、時間戳、文件屬性等等。在文件系統(tǒng)的操作中，超過50%的操作是針對元數(shù)據(jù)的.另有研究指出，使用NFS3.0時，其客戶端和服務(wù)器端交互的信息中65%的信息是和元數(shù)據(jù)相關(guān)的。元數(shù)據(jù)是小的隨機請求。第三十三頁，共40頁。和存儲容量的增長不同，機械組件所帶來的延遲，磁盤的平均訪問時間每年的降低不足8%。小的隨機請求,尋道時間是磁盤訪問延遲中最組要的部分。這是由于磁頭的穩(wěn)定時間主導(dǎo)著磁盤的尋道時間，而且磁頭的穩(wěn)定時間數(shù)年來基本上沒有太大的變化。因此，對于大規(guī)模系統(tǒng)來講，元數(shù)據(jù)的訪問往往成為制約整個系統(tǒng)性能的瓶頸。第三十四頁，共40頁。云傳輸：廣域網(wǎng)性能Nielsen法則：終端用戶的網(wǎng)絡(luò)帶寬以每年50%的速度增長。廣域網(wǎng)：一條T1線路的帶寬只相當(dāng)于千兆網(wǎng)的千分之一，許多幀中繼線路的帶寬只有256Kbits/秒。Garfinkel通過測量發(fā)現(xiàn)從美國伯克利大學(xué)到西雅圖的平均網(wǎng)絡(luò)寫帶寬大約是5to18Mbits/秒。我們的測量數(shù)據(jù)：在格林尼治標(biāo)準(zhǔn)時間下午7點到10點，從英國劍橋大學(xué)到中國北京的平均網(wǎng)絡(luò)帶寬大約是1.8Mbits每秒。由于廣域網(wǎng)物理距離的原因，不可避免的時延也會對帶寬造成影響。例如，一個T3鏈路（44.736Mbits/秒），當(dāng)時延超過40ms時，其帶寬很快就下降到與T1鏈路（1.544Mbits/秒）相當(dāng)。第三十五頁，共40頁。簡單計算基于以上的測試數(shù)據(jù)，如果假設(shè)網(wǎng)絡(luò)帶寬為20Mbits/秒，從美國伯克利大學(xué)傳輸10TB數(shù)據(jù)到西雅圖需要45天的時間如果通過亞馬遜（S3）來進行該數(shù)據(jù)傳輸，需要另外向亞馬遜支付1000美金的網(wǎng)絡(luò)傳輸費用。第三十六頁，共40頁。云傳輸可能的解決方案云環(huán)境必須是地理上分布的，因為云的成功在很大程度上決定于其規(guī)模效應(yīng)。計算和存儲相對便宜，然而，由于廣域網(wǎng)環(huán)境下的低帶寬、高延遲和較高的丟包率，使得廣域網(wǎng)成為云環(huán)境下那塊最短的木板。圖靈獎獲得者JimGray在2006年就指出在廣域網(wǎng)上處理大數(shù)據(jù)集時，應(yīng)該將程序傳給數(shù)據(jù)，而不是將數(shù)據(jù)傳給程序。另外，通過數(shù)據(jù)壓縮、數(shù)據(jù)的去重等方法來減少網(wǎng)域網(wǎng)上的數(shù)據(jù)傳輸流量，降低對網(wǎng)絡(luò)帶寬的需求。采用動態(tài)緩存、IP流量管理以及QoS等方法來降低廣域網(wǎng)的延遲。但是，這些方法只能在一定程度上來緩解網(wǎng)絡(luò)瓶頸問題，不能從根本上解決問題。因此，在設(shè)計云架構(gòu)時，必須要考慮廣域網(wǎng)的帶寬、延遲和包丟失率所帶來的影響。第三十七頁，共40頁。云環(huán)境下的傳輸協(xié)議目前廣泛使用的TCP/IP協(xié)議是在實驗室低速網(wǎng)絡(luò)環(huán)境下誕生的，在設(shè)計初期只是為了保證數(shù)據(jù)在鏈路上的可靠傳輸。因此，它并不是為廣域網(wǎng)而設(shè)計的網(wǎng)絡(luò)傳輸協(xié)議。TCP/IP協(xié)議的滑動窗口，重傳和恢復(fù)等機制使得廣域網(wǎng)的傳輸效率急劇下降。TCP的窗口尺寸、慢啟動等機制也無法充分利用已有的網(wǎng)絡(luò)帶寬。我們需要重新審視在大規(guī)模數(shù)據(jù)傳輸?shù)那闆r下廣域網(wǎng)的性能優(yōu)化相關(guān)的一系列問題。第三十八