第7講 云計算-云存儲-關(guān)鍵技術(shù)-當前熱點

國內(nèi)外動向12企業(yè)IT架構(gòu)面臨的問題–復雜、低效、不靈活資料來源：財富100強企業(yè)原因現(xiàn)狀極為復雜依賴于脆弱的基礎(chǔ)架構(gòu)影響超過70%的IT預算僅用于

“維持”現(xiàn)狀不到30%的IT預算用于創(chuàng)新和

實現(xiàn)競爭優(yōu)勢IT資源占用情況42%

基礎(chǔ)架構(gòu)維護30%

應用程序維護23%

應用程序投資5%

基礎(chǔ)架構(gòu)投資業(yè)務靈活性依賴于IT靈活性3削減成本和更快的價值實現(xiàn)是企業(yè)選擇云的首要驅(qū)動力調(diào)查對象可以投票多個驅(qū)動因素50%72%77%提高可靠性更快的價值實現(xiàn)削減成本提高系統(tǒng)可用性根據(jù)使用付費節(jié)省硬件節(jié)省軟件許可證系統(tǒng)勞動效率，降低IT支持成本降低外部維護成本利用新功能的優(yōu)勢簡化更新和升級加快部署動態(tài)擴展IT資源來滿足需求???提高系統(tǒng)可靠性???這些因素在多大程度上吸引您采用云服務？來源:IBMMarketInsights,CloudComputingResearch,July2009.n=1,090采用云的市場驅(qū)動力?????云計算發(fā)展的驅(qū)動因素新摩爾定律全球數(shù)據(jù)總量每18個月翻番。大數(shù)據(jù)已經(jīng)成為一種自然資源大數(shù)據(jù)不被利用就是成本數(shù)據(jù)利用比例直降計算速度越來越快，企業(yè)卻越來越笨。今天很多企業(yè)能弄懂7%的企業(yè)數(shù)據(jù)，但這個數(shù)字很快會下降到4%，然后繼續(xù)螺旋式下降。IBM實體分析首席科學家JeffJonas數(shù)據(jù)使用率提升10%的影響云計算是網(wǎng)絡(luò)發(fā)展的必然結(jié)果什么是云計算云計算是一種IT服務交付模式：把IT資源、數(shù)據(jù)、應用作為服務通過網(wǎng)絡(luò)提供給用戶云計算是一種架構(gòu)管理方法論：把大量的高度虛擬化的資源管理起來，組成一個大的資源池，用來統(tǒng)一提供服務。如果把“云”視為一個虛擬化的存儲與計算資源池，那么云計算則是這個資源池基于網(wǎng)絡(luò)平臺為用戶提供的數(shù)據(jù)存儲和網(wǎng)絡(luò)計算服務?；ヂ?lián)網(wǎng)是最大的一片“云”，其上的各種計算機資源共同組成了若干個龐大的數(shù)據(jù)中心及計算中心。云計算特性：虛擬化、標準化、自動化、自優(yōu)化、自服務、網(wǎng)絡(luò)化按云的類型：公共云、私有云、混合云云計算的典型服務模式有三類：“軟件即服務(SoftwareasaService，SaaS)平臺即服務(PlatformasaService，PaaS)基礎(chǔ)設(shè)施即服務(InfrastructureasaService，IaaS)10所謂SaaS是指用戶通過標準的Web瀏覽器來使用Internet上的軟件。從用戶角度來說，這意味著他們前期無需在服務器或軟件許可證授權(quán)上進行投資；從供應商角度來看，與常規(guī)的軟件服務模式相比，維護一個應用軟件的成本要相對低廉。SaaS供應商通常是按照客戶所租用的軟件模塊來進行收費的，因此用戶可以根據(jù)需求按需訂購軟件應用服務，而且SaaS的供應商會負責系統(tǒng)的部署、升級和維護。SaaS在人力資源管理軟件上的應用較為普遍.SaaS:11所謂PaaS是指云計算服務商提供應用服務引擎，如互聯(lián)網(wǎng)應用程序接口（API）或運行平臺，用戶基于服務引擎構(gòu)建該類服務。PaaS是基于SaaS發(fā)展起來的，它將軟件研發(fā)的平臺作為一種服務，以SaaS的模式提交給用戶，可以加快SaaS的發(fā)展，尤其是加快SaaS應用的開發(fā)速度。從用戶角度來說，這意味著他們無需自行建立開發(fā)平臺，也不會在不同平臺兼容性方面遇到困擾；從供應商的角度來說，可以進行產(chǎn)品多元化和產(chǎn)品定制化。PaaS:12所謂IaaS是指云計算服務商提供虛擬的硬件資源，如虛擬的主機、存儲、網(wǎng)絡(luò)、安全等資源，用戶無需購買服務器、網(wǎng)絡(luò)設(shè)備和存儲設(shè)備，只需通過網(wǎng)絡(luò)租賃即可搭建自己的應用系統(tǒng)。IaaS定位于底層，向用戶提供可快速部署、按需分配、按需付費的高安全與高可靠的計算能力以及存儲能力租用服務，并可為應用提供開放的云基礎(chǔ)設(shè)施服務接口，用戶可以根據(jù)業(yè)務需求靈活定制租用相應的基礎(chǔ)設(shè)施資源.IaaS:無論是SaaS、PaaS還是IaaS，其核心概念都是為用戶提供按需服務。于是產(chǎn)生了“一切皆服務”（EverythingasaService，EaaS或XaaS）的理念?；谶@種理念，以云計算為核心的創(chuàng)新型應用不斷產(chǎn)生。云計算與電子商務結(jié)合產(chǎn)生的電子外包就是前景看好的應用之一。13云計算的工作原理在典型的云計算模式中，用戶通過終端接入網(wǎng)絡(luò)，向“云”提出需求；“云”接受請求后組織資源，通過網(wǎng)絡(luò)為“端”提供服務。用戶終端的功能可以大大簡化，諸多復雜的計算與處理過程都將轉(zhuǎn)移到終端背后的“云”上去完成。用戶所需的應用程序并不需要運行在用戶的個人電腦、手機等終端設(shè)備上，而是運行在互聯(lián)網(wǎng)的大規(guī)模服務器集群中；用戶所處理的數(shù)據(jù)也無需存儲在本地，而是保存在互聯(lián)網(wǎng)上的數(shù)據(jù)中心里。云計算技術(shù)體系結(jié)構(gòu)15從技術(shù)層面上講，云計算基本功能的實現(xiàn)取決于兩個關(guān)鍵的因素：1：數(shù)據(jù)的存儲能力2：分布式的計算能力因此，云計算中的“云”可以再細分為“存儲云”和“計算云”，也即“云計算=存儲云+計算云”。存儲云：大規(guī)模的分布式存儲系統(tǒng)；計算云：資源虛擬化+并行計算并行計算的作用是首先將大型的計算任務拆分，然后再派發(fā)到云中節(jié)點進行分布式并行計算，最終將結(jié)果收集后統(tǒng)一整理，如排序、合并等。

虛擬化最主要的意義是用更少的資源做更多的事。在計算云中引入虛擬化技術(shù)，就是力求能夠在較少的服務器上運行更多的并行計算，對云計算中所應用到的資源進行快速而優(yōu)化的配置等。云計算的關(guān)鍵技術(shù)16云計算的優(yōu)點：

更低的成本，包括用戶終端、IT基礎(chǔ)設(shè)施和軟件；更高的性能，包括增強的計算能力、無限的存儲容量和增強的數(shù)據(jù)安全；改進操作系統(tǒng)和文件格式之間的兼容性；即時的軟件更新，更少的維護問題；消除了對特定設(shè)備的依賴；更容易的群組協(xié)作；對文檔的普適訪問以及最新文檔版本的可用性；

云計算的缺點:需要持久的因特網(wǎng)連接；低速連接時效果差；可能是緩慢的；功能可能是有限的；可能存在不兼容的情況；存儲的數(shù)據(jù)也許不安全甚至莫名其妙的消失；

……云計算的優(yōu)缺點17云計算應用存在的主要問題安全：是云計算面臨的首要問題。云計算意味著企業(yè)將把類似客戶信息這類具有很高商業(yè)價值的數(shù)據(jù)存放到云計算服務提供商的手中，信息的安全性和私密性是用戶最為關(guān)心的事情。對于嚴重依賴云計算的個人或企業(yè)用戶，一旦服務提供商出現(xiàn)安全問題，他們存儲在云中的數(shù)據(jù)可能會被長期遺忘在某個角落里甚至像石沉大海般消失得無影無蹤.技術(shù)：建立云計算系統(tǒng)是一個技術(shù)挑戰(zhàn)。必須購買或征用數(shù)百或數(shù)千臺個人電腦或服務器并將它們聯(lián)在一起進行并行管理，并且需要開發(fā)功能豐富的軟件以提供24×7的Web應用。此外，目前眾多云計算服務提供商各自云計算服務的技術(shù)和標準還不統(tǒng)一，用戶在選擇時面臨不少困惑。經(jīng)濟：建立云計算服務花費巨大，只有大公司才可能夠承擔如此大規(guī)模的資源，那么這些提供云計算服務的公司如何獲得足夠的回報將是一個重要的問題。畢竟企業(yè)對于現(xiàn)有本地數(shù)據(jù)和業(yè)務往往已經(jīng)建立了專有的數(shù)據(jù)中心，是否遷移以及如何以更低成本何遷移到云計算平臺之中是個不小的困擾。18網(wǎng)絡(luò)：持久的寬帶互聯(lián)網(wǎng)接入是云計算成功運行的基本前提，但是目前接入是網(wǎng)絡(luò)發(fā)展最主要的瓶頸。有賴于政府和企業(yè)投入更多的資源來提高接入的帶寬和質(zhì)量。兼容性：用戶已經(jīng)習慣于現(xiàn)有的操作系統(tǒng)和文件系統(tǒng)，云計算要實現(xiàn)跨平臺的服務，就必須保證現(xiàn)有文件格式與未來基于Web應用的文件格式能夠兼容，否則很難使大多數(shù)用戶向云計算遷移。19什么是存儲云，及其存儲服務類型？備份服務歸檔服務存儲容器服務記錄管理服務STORAGECLOUD通用目的性能或成本優(yōu)化數(shù)據(jù)保護變量恢復數(shù)據(jù)保持長期

和安全記錄優(yōu)化合規(guī)和永恒性在$/GB基礎(chǔ)上的存儲可用性，通過豐富的SLAs來提供輔助的即需即供的存儲容量。在高可用性、可靠性、連續(xù)性或增量備份很重要的場合，為業(yè)務連續(xù)性進行數(shù)據(jù)備份?？赡軙▓鐾夂顽R像備份。為長期的資產(chǎn)或信息管理建立歸檔。能為諸如醫(yī)療影像或記錄、M&E視頻歸檔、政府記錄/歸檔、保健藥劑研究、氣象預測歸檔等垂直行業(yè)提供特定實施。數(shù)據(jù)存檔和保持，用于法規(guī)遵從、風險緩釋，或在成本和信息生命周期管理很重要的場合留作參考。20云存儲的關(guān)鍵要素房間規(guī)劃和設(shè)施共享客房管理–House-keeping預訂、訂價/帳單、營銷存儲資源和服務存儲空間：高速、大容量、磁帶存儲形式：塊設(shè)備(邏輯卷)、文件系統(tǒng)數(shù)據(jù)保護：備份/恢復、災備…存儲管理存儲自動化：資源部署存儲優(yōu)化：重刪、壓縮、瘦供給存儲虛擬化生命周期管理：數(shù)據(jù)遷移…SVCSoNASCFS服務管理

用戶使用界面服務生命周期流程計量和結(jié)算角色和權(quán)限SLA管理TSMTPC21存儲云與傳統(tǒng)存儲平臺的區(qū)別塊存儲云文件存儲云塊存儲用戶文件存儲用戶LUN,iSCSILUNTargetsPOSIX(NFS,CIFS,WebDAV),快速為用戶部署存儲空間按實際用量計費降低存儲成本(存儲共享，重復數(shù)據(jù)刪除，數(shù)據(jù)壓縮)系統(tǒng)管理簡單彈性擴展22存儲云實現(xiàn)的考慮因素數(shù)據(jù)服務的對象：公共存儲云還是私有存儲云？存儲數(shù)據(jù)服務的種類：塊存儲還是文件存儲？性能和吞吐量：對性能要求比較高的應用，如OLTP，服務器與存儲云應該放在一起，避免網(wǎng)絡(luò)延遲帶來的影響。高可用性:99.999%的可用性需要可靠的硬件，更需要有效的系統(tǒng)管理手段數(shù)據(jù)安全：如何保障公共存儲云上數(shù)據(jù)的安全性？數(shù)據(jù)加密？實現(xiàn)途徑：建設(shè)/購買，租用23構(gòu)建一個私有存儲云要求將你的存儲基礎(chǔ)架構(gòu)“云化”整合物理架構(gòu)共享資源自助式服務,按使用量付費,多租戶自動化配置,ILM,HA/DR,管理優(yōu)化高效運營虛擬化提高使用率CLOUDready高效的數(shù)據(jù)中心要求通過整合、虛擬化、優(yōu)化來實現(xiàn)高效存儲踏上云交付模式之旅24存儲云的框架物理設(shè)備層設(shè)備管理層數(shù)據(jù)管理層服務接入層高可用性數(shù)據(jù)在線遷移數(shù)據(jù)備份數(shù)據(jù)歸檔數(shù)據(jù)合規(guī)重復數(shù)據(jù)刪除內(nèi)容管理專用APINFSCIFSLUN/iSCSILUNWebDAV數(shù)據(jù)安全信息挖掘存儲資源部署存儲云用戶Tier-1DiskTier-2DiskTier-3DiskSANSwitchTape塊存儲云(LUN服務)文件存儲云(文件服務)數(shù)據(jù)快照應用相關(guān)性0100存儲虛擬化25塊存儲云主機擁有“虛擬”盤容量再分配變得更加容易可以推遲購買容量，直至SAN物理容量達到出發(fā)點數(shù)據(jù)根據(jù)策略實現(xiàn)自動遷移主機系統(tǒng)和應用不受影響通用的拷貝API，SAN-wide，當存儲硬件變化時不受影響拷貝目標可以是低成本的磁盤，從而降低拷貝服務的總成本GreenFlexibleAvailableOptimizeSimplify存儲池化高應用可用性靈活的拷貝服務26CIFSClientsHTTPClientsFTPClientsNFSClientsManagementNodeInterfaceNode......IPNetworkTapeInterfaceNodeStoragePodStoragePodStoragecontrolleranddiskSCPClients....InterfaceNodeGlobalNamespaceStoragecontrolleranddiskStoragecontrolleranddiskStoragecontrolleranddiskStorageNodeStorageNodeStorageNodeStorageNodeInfinibandDataNetworkIPMgmt.Network為用戶的各類服務器/操作系統(tǒng)環(huán)境提供文件存儲服務海量的彈性擴展能力，支持TB與PB級數(shù)據(jù)量和數(shù)十億個文件存儲的物理結(jié)構(gòu)對用戶透明全局命名空間自動實現(xiàn)文件生命周期管理高性能可用性高文件存儲云27IBM的STGIaaS云平臺架構(gòu)CloudFoundationStack/TSAM部署TPM/BPApp云計算服務管理平臺服務請求&操作IT基礎(chǔ)架構(gòu)和應用提供者服務創(chuàng)建和實現(xiàn)設(shè)計&創(chuàng)建映像庫安裝映像的運作虛擬映像管理終端用戶請求&操作員…服務目錄用戶請求界面用戶操作界面計費ITUAM/BPApp監(jiān)控ITM/BPApp認證ITDS/LDAP單一平臺虛擬資源聚合POWER網(wǎng)絡(luò)物理資源刀片存儲虛擬化技術(shù)跨平臺虛擬化管理(SystemDirector/VMControl)SystemzSystemx27虛擬網(wǎng)絡(luò)虛擬存儲SoNAS虛擬服務器28企業(yè)級的云管理平臺測試/開發(fā)云等的門戶用戶自服務云管理員WEB2.0用戶界面RESTAPI

服務自動化模板部署管理

流程自動化引擎預訂部署工作流服務器網(wǎng)絡(luò)存儲應用鏡像管理VMWare,XEN,KVM,PowerVM,z/VM。。。虛擬化服務器/存儲/網(wǎng)絡(luò)物理平臺及虛擬化技術(shù)數(shù)據(jù)模型DCM運維管理產(chǎn)品ITM（監(jiān)控）,ITUAM（計費）。。。服務請求管理28輕量級的云管理平臺設(shè)計的關(guān)鍵點…占用空間小模塊化可擴展客戶價值容易上手，快速的價值實現(xiàn)降低IT管理與資源管理成本更高效的服務器利用與整合靈活供給模塊SLA與工作負載策略計量與核對核心功能…STG系統(tǒng)的云管理服務Power系統(tǒng)和X86的云管理STG平臺上云終端用戶與云管理員的自助服務接口靈活供給：虛擬機(VM)與baremetal供給基于SLA策略的STG系統(tǒng)云的負載分配與使用基于標準的IaaSAPI支持開放的擴展性集成的計量與審計核心組件存儲即服務-RESTAPIBSS(業(yè)務支撐系統(tǒng))OSS(操作支撐系統(tǒng))管理UI工具集基礎(chǔ)服務架構(gòu)靈活供給客制化UI通過RESTAPI實現(xiàn)可擴展硬件抽象接口發(fā)現(xiàn)和資源服務30存儲資源虛擬化精簡配置數(shù)據(jù)壓縮重復數(shù)據(jù)刪除自動層級自動數(shù)據(jù)遷移構(gòu)建存儲云的關(guān)鍵技術(shù)將數(shù)據(jù)轉(zhuǎn)移到適當?shù)奈恢美矛F(xiàn)有資源存儲更多數(shù)據(jù)去除多余的數(shù)據(jù)壓縮通過減少處理的數(shù)據(jù)量來提高吞吐量，縮短響應時間。改進聯(lián)機存儲優(yōu)化，顯著降低成本。透明地壓縮主存儲空間，最高可達80%。去重消除冗余數(shù)據(jù)，提高敏捷性，增強面對瞬息萬變市場情況的反應能力。改善備份和恢復性能，保持每秒1,000MB（或更高）的內(nèi)聯(lián)式去重速度。自動分層更智能化地存儲信息，幫助降低成本，縮短訪問時間。有效利用固態(tài)驅(qū)動器以提升關(guān)鍵應用程序的性能，最高可達200%。將次重要的數(shù)據(jù)遷移至成本更低的介質(zhì)，以降低成本。虛擬化存儲邏輯地聚集磁盤存儲產(chǎn)品，以便在應用程序和用戶間高效地分配容量?，F(xiàn)有存儲利用率提升多達30%移動和管理數(shù)據(jù)，以便可以為硬件提供服務，而無需打斷用戶的操作。自動精簡配置通過隨需分配存儲空間，顯著改善可用存儲空間的利用率。優(yōu)化可用存儲空間的利用率。減少資本成本，同時降低對新存儲設(shè)備的需求。31數(shù)據(jù)中心的云基礎(chǔ)架構(gòu)–實例ServerHardwareVMHypervisorVMPlatform&VirtualizationCloudManagementArchitectureStorageHardwareStoragePlatform&VirtualizationGoogle云計算關(guān)鍵技術(shù)Google文件系統(tǒng)GFS(GoogleFileSystem)并行數(shù)據(jù)處理MapReduce結(jié)構(gòu)化數(shù)據(jù)表BigTable分布式鎖管理ChubbyMapReduceBigTableGFSChubbyGoogle文件系統(tǒng)(GFS)Google

48%MSN

19%Yahoo

33%客戶端客戶端客戶端互為備份管理節(jié)點GFS主節(jié)點GFS主節(jié)點C0C1C2C5數(shù)據(jù)結(jié)點1C0C2C5數(shù)據(jù)結(jié)點NC1C5數(shù)據(jù)結(jié)點2…客戶端客戶端客戶端客戶端客戶端客戶端C12010年，由于數(shù)據(jù)中心和遠程通信網(wǎng)絡(luò)的快速增長，使得用電量激增，從而對氣候變暖產(chǎn)生極大的負面影響。到2020年，數(shù)據(jù)中心將消耗的電力資源，比法國、德國、加拿大和巴西目前消耗的電力總量還要多。綠色和平組織的報告云計算給用戶體驗帶來的革命小小終端=超級計算機更加智能的服務如影隨行的私人數(shù)據(jù)中心服務器永遠不會塞車90%Off的價格信息隨手可得計算智能將大幅提升淘寶分布式數(shù)據(jù)處理云可靠性研究小組云可靠性研究小組云操作系統(tǒng)WebQQ2.0

騰訊PaaS百度框計算44新浪SinaAppEngine云計算熱點46云計算的熱點問題云計算安全云數(shù)據(jù)中心建設(shè)云計算的能源問題云計算平臺云計算應用云計算標準云計算的熱點問題云計算安全云數(shù)據(jù)中心建設(shè)云計算的能源問題云計算平臺云計算應用云計算標準云計算的安全威脅與應對安全挑戰(zhàn)數(shù)據(jù)泄漏數(shù)據(jù)所有權(quán)失控虛擬機隔離性DOS攻擊惡意代碼ARP攻擊內(nèi)部人員越權(quán)應對措施虛擬機隔離加密數(shù)據(jù)數(shù)據(jù)校驗安全傳輸最小權(quán)限控制安全認證增強監(jiān)控云計算的熱點問題云計算安全云數(shù)據(jù)中心建設(shè)云計算的能源問題云計算平臺云計算應用云計算標準云數(shù)據(jù)中心開源與普通數(shù)據(jù)中心相比，F(xiàn)acebook數(shù)據(jù)中心的能效高38%，建造成本低24%。云數(shù)據(jù)中心開源俄勒岡州普林維爾(Prineville)云數(shù)據(jù)中心開源云計算的熱點問題云計算安全云數(shù)據(jù)中心建設(shè)云計算的能源問題云計算平臺云計算應用云計算標準云計算的能源問題AtlanticWindConnection(大西洋風力傳輸，AWC)計劃。總成本約50億美元，Google將提供該