第6講-hcm-云計算技術(shù)原理-2016.10.15 -數(shù)據(jù)處理-云計算課件

2016-2017學(xué)年秋季研究生選修課程

云計算技術(shù)原理

CloudComputing:PrinciplesandTechnologies教學(xué)組：胡春明,沃天宇,林學(xué)練,李建欣,李博2016年9月3日下午13:00-15:45一215?ACT2011-2013內(nèi)容提要1概述2數(shù)據(jù)批處理（BatchProcessing）MapReduceSpark3圖計算（GraphComputing）Pregel,GraphLab4流式計算（StreamProcessing）Storm,S4,D-Stream,KineoGraph,Naiad21.概述數(shù)據(jù)處理收集和操作數(shù)據(jù)，產(chǎn)生有意義的信息Collectionandmanipulationofitemsofdatatoproducemeaningfulinformation數(shù)據(jù)處理的過程預(yù)處理：清洗、驗證（Validation）、排序聚合、摘要報表（reporting）交互分析與可視化3共性需求：并行化Parallelism問題分解任務(wù)級并行：關(guān)注如何在多個計算節(jié)點上通過進(jìn)程或線程實現(xiàn)任務(wù)的分布式執(zhí)行數(shù)據(jù)并行：關(guān)注在并行計算節(jié)點之間的數(shù)據(jù)分布并發(fā)進(jìn)程的交互共享存儲（內(nèi)存）消息傳遞（MessagePassing）4并行化的Law5Amdahl’sLaw6G.M.Amdahl在1967年提出了Amdahl’slawAmdahl’slaw是一個fixed-sizemodelm是并行處理的節(jié)點個數(shù)f為并行計算部分所占據(jù)的比例Amdahl’sLaw7Gustafson’sLaw直到1988年，Gustafson提出了一個fixed-timemodel，也即Gustafson’sLaw，人們對重拾對大規(guī)模并行計算的信心。Gustafson’sLaw可表示為以下公式：8對一個在單處理機上的工作w，我們將其擴(kuò)大到m個核上，scaledworkload為w’=(1-f)w+fmw。對在串行條件下對w’的處理時間比上在并行條件下對w’的處理時間即為Speedup。Gustafson’sLaw9共性需求：容錯（FT）可靠消息可靠的任務(wù)狀態(tài)任務(wù)狀態(tài)的持久化任務(wù)檢測與重調(diào)度任務(wù)檢查點10內(nèi)容提要1概述2數(shù)據(jù)批處理（BatchProcessing）MapReduceSpark3圖計算（GraphComputing）Pregel,GraphLab4流式計算（StreamProcessing）Storm,S4,D-Stream,KineoGraph,Naiad11批處理例子：WordCountInverseLinkTextAnalysis特征：被處理的數(shù)據(jù)量總量巨大計算邏輯簡單對每一小部分?jǐn)?shù)據(jù)的處理與其他處理無關(guān)12MapReduceGoogle在ODSI2004的論文來源于函數(shù)式程序設(shè)計用于大規(guī)模的數(shù)據(jù)處理開源實現(xiàn)：ApacheHadoop13MR的編程模型14MR的工作原理及瓶頸15例子：WorldCount16并行，Shuffle17Hadoop中的Shuffle,排序，Reduce18Combiner在每個Map節(jié)點上執(zhí)行mini-reduce可以顯著減少中間數(shù)據(jù)的產(chǎn)生進(jìn)而減少不必要的磁盤和I/O操作19用戶自定義的數(shù)據(jù)分區(qū)按范圍分區(qū)

RangePartitioning哈希分區(qū)HashPartitioning其他：結(jié)合應(yīng)用問題的特征，進(jìn)行優(yōu)化20內(nèi)容提要1概述2數(shù)據(jù)批處理（BatchProcessing）MapReduceSpark3圖計算（GraphComputing）Pregel,GraphLab4流式計算（StreamProcessing）Storm,S4,D-Stream,KineoGraph,Naiad21內(nèi)容提要1概述2數(shù)據(jù)批處理（BatchProcessing）MapReduceSpark3圖計算（GraphComputing）Pregel,GraphLab4流式計算（StreamProcessing）Storm,S4,D-Stream,KineoGraph,Naiad22謝謝！辦公室：新主樓G1119，電話：82339679電子郵件：hucm@第一部分內(nèi)容提要課程概況什么是云計算云計算的商業(yè)模式云計算有什么可研究的？云計算的標(biāo)準(zhǔn)化小結(jié)25課程概況課程時間、地點32學(xué)時，8次課程,9月3日-10月29日：每周六下午16:00-17:45地點：一215課程目的掌握“云計算”的概念掌握支撐云計算的關(guān)鍵技術(shù)原理了解云計算相關(guān)技術(shù)面臨的挑戰(zhàn)和研究熱點課程定位研究生專業(yè)選修課：Overview+Research-oriented講解為主；課下查閱資料、論文分析、實驗鼓勵形成2-3人的論文分析小組開展聯(lián)合研究26課程概述課程考核方式平時：20%鼓勵平時上課時積極提出問題、參與討論（點名，小作業(yè)）小組論文報告：30%每小組1次，選擇論文做15分鐘報告提交時間：每次課程前分組實驗：50%選擇四個實驗之一，分組完成實驗內(nèi)容，撰寫實驗報告(1)虛擬機實驗/DOCKER容器實驗(2)基于OSS的文件系統(tǒng)(3)Hadoop搭建及MR編程(4)Storm搭建及流式數(shù)據(jù)處理編程27聯(lián)系方式課程的交流方式郵件為主：請決定選課的同學(xué)發(fā)郵件到hucm@，確認(rèn)注冊所有課程相關(guān)信息、課件通過郵件發(fā)送課程網(wǎng)站：由ACT實驗室提供支持，發(fā)布課程的ppt，輔助資料等指導(dǎo)教師聯(lián)系方式辦公室：新主樓G1119/G506辦公室電話：82339679，手機疑/討論：每周一下午16:00，提前預(yù)約課程內(nèi)容和安排日期課程主題主要內(nèi)容備注9.3云計算概述云計算概述9.10專題(1-2)系統(tǒng)虛擬化、輕量級容器虛擬化安全、虛擬網(wǎng)絡(luò)與SDNVMM,Container9.17專題(3-4)分布式系統(tǒng)概述分布式存儲技術(shù)SQL,NoSQL,NewSQL

9.24

出差調(diào)課10.1,10.8

十一放假10.15專題(5)并行數(shù)據(jù)處理技術(shù)(1/2)Hadoop,Storm10.22專題(6)數(shù)據(jù)中心與資源調(diào)度10.29專題(7)云端融合與桌面虛擬化課程總結(jié)第一部分內(nèi)容提要課程概況什么是云計算云計算的商業(yè)模式云計算有什么可研究的？云計算的標(biāo)準(zhǔn)化小結(jié)云計算是什么？/watch/07380680682911788753.html?page=videoMultiNeed30課堂討論你所知道的云應(yīng)用、云服務(wù)

（從滿足應(yīng)用需求角度）他們有什么共性？31云計算的概念云計算的概念云計算：一個古老的想法把計算作為公用基礎(chǔ)設(shè)施

計算能力在未來將成為公共設(shè)施——云計算概念的起源JohnMcCarthy1961提出：

Salesforce

70s200020101999AmazonWS20012006FoundationOnlineCRM典型案例AmazonEC2GoogleGoogleApps2008MicrosoftAzure2010MicrosoftEtc.IBM2009CloudBurst云計算的概念云計算：一個古老的想法把計算作為公用基礎(chǔ)設(shè)施云計算服務(wù)：一種公共基礎(chǔ)設(shè)施服務(wù)云計算服務(wù)提供商應(yīng)用服務(wù)提供商用戶云技術(shù)供應(yīng)商云計算的概念云計算：一個古老的想法把計算作為公用基礎(chǔ)設(shè)施云計算服務(wù)：一種公共基礎(chǔ)設(shè)施服務(wù)從硬件的角度，云用戶可以按需獲取看似無限的計算資源，而不需要復(fù)雜的資源規(guī)劃消除云用戶的事先投入，按需求增加硬件資源以很短的時間為單位付費使用資源公用計算（UtilityComputing）“公用計算”是一直以來的夢想UtilityComputing的幾次嘗試第一次：1960s:Multics“公用計算”是一直以來的夢想UtilityComputing的幾次嘗試第一次：1960s:Multics第二次：1995-2005:GridComputing“公用計算”是一直以來的夢想UtilityComputing的幾次嘗試第一次：1960s:Multics第二次：1995-2005:GridComputing第三次：2008-:云計算MainframeClient/ServerNetworkComputingVirtual

Computing

EnvironmentIBM:IT15年周期觀點IBM前首席執(zhí)行官LouisGerstner認(rèn)為：計算模式每隔15年發(fā)生一次變革1980年前后以PC的普及為標(biāo)志1965年前后的變革以大型機為標(biāo)志1995年前后則發(fā)生了互聯(lián)網(wǎng)革命計算機技術(shù)的發(fā)展歷史計算機硬件的發(fā)展(1)ENICA(1946.2.15),“埃尼阿克”UniversityofPennsylvania龐然大物18000個電子管1500個繼電器等器件總體積約90立方米重達(dá)30噸占地170平方米一間30多米長的房間耗電量為140千瓦每秒5000次加法，或者400次乘法一條炮彈的軌道用20秒鐘就算出來計算機技術(shù)的發(fā)展歷史計算機硬件的發(fā)展(2)VonNeumann結(jié)構(gòu)和EDVAC方案(1950)計算機硬件的發(fā)展(3)IBMSystem/360(1964),S/370(1970)現(xiàn)代意義的“大型機”,以集成電路作為主要元件操作系統(tǒng)、編譯系統(tǒng)和應(yīng)用程序與硬件逐步分離，形成“軟件”的概念多道程序，分時系統(tǒng)計算機技術(shù)的發(fā)展歷史計算機技術(shù)的發(fā)展歷史計算機硬件的發(fā)展(4)Intel4004(1971.11.15)大規(guī)模集成電路時代Intel80083500個晶體管,主頻0.5MHz計算機技術(shù)的發(fā)展歷史計算機硬件的發(fā)展(5)Altair8800微機(1974)第一臺“個人用計算機”IBMPCAT/XT(1981)PersonalComputerIntel8088/MSDOS第一個月的訂貨超過24萬臺造就了一個PC時代發(fā)展歷史計算機硬件的發(fā)展(6)Top500(2012/11):1st:Titan–Cray:

17.59PFlops,PEAK(峰值):27.33

PFlops

560,640Cores8th:天河1號

2.57PFlops,PEAK(峰值):4.7

PFlops

186,368Cores發(fā)展歷史計算機硬件的發(fā)展(6)Top500(2012/12):1st:Titan–CrayCluster是高性能計算的主流

“計算”向“云/網(wǎng)絡(luò)”的變遷單機多機協(xié)同處理緊耦合松耦合簡單通信協(xié)同MainframeClient/ServerNetworkComputingVirtual

Computing

EnvironmentApplicationsProcessingData網(wǎng)絡(luò)化普適化智能化傳統(tǒng)的并行、分布計算以一臺集群計算機為邊界MPI:消息通信的編程接口能否讓多臺計算機聯(lián)合起來求解一個大問題?元計算：1995年:I-WAY的Dream網(wǎng)格計算Grid–本意為“電力網(wǎng)”電力網(wǎng)的特征并網(wǎng)發(fā)電：發(fā)電與用電的廣域分布統(tǒng)一管理：統(tǒng)一調(diào)度，統(tǒng)一監(jiān)控，統(tǒng)一配置電網(wǎng)、送電、變電利用基礎(chǔ)設(shè)施簡化終端用戶使用透明性，按需分配（ServiceOnDemand）復(fù)雜的服務(wù)質(zhì)量要求：能力預(yù)留、綜合調(diào)度網(wǎng)格計算Grid–本意為“電力網(wǎng)”計算網(wǎng)格電力vs計算力進(jìn)一步抽象：計算機資源大容量存儲器資源大量信息、知識資源算法、例程、特定軟件資源電力vs???資源能力ResourceCapacity什么是網(wǎng)格（續(xù)）網(wǎng)格：一種在廣域環(huán)境下的新型分布計算模式對比：RPC?Client/Server?本質(zhì)上是一種：Client/ServerNetwork的計算模式目標(biāo)：做好兩件事資源共享：Server的能力如何共享，并支持邏輯上的集中管理協(xié)同問題求解：Server之間如何協(xié)議以實現(xiàn)復(fù)雜的應(yīng)用需求網(wǎng)格計算的幾個例子：DataGridLHC:大型強子對撞機GRIDTutorial

-HowtouseLCG4experiments:ATLAS

Alice

CMS

LHCb27kmlongpipe網(wǎng)格計算的幾個例子：DataGrid目前集成了33個國家的140個計算中心2008年執(zhí)行1億個計算任務(wù)網(wǎng)格計算的幾個例子：DataGridTier2Centre~1TIPSOnlineSystemOfflineProcessorFarm~20TIPSCERNComputerCentreFermiLab~4TIPSFranceRegionalCentreItalyRegionalCentreGermanyRegionalCentreInstituteInstituteInstituteInstitute~0.25TIPSPentiumII300MHzPentiumII300MHzPentiumII300MHzPentiumII300MHzPhysicistworkstations~100MBytes/sec~100MBytes/sec~622Mbits/sec~1MBytes/secHPSSHPSSThereisa“bunchcrossing”every25nsecs.Thereare100“triggers”persecondEachtriggeredeventis~1MByteinsizePhysicistsworkonanalysis“channels”.Eachinstitutewillhave~10physicistsworkingononeormorechannels;dataforthesechannelsshouldbecachedbytheinstituteserverPhysicsdatacache~PBytes/sec~622Mbits/secorAirFreight(deprecated)HPSSHPSSHPSSTier2Centre~1TIPSTier2Centre~1TIPSTier2Centre~1TIPSCaltech~1TIPS~622Mbits/secTier0Tier1Tier2Tier41TIPSisapproximately25,000SpecInt95equivalents網(wǎng)格計算的幾個例子：SETI@HomeSETI@Home以及BOINC“公用計算”是一直以來的夢想UtilityComputing的幾次嘗試第一次：1960s:Multics第二次：1995-2005:GridComputing第三次：2008-:云計算第一部分內(nèi)容提要課程概況什么是云計算云計算的商業(yè)模式云計算有什么可研究的？云計算的標(biāo)準(zhǔn)化小結(jié)云計算的服務(wù)模式？規(guī)模化，降低運營成本峰谷結(jié)合，提高資源利用率更精細(xì)的產(chǎn)業(yè)分工，降低創(chuàng)新門檻數(shù)據(jù)匯聚，產(chǎn)生新的增長點云和大數(shù)據(jù)的結(jié)合61為什么會出現(xiàn)“云計算”需求牽引數(shù)據(jù)經(jīng)濟(jì)時代，需要處理存儲、處理海量數(shù)據(jù)為什么會出現(xiàn)“云計算”需求牽引數(shù)據(jù)經(jīng)濟(jì)時代，需要處理存儲、處理海量數(shù)據(jù)精細(xì)化管理，對數(shù)據(jù)的處理需求進(jìn)一步提升天氣預(yù)報的例子：從預(yù)測一個區(qū)域到預(yù)測一個場館從預(yù)測未來一段時間到預(yù)測1-2小時以內(nèi)數(shù)據(jù)統(tǒng)計與數(shù)據(jù)挖掘、商業(yè)智能為什么會出現(xiàn)“云計算”需求牽引數(shù)據(jù)經(jīng)濟(jì)時代，需要處理存儲、處理海量數(shù)據(jù)精細(xì)化管理，對數(shù)據(jù)的處理需求進(jìn)一步提升IT維護(hù)和管理開支巨大，利用率低全球年IT支出(1996-2010)Source:IBMCorporateStrategyanalysisofIDCdata,Sept.2007GlobalAnnualITSpendingEstimatedUS$B1996-2010$0B50100150200250300199619971998199920002001200220032004200520062007200820092010NewServerSpendingServerMgtandAdminCostsPowerandCoolingCostsMicrosoft:DesktopTCOMicrosoft：IT基礎(chǔ)設(shè)施面臨的挑戰(zhàn)AgilityWeekstomonthspertaskSpace>50%ofenterprisesseeshortagesby2012*UtilizationAverage15-20%persystem*Power40%ofdatacentercost*為什么會出現(xiàn)“云計算”需求牽引數(shù)據(jù)經(jīng)濟(jì)時代，需要處理存儲、處理海量數(shù)據(jù)精細(xì)化管理，對數(shù)據(jù)的處理需求進(jìn)一步提升IT維護(hù)和管理開支巨大企業(yè)業(yè)務(wù)的突發(fā)性，需要更為靈活的IT基礎(chǔ)設(shè)施晝夜效應(yīng)大促公共事件IT業(yè)務(wù)的突發(fā)性業(yè)務(wù)負(fù)載的峰值很難預(yù)測如果你要運營一個這樣的Web服務(wù)IT業(yè)務(wù)的突發(fā)性業(yè)務(wù)負(fù)載的峰值很難預(yù)測如果你要運營一個這樣的Web服務(wù)真實的情況：2009.9.2520:00

一元秒殺IT業(yè)務(wù)的突發(fā)性即便可以正確預(yù)期高峰，如果缺乏彈性（快速可伸縮性），也很難真正降低IT成本為什么會出現(xiàn)“云計算”需求牽引數(shù)據(jù)經(jīng)濟(jì)時代，需要處理存儲、處理海量數(shù)據(jù)精細(xì)化管理，對數(shù)據(jù)的處理需求進(jìn)一步提升IT維護(hù)和管理開支巨大企業(yè)業(yè)務(wù)的突發(fā)性，需要更為靈活的IT基礎(chǔ)設(shè)施能否降低IT成本？外包，實現(xiàn)規(guī)模化云計算可能帶來的規(guī)模效益AmazonEC2每小時$0.1:出售1.0GHzx86ISA計算單元增加新的計算單元需要5-30分鐘AmazonS3存儲費用：每GB存儲$0.12-0.15/月訪問費用：每次訪問$0.12-0.15必須借助新的方法，而不是購買現(xiàn)成解決方案降低成本，實現(xiàn)規(guī)模經(jīng)濟(jì)云計算可能帶來的規(guī)模效益集中采購的規(guī)模效應(yīng)利用既有投資我們發(fā)現(xiàn)，云計算概念的主要提出者都是互聯(lián)網(wǎng)服務(wù)運營商（Google,Amazon）可帶來新的穩(wěn)定收入來源，分?jǐn)倲?shù)據(jù)中心成本同樣適用于Microsoft,IBM,Facebook……地區(qū)的電力價格差別電子vs光子目前云計算的數(shù)據(jù)中心多集中在電價相對偏低的地方杭州的數(shù)據(jù)中心自己運營還是云計算？但如果增加供電、散熱、運行費用……典型的“云計算”應(yīng)用場景77PublicCloudGovernmentServicesPrivateCloudITSe-HealthSmartCityIaaSProviderandConsumerisinthesameorganizationGovernmentAgencyasServiceProviderEnterpriseasServiceProviderProviderandConsumerisnotthesameorganizationPaaSSaaS云計算的概念開放標(biāo)準(zhǔn)規(guī)范使用者提供者開發(fā)者UI/API認(rèn)證

技術(shù)交互技術(shù)服務(wù)創(chuàng)建服務(wù)維護(hù)服務(wù)發(fā)布安全管理服務(wù)層資源平臺運營支撐管理計量計費服務(wù)水平協(xié)議能效管理負(fù)載管理部署管理虛擬資源管理物理資源管理資源池服務(wù)管理IaaSSaaS其它PaaS計算存儲網(wǎng)絡(luò)其它云計算的特征及模式云計算的服務(wù)模式IaaS,PaaS,SaaSIaaS:提供基礎(chǔ)設(shè)施

（計算、存儲、網(wǎng)絡(luò)）的虛擬化和云服務(wù)PaaS:提供支撐應(yīng)用的共性服務(wù)（中間件？）SaaS:提供軟件即時服務(wù)，解決軟件運營問題云計算的服務(wù)模式云計算的服務(wù)模式云計算的服務(wù)模式云計算的服務(wù)模式一些云計算體系的分層對比云計算的服務(wù)模式/trend/09/2009/10/25/6010.htmlGoogleAppEngineAmazonS3/EC2MicrosoftAzureGoogleGFS/MapReduce/BigTableSalesforceVMWarevSphere阿里云86云服務(wù)、云應(yīng)用提供商中國在實施云計算項目的城市截至2012年底，中國有超過20個城市有自己的云計算計劃87數(shù)據(jù)來源：/2013/subject/05-special02-zhaojinsen.pdf第一部分內(nèi)容提要課程概況什么是云計算云計算的商業(yè)模式云計算有什么可研究的？云計算的標(biāo)準(zhǔn)化小結(jié)云計算有什么可研究的呢？支撐“服務(wù)模式”的技術(shù)特征資源池化快速彈性支撐規(guī)?；枨蟠笠?guī)模分布式計算基礎(chǔ)設(shè)施數(shù)據(jù)中心資源調(diào)度支撐公用化需求隔離、安全、可信與應(yīng)用結(jié)合：特別是移動端89云計算的核心：網(wǎng)絡(luò)操作系統(tǒng)網(wǎng)絡(luò)操作系統(tǒng)資源管理：管理數(shù)據(jù)中心的硬件和數(shù)據(jù)資源應(yīng)用支撐：為應(yīng)用服務(wù)提供支持90“包括AmazonWebServices,GoogleAppEngine,orMicrosoftAzure在內(nèi)為開發(fā)者提供存儲和計算訪問的云計算平臺是正在涌現(xiàn)的Internet操作系統(tǒng)的核心”。數(shù)據(jù)中心資源IBM對全球2600位CIO的調(diào)查:互聯(lián)網(wǎng)基礎(chǔ)設(shè)施將在未來5年內(nèi)會顯示出不斷集中的趨勢91擁有20萬臺服務(wù)器。希望2011年增加到80萬臺。超過45萬臺服務(wù)器。分布在全球25個地方。

4萬臺服務(wù)器分布在6個區(qū)域之中數(shù)據(jù)中心是一臺計算機網(wǎng)絡(luò)成為計算和存儲的中心數(shù)據(jù)中心是“計算機”各種PC和移動設(shè)備成為新的終端（PC/NetBook/SmartPhone/Sensor）

DatacenterasaComputer數(shù)據(jù)中心正在成為互聯(lián)網(wǎng)環(huán)境下的“計算機”92數(shù)據(jù)中心是一臺計算機網(wǎng)絡(luò)形成虛擬計算環(huán)境按需訪問（OnDemand）

按用量付費（Payasyougo）93ComputingastheUtility計算成為公共服務(wù)1.4云計算的機遇與挑戰(zhàn):小結(jié)障礙機會1服務(wù)的可用性使用多個云供應(yīng)商；用彈性來對抗分布式拒絕服務(wù)攻擊2數(shù)據(jù)鎖定標(biāo)準(zhǔn)化API；實現(xiàn)軟件兼容以支持浪峰計算3數(shù)據(jù)保密和審核部署加密、VLAN、防火墻；地域分布數(shù)據(jù)存儲

4數(shù)據(jù)傳輸瓶頸硬盤速遞；數(shù)據(jù)備份/存檔；更高帶寬交換機5性能不可預(yù)測增強虛擬機支持；閃存；虛擬機采用組調(diào)度法6可擴(kuò)展存儲研發(fā)可擴(kuò)展存儲7大型分布式系統(tǒng)中的缺陷研發(fā)支持分布式虛擬機的調(diào)試程序8迅速縮放研發(fā)基于機器學(xué)習(xí)自動縮放器；使用快照來支持環(huán)保9責(zé)任共擔(dān)提供類似用于電子郵件的信譽保護(hù)服務(wù)10軟件授權(quán)“用多少付多少”式的授權(quán)；批發(fā)面臨的挑戰(zhàn)(1/5)規(guī)?；?低成本規(guī)?；幕A(chǔ)設(shè)施95技術(shù)小數(shù)據(jù)中心

(1K服務(wù)器)大數(shù)據(jù)中心

(400K服務(wù)器)比率網(wǎng)絡(luò)$95perMbps/Month$13per

Mbps/month7.1存儲$2.20perGB/Month$0.40perGB/month5.7管理~140servers/Administrator>1000Servers/Administrator7.1DataCenterestimatesfromJamesHamilton面臨的挑戰(zhàn)(2/5)在線服務(wù)、離線數(shù)據(jù)處理協(xié)同調(diào)度96在線電子商務(wù)服務(wù)離線數(shù)據(jù)分析規(guī)?；幕A(chǔ)設(shè)施面臨的挑戰(zhàn)(3/5)高可用運維保障97運行環(huán)境是互聯(lián)網(wǎng)應(yīng)用的立命之本IDC：有超過80%的企業(yè)認(rèn)為安全性、可用性和性能是云計算模型面臨的重大挑戰(zhàn)節(jié)點失效是數(shù)據(jù)中心常態(tài)硬盤、內(nèi)存、電源、交換機、網(wǎng)卡、空調(diào)等組件失效2009年2月24日，由于單一的數(shù)據(jù)中心維護(hù)，導(dǎo)致連鎖反應(yīng)，GoogleGmail電子郵箱爆發(fā)全球性故障，服務(wù)中斷時間長達(dá)4小時面臨的挑戰(zhàn)(4/5)多租戶共享的安全可信互聯(lián)網(wǎng)AppAppApp98支撐云計算的網(wǎng)絡(luò)操作系統(tǒng)面臨的挑戰(zhàn)(5/5)海量數(shù)據(jù)的商務(wù)智能99數(shù)據(jù)量大淘寶每天交易7千萬筆，產(chǎn)生10TB交易日志數(shù)據(jù)持續(xù)更新快數(shù)據(jù)關(guān)聯(lián)復(fù)雜用戶之間、商品之間、用戶和商品、交易記錄、商家高維特征復(fù)雜的數(shù)據(jù)挖掘，需要高效的數(shù)據(jù)挖掘算法e.g.上百萬維的典型商品推薦算法關(guān)鍵的支撐技術(shù)?資源管理的技術(shù)數(shù)據(jù)中心，計算系統(tǒng)虛擬化，資源調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)，網(wǎng)絡(luò)虛擬化，SDN大規(guī)模存儲和數(shù)據(jù)處理架構(gòu)分布式存儲系統(tǒng)、文件系統(tǒng)分布式數(shù)據(jù)處理平臺云應(yīng)用開發(fā)基于平臺的軟件開發(fā)，遷移云平臺的安全與管理云端融合100GartnerHyperCurve(July2014)先進(jìn)交互腦機接口情感計算可穿戴用戶接口移動傳感語音識別生物傳感人體輔助全息顯示物聯(lián)網(wǎng)增強現(xiàn)實虛擬現(xiàn)實近場通信GartnerHyperCurve(July2014)先進(jìn)交互腦機接口情感計算可穿戴用戶接口移動傳感語音識別生物傳感人體輔助全息顯示數(shù)據(jù)智能業(yè)務(wù)分析智能推薦語音翻譯物聯(lián)網(wǎng)自然語言問答大數(shù)據(jù)內(nèi)容分析虛擬現(xiàn)實增強現(xiàn)實熱點事件流消費類車聯(lián)網(wǎng)應(yīng)用智能機器人數(shù)據(jù)科學(xué)自動駕駛近場通信GartnerHyperCurve(July2014)先進(jìn)交互腦機接口情感計算可穿戴用戶接口移動傳感語音識別生物傳感人體輔助全息顯示數(shù)據(jù)智能業(yè)務(wù)分析智能推薦物聯(lián)網(wǎng)自然語言問答大數(shù)據(jù)內(nèi)容分析虛擬現(xiàn)實增強現(xiàn)實熱點事件流消費類車聯(lián)網(wǎng)應(yīng)用計算技術(shù)軟件定義SDX智能機器人內(nèi)存計算/內(nèi)存數(shù)據(jù)庫語音翻譯數(shù)據(jù)科學(xué)自動駕駛混合云混合云復(fù)雜事件處理(CEP)近場通信云計算內(nèi)存分析(實時計算)GartnerHyperCurve2015104近期熱點混合云快速彈性、廣域遷移與新一輪的P2P輕量級容器及其隔離、調(diào)度VMvs.Container(LXC,Docker)新器件可能帶來的新機會內(nèi)存計算與實時計算新特點與新機會融合架構(gòu)與軟件定義服務(wù)器內(nèi)：融合計算異構(gòu)計算、融合計算云端融合云與段的再平衡，看云端融合熱點1混合云近期熱點1:混合云IaaSPaaSSaaS獨立企業(yè)運營，面向公眾公有云私有云獨立運營，面向組織內(nèi)部混合云定義：(美國國家標(biāo)準(zhǔn)與技術(shù)研究院NIST)通過標(biāo)準(zhǔn)或特定的技術(shù)，組合兩個或多個私有云/公有云形成的云基礎(chǔ)設(shè)施，使得數(shù)據(jù)和應(yīng)用可以在云間方便地遷移，以滿足突發(fā)的訪問量、數(shù)據(jù)安全等需求混合云為什么混合(峰值負(fù)載、安全）1.突發(fā)式混合：突發(fā)訪問量激增VM1VM2VM3公有云平臺VM1VM2私有云平臺Internet2.集群式混合：數(shù)據(jù)安全前提公有云平臺私有云平臺Web(VM1)App(VM2)DB(VM1)DB(VM2)Internet智慧交通北京城市交通需求，特殊天氣條件、大型活動等特殊時間段，城市智慧出行服務(wù)系統(tǒng)訪問量是日常的三倍訪問量激增MOOC教育混合云：高校內(nèi)課程的MOOC化，上千個教學(xué)資源部署應(yīng)用；優(yōu)質(zhì)教育資源向公眾學(xué)生開放公有云私有云隱私數(shù)據(jù)高校私有的MOOC課程，服務(wù)本校師生開放數(shù)據(jù)開放精品課程，服務(wù)公眾三種云部署特點對比公有云私有云混合云開放，可伸縮、成本低廉專用，數(shù)據(jù)安全、可控靈活，兼顧安全與彈性共享基礎(chǔ)設(shè)施上的虛擬服務(wù)器根據(jù)負(fù)載快速、自動地伸縮巨大的計算、存儲和帶寬資源專用基礎(chǔ)設(shè)施上的安全數(shù)據(jù)中心服務(wù)器和存儲按需擴(kuò)展固定成本和帶寬下的資源優(yōu)化使用專用/共享基礎(chǔ)設(shè)施的混合不同服務(wù)選擇最優(yōu)的基礎(chǔ)設(shè)施保障數(shù)據(jù)安全、控制成本初創(chuàng)企業(yè)、中小型機構(gòu)等成本考慮優(yōu)先于數(shù)據(jù)隱私大型機構(gòu)IT基礎(chǔ)設(shè)施投入巨大數(shù)據(jù)隱私極為關(guān)鍵對系統(tǒng)/數(shù)據(jù)的控制要求很強初創(chuàng)企業(yè)、大中小型機構(gòu)等數(shù)據(jù)隱私關(guān)鍵考慮成本/QoS最優(yōu)配置特征優(yōu)勢成本比例典型用戶亞馬遜、谷歌、蘋果云宕機/服務(wù)故障玩蟹科技放棄阿里云以私有云為基礎(chǔ)應(yīng)對訪問量突增在數(shù)據(jù)安全/可控下，降低成本混合云發(fā)展學(xué)術(shù)界2008年，出現(xiàn)“混合云”Hybridcloud概念2010年，開始受到學(xué)術(shù)界重視工業(yè)界世界著名供應(yīng)商的混合云平臺仍處于早期階段VMware：2013年秋天發(fā)布其公有/混合云平臺vCloudHybridCloudServiceRackspace：在基于OpenStack之上推出混合云服務(wù)RedHat則在混合云的跨平臺管理層面推出CloudForms工具、開放混合云平臺IBM、微軟、VMware等也推出了相應(yīng)的混合云解決方案工業(yè)界在混合云的公共平臺方面已有初步成果，尚沒有成熟的開源實現(xiàn)或產(chǎn)品混合云發(fā)展趨勢市場預(yù)測顯示近2年，70%的企業(yè)CIO將采納混合云方案2014-2015,68%的機構(gòu)會轉(zhuǎn)向混合云2017年底，近半數(shù)的大型企業(yè)將部署混合云2018年，全球混合云市場將達(dá)到795億美元美國《網(wǎng)絡(luò)世界》：2013年稱為混合云的元年111新興技術(shù)成熟度報告美國《今日商業(yè)》：2014年云計算領(lǐng)域十大預(yù)言中，包括混合云的部署應(yīng)用混合云已成為一種重要的云計算系統(tǒng)部署形態(tài)，

必將對相關(guān)技術(shù)研究和產(chǎn)業(yè)發(fā)展產(chǎn)生深刻影響?？赡艿难芯奎c一虛擬技術(shù)的異構(gòu)存儲格式的異構(gòu)磁盤：VMFS,qcow2,VDI,AHI數(shù)據(jù)：Block,Key/value資源管理的異構(gòu)特征1—異構(gòu)性混合云私有云公有云112挑戰(zhàn)一：如何建立異構(gòu)環(huán)境下的統(tǒng)一資源模型，實現(xiàn)統(tǒng)一資源管理及高效靈活的資源互操作？可能的研究點二資源管理與資源調(diào)度跨管理域：私有云管理模型和框架公有云管理模型和框架資源部署與應(yīng)用遷移跨網(wǎng)絡(luò)域：私有云局域網(wǎng)互聯(lián)網(wǎng)廣域網(wǎng)公有云局域網(wǎng)數(shù)據(jù)分布與資源訪問跨安全域：私有云安全域公有云安全域特征2—跨域性挑戰(zhàn)二：如何在跨域環(huán)境下，實現(xiàn)時效可接受的資源部署、應(yīng)用遷移、數(shù)據(jù)分布、以及應(yīng)用與數(shù)據(jù)的安全？混合云私有云公有云可能的研究點三虛擬網(wǎng)絡(luò)環(huán)境、QoS具有動態(tài)性虛擬網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、QoS持續(xù)變化虛擬網(wǎng)絡(luò)層資源負(fù)載具有不可預(yù)測性存在突發(fā)請求激增虛擬系統(tǒng)層虛擬機狀態(tài)、性能具有多變性虛擬機I/O性能、CPU占用等的動態(tài)多變虛擬資源層服務(wù)質(zhì)量和成本需求具有差異性不同公有云虛擬機價格、服務(wù)等級需求的差異性應(yīng)用服務(wù)層特征3—動態(tài)性114挑戰(zhàn)三：如何在動態(tài)變化的環(huán)境中實現(xiàn)資源狀態(tài)動態(tài)測量、資源調(diào)度策略優(yōu)化和按需調(diào)度？混合云私有云公有云熱點2輕量級容器工業(yè)屆對虛擬化技術(shù)的采用Gartner2008預(yù)計2013年60%負(fù)載將基于虛擬化技術(shù)Gartner2012普及率：50%的企業(yè)服務(wù)器支持虛擬化,

16%負(fù)載基于虛擬化技術(shù)部署預(yù)測：2016年中國70%的X86服務(wù)器負(fù)載基于虛擬化Gartner2013.82/3的服務(wù)器工作負(fù)載基于虛擬化技術(shù)基礎(chǔ)設(shè)施IaaS化是重要推動力，硬件虛擬化占核心核心價值：可管理性、快速提供和彈性輕量級虛擬化VM:HostOS沒有限制，但GuestOS有限制如果VM負(fù)載不可預(yù)測AmazonEC2,阿里云…全虛擬化，硬件模擬或直通如果VM負(fù)載可預(yù)測零距軟件、PaaS、Hadoop/SparkoverVM輕量級虛擬化Windows:FVMLinux:OpenVZ,LXC(cgroup)…Linux容器技術(shù)LXC:LinuxContainer對進(jìn)程分組（cgroupsubsystems）軟隔離、配額管理（quotamngt）進(jìn)程組對本地設(shè)備進(jìn)行直接訪問I/O瓶頸兼容基于Linux的彈性調(diào)度(mesos/yarn)基于LXC的虛擬資源調(diào)度與管理Docker(2013-)…想想iVIC2007基于LXC的虛擬資源調(diào)度與管理Docker(2013-)…想想iVIC2007基于LXC的虛擬資源調(diào)度與管理Docker(2013-)…想想iVIC2007構(gòu)建PaaS托管Web應(yīng)用應(yīng)用的封裝與遷移（同OS的）安全沙盒應(yīng)用部署自動化輕量級桌面虛擬化百度已在調(diào)研將核心數(shù)據(jù)處理業(yè)務(wù)遷入DockerI/O瓶頸，其他VM問題的翻版？此外，新器件可能帶來的機會芯片單芯片多核，核的數(shù)量持續(xù)上升：2012年IntelXeonPhi（60核）異構(gòu)計算，各類協(xié)處理器智能網(wǎng)卡、GPGPU、專用DSP加速、FPGA……存儲傳統(tǒng)內(nèi)存DRAM:最大可做到單服務(wù)器SSD（磁盤替代）、非易失存儲介質(zhì)（NVM）有很大遐想（PCM、FRAM）利用緩存加速應(yīng)用熱點3內(nèi)存計算與實時計算CEP、數(shù)據(jù)流應(yīng)用需求業(yè)務(wù)對實效性的要求大規(guī)模神經(jīng)網(wǎng)絡(luò)/KnowledgeGraph/PageRank計算：整個是一個大網(wǎng)絡(luò)，實效性要求高Realtime（時）Quality/Costbalance（效）Freshness（時效）時效計算與傳統(tǒng)離線計算等往往是一個業(yè)務(wù)的不同環(huán)節(jié)，需要“整合”資源利用率、動態(tài)調(diào)節(jié)增加時效的方法大量的內(nèi)存CacheMemcache、RamCloud內(nèi)存與計算節(jié)點的關(guān)系ShareAll,orShareNothing數(shù)據(jù)流驅(qū)動流式結(jié)構(gòu)特定應(yīng)用場景的軟硬結(jié)合，F(xiàn)PGA硬件輔助算法層面增量算法CEP、數(shù)據(jù)流應(yīng)用需求數(shù)據(jù)驅(qū)動的系統(tǒng)：BasicIdea:（新的思想）DataDriven，Guarded-ActionModel編程模型？指令集、微體系結(jié)構(gòu)（計算架構(gòu)）解耦合、容錯（減少人工干預(yù)）數(shù)據(jù)分布類型與數(shù)據(jù)傳輸模式是否影響？Pub/Sub網(wǎng)絡(luò):Flume,Scribe,Kafka流式數(shù)據(jù)處理框架：Storm,Spark。。。前端的IO處理：JS、負(fù)載均衡、連接池、異步非阻塞IO（存儲）多級緩存基于內(nèi)存的計算，優(yōu)化多級緩存的分部元數(shù)據(jù)？數(shù)據(jù)？（應(yīng)用驅(qū)動）各種實時業(yè)務(wù)，在數(shù)據(jù)處理范型上是否可以分類？實時、可加/不可加計算特點：Datadrivenmodel;guard-action基于內(nèi)存帶來的機會基于內(nèi)存帶來的機會基于內(nèi)存帶來的機會XoverVM:傳統(tǒng)虛擬化的I/O瓶頸可能通過在大內(nèi)存中的適當(dāng)Cache策略加以旁路兼顧虛擬化的可管理性，和特定類型分布式數(shù)據(jù)計算框架的高層抽象以Yarn,Mesos,Omega為基礎(chǔ)的資源池彈性管理與調(diào)度以Hadoop,Spark等為基礎(chǔ)的多種數(shù)據(jù)處理框架整合圖計算可能是特色軟硬結(jié)合+增量算法熱點4融合架構(gòu)及軟件定義X起源：網(wǎng)絡(luò)領(lǐng)域的軟件定義主動網(wǎng)絡(luò)/自適應(yīng)路由協(xié)議由網(wǎng)絡(luò)包決定如何路由和轉(zhuǎn)發(fā)以信息為中心的網(wǎng)絡(luò)：基于內(nèi)容的路由(CBR)SDN:軟件定義網(wǎng)絡(luò)2006年:美國GENI，Standford的CleanSlate課題提出OpenFlow（路由）的概念2008年：NickMcKeown發(fā)表OpenFlow論文，融合Ethane（安全策略）2009年：OpenFlow1.0規(guī)范發(fā)布2011年：與Google、Facebook、NTT、Verizon、德國電信、微軟、雅虎等成立開放網(wǎng)絡(luò)基金會ONF2012年：完成了從實驗技術(shù)向網(wǎng)絡(luò)部署的重大跨越，谷歌宣布其主干網(wǎng)絡(luò)已經(jīng)全面運行在OpenFlow上，Nicira以12.6億被VMware收購2013年：863部署SDN項目從SDN到SDXSDN或SDx的核心軟件（策略）定義行為控制平面和數(shù)據(jù)（業(yè)務(wù)）平面分離：“軟件”動態(tài)耦合，按需分配概念的泛化Rack內(nèi)部：融合計算，按需組裝和隔離數(shù)據(jù)中心（分布式系統(tǒng)）：軟件定義存儲軟件定義計算基礎(chǔ)設(shè)施Rack內(nèi)部的融合架構(gòu)浪潮/曙光：云服務(wù)器融合架構(gòu)輕量處理單元通用處理單元可重構(gòu)處理單元電源子系統(tǒng)散熱子系統(tǒng)數(shù)據(jù)互連單元業(yè)務(wù)互連單元控制互連單元管理子系統(tǒng)動態(tài)可重構(gòu)的異構(gòu)體系結(jié)構(gòu)

異構(gòu)

面向不同業(yè)務(wù)負(fù)載，構(gòu)建異構(gòu)的處理單元

高效的通用處理單元集簇，精簡的輕量處理單元集簇，高性能的可重構(gòu)處理單元集簇

層次式通用處理集簇作為主要的服務(wù)接口和各類系統(tǒng)應(yīng)用的匯聚層

輕量級和可重構(gòu)處理集簇作為系統(tǒng)中的海量并發(fā)業(yè)務(wù)處理層系統(tǒng)在匯聚層和并發(fā)業(yè)務(wù)處理層選擇資源構(gòu)成層次式硬件平臺支撐海量并發(fā)云應(yīng)用

動態(tài)可重構(gòu)(FPGA)資源可快速進(jìn)行細(xì)粒度分割并池化，系統(tǒng)通過互連網(wǎng)絡(luò)連通資源池系統(tǒng)可學(xué)習(xí)和預(yù)測云應(yīng)用對資源的需求規(guī)模，資源可隨需動態(tài)、自動重新組合系統(tǒng)資源池可相互交疊以實現(xiàn)高效、精細(xì)的資源利用異構(gòu)之通用處理單元通用處理單元3U405（W）*505（D）mm1700WXeonBricklandEX4路計算支持4顆IVB-EX處理器；支持QPI線纜互連8路；支持NC互連擴(kuò)展至16路；Haswell-EX平滑升級內(nèi)存內(nèi)存轉(zhuǎn)接板設(shè)計，最大支持96DIMM高速IO最大支持12PCIE存儲本地SSD網(wǎng)絡(luò)2×千兆接口；可選2×萬兆接口管理支持IPMI；KVM；離線日志，故障診斷，F(xiàn)W批量遠(yuǎn)程升級，熱分布監(jiān)控，VR監(jiān)控，風(fēng)壓監(jiān)控，內(nèi)存離線故障指示，支持光診斷，支持移動設(shè)備遠(yuǎn)程管理RAS內(nèi)存SDDCDDDC鏡像；風(fēng)扇故障容忍；硬盤故障預(yù)警；關(guān)鍵部件熱插拔；故障降級特點高性能，內(nèi)存擴(kuò)展性強，內(nèi)存高帶寬，支持HT和Turboboost，多級RAS特性應(yīng)用類型以重量虛擬機為主的應(yīng)用，如虛擬機租賃、數(shù)據(jù)庫/中間件應(yīng)用租賃、虛擬桌面應(yīng)用等異構(gòu)之輕量處理單元輕量處理單元3U

單板125（W）*215（D）mm

放置20節(jié)點尺寸425（W）*550（D）mm

單節(jié)點30W，20節(jié)點600WEdisonvillePlatform計算單節(jié)點1顆Avoton

或ARMSoC內(nèi)存單節(jié)點支持2DIMM存儲本地SSD網(wǎng)絡(luò)單節(jié)點輸出兩路千兆以太網(wǎng)管理支持IPMI；故障診斷，F(xiàn)W遠(yuǎn)程升級，熱分布監(jiān)控，VR監(jiān)控；支持SOLRAS內(nèi)存ECC；冗余風(fēng)扇；冗余電源；關(guān)鍵部件熱插拔；特點高密度，低功耗，低成本應(yīng)用類型以海量并發(fā)的輕量級線程進(jìn)行處理的應(yīng)用，如海量數(shù)據(jù)搜索、海量數(shù)據(jù)挖掘等cccccccccc異構(gòu)之可重構(gòu)處理單元可重構(gòu)處理單元1U*3329（W）*547（D）mm1000W*3=3000WMICGPUBlade計算支持2顆SNB-EP或IVB-EP處理器內(nèi)存最大支持16DIMM高速IO支持2塊IntelMIC卡或NvidiaGPU可選支持2塊全高PCIEX16標(biāo)準(zhǔn)卡網(wǎng)絡(luò)2×千兆接口；可選2×萬兆接口管理支持IPMI；KVM；離線日志，故障診斷，F(xiàn)W批量遠(yuǎn)程升級，熱分布監(jiān)控，VR監(jiān)控RAS內(nèi)存SDDCDDDC鏡像；風(fēng)扇故障容忍；關(guān)鍵部件熱插拔；故障降級特點高性能，高并行運算處理能力應(yīng)用類型以海量并發(fā)重I/O和計算線程為主的應(yīng)用，如視頻編解碼、圖像識別與圖像搜索、在線加解密應(yīng)用、科學(xué)運算與研究等I/O單元I/O單元3U125（W）*300（D）mm150WI/OBox高速I/O最大支持6PCIEI/O種類I/ORiserCard以太網(wǎng)光纖IBGPUSSDPCIE軟件定義存儲IntelSDInfrastructure(混合)軟件定義存儲IntelSDInfrastructure(混合)新的研究機會SDX對系統(tǒng)軟件（特別是融合計算）的新機會熱點5云端融合背景：云計算與移動互聯(lián)網(wǎng)智能手機不斷普及開放平臺的加速效應(yīng)智能手機能力受限，云端結(jié)合需求凸顯計算能力、存儲能力、電池等143Source:VictorBahl,PuttingtheCloudinthePalmofyourHand,MSRFacultySummit2011.云計算與移動互聯(lián)網(wǎng)智能手機不斷普及開放平臺的加速效應(yīng)智能手機能力受限，云端結(jié)合需求凸顯計算能力、存儲能力、電池等問題：手機（等智能設(shè)備）和云如何相互融合，發(fā)揮各自優(yōu)勢？144新背景：數(shù)據(jù)智能下交付什么交付結(jié)果如Web應(yīng)用，HTTPRequest/Response交付智能通用數(shù)據(jù)遷移（例子：語音識別）深度學(xué)習(xí)網(wǎng)絡(luò)獲得模型模型的小型化（通過對海量圖片獲得的狗識別模型可控制在26MB)流量限制下，交付模型優(yōu)于交付結(jié)果第一部分內(nèi)容提要課程概況什么是云計算云計算的商業(yè)模式云計算有什么可研究的？云計算的標(biāo)準(zhǔn)化小結(jié)云計算的標(biāo)準(zhǔn)化標(biāo)準(zhǔn)是用來做什么的？你覺