云計算基礎(chǔ)培訓(xùn)課件

1、張柯2016年5月云計算基礎(chǔ)知識培訓(xùn)提 綱云計算概述虛擬化簡介大數(shù)據(jù)探究云計算應(yīng)運而生的新型IT架構(gòu)業(yè)務(wù)部門IT部門應(yīng)用層中間件物理層業(yè)務(wù)系統(tǒng)1業(yè)務(wù)系統(tǒng)2計算資源存儲資源網(wǎng)絡(luò)資源業(yè)務(wù)能力服務(wù)門戶APIAPIAPIAPITCP/IP、HTTP協(xié)議業(yè)務(wù)部門IT部門業(yè)務(wù)系統(tǒng)n#扁平化#網(wǎng)絡(luò)化#服務(wù)化#云計算業(yè)界幾個主流定義維基百科：云計算是一種動態(tài)擴展的計算模式，通過網(wǎng)絡(luò)將虛擬化的資源作為服務(wù)提供；通常包含infrastructure as a service(IaaS), platform as a service(PaaS), software as a service(SaaS)。Google

2、 的理念：將所有的計算和應(yīng)用放置在“云”中，設(shè)備終端不需要安裝任何東西，通過互聯(lián)網(wǎng)絡(luò)來分享程序和服務(wù)。微軟的理念：認為云計算的應(yīng)是“云+端”的計算，將計算資源分散分布，部分資源放在云上，部分資源放在用戶終端，部分資源放在合作伙伴處，最終由用戶選擇合理的計算資源分布。市場研究機構(gòu)IDC ：認為云計算是一種新型的IT 技術(shù)發(fā)展、部署及發(fā)布模式，能夠通過互聯(lián)網(wǎng)實時的提供產(chǎn)品、服務(wù)和解決方案。美國國家標準與技術(shù)實驗室：云計算是一個提供便捷的通過互聯(lián)網(wǎng)訪問一個可定制的IT 資源共享池能力的按使用量付費模式（IT 資源包括網(wǎng)絡(luò)，服務(wù)器，存儲，應(yīng)用，服務(wù)），這些資源能夠快速部署，并只需要很少的管理工作或很少

3、的與服務(wù)供應(yīng)商的交互；到目前為止， 云計算還沒有一個統(tǒng)一的定義，業(yè)界對云計算定義達20多種。云計算領(lǐng)先者如Google、Microsoft 等IT 廠商，依據(jù)各自的利益和各自不同的研究視角都給出了對云計算的定義和理解。云計算三種服務(wù)類型自建私有云公有云優(yōu)勢：安全可靠；支撐核心應(yīng)用；面臨的主要問題：投產(chǎn)上線時間長；彈性能力有限；優(yōu)勢：彈性擴展能力大；成本低；邁入公有云的顧慮：安全性有顧及；應(yīng)用需要改造；無法支持復(fù)雜環(huán)境；混合云(虛擬數(shù)據(jù)中心)特點：提供企業(yè)所需的彈性擴展；TCO性價比更高；應(yīng)用無需改造；支撐能力強，上線速度快；高安全級別，可實現(xiàn)物理隔離；可視可控的運維管理；云計算總體架構(gòu)云計算架

4、構(gòu)Level 0 視圖云服務(wù)提供面向云服務(wù)消費者，提供統(tǒng)一登錄界面和訪問根據(jù)云服務(wù)資源狀況和消費者需求，包裝云服務(wù)資源對云服務(wù)的消費設(shè)立服務(wù)等級，按需計費管理云消費者狀態(tài)和請求簡化和標準化云服務(wù)管理運行維護云計算架構(gòu)系統(tǒng)，保障云架構(gòu)的穩(wěn)定和可靠云服務(wù)資源軟件即服務(wù)SaaS平臺即服務(wù)PaaS基礎(chǔ)架構(gòu)即服務(wù)IaaS云計算架構(gòu)Level 1 視圖提 綱云計算概述虛擬化簡介大數(shù)據(jù)探究虛擬化概念虛擬化技術(shù)是一個廣義的術(shù)語，是指計算元件在虛擬的基礎(chǔ)上而不是真實的基礎(chǔ)上運行，是一個為了簡化管理，優(yōu)化資源的解決方案。本質(zhì)：物理硬件與操作系統(tǒng)分開，提供更高的資源利用率和靈活性。虛擬機和虛擬機監(jiān)控器虛擬化分類傳統(tǒng)

5、IT問題傳統(tǒng)架構(gòu)面臨的問題服務(wù)器性能沒有得到充分利用;更換硬件或遷移應(yīng)用，都要先停機物理硬件故障，應(yīng)用隨之崩潰操作系統(tǒng)崩潰，應(yīng)用隨之停止傳統(tǒng)架構(gòu)示意圖虛擬架構(gòu)添加一個虛擬層單一物理硬件，可以對應(yīng)多個操作系統(tǒng)一個操作系統(tǒng)崩潰，不會影響到另一個虛擬架構(gòu)的優(yōu)點應(yīng)用和物理硬件都能夠方便的添加或移除虛擬化分類由解決x86體系缺陷的不同方法，分為以下三類：全虛擬化（不修改GuestOS內(nèi)核）半虛擬化（修改GuestOS內(nèi)核）硬件虛擬化（硬件支持）虛擬化技術(shù)VMM向虛擬機模擬出和真實硬件完全相同的硬件環(huán)境。優(yōu)點：不用修改GuestOS內(nèi)核缺點： hypervisor給處理器帶來開銷。 代表產(chǎn)品： VMwar

6、e；Virtual PCVMM需要操作系統(tǒng)的協(xié)助才能夠完成對x86敏感特權(quán)指令的虛擬化。優(yōu)點：性能高。能達到與原始系統(tǒng)相近的性能. 缺點： 必須修改GuestOS代表產(chǎn)品： XenVMM需要硬件的協(xié)助才能完成對硬件資源的虛擬。優(yōu)點：也不用修改GuestOS內(nèi)核缺點：需要硬件支持。代表技術(shù)： Intel-VT；AMD-V虛擬化分類類別全虛擬化半虛擬化硬件虛擬化修改Guest OS無需修改需修改無需修改兼容性好差好性能差高一般（逐步改善）CPU虛擬化二進制代碼翻譯超級調(diào)用增加新指令內(nèi)存虛擬化影子頁表MMU半虛擬化影子頁表3種虛擬化技術(shù)對比主流虛擬化產(chǎn)品KVMXenVMware虛擬化方式全虛擬化半虛

7、擬化，全虛擬化半虛擬化，全虛擬化與操作系統(tǒng)的關(guān)系Linux內(nèi)核模塊操作系統(tǒng)之上的模塊操作系統(tǒng)之上的模塊HostOSLinux（32位，64位）Linux,windows,Solaris,BSD(32位，64位)Linux Windows（32位，64位）GuestOSLinux，windowsLinux，Windows，Solaris，BSDLinux，Windows使用架構(gòu)和硬件平臺X86，x86_64（Intel-VT/AMD-V）X86，x86_64，安騰，ARMX86，x86_64，安騰，ARM技術(shù)成熟度高速發(fā)展中，技術(shù)先進，是未來的發(fā)展趨勢技術(shù)成熟，歷史久遠商業(yè)級的技術(shù)，技術(shù)成熟，穩(wěn)

8、定性高支持廠商Linux社區(qū)，Redhat，Ubuntu,Novell,IBMCitrix，Oracle，NovellEMC,VMware可管理性命令行模式，桌面模式命令行模式，桌面模式可視化的操作界面，簡單易用企業(yè)級特性支持程度需企業(yè)自己開發(fā)，商業(yè)級的有Redhat的虛擬化產(chǎn)品需企業(yè)自己開發(fā)，商業(yè)級的有Citrix的Xen Server功能性能最為強大，但價格昂貴虛擬化誤區(qū)誤區(qū)1：服務(wù)器虛擬化會陷入多個雞蛋放到一個籃子的尷尬誤區(qū)2：動態(tài)在線虛擬機遷移可以跨越任何硬件平臺誤區(qū)3：Intel和AMD都開始在CPU級支持虛擬化，已不需要再購買虛擬化軟件了誤區(qū)4：虛擬化技術(shù)仍然不成熟，數(shù)據(jù)中心虛擬化

9、還不能提上議事議程提 綱云計算概述虛擬化簡介大數(shù)據(jù)探究大數(shù)據(jù)時代volume（體量大） variety（模式多） velocity（速度快） value（價值大）海量數(shù)據(jù)的產(chǎn)生、獲取、挖掘、整合，使之展現(xiàn)出巨大的價值。大數(shù)據(jù)的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下，而發(fā)掘數(shù)據(jù)價值、征服數(shù)據(jù)海洋的“動力”就是云計算。大數(shù)據(jù)與云計算是一個問題的兩面：一個是問題，一個是解決問題的方法。大數(shù)據(jù)將逐漸成為現(xiàn)代社會基礎(chǔ)設(shè)施的一部分，就像公路、鐵路、港口、水電和通信網(wǎng)絡(luò)一樣不可或缺。但就其價值特性而言，大數(shù)據(jù)卻和這些物理化的基礎(chǔ)設(shè)施不同， 不會因為人們的使用而折舊

10、和貶值。數(shù)據(jù)是資源顯微鏡：能夠讓我們從微觀視角看世界，得出一個更確切的宏觀結(jié)論。很多事情不用猜了， 客戶的習(xí)慣和偏好一目了然，我們知道客戶喜歡什么、討厭什么，更有針對性。廣角鏡：讓我們的宏觀視角更寬闊，看到這個世界更多的聯(lián)系，更多的機會，更多的流動的東西。資源：和油田、煤礦一樣的資源，可以源源不斷挖掘出巨大財富。和一般資源不一樣的是：可重復(fù)使用，而且越挖掘越多、越挖掘越值錢的，這是反自然規(guī)律的。大數(shù)據(jù)案例1連續(xù)兩年沒有出車禍過去一年沒有出車禍過去一年出一次車禍過去一年出兩次及以上車禍駕駛習(xí)慣駕駛路線路況信息違章記錄維修記錄事故報告車輛狀況汽車保險汽車保險大數(shù)據(jù)案例2試穿次數(shù)銷售量低銷售量高RF

11、ID季節(jié)地域色彩大數(shù)據(jù)技術(shù)路線離線大數(shù)據(jù)分析技術(shù)海量數(shù)據(jù)存儲技術(shù) 在線大數(shù)據(jù)處理技術(shù)海量數(shù)據(jù)存儲技術(shù)HDFS、HBase、MongoDB、S3離線大數(shù)據(jù)分析技術(shù)MapReduce、Hive、Pig在線大數(shù)據(jù)處理技術(shù)Impala（內(nèi)存計算）、Storm（流處理）、Spark（內(nèi)存計算）、Redis（內(nèi)存數(shù)據(jù)庫）現(xiàn)狀-技術(shù)瓶頸APCConsistencyAvailabilityPartition TolerancePick Two！ACRDBMSAPCouchDBCPHBaseMongoDBRedisCAP！現(xiàn)狀-大數(shù)據(jù)處理五項技術(shù)大數(shù)據(jù)處理五項技術(shù)-高性能數(shù)據(jù)倉庫大數(shù)據(jù)處理五項技術(shù)-MPP大數(shù)據(jù)

12、處理五項技術(shù)-HADOOP/MR大數(shù)據(jù)處理主要關(guān)注的五項技術(shù)-NoSQLHadoopHadoop海量存儲與計算平臺作者：Doug Cutting受Google三篇論文的啟發(fā)GFSBigTableMapReduceHadoop架構(gòu)Hadoop Common: hadoop的基礎(chǔ)，支撐其它模塊的基本公共組件Hadoop Distributed File System (HDFS): 分布式文件系統(tǒng)Hadoop YARN: 集群任務(wù)資源管理及任務(wù)調(diào)度的框架Hadoop MapReduce: 一種基于YARN的并行計算框架。 Hive ：構(gòu)建在Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架HBase：分布式非結(jié)構(gòu)

13、數(shù)據(jù)庫Pig：腳本語言，提供易于編程的并行計算框架Mahout:一個并行化的機器學(xué)習(xí)和數(shù)據(jù)挖掘庫。Zookeeper：一種管理分布式應(yīng)用程序的高性能協(xié)調(diào)服務(wù)系統(tǒng)。Hadoop MRMapShuffleReduceHadoop 總結(jié)高度可擴展：線性擴展，可動態(tài)增加/削減計算節(jié)點，真正實現(xiàn)彈性計算。經(jīng)濟：以運行在任何普通的PC上高容錯能力：支持任務(wù)自動遷移、重試和預(yù)測執(zhí)行，不受計算節(jié)點故障影響?？煽浚悍植际轿募到y(tǒng)的備份恢復(fù)機制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實現(xiàn)以及MapReduce結(jié)合Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準備。就近調(diào)度算法