云計(jì)算與數(shù)據(jù)挖掘

1、云計(jì)算與數(shù)據(jù)挖掘,Agenda,云計(jì)算概念 為什么要云計(jì)算 虛擬化技術(shù) 分布式技術(shù) 云計(jì)算與數(shù)據(jù)挖掘,什么是云計(jì)算,云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和各種軟件服務(wù),云計(jì)算的起源,分布式計(jì)算、并行計(jì)算和網(wǎng)格服務(wù)于科學(xué)領(lǐng)域，云計(jì)算服務(wù)于企業(yè)和個(gè)人，是這些科學(xué)計(jì)算的商業(yè)實(shí)現(xiàn) 虛擬化引發(fā)資源利用率討論，軟件行業(yè)需要按需付費(fèi) 使用普通的PC機(jī)構(gòu)建超級(jí)計(jì)算機(jī)，沖破CPU摩爾定律 云計(jì)算的向服務(wù)化發(fā)展,云計(jì)算的七種應(yīng)用,SaaS軟件即服務(wù) 公用/效用計(jì)算 云計(jì)算領(lǐng)域的Web服務(wù) PaaS平臺(tái)即服務(wù) 管理服務(wù)供應(yīng)商(MSP)

2、服務(wù)商用平臺(tái) 云計(jì)算集成,云計(jì)算的架構(gòu)和分類,分布式技術(shù),虛擬化技術(shù),Agenda,云計(jì)算概念 為什么要云計(jì)算 虛擬化技術(shù) 分布式技術(shù) 云計(jì)算與數(shù)據(jù)挖掘,IT應(yīng)用所面臨的問題,性能壓力數(shù)據(jù)超出想象的爆炸性增長(zhǎng) 高可用要求信息系統(tǒng)建立在相對(duì)不可靠的硬件設(shè)備基礎(chǔ)上 需求增加需求頻繁變化、應(yīng)用復(fù)雜多樣 維護(hù)難度管理壓力增加、維護(hù)成本成為新的關(guān)注點(diǎn),需要一種全新的IT架構(gòu)以支撐IT應(yīng)用的高速發(fā)展,云計(jì)算的目標(biāo),最具現(xiàn)實(shí)意義的定義：在不增加硬件基礎(chǔ)設(shè)施投資，無須訓(xùn)練新員工或不購買新軟件的前提下，來增加資源容量或提升計(jì)算性能的一種方法 一個(gè)清晰的共識(shí)：云計(jì)算向服務(wù)化的方向在發(fā)展，無論是軟件、數(shù)據(jù)、存儲(chǔ)、安

3、全，將來都可以通過服務(wù)的方式得以實(shí)現(xiàn) 平臺(tái)戰(zhàn)勝產(chǎn)品：云計(jì)算提供一個(gè)服務(wù)平臺(tái)。云計(jì)算平臺(tái)加快需求實(shí)現(xiàn)的速度，細(xì)化服務(wù)粒度，提高系統(tǒng)伸縮性和可靠性 電信應(yīng)用領(lǐng)域：從IT支撐系統(tǒng)到移動(dòng)互聯(lián)，移動(dòng)互聯(lián)將引爆云計(jì)算,為什么要云計(jì)算？,web 2.0的啟示,1. 長(zhǎng)尾：細(xì)分市場(chǎng)構(gòu)成了互聯(lián)網(wǎng)的大部分可能的應(yīng)用程序，利用客戶的自服務(wù)和算法上的數(shù)據(jù)管理來延伸到整個(gè)互聯(lián)網(wǎng)，到達(dá)長(zhǎng)尾而不僅僅是頭部。 2. 數(shù)據(jù)是下一個(gè)Intel Inside：應(yīng)用程序越來越多地由數(shù)據(jù)驅(qū)動(dòng)。因此：為獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，應(yīng)設(shè)法擁有一個(gè)獨(dú)特的難于再造的數(shù)據(jù)資源。 3. 用戶增添價(jià)值：web 2.0優(yōu)勢(shì)的關(guān)鍵在于用戶多大程度上會(huì)在你提供的數(shù)據(jù)中

4、添加他們自己的數(shù)據(jù)。,4. 集體智慧：web 2.0的優(yōu)勢(shì)來自于集體智慧，應(yīng)確認(rèn)采用的門檻要低。 5. 永遠(yuǎn)的測(cè)試版：程序已經(jīng)不是軟件作品了，它們是正在展開的服務(wù)。因此，不要將各種新特性都打包到集大成的發(fā)布版本中，而應(yīng)作為普通用戶體驗(yàn)的一部分來經(jīng)常添加這些特性。吸引你的用戶來充當(dāng)實(shí)時(shí)的測(cè)試者，并且記錄這些服務(wù)以便了解人們是如何使用這些新特性的。 6. 合作，而非控制：Web 2.0的程序是建立在合作性的數(shù)據(jù)服務(wù)網(wǎng)絡(luò)之上的。因此：提供網(wǎng)絡(luò)服務(wù)界面和內(nèi)容聚合，并重用其它人的數(shù)據(jù)服務(wù)。 7. 軟件超越單一設(shè)備：PC不再是互聯(lián)網(wǎng)應(yīng)用程序的唯一訪問設(shè)備。因此：從一開始就設(shè)計(jì)你的應(yīng)用程序，使其集成跨越手持

5、設(shè)備，PC機(jī)，和互聯(lián)網(wǎng)服務(wù)器的多種服務(wù)。,Agenda,云計(jì)算概念 為什么要云計(jì)算 虛擬化技術(shù) 分布式技術(shù) 云計(jì)算與數(shù)據(jù)挖掘,在服務(wù)器中實(shí)現(xiàn)物理分區(qū) 小型機(jī)專用，技術(shù)成熟 高可靠性，故障隔離 高可擴(kuò)充性 支持多種OS 代表產(chǎn)品如HP的nPar,虛擬化,硬件級(jí)虛擬化,操作系統(tǒng)級(jí)虛擬化 （虛擬機(jī)）,應(yīng)用級(jí)虛擬化,在服務(wù)器或物理分區(qū)內(nèi)實(shí)現(xiàn)多個(gè)邏輯分區(qū) 支持多種OS OS與硬件隔離 能支持虛擬機(jī)的在線遷移 靈活的資源控制 代表產(chǎn)品如IBM的lPar/Xen/VMware,隔離性,靈活性,在統(tǒng)一操作系統(tǒng)中為應(yīng)用劃分資源 解決應(yīng)用的兼容性問題 應(yīng)用環(huán)境隔離 低系統(tǒng)損耗 精細(xì)資源控制 代表產(chǎn)品如SUN的Co

6、ntainers,虛擬化技術(shù),虛擬機(jī) 動(dòng)態(tài)遷移,實(shí)時(shí)遷移虛擬機(jī)到其他服務(wù)器 有效利用主機(jī)資源,虛擬機(jī) 克隆,虛擬化 常用技術(shù),虛擬機(jī) 快照,保存虛擬機(jī)某一時(shí)刻的狀態(tài) 備份硬盤、內(nèi)存、CPU、BIOS信息 應(yīng)用于測(cè)試、備份以及安全領(lǐng)域,關(guān)鍵技術(shù)：服務(wù)器整合、冗余備份、災(zāi)難恢復(fù)、動(dòng)態(tài)負(fù)載均衡、安全可信系統(tǒng),虛擬機(jī)-虛擬機(jī)克隆 物理機(jī)-虛擬機(jī)克隆 簡(jiǎn)化數(shù)據(jù)中心的安裝和配置 提高運(yùn)維管理效率,虛擬化技術(shù)應(yīng)用,企業(yè)數(shù)據(jù)中心整合,IaaS云服務(wù),IDC整合,降低IDC 的運(yùn)營(yíng)成本，包括管理、硬件、基礎(chǔ)架構(gòu)、電力、軟件方面； 提升現(xiàn)有基礎(chǔ)架構(gòu)的價(jià)值； 提升IT 基礎(chǔ)設(shè)施的靈活性，以應(yīng)用為單位實(shí)現(xiàn)資源的動(dòng)態(tài)分

7、配； 提高IDC 的服務(wù)保障質(zhì)量，提供快速容災(zāi)/恢復(fù)，集群配置等； 提供更為輕松的自動(dòng)化和管理功能。,把計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等IT基礎(chǔ)設(shè)置通過虛擬化后通過互聯(lián)網(wǎng)提供服務(wù)；,將多臺(tái)服務(wù)器整合到一臺(tái)或者少數(shù)幾臺(tái)服務(wù)器上，減少服務(wù)器數(shù)量； 在單一服務(wù)器平臺(tái)上運(yùn)行多個(gè)應(yīng)用，極大提升資源的利用率； 實(shí)現(xiàn)數(shù)據(jù)中心資源的集中和自動(dòng)化管理，降低IT 運(yùn)維成本； 避免了舊系統(tǒng)的兼容問題，免除了系統(tǒng)維護(hù)和升級(jí)等一系列問題。,虛擬化的誤區(qū),整合服務(wù)器很簡(jiǎn)單,虛擬化會(huì)自動(dòng)降低能耗使用,虛擬化更加安全,桌面虛擬化能立竿見影節(jié)省成本,虛擬化和云計(jì)算一樣,虛擬化 的誤區(qū),虛擬化使工作更輕松,虛擬化只和技術(shù)有關(guān),Agenda,云

8、計(jì)算概念 為什么要云計(jì)算 虛擬化技術(shù) 分布式技術(shù) 云計(jì)算與數(shù)據(jù)挖掘,云計(jì)算的挑戰(zhàn),Google的云計(jì)算平臺(tái),Google云計(jì)算平臺(tái)采用分布式技術(shù) 分布式計(jì)算是技術(shù)層面上的云計(jì)算,Yahoo的Hadoop平臺(tái) Apache的Hadoop開源項(xiàng)目是當(dāng)前云計(jì)算開源技術(shù)的主流 MapReduce Hbase（BigTable） Zookeeper(Chubby) HDFS(GFS) 基于Hadoop云計(jì)算開源技術(shù)已有商業(yè)應(yīng)用 Yahoo在000節(jié)點(diǎn)集群上搭建Hadoop平臺(tái)運(yùn)行商業(yè)應(yīng)用，包括Yahoo ! One Search,Google的云計(jì)算平臺(tái) 并行數(shù)據(jù)處理 MapReduce 結(jié)構(gòu)化海量存儲(chǔ)

9、BigTable 分布式鎖Chubby 分布式文件系統(tǒng)GFS,MapReduce,GFS,GFS,X,GFS的關(guān)鍵：數(shù)據(jù)高可靠性,多點(diǎn)存儲(chǔ)：GFS設(shè)置一個(gè)數(shù)據(jù)復(fù)制因子n，當(dāng)n大于1時(shí)，每份數(shù)據(jù)都會(huì)保存n-1份副本 自動(dòng)恢復(fù)：當(dāng)一個(gè)節(jié)點(diǎn)失效導(dǎo)致其上的數(shù)據(jù)副本丟失時(shí)，GFS從其它的副本克隆一個(gè)新的副本出來，保證每份數(shù)據(jù)有n個(gè)拷貝 存儲(chǔ)節(jié)點(diǎn)選擇：GFS根據(jù)每個(gè)節(jié)點(diǎn)的磁盤空間利用率選擇新的副本的存儲(chǔ)節(jié)點(diǎn)，平衡各個(gè)節(jié)點(diǎn)的空間利用率 新加入節(jié)點(diǎn)：當(dāng)有新的節(jié)點(diǎn)加入時(shí)，GFS會(huì)逐步的將數(shù)據(jù)存儲(chǔ)在新節(jié)點(diǎn)上，而不是在馬上將數(shù)據(jù)遷移過來,Google BigTable,定義 結(jié)構(gòu)化的分布式存儲(chǔ)系統(tǒng) 稀疏的，多維的，

10、排序的Map,索引：行關(guān)鍵字、列關(guān)鍵字、時(shí)間戳 存儲(chǔ)：按列族存儲(chǔ) 列族必須先創(chuàng)建（后期可增加） 列可以隨意寫入 時(shí)間戳允許存取多個(gè)版本，可以指定保留版本數(shù),分布式鎖Chubby,針對(duì)松散耦合分布式系統(tǒng)的鎖服務(wù)； 本身也是分布式系統(tǒng)； 一個(gè)鎖就是一個(gè)文件，創(chuàng)建文件就是加鎖操作，創(chuàng)建成功即加鎖成功，通過打開、關(guān)閉和讀取文件來獲取共享鎖或獨(dú)占鎖； 基本設(shè)計(jì)目標(biāo)：高可用性、可靠性,Agenda,云計(jì)算概念 為什么要云計(jì)算 虛擬化技術(shù) 分布式技術(shù) 云計(jì)算與數(shù)據(jù)挖掘,Kmeans聚類算法,Kmeans處理流圖,轉(zhuǎn)換數(shù)據(jù),文本文件,向量數(shù)據(jù),引擎,Cluster Centers,相似度測(cè)量 Enclidea

11、nDistanceMeasure,收斂閾值 convergenceThreshold,迭代次數(shù),reducers,向量數(shù)據(jù),向量數(shù)據(jù),讀取輸出聚類信息,向量數(shù)據(jù)模型,DenseVector RandomAccessSparseVector Hash-Map 適合很多有0的多維數(shù)據(jù)，只存儲(chǔ)非零的維數(shù)，提高內(nèi)存利用率；訪問dimension的值比DenseVector要稍微慢點(diǎn)；順序訪問維非常慢。 SequentialAccessSparseVector,分布式數(shù)據(jù)挖掘模型,引擎,調(diào)度器,算法,mapper,mapper,mapper,reducer,reducer,reducer,輸入數(shù)據(jù),演示案例