云計算與大數(shù)據(jù)最好學習培訓資料

云計算與大數(shù)據(jù)最好學習培訓資料第一頁，共118頁。內(nèi)容提綱第二頁，共118頁。第三頁，共118頁。云計算的起源第四頁，共118頁。云計算發(fā)展的驅(qū)動因素第五頁，共118頁。云計算的定義

云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務。第六頁，共118頁。云計算技術體系結構第七頁，共118頁。第八頁，共118頁。Google云計算關鍵技術Google文件系統(tǒng)GFS(Google)并行數(shù)據(jù)處理MapReduce結構化數(shù)據(jù)表BigTable分布式鎖管理ChubbyMapReduceBigTableGFSChubby第九頁，共118頁。第十頁，共118頁。第十一頁，共118頁。微軟的節(jié)能措施第十二頁，共118頁。分布式文件系統(tǒng)GFSGoogle13第十三頁，共118頁。Google需要一個支持海量存儲的文件系統(tǒng)購置昂貴的分布式文件系統(tǒng)與硬件？是否可以在一堆廉價且不可靠的硬件上構建可靠的分布式文件系統(tǒng)？14第十四頁，共118頁。為什么不使用當時現(xiàn)存的文件系統(tǒng)？Google所面臨的問題與眾不同不同的工作負載，不同的設計優(yōu)先級（廉價、不可靠的硬件）需要設計與Google應用和負載相符的文件系統(tǒng)15第十五頁，共118頁。硬件出錯是正常而非異常系統(tǒng)應當由大量廉價、易損的硬件組成必須保持文件系統(tǒng)整體的可靠性主要負載是流數(shù)據(jù)讀寫主要用于程序處理批量數(shù)據(jù)，而非與用戶的交互或隨機讀寫數(shù)據(jù)寫主要是“追加寫”，“插入寫”非常少需要存儲大尺寸的文件存儲的文件尺寸可能是GB或TB量級，而且應當能支持存儲成千上萬的大尺寸文件16第十六頁，共118頁。將文件劃分為若干塊（Chunk）存儲每個塊固定大?。?4M）通過冗余來提高可靠性每個數(shù)據(jù)塊至少在3個數(shù)據(jù)塊服務器上冗余數(shù)據(jù)塊損壞概率？通過單個master來協(xié)調(diào)數(shù)據(jù)訪問、元數(shù)據(jù)存儲結構簡單，容易保持元數(shù)據(jù)一致性無緩存Why?17第十七頁，共118頁。單一Master,若干ChunkServerGFS的架構有什么問題嗎？18第十八頁，共118頁。19第十九頁，共118頁。分布式系統(tǒng)設計告訴我們：這是單點故障這是性能瓶頸GFS的解決辦法單點故障問題采用多個（如3個）影子Master節(jié)點進行熱備，一旦主節(jié)點損壞，立刻選舉一個新的主節(jié)點服務20第二十頁，共118頁。GFS的解決辦法性能瓶頸問題盡可能減少數(shù)據(jù)存取中Master的參與程度不使用Master讀取數(shù)據(jù)，僅用于保存元數(shù)據(jù)客戶端緩存元數(shù)據(jù)采用大尺寸的數(shù)據(jù)塊（64M）數(shù)據(jù)修改順序交由PrimaryChunkServer完成Simple,andgoodenough!21第二十一頁，共118頁。存儲元數(shù)據(jù)文件系統(tǒng)目錄管理與加鎖與ChunkServer進行周期性通信發(fā)送指令，搜集狀態(tài)，跟蹤數(shù)據(jù)塊的完好性數(shù)據(jù)塊創(chuàng)建、復制及負載均衡對ChunkServer的空間使用和訪問速度進行負載均衡，平滑數(shù)據(jù)存儲和訪問請求的負載對數(shù)據(jù)塊進行復制、分散到ChunkServer上一旦數(shù)據(jù)塊冗余數(shù)小于最低數(shù)，就發(fā)起復制操作22第二十二頁，共118頁。垃圾回收在日志中記錄刪除操作，并將文件改名隱藏緩慢地回收隱藏文件與傳統(tǒng)文件刪除相比更簡單、更安全陳舊數(shù)據(jù)塊刪除探測陳舊的數(shù)據(jù)塊，并刪除23第二十三頁，共118頁。采用中心服務器模式可以方便地增加ChunkServerMaster掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進行負載均衡不存在元數(shù)據(jù)的一致性問題24第二十四頁，共118頁。不緩存數(shù)據(jù)GFS的文件操作大部分是流式讀寫，不存在大量的重復讀寫，使用Cache對性能提高不大ChunkServer上的數(shù)據(jù)存取使用本地文件系統(tǒng)，如果某個Chunk讀取頻繁，文件系統(tǒng)具有Cache從可行性看，Cache與實際數(shù)據(jù)的一致性維護也極其復雜?25第二十五頁，共118頁。在用戶態(tài)下實現(xiàn)直接利用ChunkServer的文件系統(tǒng)存取Chunk，實現(xiàn)簡單用戶態(tài)應用調(diào)試較為簡單，利于開發(fā)用戶態(tài)的GFS不會影響ChunkServer的穩(wěn)定性提供專用的訪問接口未提供標準的POSIX訪問接口降低GFS的實現(xiàn)復雜度26第二十六頁，共118頁。GFS的容錯機制ChunkServer容錯每個Chunk有多個存儲副本（通常是3個），分別存儲于不通的服務器上每個Chunk又劃分為若干Block（64KB），每個Block對應一個32bit的校驗碼，保證數(shù)據(jù)正確（若某個Block錯誤，則轉移至其他Chunk副本）27第二十七頁，共118頁。28第二十八頁，共118頁。并行數(shù)據(jù)處理模型MapReduce第二十九頁，共118頁。摩爾定律集成電路芯片上所集成的電路的數(shù)目，

每隔18個月就翻一番，同時性能也提升

一倍GordonMoore第三十頁，共118頁?！懊赓M的性能大餐”？Andygiven,andBilltakenaway軟件算法、數(shù)據(jù)結構似乎不再重要，因為處理器性能不斷提升免費的午餐已經(jīng)結束?。ntelMicrosoft第三十一頁，共118頁。摩爾定律正在走向終結…單芯片容納晶體管的增加，對制造工藝提出要求CPU制造18nm技術，電子泄漏問題CPU主頻已達3GHz時代，難以繼續(xù)提高散熱問題（發(fā)熱太大，且難以驅(qū)散）功耗太高未來的發(fā)展：多核第三十二頁，共118頁。在多核時代生存，必須考慮并發(fā)問題不存在解決多核編程問題的銀彈，

不存在可以簡單地將并發(fā)編程問題化

解掉的工具，開發(fā)高性能的并行程序

必須要求開發(fā)者從根本上改變其編程

方法從某種意義上來說，這不僅僅是要改

變50年來順序程序設計的工藝傳統(tǒng)，

而且是要改變數(shù)百萬年來人類順序化思考問題的習慣Herb

Sutter第三十三頁，共118頁。串行編程早期的計算里，程序一般是被串行執(zhí)行的程序是指令的序列，在單處理器的機器里，程序從開始到結束，這些指令一條接一條的執(zhí)行并行編程一道處理可以被劃分為幾部分,然后它們可以并發(fā)地執(zhí)行各部分的指令分別在不同的CPU上同時運行，這些CPU可以存在于單臺機器中,也可以存在于多臺機器上,它們通過連接起來共同運作第三十四頁，共118頁。什么樣的問題適合并行計算？斐波那契序列(Fibonacci)的計算？第三十五頁，共118頁。什么樣的問題適合并行計算？如果有大量結構一致的數(shù)據(jù)要處理，且數(shù)據(jù)可以分解成相同大小的部分，那我們就可以設法使這道處理變成并行第三十六頁，共118頁。計算問題簡單，但求解困難待處理數(shù)據(jù)量巨大（PB級），只有分布在成百上千個節(jié)點上并行計算才能在可接受的時間內(nèi)完成如何進行并行分布式計算？如何分發(fā)待處理數(shù)據(jù)？如何處理分布式計算中的錯誤？簡單的問題，計算并不簡單！第三十七頁，共118頁。GoogleMapReduce架構設計師JeffreyDeanJefferyDean設計一個新的抽象模型，使我們只要執(zhí)行的簡單計算，而將并行化、容錯、數(shù)據(jù)分布、負載均衡的等雜亂細節(jié)放在一個庫里，使并行編程時不必關心它們這就是MapReduce第三十八頁，共118頁。一個軟件架構，是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運算MapReduce實現(xiàn)了Map和Reduce兩個功能Map把一個函數(shù)應用于集合中的所有成員，然后返回一個基于這個處理的結果集Reduce對結果集進行分類和歸納Map()和Reduce()兩個函數(shù)可能會并行運行，即使不是在同一的系統(tǒng)的同一時刻第三十九頁，共118頁。案例：單詞記數(shù)問題(WordCount)給定一個巨大的文本（如1TB），如何計算單詞出現(xiàn)的數(shù)目？第四十頁，共118頁。使用MapReduce求解該問題定義Map和Reduce函數(shù)第四十一頁，共118頁。使用MapReduce求解該問題Step1:自動對文本進行分割，形成初始的<key,value>對第四十二頁，共118頁。使用MapReduce求解該問題Step2:在分割之后的每一對<key,value>進行用戶定義的Map進行處理，再生成新的<key,value>對第四十三頁，共118頁。使用MapReduce求解該問題Step3:對輸出的結果集歸攏、排序(系統(tǒng)自動完成）第四十四頁，共118頁。使用MapReduce求解該問題Step4:通過Reduce操作生成最后結果第四十五頁，共118頁。第四十六頁，共118頁。源文件：GFSMap處理結果：本地存儲Reduce處理結果：GFS日志：GFS第四十七頁，共118頁。GoogleMapReduce計算架構有什么問題？第四十八頁，共118頁。Worker故障Master周期性的ping每個worker。如果master在一個確定的時間段內(nèi)沒有收到worker返回的信息，那么它將把這個worker標記成失效重新執(zhí)行該節(jié)點上已經(jīng)執(zhí)行或尚未執(zhí)行的Map任務重新執(zhí)行該節(jié)點上未完成的Reduce任務，已完成的不再執(zhí)行Master故障定期寫入檢查點數(shù)據(jù)從檢查點恢復WHY？第四十九頁，共118頁。任務備份機制慢的workers會嚴重地拖延整個執(zhí)行完成的時間由于其他的任務占用了資源磁盤損壞解決方案:在臨近結束的時候，啟動多個進程來執(zhí)行尚未完成的任務誰先完成，就算誰可以十分顯著地提高執(zhí)行效率第五十頁，共118頁。本地處理Master調(diào)度策略:

向GFS詢問獲得輸入文件blocks副本的位置信息Maptasks的輸入數(shù)據(jù)通常按64MB來劃分(GFSblock大小)按照blocks所在的機器或機器所在機架的范圍進行調(diào)度效果絕大部分機器從本地讀取文件作為輸入，節(jié)省大量帶寬第五十一頁，共118頁。跳過有問題的記錄一些特定的輸入數(shù)據(jù)常導致Map/Reduce無法運行最好的解決方法是調(diào)試或者修改不一定可行~可能需要第三方庫或源碼在每個worker里運行一個信號處理程序，捕獲map或reduce任務崩潰時發(fā)出的信號，一旦捕獲，就會向master報告，同時報告輸入記錄的編號信息。如果master看到一條記錄有兩次崩潰信息，那么就會對該記錄進行標記，下次運行的時候，跳過該記錄第五十二頁，共118頁。實踐證明，MapReduce是出色的分布式計算模型Google宣布，其對分布于1000臺計算機上的1TB數(shù)據(jù)進行排序僅僅需要68s對4000臺計算機上的1PB數(shù)據(jù)進行排序處理僅需要6小時2分鐘（每次測試至少會損壞1塊硬盤）在08年1月份，GoogleMapReduce平均每天的數(shù)據(jù)處理量是20PB，相當于美國國會圖書館當年5月份存檔網(wǎng)絡數(shù)據(jù)的240倍第五十三頁，共118頁。分布式數(shù)據(jù)表BigTable54第五十四頁，共118頁。為什么需要設計BigTable？Google需要存儲的數(shù)據(jù)種類繁多網(wǎng)頁，地圖數(shù)據(jù)，郵件……如何使用統(tǒng)一的方式存儲各類數(shù)據(jù)？海量的服務請求如何快速地從海量信息中尋找需要的數(shù)據(jù)？BigTable：基于GFS和Chubby的分布式存儲系統(tǒng)對數(shù)據(jù)進行結構化存儲和管理與GFS的聯(lián)系55第五十五頁，共118頁。數(shù)據(jù)存儲可靠性高速數(shù)據(jù)檢索與讀取存儲海量的記錄（若干TB）可以保存記錄的多個版本56第五十六頁，共118頁。與寫操作相比，數(shù)據(jù)記錄讀操作占絕大多數(shù)工作負載單個節(jié)點故障損壞是常見的磁盤是廉價的可以不提供標準接口Google既能控制數(shù)據(jù)庫設計，又能進行應用系統(tǒng)設計57第五十七頁，共118頁。具有廣泛的適應性支持Google系列產(chǎn)品的存儲需求具有很強的可擴展性根據(jù)需要隨時加入或撤銷服務器應對不斷增多的訪問請求高可用性單個節(jié)點易損，但要確保幾乎所有的情況下系統(tǒng)都可用簡單性簡單的底層系統(tǒng)可減少系統(tǒng)出錯概率，為上層開發(fā)帶來便利58第五十八頁，共118頁?？傮w上，與關系數(shù)據(jù)庫中的表類似59關系數(shù)據(jù)庫中的表是什么樣的？有什么特征？關系數(shù)據(jù)庫中的表設計需要遵循什么原則？第五十九頁，共118頁。行每行數(shù)據(jù)有一個可排序的關鍵字和任意列項字符串、整數(shù)、二進制串甚至可串行化的結構都可以作為行鍵表按照行鍵的“逐字節(jié)排序”順序?qū)π羞M行有序化處理表內(nèi)數(shù)據(jù)非常‘稀疏’，不同的行的列的數(shù)完全目可以大不相同URL是較為常見的行鍵，存儲時需要倒排統(tǒng)一地址域的網(wǎng)頁連續(xù)存儲，便于查找、分析和壓縮/index.asp→com.baidu.mp3/index.asp60第六十頁，共118頁。列特定含義的數(shù)據(jù)的集合，如圖片、鏈接等可將多個列歸并為一組，稱為族（family）采用族:限定詞的語法規(guī)則進行定義”,“”,etc同一個族的數(shù)據(jù)被壓縮在一起保存族是必須的，是BigTable中訪問控制的基本單元61第六十一頁，共118頁。時間戳保存不同時期的數(shù)據(jù)，如“網(wǎng)頁快照”“Abigtable”表中的列可以不受限制地增長表中的數(shù)據(jù)幾乎可以無限地增加通過(row,col,timestamp)查詢通過(row,col,MOST_RECENT)查詢62第六十二頁，共118頁。無數(shù)據(jù)校驗每行都可存儲任意數(shù)目的列BigTable不對列的最少數(shù)目進行約束任意類型的數(shù)據(jù)均可存儲BigTable將所有數(shù)據(jù)均看作為字符串數(shù)據(jù)的有效性校驗由構建于其上的應用系統(tǒng)完成一致性針對同一行的多個操作可以分組合并不支持對多行進行修改的操作符63第六十三頁，共118頁。64第六十四頁，共118頁。邏輯上的“表”被劃分為若干子表（Tablet）每個Tablet由多個SSTable文件組成SSTable文件存儲在GFS之上每個子表存儲了table的一部分行元數(shù)據(jù)：起始行鍵、終止行鍵如果子表體積超過了閾值（如200M），則進行分割65第六十五頁，共118頁。66第六十六頁，共118頁。為每個子表服務器分配子表，對外提供服務與GFS垃圾回收進行交互，收回廢棄的SSTable探測子表服務器的故障與恢復負載均衡有效緩解單點故障67第六十七頁，共118頁。68第六十八頁，共118頁。Google云計算架構中GFS、MapReduce和BigTable中是否存在集群節(jié)點復用的情況？如何復用？節(jié)點復用的好處有哪些？Google云計算架構的設計對你有哪些啟發(fā)？有哪些收獲？第六十九頁，共118頁。BC-PDM分布式數(shù)據(jù)挖掘系統(tǒng)第七十頁，共118頁。

2007年3月，確定了大云(BigCloud)計劃，即中國移動研究院為打造中國移動云計算基礎設施而實施的關鍵技術研究及原型系統(tǒng)開發(fā)計劃。2007年7月，利用閑置的15臺PC服務器，基于開源軟件搭建了海量數(shù)據(jù)處理試驗平臺，并成功運行搜索引擎軟件。2008年10月，建立256節(jié)點的大規(guī)模運算實驗室，并運行數(shù)據(jù)挖掘工具和相關應用。2009年9月，BigCloud0.5版本在中國移動研究院內(nèi)部發(fā)布試用。2009年12月，試驗平臺進一步擴容，達到1000臺服務器、5000個CPU、3000TB的存儲規(guī)模。第七十一頁，共118頁。并行數(shù)據(jù)挖掘工具(BC-PDM)是一套高性能、低成本、高可靠性、高可伸縮性的海量數(shù)據(jù)處理、分析和挖掘系統(tǒng)。該工具提供海量數(shù)據(jù)并行ETL和并行挖掘能力，支持企業(yè)的BI應用和精準營銷;提供業(yè)務邏輯復雜的SQL能力，支持海量數(shù)據(jù)的清洗、轉換、關聯(lián)、匯總等操作，支持生成企業(yè)報表、KPI、挖掘等應用;提供基于Web的SaaS服務模式，降低企業(yè)IT系統(tǒng)投資。第七十二頁，共118頁。第七十三頁，共118頁。登錄后界面第七十四頁，共118頁。工作流畫布（KnowledgeFlowLayout）第七十五頁，共118頁。job監(jiān)控框(Jobmonitor)第七十六頁，共118頁。數(shù)據(jù)查看與管理第七十七頁，共118頁。預覽數(shù)據(jù)第七十八頁，共118頁。第七十九頁，共118頁。創(chuàng)建工作流第八十頁，共118頁。第八十一頁，共118頁。配置工作流第八十二頁，共118頁。第八十三頁，共118頁。運行工作流第八十四頁，共118頁。查看工作流結果第八十五頁，共118頁。文本第八十六頁，共118頁。ROC圖第八十七頁，共118頁。Lift圖第八十八頁，共118頁。工作流調(diào)度情況第八十九頁，共118頁。BC-PDM的數(shù)據(jù)裝載和導出數(shù)據(jù)加載是將分布式文件系統(tǒng)（DFS）上的沒有元數(shù)據(jù)文件的數(shù)據(jù)生成元數(shù)據(jù)文件，或?qū)?shù)據(jù)進行斷行、空行等初步處理，或作為工作流運行的起始組件。數(shù)據(jù)導出是將處理后的數(shù)據(jù)文件轉換成指定的格式或分隔符，數(shù)據(jù)仍然保存在DFS上。第九十頁，共118頁。數(shù)據(jù)加載（導入）第九十一頁，共118頁。數(shù)據(jù)加載（導入）第九十二頁，共118頁。導入頭文件第九十三頁，共118頁。頭文件舉例start_time,date,開始時間imsi,VARCHAR(10),IMSIcalling,VARCHAR(10),用戶號碼user_ip,VARCHAR(10),用戶IP地址APN,VARCHAR(10),訪問方式IMEI,VARCHAR(10),終端標識號rat,int,2G/3G網(wǎng)絡標識App_type,int,應用類型LAC,VARCHAR(10),xmCell_ID,VARCHAR(10),xmsource_ip,VARCHAR(10),源IP地址dest_ip,VARCHAR(10),目的地址第九十四頁，共118頁。數(shù)據(jù)導出第九十五頁，共118頁。并行數(shù)據(jù)處理(ETL)ETL操作可以分為普通ETL和鏈式ETL。普通ETL和鏈式ETL分別又細分為：清洗類、轉換類、集成類、計算類、抽樣類、集合類、更新類、及其它類8大類。第九十六頁，共118頁。第九十七頁，共118頁。清洗類-數(shù)據(jù)類型檢查根據(jù)元數(shù)據(jù)中各個字段的數(shù)據(jù)類型，對輸入文件逐條記錄地檢查每個字段的數(shù)據(jù)是否與元數(shù)據(jù)中的類型相符合，支持多種日期類型。對發(fā)現(xiàn)不滿足數(shù)據(jù)類型的記錄，應用異常數(shù)據(jù)處理規(guī)則。并在有效性驗證后提供一個驗證報告，包括丟棄了多少數(shù)據(jù)、對數(shù)據(jù)進行了什么處理等信息。第九十八頁，共118頁。第九十九頁，共118頁。轉換類-caseWhen根據(jù)用戶輸入的條件，將指定字段的值進行轉換，類似SQL的casewhen。用戶指定轉換的字段與轉換規(guī)則。支持對多字段進行轉換，支持對某個字段多個轉換規(guī)則，支持default規(guī)則?？梢耘渲棉D換生成列的元數(shù)據(jù)信息。第一百頁，共118頁。第一百零一頁，共118頁。1

并行分類算法Classifiers4MR分類功能應以用戶提供的歷史消費清單作為訓練數(shù)據(jù)，這些數(shù)據(jù)中有一個屬性作為分

類屬性，且每條記錄已標明分類屬性的值。分類算法應提供兩方面基本功能：

（1）

學習分類模型：從訓練集數(shù)據(jù)中發(fā)現(xiàn)潛在的分類模型，并以特定方式表達

（2）

預測：對用戶新提供的數(shù)據(jù)集，依據(jù)分類模型預測出所屬類別并行分類算法包括：EmptyClassifier4M、C45決策樹、CBC分類、CBR分類、K近鄰、樸素貝葉斯、層次C45決策樹、線性回歸分類、神經(jīng)網(wǎng)絡算法。BC-PDM挖掘算法第一百零二頁，共118頁。神經(jīng)網(wǎng)絡算法