云計(jì)算與數(shù)據(jù)挖掘

云計(jì)算與數(shù)據(jù)挖掘gloud@126.com中國(guó)云計(jì)算：中國(guó)網(wǎng)格：

內(nèi)容提綱云計(jì)算概念與現(xiàn)狀云計(jì)算的起源云計(jì)算發(fā)展的驅(qū)動(dòng)因素云計(jì)算的定義

云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算技術(shù)體系結(jié)構(gòu)Google云計(jì)算關(guān)鍵技術(shù)Google文件系統(tǒng)GFS(GoogleFileSystem)并行數(shù)據(jù)處理MapReduce結(jié)構(gòu)化數(shù)據(jù)表BigTable分布式鎖管理ChubbyMapReduceBigTableGFSChubby微軟的節(jié)能措施Google云計(jì)算原理分布式文件系統(tǒng)GFSGoogleFileSystem13Google需要一個(gè)支持海量存儲(chǔ)的文件系統(tǒng)購(gòu)置昂貴的分布式文件系統(tǒng)與硬件？Google設(shè)計(jì)GFS的動(dòng)機(jī)是否可以在一堆廉價(jià)且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)？14為什么不使用當(dāng)時(shí)現(xiàn)存的文件系統(tǒng)？Google所面臨的問(wèn)題與眾不同不同的工作負(fù)載，不同的設(shè)計(jì)優(yōu)先級(jí)（廉價(jià)、不可靠的硬件）需要設(shè)計(jì)與Google應(yīng)用和負(fù)載相符的文件系統(tǒng)Google設(shè)計(jì)GFS的動(dòng)機(jī)15GFS的假設(shè)與目標(biāo)硬件出錯(cuò)是正常而非異常系統(tǒng)應(yīng)當(dāng)由大量廉價(jià)、易損的硬件組成必須保持文件系統(tǒng)整體的可靠性主要負(fù)載是流數(shù)據(jù)讀寫(xiě)主要用于程序處理批量數(shù)據(jù)，而非與用戶的交互或隨機(jī)讀寫(xiě)數(shù)據(jù)寫(xiě)主要是“追加寫(xiě)”，“插入寫(xiě)”非常少需要存儲(chǔ)大尺寸的文件存儲(chǔ)的文件尺寸可能是GB或TB量級(jí)，而且應(yīng)當(dāng)能支持存儲(chǔ)成千上萬(wàn)的大尺寸文件16將文件劃分為若干塊（Chunk）存儲(chǔ)每個(gè)塊固定大小（64M）通過(guò)冗余來(lái)提高可靠性每個(gè)數(shù)據(jù)塊至少在3個(gè)數(shù)據(jù)塊服務(wù)器上冗余數(shù)據(jù)塊損壞概率？通過(guò)單個(gè)master來(lái)協(xié)調(diào)數(shù)據(jù)訪問(wèn)、元數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)簡(jiǎn)單，容易保持元數(shù)據(jù)一致性無(wú)緩存Why?GFS的設(shè)計(jì)思路17單一Master,若干ChunkServerGFS的架構(gòu)GFS的架構(gòu)有什么問(wèn)題嗎？1819分布式系統(tǒng)設(shè)計(jì)告訴我們：這是單點(diǎn)故障這是性能瓶頸GFS的解決辦法單點(diǎn)故障問(wèn)題單一Master問(wèn)題采用多個(gè)（如3個(gè)）影子Master節(jié)點(diǎn)進(jìn)行熱備，一旦主節(jié)點(diǎn)損壞，立刻選舉一個(gè)新的主節(jié)點(diǎn)服務(wù)20GFS的解決辦法性能瓶頸問(wèn)題單一Master問(wèn)題盡可能減少數(shù)據(jù)存取中Master的參與程度不使用Master讀取數(shù)據(jù)，僅用于保存元數(shù)據(jù)客戶端緩存元數(shù)據(jù)采用大尺寸的數(shù)據(jù)塊（64M）數(shù)據(jù)修改順序交由PrimaryChunkServer完成Simple,andgoodenough!21存儲(chǔ)元數(shù)據(jù)文件系統(tǒng)目錄管理與加鎖與ChunkServer進(jìn)行周期性通信發(fā)送指令，搜集狀態(tài)，跟蹤數(shù)據(jù)塊的完好性數(shù)據(jù)塊創(chuàng)建、復(fù)制及負(fù)載均衡對(duì)ChunkServer的空間使用和訪問(wèn)速度進(jìn)行負(fù)載均衡，平滑數(shù)據(jù)存儲(chǔ)和訪問(wèn)請(qǐng)求的負(fù)載對(duì)數(shù)據(jù)塊進(jìn)行復(fù)制、分散到ChunkServer上一旦數(shù)據(jù)塊冗余數(shù)小于最低數(shù)，就發(fā)起復(fù)制操作Master節(jié)點(diǎn)的任務(wù)22垃圾回收在日志中記錄刪除操作，并將文件改名隱藏緩慢地回收隱藏文件與傳統(tǒng)文件刪除相比更簡(jiǎn)單、更安全陳舊數(shù)據(jù)塊刪除探測(cè)陳舊的數(shù)據(jù)塊，并刪除Master節(jié)點(diǎn)的任務(wù)23采用中心服務(wù)器模式可以方便地增加ChunkServerMaster掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進(jìn)行負(fù)載均衡不存在元數(shù)據(jù)的一致性問(wèn)題GFS架構(gòu)的特點(diǎn)24不緩存數(shù)據(jù)GFS的文件操作大部分是流式讀寫(xiě)，不存在大量的重復(fù)讀寫(xiě)，使用Cache對(duì)性能提高不大ChunkServer上的數(shù)據(jù)存取使用本地文件系統(tǒng)，如果某個(gè)Chunk讀取頻繁，文件系統(tǒng)具有Cache從可行性看，Cache與實(shí)際數(shù)據(jù)的一致性維護(hù)也極其復(fù)雜GFS架構(gòu)的特點(diǎn)?25在用戶態(tài)下實(shí)現(xiàn)直接利用ChunkServer的文件系統(tǒng)存取Chunk，實(shí)現(xiàn)簡(jiǎn)單用戶態(tài)應(yīng)用調(diào)試較為簡(jiǎn)單，利于開(kāi)發(fā)用戶態(tài)的GFS不會(huì)影響ChunkServer的穩(wěn)定性提供專用的訪問(wèn)接口未提供標(biāo)準(zhǔn)的POSIX訪問(wèn)接口降低GFS的實(shí)現(xiàn)復(fù)雜度GFS架構(gòu)的特點(diǎn)26GFS的容錯(cuò)方法GFS的容錯(cuò)機(jī)制ChunkServer容錯(cuò)每個(gè)Chunk有多個(gè)存儲(chǔ)副本（通常是3個(gè)），分別存儲(chǔ)于不通的服務(wù)器上每個(gè)Chunk又劃分為若干Block（64KB），每個(gè)Block對(duì)應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè)Block錯(cuò)誤，則轉(zhuǎn)移至其他Chunk副本）27GFS的性能28Google云計(jì)算原理并行數(shù)據(jù)處理模型MapReduce摩爾定律集成電路芯片上所集成的電路的數(shù)目，

每隔18個(gè)月就翻一番，同時(shí)性能也提升

一倍并行計(jì)算基礎(chǔ)GordonMoore“免費(fèi)的性能大餐”？Andygiven,andBilltakenaway軟件算法、數(shù)據(jù)結(jié)構(gòu)似乎不再重要，因?yàn)樘幚砥餍阅懿粩嗵嵘⑿杏?jì)算基礎(chǔ)免費(fèi)的午餐已經(jīng)結(jié)束！！IntelMicrosoft摩爾定律正在走向終結(jié)…單芯片容納晶體管的增加，對(duì)制造工藝提出要求CPU制造18nm技術(shù)，電子泄漏問(wèn)題CPU主頻已達(dá)3GHz時(shí)代，難以繼續(xù)提高散熱問(wèn)題（發(fā)熱太大，且難以驅(qū)散）功耗太高并行計(jì)算基礎(chǔ)未來(lái)的發(fā)展：多核在多核時(shí)代生存，必須考慮并發(fā)問(wèn)題不存在解決多核編程問(wèn)題的銀彈，

不存在可以簡(jiǎn)單地將并發(fā)編程問(wèn)題化

解掉的工具，開(kāi)發(fā)高性能的并行程序

必須要求開(kāi)發(fā)者從根本上改變其編程

方法從某種意義上來(lái)說(shuō)，這不僅僅是要改

變50年來(lái)順序程序設(shè)計(jì)的工藝傳統(tǒng)，

而且是要改變數(shù)百萬(wàn)年來(lái)人類順序化思考問(wèn)題的習(xí)慣并行計(jì)算基礎(chǔ)Herb

Sutter串行編程早期的計(jì)算里，程序一般是被串行執(zhí)行的程序是指令的序列，在單處理器的機(jī)器里，程序從開(kāi)始到結(jié)束，這些指令一條接一條的執(zhí)行并行編程一道處理可以被劃分為幾部分,然后它們可以并發(fā)地執(zhí)行各部分的指令分別在不同的CPU上同時(shí)運(yùn)行，這些CPU可以存在于單臺(tái)機(jī)器中,也可以存在于多臺(tái)機(jī)器上,它們通過(guò)連接起來(lái)共同運(yùn)作并行計(jì)算基礎(chǔ)什么樣的問(wèn)題適合并行計(jì)算？斐波那契序列(Fibonacci)的計(jì)算？并行計(jì)算基礎(chǔ)什么樣的問(wèn)題適合并行計(jì)算？如果有大量結(jié)構(gòu)一致的數(shù)據(jù)要處理，且數(shù)據(jù)可以分解成相同大小的部分，那我們就可以設(shè)法使這道處理變成并行并行計(jì)算基礎(chǔ)計(jì)算問(wèn)題簡(jiǎn)單，但求解困難待處理數(shù)據(jù)量巨大（PB級(jí)），只有分布在成百上千個(gè)節(jié)點(diǎn)上并行計(jì)算才能在可接受的時(shí)間內(nèi)完成如何進(jìn)行并行分布式計(jì)算？如何分發(fā)待處理數(shù)據(jù)？如何處理分布式計(jì)算中的錯(cuò)誤？為什么需要MapReduce？簡(jiǎn)單的問(wèn)題，計(jì)算并不簡(jiǎn)單！為什么需要MapReduce？GoogleMapReduce架構(gòu)設(shè)計(jì)師JeffreyDeanJefferyDean設(shè)計(jì)一個(gè)新的抽象模型，使我們只要執(zhí)行的簡(jiǎn)單計(jì)算，而將并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個(gè)庫(kù)里，使并行編程時(shí)不必關(guān)心它們這就是MapReduce一個(gè)軟件架構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模式用于大規(guī)模數(shù)據(jù)集（通常大于1TB）的并行運(yùn)算MapReduce實(shí)現(xiàn)了Map和Reduce兩個(gè)功能Map把一個(gè)函數(shù)應(yīng)用于集合中的所有成員，然后返回一個(gè)基于這個(gè)處理的結(jié)果集Reduce對(duì)結(jié)果集進(jìn)行分類和歸納Map()和Reduce()兩個(gè)函數(shù)可能會(huì)并行運(yùn)行，即使不是在同一的系統(tǒng)的同一時(shí)刻MapReduceMapReduce示例：?jiǎn)卧~計(jì)數(shù)案例：?jiǎn)卧~記數(shù)問(wèn)題(WordCount)給定一個(gè)巨大的文本（如1TB），如何計(jì)算單詞出現(xiàn)的數(shù)目？MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題定義Map和Reduce函數(shù)MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step1:自動(dòng)對(duì)文本進(jìn)行分割，形成初始的<key,value>對(duì)MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step2:在分割之后的每一對(duì)<key,value>進(jìn)行用戶定義的Map進(jìn)行處理，再生成新的<key,value>對(duì)MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step3:對(duì)輸出的結(jié)果集歸攏、排序(系統(tǒng)自動(dòng)完成）MapReduce示例：?jiǎn)卧~計(jì)數(shù)使用MapReduce求解該問(wèn)題Step4:通過(guò)Reduce操作生成最后結(jié)果GoogleMapReduce執(zhí)行流程源文件：GFSMap處理結(jié)果：本地存儲(chǔ)Reduce處理結(jié)果：GFS日志：GFS文件存儲(chǔ)位置思考GoogleMapReduce計(jì)算架構(gòu)有什么問(wèn)題？Worker故障Master周期性的ping每個(gè)worker。如果master在一個(gè)確定的時(shí)間段內(nèi)沒(méi)有收到worker返回的信息，那么它將把這個(gè)worker標(biāo)記成失效重新執(zhí)行該節(jié)點(diǎn)上已經(jīng)執(zhí)行或尚未執(zhí)行的Map任務(wù)重新執(zhí)行該節(jié)點(diǎn)上未完成的Reduce任務(wù)，已完成的不再執(zhí)行Master故障定期寫(xiě)入檢查點(diǎn)數(shù)據(jù)從檢查點(diǎn)恢復(fù)MapReduce的容錯(cuò)WHY？任務(wù)備份機(jī)制慢的workers會(huì)嚴(yán)重地拖延整個(gè)執(zhí)行完成的時(shí)間由于其他的任務(wù)占用了資源磁盤(pán)損壞解決方案:在臨近結(jié)束的時(shí)候，啟動(dòng)多個(gè)進(jìn)程來(lái)執(zhí)行尚未完成的任務(wù)誰(shuí)先完成，就算誰(shuí)可以十分顯著地提高執(zhí)行效率MapReduce的優(yōu)化本地處理Master調(diào)度策略:

向GFS詢問(wèn)獲得輸入文件blocks副本的位置信息Maptasks的輸入數(shù)據(jù)通常按64MB來(lái)劃分(GFSblock大小)按照blocks所在的機(jī)器或機(jī)器所在機(jī)架的范圍進(jìn)行調(diào)度效果絕大部分機(jī)器從本地讀取文件作為輸入，節(jié)省大量帶寬MapReduce的優(yōu)化跳過(guò)有問(wèn)題的記錄一些特定的輸入數(shù)據(jù)常導(dǎo)致Map/Reduce無(wú)法運(yùn)行最好的解決方法是調(diào)試或者修改不一定可行~可能需要第三方庫(kù)或源碼在每個(gè)worker里運(yùn)行一個(gè)信號(hào)處理程序，捕獲map或reduce任務(wù)崩潰時(shí)發(fā)出的信號(hào)，一旦捕獲，就會(huì)向master報(bào)告，同時(shí)報(bào)告輸入記錄的編號(hào)信息。如果master看到一條記錄有兩次崩潰信息，那么就會(huì)對(duì)該記錄進(jìn)行標(biāo)記，下次運(yùn)行的時(shí)候，跳過(guò)該記錄MapReduce的優(yōu)化“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”實(shí)踐證明，MapReduce是出色的分布式計(jì)算模型Google宣布，其對(duì)分布于1000臺(tái)計(jì)算機(jī)上的1TB數(shù)據(jù)進(jìn)行排序僅僅需要68s對(duì)4000臺(tái)計(jì)算機(jī)上的1PB數(shù)據(jù)進(jìn)行排序處理僅需要6小時(shí)2分鐘（每次測(cè)試至少會(huì)損壞1塊硬盤(pán)）在08年1月份，GoogleMapReduce平均每天的數(shù)據(jù)處理量是20PB，相當(dāng)于美國(guó)國(guó)會(huì)圖書(shū)館當(dāng)年5月份存檔網(wǎng)絡(luò)數(shù)據(jù)的240倍Goolge的云計(jì)算分布式數(shù)據(jù)表BigTable54BigTable為什么需要設(shè)計(jì)BigTable？Google需要存儲(chǔ)的數(shù)據(jù)種類繁多網(wǎng)頁(yè)，地圖數(shù)據(jù)，郵件……如何使用統(tǒng)一的方式存儲(chǔ)各類數(shù)據(jù)？海量的服務(wù)請(qǐng)求如何快速地從海量信息中尋找需要的數(shù)據(jù)？BigTable：基于GFS和Chubby的分布式存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化存儲(chǔ)和管理與GFS的聯(lián)系55數(shù)據(jù)存儲(chǔ)可靠性高速數(shù)據(jù)檢索與讀取存儲(chǔ)海量的記錄（若干TB）可以保存記錄的多個(gè)版本Google的需求56與寫(xiě)操作相比，數(shù)據(jù)記錄讀操作占絕大多數(shù)工作負(fù)載單個(gè)節(jié)點(diǎn)故障損壞是常見(jiàn)的磁盤(pán)是廉價(jià)的可以不提供標(biāo)準(zhǔn)接口Google既能控制數(shù)據(jù)庫(kù)設(shè)計(jì)，又能進(jìn)行應(yīng)用系統(tǒng)設(shè)計(jì)假設(shè)57具有廣泛的適應(yīng)性支持Google系列產(chǎn)品的存儲(chǔ)需求具有很強(qiáng)的可擴(kuò)展性根據(jù)需要隨時(shí)加入或撤銷服務(wù)器應(yīng)對(duì)不斷增多的訪問(wèn)請(qǐng)求高可用性單個(gè)節(jié)點(diǎn)易損，但要確保幾乎所有的情況下系統(tǒng)都可用簡(jiǎn)單性簡(jiǎn)單的底層系統(tǒng)可減少系統(tǒng)出錯(cuò)概率，為上層開(kāi)發(fā)帶來(lái)便利設(shè)計(jì)目標(biāo)58總體上，與關(guān)系數(shù)據(jù)庫(kù)中的表類似邏輯視圖RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“<html>..“Text/htmlT5“<html>..“t3“<html>..“關(guān)系數(shù)據(jù)庫(kù)中的表是什么樣的？有什么特征？關(guān)系數(shù)據(jù)庫(kù)中的表設(shè)計(jì)需要遵循什么原則？59行每行數(shù)據(jù)有一個(gè)可排序的關(guān)鍵字和任意列項(xiàng)字符串、整數(shù)、二進(jìn)制串甚至可串行化的結(jié)構(gòu)都可以作為行鍵表按照行鍵的“逐字節(jié)排序”順序?qū)π羞M(jìn)行有序化處理表內(nèi)數(shù)據(jù)非?！∈琛?，不同的行的列的數(shù)完全目可以大不相同URL是較為常見(jiàn)的行鍵，存儲(chǔ)時(shí)需要倒排統(tǒng)一地址域的網(wǎng)頁(yè)連續(xù)存儲(chǔ)，便于查找、分析和壓縮數(shù)據(jù)模型/index.asp→com.baidu.mp3/index.asp60列特定含義的數(shù)據(jù)的集合，如圖片、鏈接等可將多個(gè)列歸并為一組，稱為族（family）采用族:限定詞的語(yǔ)法規(guī)則進(jìn)行定義fileattr:owning_group”,“fileattr:owning_user”,etc同一個(gè)族的數(shù)據(jù)被壓縮在一起保存族是必須的，是BigTable中訪問(wèn)控制的基本單元數(shù)據(jù)模型61時(shí)間戳保存不同時(shí)期的數(shù)據(jù)，如“網(wǎng)頁(yè)快照”“Abigtable”表中的列可以不受限制地增長(zhǎng)表中的數(shù)據(jù)幾乎可以無(wú)限地增加數(shù)據(jù)模型通過(guò)(row,col,timestamp)查詢通過(guò)(row,col,MOST_RECENT)查詢62無(wú)數(shù)據(jù)校驗(yàn)每行都可存儲(chǔ)任意數(shù)目的列BigTable不對(duì)列的最少數(shù)目進(jìn)行約束任意類型的數(shù)據(jù)均可存儲(chǔ)BigTable將所有數(shù)據(jù)均看作為字符串?dāng)?shù)據(jù)的有效性校驗(yàn)由構(gòu)建于其上的應(yīng)用系統(tǒng)完成一致性針對(duì)同一行的多個(gè)操作可以分組合并不支持對(duì)多行進(jìn)行修改的操作符數(shù)據(jù)模型63物理視圖RowKeyTimeStampColumn:ContentsCn.wwwT6“<html>..”T5“<html>..”T3“<html>..”RowKeyTimeStampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMRowKeyTimeStampColumn:mimeCn.wwwT6text/htmlRowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“<html>..“Text/htmlT5“<html>..“t3“<html>..“64邏輯上的“表”被劃分為若干子表（Tablet）每個(gè)Tablet由多個(gè)SSTable文件組成SSTable文件存儲(chǔ)在GFS之上每個(gè)子表存儲(chǔ)了table的一部分行元數(shù)據(jù)：起始行鍵、終止行鍵如果子表體積超過(guò)了閾值（如200M），則進(jìn)行分割物理視圖65體系結(jié)構(gòu)66為每個(gè)子表服務(wù)器分配子表，對(duì)外提供服務(wù)與GFS垃圾回收進(jìn)行交互，收回廢棄的SSTable探測(cè)子表服務(wù)器的故障與恢復(fù)負(fù)載均衡主節(jié)點(diǎn)的職責(zé)有效緩解單點(diǎn)故障67BigTable小結(jié)68Google云計(jì)算架構(gòu)中GFS、MapReduce和BigTable中是否存在集群節(jié)點(diǎn)復(fù)用的情況？如何復(fù)用？節(jié)點(diǎn)復(fù)用的好處有哪些？Google云計(jì)算架構(gòu)的設(shè)計(jì)對(duì)你有哪些啟發(fā)？有哪些收獲？綜合討論中移動(dòng)大云平臺(tái)BigCloudBC-PDM分布式數(shù)據(jù)挖掘系統(tǒng)

2007年3月，確定了大云(BigCloud)計(jì)劃，即中國(guó)移動(dòng)研究院為打造中國(guó)移動(dòng)云計(jì)算基礎(chǔ)設(shè)施而實(shí)施的關(guān)鍵技術(shù)研究及原型系統(tǒng)開(kāi)發(fā)計(jì)劃。

2007年7月，利用閑置的15臺(tái)PC服務(wù)器，基于開(kāi)源軟件搭建了海量數(shù)據(jù)處理試驗(yàn)平臺(tái)，并成功運(yùn)行搜索引擎軟件。

2008年10月，建立256節(jié)點(diǎn)的大規(guī)模運(yùn)算實(shí)驗(yàn)室，并運(yùn)行數(shù)據(jù)挖掘工具和相關(guān)應(yīng)用。

2009年9月，BigCloud0.5版本在中國(guó)移動(dòng)研究院內(nèi)部發(fā)布試用。

2009年12月，試驗(yàn)平臺(tái)進(jìn)一步擴(kuò)容，達(dá)到1000臺(tái)服務(wù)器、5000個(gè)CPU、3000TB的存儲(chǔ)規(guī)模?！按笤啤毖邪l(fā)大事記并行數(shù)據(jù)挖掘工具(BC-PDM)是一套高性能、低成本、高可靠性、高可伸縮性的海量數(shù)據(jù)處理、分析和挖掘系統(tǒng)。該工具提供海量數(shù)據(jù)并行ETL和并行挖掘能力，支持企業(yè)的BI應(yīng)用和精準(zhǔn)營(yíng)銷;提供業(yè)務(wù)邏輯復(fù)雜的SQL能力，支持海量數(shù)據(jù)的清洗、轉(zhuǎn)換、關(guān)聯(lián)、匯總等操作，支持生成企業(yè)報(bào)表、KPI、挖掘等應(yīng)用;提供基于Web的SaaS服務(wù)模式，降低企業(yè)IT系統(tǒng)投資。大云數(shù)據(jù)挖掘系統(tǒng)(BC-PDM)登錄后界面工作流畫(huà)布（KnowledgeFlowLayout）job監(jiān)控框(Jobmonitor)數(shù)據(jù)查看與管理預(yù)覽數(shù)據(jù)創(chuàng)建工作流配置工作流運(yùn)行工作流查看工作流結(jié)果文本ROC圖Lift圖工作流調(diào)度情況BC-PDM的數(shù)據(jù)裝載和導(dǎo)出數(shù)據(jù)加載是將分布式文件系統(tǒng)（DFS）上的沒(méi)有元數(shù)據(jù)文件的數(shù)據(jù)生成元數(shù)據(jù)文件，或?qū)?shù)據(jù)進(jìn)行斷行、空行等初步處理，或作為工作流運(yùn)行的起始組件。數(shù)據(jù)導(dǎo)出是將處理后的數(shù)據(jù)文件轉(zhuǎn)換成指定的格式或分隔符，數(shù)據(jù)仍然保存在DFS上。數(shù)據(jù)加載（導(dǎo)入）數(shù)據(jù)加載（導(dǎo)入）導(dǎo)入頭文件頭文件舉例start_time,date,開(kāi)始時(shí)間imsi,VARCHAR(10),IMSIcalling,VARCHAR(10),用戶號(hào)碼user_ip,VARCHAR(10),用戶IP地址APN,VARCHAR(10),訪問(wèn)方式IMEI,VARCHAR(10),終端標(biāo)識(shí)號(hào)rat,int,2G/3G網(wǎng)絡(luò)標(biāo)識(shí)App_type,int,應(yīng)用類型LAC,VARCHAR(10),xmCell_ID,VARCHAR(10),xmsource_ip,VARCHAR(10),源IP地址dest_ip,VARCHAR(10),目的地址數(shù)據(jù)導(dǎo)出并行數(shù)據(jù)處理(ETL)ETL操作可以分為普通ETL和鏈?zhǔn)紼TL。普通ETL和鏈?zhǔn)紼TL分別又細(xì)分為：清洗類、轉(zhuǎn)換類、集成類、計(jì)算類、抽樣類、集合類、更新類、及其它類8大類。類別組件名功能清洗類數(shù)據(jù)類型檢查對(duì)輸入文件逐條記錄地檢查每個(gè)字段的數(shù)據(jù)是否與元數(shù)據(jù)中的類型相符合外鍵約束升級(jí)主鍵表或升級(jí)外鍵表后的外鍵約束檢查主鍵約束對(duì)數(shù)據(jù)表的主鍵約束檢查，包括主鍵非空和主鍵唯一缺值處理按照指定的替換值填補(bǔ)數(shù)據(jù)文件中的缺值或Null值等空值域約束包括非空值約束、值域范圍檢查和自定義約束檢查去重將完全重復(fù)的數(shù)據(jù)行丟棄轉(zhuǎn)換類Casewhen將符合條件的數(shù)據(jù)按指定進(jìn)行轉(zhuǎn)換，類似SQL的casewhen計(jì)數(shù)區(qū)間化按計(jì)數(shù)將指定字段值區(qū)間化為N個(gè)區(qū)間，每個(gè)區(qū)間數(shù)據(jù)個(gè)數(shù)相等，并為該字段按不同區(qū)間設(shè)置特定值字段類型轉(zhuǎn)換支持對(duì)多個(gè)字段進(jìn)行字段名或字段類型的修改，提供多種數(shù)據(jù)類型字段之間的強(qiáng)制轉(zhuǎn)換數(shù)值區(qū)間化按數(shù)值將指定字段值區(qū)間化為N個(gè)區(qū)間，每個(gè)區(qū)間數(shù)據(jù)取值范圍相等，并為該字段按不同區(qū)間設(shè)置特定值歸一化對(duì)指定字段按該字段的均值和標(biāo)準(zhǔn)偏差，進(jìn)行zscore歸一化屬性交換將屬性的兩列互換關(guān)聯(lián)規(guī)則數(shù)據(jù)生成將業(yè)務(wù)訂購(gòu)情況數(shù)據(jù)生成購(gòu)物籃數(shù)據(jù)供關(guān)聯(lián)規(guī)則算法使用PCA主成分分析將輸入數(shù)據(jù)的屬性由高維降到較低的維度集成類Delete組件刪除符合一定表達(dá)式條件的記錄Join組件可將多個(gè)表按指定的字段關(guān)聯(lián)，包括主鍵join、維表join和普通join三個(gè)組件，針對(duì)不同關(guān)聯(lián)情況使用不同組件Sort組件按用戶指定排序關(guān)鍵字字段進(jìn)行排序Where組件找出滿足用戶定義的表達(dá)式條件的記錄。計(jì)算類計(jì)算生成列通過(guò)對(duì)現(xiàn)有多字段混合計(jì)算生成的新字段Groupby組件對(duì)數(shù)據(jù)按照用戶指定的屬性聚集、匯總統(tǒng)計(jì)計(jì)算每個(gè)字段的統(tǒng)計(jì)信息抽樣類分層抽樣供分類目標(biāo)字段數(shù)據(jù)平衡使用采樣按比例隨機(jī)抽樣數(shù)據(jù)集合類集合差根據(jù)用戶指定的數(shù)據(jù)文件和集合運(yùn)算表達(dá)式進(jìn)行2個(gè)集合的差運(yùn)算集合交并根據(jù)用戶指定的數(shù)據(jù)文件和集合運(yùn)算表達(dá)式進(jìn)行多個(gè)集合間的交，并運(yùn)算。更新類Update組件更新，類似數(shù)據(jù)庫(kù)UpdateInsertupdate組件增量更新，類似數(shù)據(jù)庫(kù)Insertupdate其他類數(shù)據(jù)集分割根據(jù)比例將數(shù)據(jù)分割為訓(xùn)練集和測(cè)試集兩個(gè)數(shù)據(jù)清洗類-數(shù)據(jù)類型檢查根據(jù)元數(shù)據(jù)中各個(gè)字段的數(shù)據(jù)類型，對(duì)輸入文件逐條記錄地檢查每個(gè)字段的數(shù)據(jù)是否與元數(shù)據(jù)中的類型相符合，支持多種日期類型。對(duì)發(fā)現(xiàn)不滿足數(shù)據(jù)類型的記錄，應(yīng)用異常數(shù)據(jù)處理規(guī)則。并在有效性驗(yàn)證后提供一個(gè)驗(yàn)證報(bào)告，包括丟棄了多少數(shù)據(jù)、對(duì)數(shù)據(jù)進(jìn)行了什么處理等信息。參數(shù)說(shuō)明輸入文件設(shè)置輸入文件的地址及文件名輸出文件設(shè)置輸出文件的地址及文件名另存路徑設(shè)置異常數(shù)據(jù)文件的地址和文件名numOfmap設(shè)置Map個(gè)數(shù)numOfreduce設(shè)置Reduce個(gè)數(shù)轉(zhuǎn)換類-caseWhen根據(jù)用戶輸入的條件，將指定字段的值進(jìn)行轉(zhuǎn)換，類似SQL的casewhen。用戶指定轉(zhuǎn)換的字段與轉(zhuǎn)換規(guī)則。支持對(duì)多字段進(jìn)行轉(zhuǎn)換，支持對(duì)某個(gè)字段多個(gè)轉(zhuǎn)換規(guī)則，支持default規(guī)則?？梢耘渲棉D(zhuǎn)換生成列的元數(shù)據(jù)信息。參數(shù)說(shuō)明輸入文件設(shè)置輸入文件的地址及文件名輸出文件設(shè)置輸出文件的地址及文件名生成字段名設(shè)置要生成字段的名字字段類型設(shè)置要生成字段的類型條件表達(dá)式當(dāng)條件表達(dá)式為真時(shí)，執(zhí)行替換表達(dá)式替換表達(dá)式設(shè)置替換表達(dá)式numOfmap設(shè)置Map個(gè)數(shù)numOfreduce設(shè)置Reduce個(gè)數(shù)1

并行分類算法Classifiers4MR分類功能應(yīng)以用戶提供的歷史消費(fèi)清單作為訓(xùn)練數(shù)據(jù)，這些數(shù)據(jù)中有一個(gè)屬性作為分

類屬性，且每條記錄已標(biāo)明分類屬性的值。分類算法應(yīng)提供兩方面基本功能：

（1）

學(xué)習(xí)分類模型：從訓(xùn)練集數(shù)據(jù)中發(fā)現(xiàn)潛在的分類模型，并以特定方式表達(dá)

（2）

預(yù)測(cè)：對(duì)用戶新提供的數(shù)據(jù)集，依據(jù)分類模型預(yù)測(cè)出所屬類別并行分類算法包括：EmptyClassifier4M、C45決策樹(shù)、CBC分類、CBR分類、K近鄰、樸素貝葉斯、層次C45決策樹(shù)、線性回歸分類、神經(jīng)網(wǎng)絡(luò)算法。BC-PDM挖掘算法神經(jīng)網(wǎng)絡(luò)算法

把整個(gè)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元?jiǎng)澐殖刹煌瑢哟危瑢?duì)同層次內(nèi)的不同神經(jīng)元進(jìn)行并行參數(shù)計(jì)算，并通過(guò)統(tǒng)一調(diào)度和精度控制對(duì)神經(jīng)元進(jìn)行快速的并行化訓(xùn)練。訓(xùn)練完畢后，對(duì)于每一個(gè)輸入，通過(guò)并行化神經(jīng)網(wǎng)絡(luò)快速地得到輸出參數(shù)設(shè)置trainInputPath設(shè)置訓(xùn)練集在DFS上的路徑testInputPath設(shè)置測(cè)試集在DFS上的路徑predictInputPath設(shè)置預(yù)測(cè)測(cè)試集在DFS上的路徑outputPath設(shè)置結(jié)果輸出在DFS的路徑numMapTasks設(shè)置Map的個(gè)數(shù)，一般取計(jì)算集群核個(gè)數(shù)的4倍numReduceTasks設(shè)置Reduce的個(gè)數(shù)，一般取計(jì)算集群核個(gè)數(shù)的2倍learningRate設(shè)置神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率，默認(rèn)為0.6moment設(shè)置神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)沖量，默認(rèn)為0.9middleNum設(shè)置神經(jīng)網(wǎng)絡(luò)的中間層數(shù)目，默認(rèn)為5middlePopulation設(shè)置神經(jīng)網(wǎng)絡(luò)的各個(gè)中間層上節(jié)點(diǎn)的數(shù)目，每一層的節(jié)點(diǎn)數(shù)用,隔開(kāi)。比如有兩個(gè)中間層，各有x個(gè)和y個(gè)節(jié)，則參數(shù)配置為x,ymin_success_ratio期望達(dá)到的最小成功率，默認(rèn)為0.7index預(yù)測(cè)利用的屬性，默認(rèn)為出來(lái)目標(biāo)屬性外所有的整形和浮點(diǎn)型的屬性TargetIndex要預(yù)測(cè)的目標(biāo)屬性，默認(rèn)為最后一維modelPath訓(xùn)練中用來(lái)存儲(chǔ)模型的路徑，或者測(cè)試時(shí)要利用的模型文件的路徑2并行聚類算法Clusterers4MR

聚類算法應(yīng)對(duì)用戶提供的全體數(shù)據(jù)集，按照一定的聚類原則，自動(dòng)聚成幾簇。每個(gè)簇內(nèi)的數(shù)據(jù)應(yīng)具有很高的相似性。應(yīng)提供的功能包括：（1）自動(dòng)聚類：將數(shù)據(jù)集形成簇模型；（2）預(yù)測(cè)：依據(jù)形成的簇模型，對(duì)新數(shù)據(jù)判定所屬的簇。并行聚類規(guī)則算法包括：k均值算法、Clara聚類算法、DBScan聚類算法。3并行關(guān)聯(lián)規(guī)則算法Associations4MR關(guān)聯(lián)規(guī)則挖掘工具以選定的客戶消費(fèi)記錄全集作為輸入，分析消費(fèi)記錄中各消費(fèi)項(xiàng)間依賴關(guān)系，產(chǎn)生規(guī)則描述各消費(fèi)項(xiàng)之間同時(shí)出現(xiàn)的規(guī)律。關(guān)聯(lián)規(guī)則算法包括：并行PApriori算法、并行PFPgrowth算法、并行PAwfits算、時(shí)序關(guān)聯(lián)規(guī)則。時(shí)序關(guān)聯(lián)規(guī)則挖掘算法主要可以用于發(fā)現(xiàn)交易序列中的頻繁模式。因?yàn)榻灰仔蛄芯哂袝r(shí)間性，因此各數(shù)據(jù)項(xiàng)集之間存在時(shí)間上的先后關(guān)系，“買(mǎi)A又買(mǎi)B的顧客往往還會(huì)買(mǎi)C”的規(guī)則轉(zhuǎn)變成了“買(mǎi)A后又買(mǎi)B的顧客往往會(huì)接下來(lái)再買(mǎi)C”或者“買(mǎi)B后又買(mǎi)A的顧客往往會(huì)接下來(lái)再買(mǎi)C”，在時(shí)序關(guān)聯(lián)規(guī)則算法中，這后兩者是不同的兩個(gè)關(guān)聯(lián)規(guī)則。時(shí)序關(guān)聯(lián)規(guī)則算法參數(shù)設(shè)置inputpath設(shè)置測(cè)試集在DFS上的輸入路徑，例如：pku/seqpat/inputoutputpath設(shè)置DFS上的結(jié)果輸出路徑，例如：pku/seqpat/outputsupport設(shè)置序列的支持度(%)，取值范圍為：0–100，一般為20maxlength設(shè)置序列關(guān)聯(lián)規(guī)則的最大長(zhǎng)度，一般取值為6confidence設(shè)置規(guī)則的置信度(%)，若小于該閾值，則不保存該規(guī)則，否則保存到規(guī)則文件中。該閾值取值范圍為0~100，一般取80maptasks設(shè)置Map的個(gè)數(shù)，一般取計(jì)算集群核個(gè)數(shù)的4倍reducetasks設(shè)置Reduce的個(gè)數(shù)，一般取計(jì)算集群核個(gè)數(shù)的2倍

preprocess設(shè)置預(yù)處理的輸入路徑，預(yù)處理的輸出路徑為inputpath,若路徑為空值，則不進(jìn)行預(yù)處理過(guò)程聚類算法結(jié)果展示PKmeas算法處理dm_call數(shù)據(jù)后結(jié)果決策樹(shù)算法結(jié)果展示進(jìn)一步了解云計(jì)算謝謝！劉鵬gloud@126.com中國(guó)云計(jì)算：中國(guó)網(wǎng)格：第一節(jié)活塞式空壓機(jī)的工作原理第二節(jié)活塞式空壓機(jī)的結(jié)構(gòu)和自動(dòng)控制第三節(jié)活塞式空壓機(jī)的管理復(fù)習(xí)思考題單擊此處輸入你的副標(biāo)題，文字是您思想的提煉，為了最終演示發(fā)布的良好效果，請(qǐng)盡量言簡(jiǎn)意賅的闡述觀點(diǎn)。第六章活塞式空氣壓縮機(jī)

piston-aircompressor壓縮空氣在船舶上的應(yīng)用：

1.主機(jī)的啟動(dòng)、換向；

2.輔機(jī)的啟動(dòng)；

3.為氣動(dòng)裝置提供氣源；

4.為氣動(dòng)工具提供氣源；

5.吹洗零部件和濾器。

排氣量:單位時(shí)間內(nèi)所排送的相當(dāng)?shù)谝患?jí)吸氣狀態(tài)的空氣體積。單位：m3/s、m3/min、m3/h第六章活塞式空氣壓縮機(jī)

piston-aircompressor空壓機(jī)分類：按排氣壓力分：低壓0.2～1.0MPa；中壓1～10MPa；高壓10～100MPa。按排氣量分：微型<1m3/min；小型1～10m3/min；中型10～100m3/min；大型>100m3/min。第六章活塞式空氣壓縮機(jī)

piston-aircompressor第一節(jié)活塞式空壓機(jī)的工作原理容積式壓縮機(jī)按結(jié)構(gòu)分為兩大類：往復(fù)式與旋轉(zhuǎn)式兩級(jí)活塞式壓縮機(jī)單級(jí)活塞壓縮機(jī)活塞式壓縮機(jī)膜片式壓縮機(jī)旋轉(zhuǎn)葉片式壓縮機(jī)最長(zhǎng)的使用壽命-

----低轉(zhuǎn)速（1460RPM），動(dòng)件少（軸承與滑片），潤(rùn)滑油在機(jī)件間形成保護(hù)膜，防止磨損及泄漏，使空壓機(jī)能夠安靜有效運(yùn)作；平時(shí)有按規(guī)定做例行保養(yǎng)的JAGUAR滑片式空壓機(jī)，至今使用十萬(wàn)小時(shí)以上，依然完好如初，按十萬(wàn)小時(shí)相當(dāng)于每日以十小時(shí)運(yùn)作計(jì)算，可長(zhǎng)達(dá)33年之久。因此，將滑片式空壓機(jī)比喻為一部終身機(jī)器實(shí)不為過(guò)。滑(葉)片式空壓機(jī)可以365天連續(xù)運(yùn)轉(zhuǎn)并保證60000小時(shí)以上安全運(yùn)轉(zhuǎn)的空氣壓縮機(jī)1.進(jìn)氣2.開(kāi)始?jí)嚎s3.壓縮中4.排氣1.轉(zhuǎn)子及機(jī)殼間成為壓縮空間，當(dāng)轉(zhuǎn)子開(kāi)始轉(zhuǎn)動(dòng)時(shí)，空氣由機(jī)體進(jìn)氣端進(jìn)入。2.轉(zhuǎn)子轉(zhuǎn)動(dòng)使被吸入的空氣轉(zhuǎn)至機(jī)殼與轉(zhuǎn)子間氣密范圍，同時(shí)停止進(jìn)氣。3.轉(zhuǎn)子不斷轉(zhuǎn)動(dòng)，氣密范圍變小，空氣被壓縮。4.被壓縮的空氣壓力升高達(dá)到額定的壓力后由排氣端排出進(jìn)入油氣分離器內(nèi)。4.被壓縮的空氣壓力升高達(dá)到額定的壓力后由排氣端排出進(jìn)入油氣分離器內(nèi)。1.進(jìn)氣2.開(kāi)始?jí)嚎s3.壓縮中4.排氣1.凸凹轉(zhuǎn)子及機(jī)殼間成為壓縮空間，當(dāng)轉(zhuǎn)子開(kāi)始轉(zhuǎn)動(dòng)時(shí)，空氣由機(jī)體進(jìn)氣端進(jìn)入。2.轉(zhuǎn)子轉(zhuǎn)動(dòng)使被吸入的空氣轉(zhuǎn)至機(jī)殼與轉(zhuǎn)子間氣密范圍，同時(shí)停止進(jìn)氣。3.轉(zhuǎn)子不斷轉(zhuǎn)動(dòng)，氣密范圍變小，空氣被壓縮。螺桿式氣體壓縮機(jī)是世界上最先進(jìn)、緊湊型、堅(jiān)實(shí)、運(yùn)行平穩(wěn)，噪音低，是值得信賴的氣體壓縮機(jī)。螺桿式壓縮機(jī)氣路系統(tǒng)：

A

進(jìn)氣過(guò)濾器

B

空氣進(jìn)氣閥

C

壓縮機(jī)主機(jī)

D

單向閥

E

空氣/油分離器

F

最小壓力閥

G

后冷卻器

H

帶自動(dòng)疏水器的水分離器油路系統(tǒng)：

J

油箱

K

恒溫旁通閥

L

油冷卻器

M

油過(guò)濾器

N

回油閥

O

斷油閥冷凍系統(tǒng)：

P

冷凍壓縮機(jī)

Q

冷凝器

R

熱交換器

S

旁通系統(tǒng)

T

空氣出口過(guò)濾器螺桿式壓縮機(jī)渦旋式壓縮機(jī)

渦旋式壓縮機(jī)是20世紀(jì)90年代末期開(kāi)發(fā)并問(wèn)世的高科技?jí)嚎s機(jī)，由于結(jié)構(gòu)簡(jiǎn)單、零件少、效率高、可靠性好，尤其是其低噪聲、長(zhǎng)壽命等諸方面大大優(yōu)于其它型式的壓縮機(jī)，已經(jīng)得到壓縮機(jī)行業(yè)的關(guān)注和公認(rèn)。被譽(yù)為“環(huán)保型壓縮機(jī)”。由于渦旋式壓縮機(jī)的獨(dú)特設(shè)計(jì)，使其成為當(dāng)今世界最節(jié)能壓縮機(jī)。渦旋式壓縮機(jī)主要運(yùn)動(dòng)件渦卷付，只有磨合沒(méi)有磨損，因而壽命更長(zhǎng)，被譽(yù)為免維修壓縮機(jī)。

由于渦旋式壓縮機(jī)運(yùn)行平穩(wěn)、振動(dòng)小、工作環(huán)境安靜，又被譽(yù)為“超靜壓縮機(jī)”。

渦旋式壓縮機(jī)零部件少，只有四個(gè)運(yùn)動(dòng)部件,壓縮機(jī)工作腔由相運(yùn)動(dòng)渦卷付形成多個(gè)相互封閉的鐮形工作腔，當(dāng)動(dòng)渦卷作平動(dòng)運(yùn)動(dòng)時(shí)，使鐮形工作腔由大變小而達(dá)到壓縮和排出壓縮空氣的目的?；钊娇諝鈮嚎s機(jī)的外形第一節(jié)活塞式空壓機(jī)的工作原理一、理論工作循環(huán)（單級(jí)壓縮）工作循環(huán)：4—1—2—34—1吸氣過(guò)程

1—2壓縮過(guò)程

2—3排氣過(guò)程第一節(jié)活塞式空壓機(jī)的工作原理一、理論工作循環(huán)（單級(jí)壓縮）

壓縮分類：絕熱壓縮：1—2耗功最大等溫壓縮：1—2''耗功最小多變壓縮：1—2'耗功居中功＝P×V（PV圖上的面積）加強(qiáng)對(duì)氣缸的冷卻，省功、對(duì)氣缸潤(rùn)滑有益。二、實(shí)際工作循環(huán)（單級(jí)壓縮）1.不存在假設(shè)條件2.與理論循環(huán)不同的原因：1）余隙容積Vc的影響Vc不利的影響—?dú)埓娴臍怏w在活塞回行時(shí)，發(fā)生膨脹，使實(shí)際吸氣行程（容積）減小。Vc有利的好處—

（1）形成氣墊，利于活塞回行；（2）避免“液擊”（空氣結(jié)露）；（3）避免活塞、連桿熱膨脹，松動(dòng)發(fā)生相撞。第一節(jié)活塞式空壓機(jī)的工作原理表征Vc的參數(shù)—相對(duì)容積C、容積系數(shù)λv合適的C：低壓0.07-0.12

中壓0.09-0.14

高壓0.11-0.16

λv＝0.65—0.901）余隙容積Vc的影響C越大或壓力比越高，則λv越小。保證Vc正常的措施：余隙高度見(jiàn)表6-1壓鉛法—保證要求的氣缸墊厚度2.與理論循環(huán)不同的原因：二、實(shí)際工作循環(huán)（單級(jí)壓縮）第一節(jié)活塞式空壓機(jī)的工作原理2）進(jìn)排氣閥及流道阻力的影響吸氣過(guò)程壓力損失使排氣量減少程度，用壓力系數(shù)λp表示：保證措施：合適的氣閥升程及彈簧彈力、管路圓滑暢通、濾器干凈。λp

（0.90-0.98）2.與理論循環(huán)不同的原因：二、實(shí)際工作循環(huán)（單級(jí)壓縮）第一節(jié)活塞式空壓機(jī)的工作原理3）吸氣預(yù)熱的影響