大數(shù)據(jù)處理技術簡介2

大數(shù)據(jù)處理技術簡介1234大數(shù)據(jù)處理相關工具介紹國內(nèi)相關數(shù)據(jù)處理平臺簡介Storm實時計算系統(tǒng)簡介概念及背景介紹大數(shù)據(jù)概念1、指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理的時間內(nèi)達到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的咨詢。2、維克托·邁爾-舍恩伯格以及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進行分析處理。3、海量異構(gòu)的數(shù)據(jù)（包括文本、圖像、聲音等）。大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）近年來，一種新的數(shù)據(jù)密集型應用已經(jīng)得到了廣泛的認同，這些應用的實例包括：網(wǎng)絡監(jiān)控、電信數(shù)據(jù)管理、Web應用、傳感檢測等等。在這種數(shù)據(jù)流模型中，數(shù)據(jù)以大量、快速、時變（可能是不可預知）的數(shù)據(jù)流持續(xù)到達，如何對海量瞬時流動數(shù)據(jù)建模并處理，產(chǎn)生了一些新的基礎性研究問題。大數(shù)據(jù)處理技術的應用大數(shù)據(jù)應用情景一（B2C、C2C與金融）：淘寶、股票等即時交易數(shù)據(jù)截至2011年11月，淘寶Beltles平臺單日最大服務調(diào)用量19億。今年淘寶雙11QPS:32萬/分鐘2012-01-14報道，鐵道部12306網(wǎng)站連續(xù)5天日均點擊數(shù)超過10億次，高峰時超過14.09億次，導致系統(tǒng)近乎崩潰或癱瘓。2009年四月統(tǒng)計：上證交易所新一代交易系統(tǒng)峰值訂單處理能力約80000筆/秒，平均訂單時延比現(xiàn)用交易系統(tǒng)縮短30%以上，系統(tǒng)日雙邊成交容量不低于1.2億筆/日，相當于單市場1.2萬億的日成交規(guī)模。大數(shù)據(jù)應用情景三（社交網(wǎng)絡）：社交網(wǎng)絡即時消息處理每秒鐘，人們發(fā)送290萬封電子郵件。每分鐘，人們向Youtube上傳60個小時的視頻。每一天，人們在Twitter上發(fā)消息1.9億條微博。每一天，人們在Twitter上發(fā)出3.44億條消息。每一天，人們在Facebook發(fā)出40億條信息。大數(shù)據(jù)應用情景三（物聯(lián)網(wǎng)數(shù)據(jù)流）：傳感網(wǎng)、物聯(lián)網(wǎng)、智慧城市數(shù)據(jù)庫

傳感設備

服務器

用戶端程序

實時數(shù)據(jù)流處理平臺

Internet設備網(wǎng)PDA決策支持PC機傳感網(wǎng)、物聯(lián)網(wǎng)源源不斷產(chǎn)生海量數(shù)據(jù)流、數(shù)據(jù)量更大，加上能更準確、更快地收集比如位置、生活信息等數(shù)據(jù)，對在線即時處理提出了更高的要求和挑戰(zhàn)。大數(shù)據(jù)應用情景四（數(shù)據(jù)流過濾）：互聯(lián)網(wǎng)帶寬增長根據(jù)中國互聯(lián)網(wǎng)絡信息中心（CNNIC）的“中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告”調(diào)查顯示，2011年中國的互聯(lián)網(wǎng)基礎資源繼續(xù)保持快速增長，IP地址、域名、網(wǎng)站和網(wǎng)頁等增速基本與網(wǎng)民增長等速或超過網(wǎng)民的增速，網(wǎng)絡國際出口帶寬達到1,182,261.45Mbps，半年增長了7.6%。國內(nèi)外相關研究數(shù)據(jù)流計算的典型模式之一是不確定數(shù)據(jù)速率的數(shù)據(jù)流流入系統(tǒng)，系統(tǒng)處理能力必須與數(shù)據(jù)流量大小相匹配。

Hadoop（MapReduce）框架為批處理做了高度優(yōu)化，數(shù)據(jù)存儲在分布式文件系統(tǒng)中，系統(tǒng)典型地通過調(diào)度批量任務來操作分布式文件系統(tǒng)靜態(tài)數(shù)據(jù)。實時計算（數(shù)據(jù)驅(qū)動）VS.批處理計算（任務驅(qū)動）

國內(nèi)外相關研究數(shù)據(jù)流計算的典型模式之一是不確定數(shù)據(jù)速率的數(shù)據(jù)流流入系統(tǒng)，系統(tǒng)處理能力必須與數(shù)據(jù)流量大小相匹配。Hadoop（MapReduce）框架為批處理做了高度優(yōu)化，數(shù)據(jù)存儲在分布式文件系統(tǒng)中，系統(tǒng)典型地通過調(diào)度批量任務來操作分布式文件系統(tǒng)靜態(tài)數(shù)據(jù)。實時計算（數(shù)據(jù)驅(qū)動）VS.批處理計算（任務驅(qū)動）

應用計算模型與通信機制數(shù)據(jù)規(guī)模計算模型普通集群基于消息傳遞的分布式模型TB級/百臺MPI云計算基于文件傳輸?shù)牟⑿杏嬎隳Ｐ蚉B級/千臺MapReduce數(shù)據(jù)流實時云計算基于消息（封裝文件）傳輸?shù)牟⑿杏嬎鉖B級/千臺Online

MapReduce分布布式式并行行計計算算系系統(tǒng)統(tǒng)流水水線線+并行行、、可配配置置、可容容錯錯、彈性性可可擴擴展展、全內(nèi)內(nèi)存存、、實時時在線線處理理。。第一一類類方方法法，，Hadoop改造造：：[1]YingyiBu等在在HadoopMapReduce工作作的的基基礎礎上上設設計計了了HaLoop，主主要要克克服服了了Hadoop進行行迭迭代代計計算算時時需需要要設設置置收收斂斂條條件件以以及及每每次次迭迭代代均均需需要要重重新新加加載載數(shù)數(shù)據(jù)據(jù)的的缺缺點點；；[2]伯克克利利大大學學的的TysonCondie等對對Hadoop進行行改改進進，，設設計計了了HadoopOnlinePrototype(HOP)系統(tǒng)統(tǒng)，，支支持持連連續(xù)續(xù)查查詢詢、、事事件件監(jiān)監(jiān)測測以以及及流流處處理理等等功功能能；；[3]Facebook在SIGMOD’’2011上發(fā)發(fā)表表了了利利用用Hbase/Hadoop進行行實實時時處處理理數(shù)數(shù)據(jù)據(jù)的的論論文文，，通通過過一一些些實實時時性性改改造造，，力力圖圖使使hadoop批處處理理計計算算平平臺臺也也具具備備實實時時計計算算的的能能力力。。[4]Google在新新一一代代內(nèi)內(nèi)容容索索引引系系統(tǒng)統(tǒng)中中放放棄棄了了MapReduce，替替代代者者是是尚尚不不為為人人知知的的分分布布式式數(shù)數(shù)據(jù)據(jù)處處理理系系統(tǒng)統(tǒng)Percolator，Percolator是一一種種增增量量處處理理平平臺臺，，它它能能持持續(xù)續(xù)更更新新索索引引系系統(tǒng)統(tǒng)，，無無需需從從頭頭重重新新處處理理一一遍遍整整個個系系統(tǒng)統(tǒng)。。[5]WangLam等開開發(fā)發(fā)了了類類似似于于Map-reduce框架架、、專專注注于于快快速速處處理理數(shù)數(shù)據(jù)據(jù)的的Muppet；第二二類類方方法法，，實實時時云云計計算算系系統(tǒng)統(tǒng)：：[6]MIT等三三所所高高校校的的研研究究人人員員聯(lián)聯(lián)合合研研發(fā)發(fā)了了第第二二代代分分布布式式流流處處理理系系統(tǒng)統(tǒng)Borealis；[7]SheheryarMalik設計計了了具具有有良良好好錯錯誤誤容容忍忍機機制制的的實實時時云云計計算算系系統(tǒng)統(tǒng)；；HarmeekSinghBedi申請請了了實實時時云云計計算算系系統(tǒng)統(tǒng)的的專專利利；；[8]BaiduDstream，淘淘寶寶Beales，F(xiàn)acebookPuma，TwitterStorm，Yahoo！S4[9]2011年組組織織了了以以實實時時云云計計算算和和虛虛擬擬化化為為主主題題的的國國際際討討論論組組會會RTSOAA（Real-TimeCloudComputingandVirtualization）。。[10]2011年度度的的HadoopChina大會會一一個個熱熱點點議議題題就就是是數(shù)數(shù)據(jù)據(jù)流流計計算算，，在在MapReduce計算算模模型型風風靡靡全全球球之之后后，，StreamProcessing將會會是是下下一一個個研研究究熱熱點點，，無無論論是是在在工工業(yè)業(yè)界界還還是是學學術術界界。。實時時計計算算系系統(tǒng)統(tǒng)的的改改造造1234大數(shù)數(shù)據(jù)據(jù)處處理理相相關關工工具具介介紹紹國內(nèi)內(nèi)相相關關數(shù)數(shù)據(jù)據(jù)處處理理平平臺臺簡簡介介Storm實時時計計算算系系統(tǒng)統(tǒng)簡簡介介概念念及及背背景景介介紹紹Hadoop家族族14開源源工工具具簡簡介介---批處處理理HadoopCommon：Hadoop體系系最最底底層層的的一一個個模模塊塊，，為為Hadoop各子子項項目目提提供供各種種工具具，，如如：：配配置置文文件件和和日日志志操操作作等。HDFS：是是Hadoop的分分布布式式存存儲儲系系統(tǒng)統(tǒng)，同Google的GFS性質(zhì)質(zhì)是是一一樣樣的的。MapReduce：是是一一種種編編程程模模型型，，用用于于大大規(guī)規(guī)模模數(shù)數(shù)據(jù)據(jù)集集的的并并行行運算算。Hive是基基于于Hadoop的一一個個數(shù)據(jù)據(jù)倉庫庫工具具，，提供供簡簡單單的的sql查詢詢功功能能，，可可以以將將sql語句句轉(zhuǎn)轉(zhuǎn)換換為為MapReduce任務務進進行行運行行，十分分適適合合數(shù)據(jù)據(jù)倉倉庫庫的統(tǒng)統(tǒng)計計分分析析。。Pig：Pig最大大的的作作用用就就是是對MapReduce算法法(框架架)實現(xiàn)現(xiàn)了了一一套套shell腳本本，，類類似似我我們們通通常常熟熟悉悉的的SQL語句句，，在在Pig中稱稱之之為為PigLatin。Hbase：一個分分布布式式、、可可擴擴展展的的大大數(shù)數(shù)據(jù)據(jù)存存儲儲。。它它提提供供了了大大數(shù)數(shù)據(jù)據(jù)集集上上隨隨機機和和實實時時的的讀讀/寫訪訪問問，，并并針針對對了了商商用用服服務務器器集集群群上上的的大大型型表表格格做做出出優(yōu)優(yōu)化化———上百百億億行行，，上上千千萬萬列列。它是是Googlebigtable的一一個個開開源源的的實實現(xiàn)現(xiàn)。。Zookeeper:它是一個個針針對對大大型型分分布布式式系系統(tǒng)統(tǒng)的的可可靠靠協(xié)協(xié)調(diào)調(diào)系系統(tǒng)統(tǒng)，功功能能包括括：：配配置置維維護護、、名名字字服服務務、、分分布布式式同同步步、、組組服服務務等等。。ZooKeeper的目標就就是封裝裝好復雜雜易出錯錯的關鍵鍵服務，，將簡單單易用的的接口和和性能高高效、功功能穩(wěn)定定的系統(tǒng)統(tǒng)提供給給用戶。它是Google的Chubby一個開源源的實現(xiàn)現(xiàn)。開源工具簡簡介---實時計算算國外1：facebookpuma國外2：twitterstorm國外3：yahoo!s4Twitter數(shù)據(jù)處理理分層架架構(gòu)Puma3系統(tǒng)數(shù)據(jù)據(jù)處理通通路Storm數(shù)據(jù)流處處理示意意圖S4數(shù)據(jù)流處處理流程程RealtimeCloudcomputingFacebookPumaTwitter

StormYahoo！S4開發(fā)語言JAVAClojureJAVA高可用機制被動備用上游回放被動備用架構(gòu)均勻架構(gòu)主從架構(gòu)主從架構(gòu)資源利用率低高低恢復時間短長長開源工具具簡介---全內(nèi)存查查詢Spark是一通用用并行計計算框架架，由UCBerkeley的AMP實驗室開開發(fā)。將中間數(shù)數(shù)據(jù)放到到內(nèi)存中中，對于于迭代運運算效率率比較高高。如：：機器學學習（ML）與hadoop相比提供供了更多多種運算算操作，，并且通通信模型型也是多多樣的，，hadoop僅有DataShuffle。缺點：Spark不適用那那種異步步細粒度度更新狀狀態(tài)的應應用，例例如web服務的存存儲或者者是增量量的web爬蟲和索索引。就就是對于于那種增增量修改改的應用用模型，，因為增增量改動動完了，，也就不不用了，，不需要要迭代了了。Druid為分析而設計計-Druid是為OLAP工作流的探索索性分析而構(gòu)構(gòu)建。它支持持各種filter、aggregator和查詢類型，，并為添加新新功能提供了了一個框架。。交互式查詢-低延遲數(shù)據(jù)攝攝取架構(gòu)允許許事件在它們們創(chuàng)建后毫秒秒內(nèi)查詢，完全有可能在在6TB的數(shù)據(jù)集上實實現(xiàn)秒級查詢詢。高可用性-支持需要一直直在線的SaaS的實現(xiàn)。你的的數(shù)據(jù)在系統(tǒng)統(tǒng)更新時依然然可用、可查查詢。規(guī)模的的擴大和縮小小不會造成數(shù)數(shù)據(jù)丟失。可伸縮-每天處理數(shù)十十億事件和TB級數(shù)據(jù)。Druid被設計成PB級別。優(yōu)缺點：Druid對于需要實時時單一、海量量數(shù)據(jù)流攝取取產(chǎn)品非常適適合。特別是是如果你面向向無停機操作作時，如果你你對查詢查詢詢的靈活性和和原始數(shù)據(jù)訪訪問要求，高高于對速度和和無停機操作作，Druid可能不是很好的解決方案。1234大數(shù)據(jù)處理相相關工具介紹紹國內(nèi)相關數(shù)據(jù)據(jù)處理平臺簡簡介Storm實時計算系統(tǒng)統(tǒng)簡介概念及背景介介紹國內(nèi)相關計算算平臺國內(nèi)1：baidu下一代數(shù)據(jù)流流系統(tǒng)DStream百度基礎架構(gòu)構(gòu)部的下一代代規(guī)劃中，實實時計算是重重要的組成部部分。實時計算系統(tǒng)統(tǒng)和批處理計算系系統(tǒng)同屬于云計算算這個大的范范疇，相互配合使用用。批處理計算算是MapReduce（Hadoop）、實時計算算是DStream等。DStream的Release1.0版本在2012年上半年發(fā)布布。DStream依賴幾個第三三方系統(tǒng)，Bigpipe、Zookeeper和HDFS，分別用于數(shù)數(shù)據(jù)流輸入輸輸出和操作日日志的存儲、、分布式異常常監(jiān)控、用戶戶文件存儲和和計算狀態(tài)存存儲。1、每天有超過30億的店鋪、商商品瀏覽記錄錄，10億在線商品數(shù)數(shù)，上千萬的的成交、收藏藏和評價數(shù)據(jù)。2、量子統(tǒng)計、數(shù)據(jù)魔魔方和淘寶指數(shù)。3、Hadoop集群：1500個節(jié)點，每天有大約40000個作業(yè)對1.5PB的原始數(shù)據(jù)按按照產(chǎn)品需求求進行不同的的MapReduce計算。4、Storm集群：處理實時流流數(shù)據(jù)。國內(nèi)相關計算算平臺國內(nèi)2：淘寶數(shù)據(jù)分析平平臺架構(gòu)數(shù)據(jù)存儲引擎：MySQL的MyISAM引擎統(tǒng)計數(shù)據(jù)：10TB（分布在20個節(jié)點），每每天6億條的增量節(jié)點類型劃分分：熱節(jié)點：SAS硬盤（15000轉(zhuǎn)/分鐘）4.5W/TB冷節(jié)點：SATA硬盤（7500轉(zhuǎn)/分鐘）1.6W/TB缺點：不能解解決全屬性選選擇器問題，，這時NoSql是對其的有益益補充。Myfox簡介4:300國內(nèi)相關計算算平臺國內(nèi)相關計算算平臺國內(nèi)2：淘寶Beatles實時流式數(shù)據(jù)據(jù)分析平臺2010年Beatles開放平臺基礎礎體系開始建建立，服務調(diào)調(diào)用量增漲到到了9億。截至2011年11月，單日最大大服務調(diào)用量量19億，增量統(tǒng)計計實時性要求求在2分鐘內(nèi)（包含含數(shù)據(jù)分析和和數(shù)據(jù)產(chǎn)出，，低峰期1分鐘，高峰期期1分半），系統(tǒng)統(tǒng)可用性要求求高于99.6％目錄1234大數(shù)據(jù)處理相相關工具介紹紹國內(nèi)相關數(shù)據(jù)據(jù)處理平臺簡簡介Storm實時計算系統(tǒng)統(tǒng)簡介概念及背景介介紹Storm實時計算系統(tǒng)Storm數(shù)據(jù)流處理引擎整體體架構(gòu)主要模塊Master-Supervisor-Worker的模塊關系圖圖控制節(jié)點啟動動Master,負責整個topology執(zhí)行監(jiān)控和任務分分配工作節(jié)點啟動動Supervisor，每個Supervisor包含一組port，每個port可以初始化一一個Worker，每個Worker執(zhí)行一部分數(shù)數(shù)據(jù)處理程序序工作節(jié)點啟動動Zookeeper,負責topology的協(xié)調(diào)和同步Nimbus模塊Supervisor模塊步驟1：Supervisor從Zookeeper目錄中下載Worker執(zhí)行的代碼步驟2：Supervisor監(jiān)控Worker的執(zhí)行狀態(tài)。。步驟3：Supervisor向Zookeeper的目錄中寫入入它所監(jiān)控的的各個Worker的心跳信息Worker模塊步驟1：Worker從Zookeeper目錄獲取Task集合步驟2：Worker建立接收和發(fā)發(fā)送的消息隊隊列步驟3：Worker內(nèi)部的每個Task開始初始化，，準備執(zhí)行處處理程序和向向Zookeeper發(fā)送心跳步驟4：消息隊列把把Tuple發(fā)送給相應的的Task進行處理，處處理結(jié)果再傳傳給消息隊列列進行下發(fā)關鍵技術——并行處理技術術條件：查詢由兩個有狀態(tài)態(tài)算子（一個個Join和一個Aggregate）和4個無狀態(tài)算子子（兩個Map和兩個Filter）組成。如圖b所示，將每個個算子都部署署在有15個節(jié)點的子集集群，跳數(shù)為為5，每個節(jié)點的的扇出數(shù)為15，所以扇出的總數(shù)就就是155。如圖c所示，將a所示的查詢根根據(jù)有狀態(tài)算算子進行劃分分，可以劃分分成3個子查詢，每每個子查詢都都部署在30個節(jié)點的子查查詢上，由此此可見，跳數(shù)數(shù)為2，每個節(jié)點的的扇出數(shù)為302。相關工作關鍵技術——可靠性保障技技術a)主動備份技術術b)被動備份技術術c)上游備份技術術主動備份技術術：節(jié)點A產(chǎn)生的元組同同時發(fā)送給主主節(jié)點B1和備份節(jié)點B2。該容錯技術術存在保存副