大數(shù)據(jù)平臺(tái)基礎(chǔ)介紹

1、大數(shù)據(jù)平臺(tái)基礎(chǔ)介紹Page 1目錄1. 大數(shù)據(jù)概念與hadoop簡介2. 大數(shù)據(jù)行業(yè)應(yīng)用3. 大數(shù)據(jù)架構(gòu)簡介Page 2Big Data名詞由來2011年5 月，在“云計(jì)算相遇大數(shù)據(jù)” 為主題的EMC World 2011 會(huì)議中，EMC 拋出了Big Data概念20世紀(jì)90年代，數(shù)據(jù)倉庫之父的Bill Inmon就經(jīng)常提及Big DataPage 3大數(shù)據(jù)市場趨向穩(wěn)定Page 4大量數(shù)據(jù)存儲(chǔ)海量計(jì)算數(shù)據(jù)分析大數(shù)據(jù)定義-不同的聲音大量數(shù)據(jù)管理Page 5統(tǒng)一監(jiān)控分析精準(zhǔn)營銷深入洞察另外IBM有大數(shù)據(jù)5V特征定義，增加了一個(gè)Veracity（真實(shí)性）什么是大數(shù)據(jù)維基百科：“大數(shù)據(jù)是指無法在一定

2、時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”IDC：一般會(huì)涉及2種以上數(shù)據(jù)形式，數(shù)據(jù)量100T以上，且是高速、實(shí)時(shí)數(shù)據(jù)流；或者從小數(shù)據(jù)開始，但數(shù)據(jù)每年增長60%Gartner：大數(shù)據(jù)的四個(gè)V：Volume、Variety、Velocity、ValueVolume：數(shù)據(jù)量巨大 集中儲(chǔ)存/集中計(jì)算已經(jīng)無法處理巨大的數(shù)據(jù)量Variety：種類和來源多樣化 日志/圖片/視頻/文檔/地理位置 Velocity：分析處理速度快 海量數(shù)據(jù)的及時(shí)有效分析Value：價(jià)值密度低，商業(yè)價(jià)值高 大量的不相關(guān)信息的進(jìn)行復(fù)雜深度分析，深挖價(jià)值Page 6海量數(shù)據(jù)從哪里來人在web 2.0的時(shí)代，人們從信

3、息的被動(dòng)接受者變成了主動(dòng)創(chuàng)造者全球每秒鐘發(fā)送 2.9 百萬封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5 年每天會(huì)有 2.88 萬個(gè)小時(shí)的視頻上傳到Y(jié)outube，足夠一個(gè)人晝夜不息的觀看3.3 年推特上每天發(fā)布 5 千萬條消息，假設(shè)10 秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16年每天亞馬遜上將產(chǎn)生 6.3 百萬筆訂單每個(gè)月網(wǎng)民在Facebook 上要花費(fèi)7 千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EBGoogle 上每天需要處理24PB 的數(shù)據(jù)Page 7海量數(shù)據(jù)從哪里來機(jī)器Boeing：飛機(jī)每個(gè)引擎3分鐘產(chǎn)生1TB數(shù)據(jù)，波音787 6小時(shí)飛行產(chǎn)生24

4、0TB數(shù)據(jù)CERN：大型強(qiáng)子對(duì)撞產(chǎn)生1PB/s的數(shù)據(jù)SKA：2015年存儲(chǔ)需要1EB云化IDC建設(shè)催生了數(shù)據(jù)大集中Facebook：每天產(chǎn)生50TB的日志數(shù)據(jù)，衍生分析數(shù)據(jù)超過100TB“機(jī)器制造”和“人工制造”共同貢獻(xiàn)了海量數(shù)據(jù)，集中式的數(shù)據(jù)中心建設(shè)加速數(shù)據(jù)集中User Profile結(jié)信化營主Page 8大數(shù)據(jù)的結(jié)構(gòu)特征平均1個(gè)P數(shù)據(jù)中（例非互結(jié)聯(lián)構(gòu)網(wǎng)化公為司主）互聯(lián)網(wǎng)：Google, 百度Facebook ,Twitter ,新浪.數(shù)據(jù)以非結(jié)構(gòu)化處理為主在企業(yè)大數(shù)據(jù)中， 仍然是以結(jié)構(gòu)化數(shù)據(jù)處理為主結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化35% 23%27%內(nèi)容（ITEM，圖像、視頻、文本)數(shù)據(jù)用戶行為軌跡

5、（個(gè)體）10 %5 %社交網(wǎng)絡(luò)數(shù)據(jù)（群體） 21個(gè)歷史詳單查詢Web Page & Log（例電構(gòu)運(yùn)為商）15%網(wǎng)絡(luò)XDR (探針俘獲后，含歷史）計(jì)費(fèi)CDR(含歷史）CUBE和統(tǒng)一視圖7%18%25 %互聯(lián)網(wǎng) Web Page & Log(含歷史） 13%社交網(wǎng)絡(luò)數(shù)據(jù) 3%內(nèi)容（圖像、視頻、文本)數(shù)據(jù) 7%12%主數(shù)據(jù)（三戶 + 訂購+ 接觸 等 含歷史）分析匯總數(shù)據(jù)（含歷史）Page 9傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)面臨的問題，呼喚新的技術(shù) 海量數(shù)據(jù)的高存儲(chǔ)成本 大數(shù)據(jù)量下的數(shù)據(jù)處理性能不足 流式數(shù)據(jù)處理缺失 有限的擴(kuò)展能力 單一數(shù)據(jù)源 數(shù)據(jù)資產(chǎn)對(duì)外增值數(shù)據(jù)擴(kuò)展性需求和硬件性能之間存在差距新的業(yè)務(wù)需求，

6、需要新的大數(shù)據(jù)處理平臺(tái)Page 10數(shù)據(jù)處理技術(shù)分布式演進(jìn)趨勢：Hadoop成為開放的事實(shí)標(biāo)準(zhǔn)SMP+MPP混合特點(diǎn)：集群、ShareEverything 結(jié)構(gòu)化、關(guān)系型 FlashCache+分布式塊存儲(chǔ)+IBHadoop特點(diǎn)：集群、ShareNothing 開放,、全球生態(tài) 結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化 高性能、實(shí)時(shí)MPP特點(diǎn)：集群、ShareNothing 結(jié)構(gòu)化、關(guān)系型 通用的硬件SMP特點(diǎn)：單機(jī)、Scaleup 性能存在瓶頸 擴(kuò)展性差Page 11揭開Hadoop神秘的面紗Hadoop是Apache基金會(huì)的一個(gè)項(xiàng)目總稱，主要由HDFS、MapReduce和HBase等組成。HDFS是對(duì)

7、Google GFS的開源實(shí)現(xiàn)，MapReduce是對(duì)Google MapReduce的開源實(shí)現(xiàn)，HBase是Google BigTable的開源實(shí)現(xiàn)。Hadoop 來源于其創(chuàng)始人Doug Cutting的兒子給一頭黃色大象取的名字。Hadoop最初只與網(wǎng)頁索引有關(guān)，迅速發(fā)展成為分析大數(shù)據(jù)的領(lǐng)先平臺(tái)。BookKeeperZooKeeperAVROPage 12HDFS原理簡介分布式文件系統(tǒng)HDFS主要特點(diǎn)：存儲(chǔ)大文件將大文件分割成很多小塊存儲(chǔ)流式數(shù)據(jù)讀取，“write one read many”本身是分布式的，具備良好的可擴(kuò)展性通過放開POSIX要求，極大改善數(shù)據(jù)讀寫性能HDFS不適合于：存

8、儲(chǔ)大量小文件（1MB）實(shí)時(shí)數(shù)據(jù)讀取需經(jīng)常修改數(shù)據(jù)的場景YARNHDFSHiveMap ReduceHBasePigSqoop文件被切分成大小相同的塊（最末尾的塊可能小于塊大?。⒋鎯?chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。為確保文件塊的容錯(cuò)性，同時(shí)提供更快的數(shù)據(jù)讀取，默認(rèn)每個(gè)數(shù)據(jù)塊有3個(gè)副本，且分布在不同的數(shù)據(jù)節(jié)點(diǎn)DN上。File AFile BFile CDataNode，文件就放它上了。A CANameNode，元數(shù)據(jù)信息都在這。B BCDN #1DN #2DN #3NN #1BDN #4CDN #5ADN #6File DDDDPage 20原生HDFS的真實(shí)存儲(chǔ)結(jié)構(gòu)1Page 20原生HDFS的真實(shí)存儲(chǔ)

9、結(jié)構(gòu)2Page 20原生HDFS的真實(shí)存儲(chǔ)結(jié)構(gòu)3Page 13HBase原理簡介分布式數(shù)據(jù)庫HRegionServer內(nèi)部管理了一系列HRegion對(duì)象，每個(gè)HRegion對(duì)應(yīng)Table中的一個(gè)Region。HRegion由多個(gè)Store組成。每個(gè)Store對(duì)應(yīng)Table中的一個(gè)Column Family的存儲(chǔ)，即一個(gè)Store管理一個(gè)Region上的一個(gè)列族（CF）。每個(gè)Store包含一個(gè)MemStore和0到多個(gè)StoreFile。Store是HBase的存儲(chǔ)核心，由MemStore 和 StoreFile組成。Page 14MapReduce原理簡介分布式計(jì)算架構(gòu)Apache MapRe

10、duce是google MapReduce的開源實(shí)現(xiàn)。是對(duì)并行計(jì)算的封裝，使用戶通過一些簡單的邏輯即可完成復(fù)雜的并行計(jì)算。其核心理念是將一個(gè)大的運(yùn)算任務(wù)分解到集群每個(gè)節(jié)點(diǎn)上，充分運(yùn)用集群資源，縮短運(yùn)行時(shí)間。Page 15Spark 迭代計(jì)算框架：重構(gòu)M-R，優(yōu)于HadoopSpark是UC Berkeley AMP 實(shí)驗(yàn)室基于map reduce算法實(shí)現(xiàn)的分布式計(jì)算框架，輸出和結(jié)果保存在內(nèi)存中，不需要頻繁讀寫HDFS，數(shù)據(jù)處理效率更高Spark適用于近線或準(zhǔn)實(shí)時(shí)、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)應(yīng)用場景Page 17Storm：流式數(shù)據(jù)處理框架，實(shí)時(shí)的HadoopStorm 廣泛應(yīng)用于實(shí)時(shí)分析，在線機(jī)器學(xué)習(xí)

11、，持續(xù)計(jì)算、分布式遠(yuǎn)程調(diào)用等領(lǐng)域。Page 18Storm處理原理特征匹配bolt統(tǒng)計(jì)bolt異常行為檢測bolt輸出攔截模塊spout攔截?cái)?shù)據(jù)不存儲(chǔ)，先計(jì)算事件驅(qū)動(dòng)實(shí)時(shí)響應(yīng)，低延遲連續(xù)查詢光纖MQ輸入scribe旁路EventDataAlertsActionsNo waiting; Results delivered in-flightQueriesPage 19ZooKeeper簡介 提供分布式鎖的服務(wù)。例如，多個(gè)Master進(jìn)程競爭主Master角色時(shí)，怎么樣保證僅有一個(gè)Active角色存在？這就需要一個(gè)分布式的鎖機(jī)制來保證。多個(gè)Master進(jìn)程都嘗試著去ZooKeeper中寫入一個(gè)對(duì)應(yīng)

12、的節(jié)點(diǎn)，該節(jié)點(diǎn)只能被一個(gè)Master進(jìn)程創(chuàng)建成功，創(chuàng)建成功的Master進(jìn)程就是Active角色。提供了事件偵聽機(jī)制。例如，主Master進(jìn)程宕掉之后，其它的備Master如何能夠快速的接管？這個(gè)過程中，備Master在偵聽那個(gè)對(duì)應(yīng)的ZooKeeper節(jié)點(diǎn)。主Master進(jìn)程宕掉之后，該節(jié)點(diǎn)會(huì)被刪除，那么，其它的備Master就可以收到相應(yīng)的消息。個(gè)別場景，可充當(dāng)一個(gè)微型數(shù)據(jù)庫角色。例如，在ZooKeeper中存放了Root Region的地址（Root Region原來是存在ZooKeeper中的！），此時(shí)，可以將它理解成一個(gè)微型數(shù)據(jù)庫?！癕aster-1, Congratulations!

13、 Youare the active one!”“Sorry, Master-2. The activeseat has been taken by others.Please be patient!”Page 20第三方impala計(jì)算框架Page 20原生與第三方整體回顧與對(duì)比Page 20目錄1. 大數(shù)據(jù)概念與hadoop簡介2. 大數(shù)據(jù)行業(yè)應(yīng)用3. 大數(shù)據(jù)架構(gòu)簡介Page 21大數(shù)據(jù)應(yīng)用的行業(yè)分類經(jīng)營分析電信信令金融細(xì)賬金融票據(jù)電力調(diào)度智能電網(wǎng)經(jīng)營類績效報(bào)表文件社保分析納稅分析決策支持和預(yù)測管理類公安網(wǎng)監(jiān)國安技偵輿情監(jiān)控銀監(jiān)會(huì)稽查食品溯源環(huán)保監(jiān)測監(jiān)管類音視頻地震勘探氣象云圖衛(wèi)星遙感雷達(dá)

14、數(shù)據(jù)物聯(lián)網(wǎng)專業(yè)類10%結(jié)構(gòu)化30%半結(jié)構(gòu)化60%非結(jié)構(gòu)化互聯(lián)網(wǎng)非結(jié)構(gòu)化為主，價(jià)值密度低電信、金融結(jié)構(gòu)化+非結(jié)構(gòu)化金融結(jié)構(gòu)化+半結(jié)構(gòu)化政府結(jié)構(gòu)化+半結(jié)構(gòu)化政府非結(jié)構(gòu)化“在大數(shù)據(jù)領(lǐng)域，不能充分形成大數(shù)據(jù)使用能力的競爭者將被淘汰”-McKinsey Global Institute電信、金融、政府等行業(yè)數(shù)據(jù)分析的訴求強(qiáng)烈，互聯(lián)網(wǎng)已開始應(yīng)用新技術(shù)處理價(jià)值密度低的大數(shù)據(jù)Page 22實(shí)時(shí)征信、精準(zhǔn)營銷、在線明細(xì)、精準(zhǔn)小微貸、金融：大數(shù)據(jù)讓銀行更了解客戶與識(shí)別潛在風(fēng)險(xiǎn)王五作為某銀行客戶，需要申請(qǐng)一張新的信用卡24周大數(shù)據(jù)平臺(tái)客戶信息系統(tǒng)交易系統(tǒng)信用系統(tǒng)Page 23電信：大數(shù)據(jù)支撐運(yùn)營商向Digital

15、Telco轉(zhuǎn)型2G2.5G3GB3G/4G語音封閉、壟斷SPCP窄帶數(shù)據(jù)有限程度開放SPCP寬帶數(shù)據(jù)防御與競合超寬帶數(shù)字經(jīng)濟(jì)使能管道運(yùn)營能力運(yùn)營跨界運(yùn)營商業(yè)架構(gòu)企業(yè)架構(gòu)網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)資源為中心客戶體驗(yàn)及生態(tài)圈為中心封閉開放、用戶驅(qū)動(dòng)、實(shí)時(shí)知識(shí)Silo云化, 業(yè)務(wù)感知, 自編排大數(shù)據(jù)平臺(tái)數(shù)字經(jīng)濟(jì)驅(qū)動(dòng)運(yùn)營商徹底進(jìn)行數(shù)字化重構(gòu)M域O域B域一份數(shù)據(jù),一次采集個(gè)人客戶精準(zhǔn)營銷家庭客戶輔助決策政企客戶數(shù)據(jù)開放互聯(lián)網(wǎng)客戶. 一份存儲(chǔ)，全局共享，全量分析Page 24公安：大數(shù)據(jù)實(shí)現(xiàn)在海量數(shù)據(jù)中快速檢索出價(jià)值信息3000+萬條記錄， 1+億張照片，約100TB12天檢索信息耗時(shí)：大數(shù)據(jù)平臺(tái)國內(nèi)某大城市1天的卡口

16、數(shù)據(jù)：傳統(tǒng)數(shù)據(jù)庫平臺(tái)模糊檢索耗時(shí)：2分鐘Page 25電商：亞馬遜“預(yù)判發(fā)貨”，顧客未動(dòng)包裹先行顧客此前訂單顧客搜索記錄顧客心愿單顧客購物車顧客瀏覽行為大數(shù)據(jù)平臺(tái)Page 26400萬影視評(píng)分媒資：大數(shù)據(jù)讓Netflix在紙牌屋開播前就知道會(huì)火3300萬訂閱用戶行為300萬搜索請(qǐng)求上線20天，點(diǎn)播400+萬次大數(shù)據(jù)平臺(tái)Page 27目錄1. 大數(shù)據(jù)概念與hadoop簡介2. 大數(shù)據(jù)行業(yè)應(yīng)用3. 大數(shù)據(jù)架構(gòu)簡介11Page 28企業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)主數(shù)據(jù)倉庫基于高性能平臺(tái)流數(shù)據(jù)處理CEP及流處理引擎Hadoop云基于低成本X86平臺(tái)統(tǒng)一ETL層，數(shù)據(jù)采集和預(yù)處理結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)流數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)101

17、111多渠道訪問門戶開放支撐平臺(tái)：基礎(chǔ)服務(wù)、算法模型、自助分析、自助報(bào)表電腦智能手機(jī)PAD監(jiān)控中心云化ETL、云化DW、實(shí)時(shí)挖掘、自助分析、跨域模型、并發(fā)查詢、實(shí)時(shí)規(guī)則、知識(shí)自學(xué)習(xí)、內(nèi)容語義分析等能力最終將在應(yīng)用平臺(tái)及多個(gè)數(shù)據(jù)平臺(tái)中體現(xiàn)。包含關(guān)系型的主存儲(chǔ)，也包含非關(guān)系型的HADOOP及流處理引擎DMZooKeeper(Coordination)OoziePage 29構(gòu)建大數(shù)據(jù)平臺(tái)技術(shù)組件（示意）結(jié)構(gòu)化計(jì)算平臺(tái)數(shù)據(jù)治理配置數(shù)據(jù)管理PortalERP-EBSNon-EBS DB儀表盤訂閱發(fā)布即席查詢分析維度管理主數(shù)據(jù)管理公共數(shù)據(jù)模型ScoreCard報(bào)表展現(xiàn)層Portal層調(diào)度文本挖掘社交媒體

18、結(jié)構(gòu)化數(shù)據(jù)生命周期管理（數(shù)據(jù)/應(yīng)用）數(shù)據(jù)質(zhì)量管理技術(shù)元數(shù)據(jù)ROLAP DMMCAOffice 集成展現(xiàn)服務(wù)Mobile BI互動(dòng)可視數(shù)據(jù)提取In-Mem DM元數(shù)據(jù)管理元數(shù)據(jù)管理應(yīng)用批量抽取CDC&ETL服務(wù)轉(zhuǎn)換加載分發(fā)實(shí)時(shí)獲取平臺(tái)監(jiān)控管理ETL&調(diào)度計(jì)算平臺(tái)非結(jié)構(gòu)化化計(jì)算平臺(tái)（Hadoop）Spark作業(yè)流管理：DWRDWRDW-I DW-I DW-ISqoop公共基礎(chǔ)數(shù)據(jù)模型MapReduce資源管理：YARNHBASE分布式文件系統(tǒng)：HDFS電商論壇第一方數(shù)據(jù)數(shù)據(jù)收集&集成Flume/chukwa計(jì)算層存儲(chǔ)層HIVE/PIGMAHOUT分析挖掘分析服務(wù)挖掘和預(yù)測Access For Ha

19、doop數(shù)據(jù)數(shù)據(jù)整合畫像應(yīng)用第一方數(shù)據(jù)第二方數(shù)據(jù)第三方數(shù)據(jù)產(chǎn)品推薦360度CRM標(biāo)準(zhǔn)報(bào)告特征分析Dashboard海量查詢hive運(yùn)維管理日常管理日常監(jiān)控作業(yè)調(diào)度安全管理權(quán)限管理協(xié)同管理備份監(jiān)控報(bào)警查詢遷移大V 淘小米社區(qū)DP標(biāo)簽消費(fèi)者微博 競品Page 30 寶、京東標(biāo)簽服務(wù)配置（面向業(yè)務(wù)）標(biāo)簽配置（面向特征）特征配置（面向消費(fèi)者）數(shù)據(jù)探針數(shù)據(jù)爬取 文件傳輸 數(shù)據(jù)庫導(dǎo)入導(dǎo)出 數(shù)據(jù)同步數(shù)據(jù)拉通規(guī)則配置（面向數(shù)據(jù)）潛在客戶預(yù)測競品API運(yùn)營支持?jǐn)?shù)據(jù)應(yīng)用數(shù)據(jù)服務(wù)大數(shù)據(jù)應(yīng)用本身采集的數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)交換爬取第三方標(biāo)簽DP標(biāo)簽庫百度百科前端展現(xiàn)宏觀畫像基于業(yè)務(wù)場景微觀畫像營銷領(lǐng)域投放人群特征營銷人

20、群特征傳播人群特征.人口屬性營銷特征微信營銷DSP投放用戶體驗(yàn)用戶流失預(yù)警微博營銷營銷效果評(píng)估內(nèi)容推薦活動(dòng)效果評(píng)估消費(fèi)者數(shù)據(jù)拉通和用戶臉譜項(xiàng)目 - 應(yīng)用架構(gòu)營銷 用戶經(jīng)營服務(wù)購買產(chǎn)品配置管理數(shù)據(jù)流用戶歸一化、數(shù)據(jù)清洗、標(biāo)注化、結(jié)構(gòu)化離線處理短期用戶標(biāo)簽增量用戶建模 增量業(yè)務(wù)建模實(shí)時(shí)計(jì)算引擎即時(shí)標(biāo)簽預(yù)測增量數(shù)據(jù)挖掘用戶標(biāo)簽 用戶長期特征用戶建模 全量數(shù)據(jù)挖掘 全量業(yè)務(wù)建模批量計(jì)算引擎 長文本分析群體特征挖掘用戶分群即時(shí)群體特征挖掘即時(shí)用戶拓?fù)鋭?dòng)態(tài)上網(wǎng)特征實(shí)時(shí)處理潛在需求社交圖譜移動(dòng)應(yīng)用人群分發(fā) 數(shù)據(jù)分發(fā)用戶經(jīng)營領(lǐng)域花粉特征群細(xì)分影響力用戶發(fā)現(xiàn)內(nèi)容特征傾向.購物偏好當(dāng)前需求投放效果評(píng)估服務(wù)領(lǐng)域滿意度人群特征投訴/咨詢特征主動(dòng)服務(wù)群特征媒介決策購買購買價(jià)格特征活動(dòng)購買特征官網(wǎng)場景特征興趣/愛好內(nèi)容偏好建議領(lǐng)袖發(fā)現(xiàn)用戶動(dòng)態(tài)關(guān)注產(chǎn)品領(lǐng)域用戶需求特征APP應(yīng)用特征競品人群特征熱點(diǎn)關(guān)注產(chǎn)品情感HBASEDataBridgePage 31Scaleout BlockScaleout Object分布式存儲(chǔ)應(yīng)用適配, Programmable接口通用服務(wù)器網(wǎng)絡(luò)（交換機(jī)，路由器）存儲(chǔ)節(jié)點(diǎn)分布式處理和分析實(shí)時(shí)處理和內(nèi)存計(jì)算流處理內(nèi)存數(shù)據(jù)庫批處理(Hadoop)Hive,Pig,MashoutHcatalogMapReduce分布式數(shù)據(jù)庫(MPPDB)SQLQue