工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)建設(shè)方案詳細(xì)課件

工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)

建設(shè)方案工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)

建設(shè)方案背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄背景介紹Contents目錄為什么有工業(yè)4.0？實(shí)體物理世界和虛擬網(wǎng)絡(luò)世界融合工業(yè)4.020世紀(jì)70年代興起的信息化工業(yè)3.020世紀(jì)初電氣化和自動(dòng)化工業(yè)2.0實(shí)體18世紀(jì)機(jī)械制造設(shè)備的引入工業(yè)1.0為什么有工業(yè)4.0？實(shí)體物理世界和虛擬網(wǎng)絡(luò)世界融合工業(yè)4.工業(yè)4.0、中國(guó)制造2025工信部長(zhǎng)苗圩在講到德國(guó)工業(yè)4.0與中國(guó)制造2025時(shí)，曾這樣概括：如出一轍、異曲同工、殊途同歸。因此，兩者表述不同，但內(nèi)涵基本一致工業(yè)4.0工業(yè)4.0由德國(guó)提出，主要指提升制造業(yè)的智能化水平，建立具有適應(yīng)性、資源效率及基因工程學(xué)的智慧工廠，在商業(yè)流程及價(jià)值流程中整合客戶及商業(yè)伙伴。其技術(shù)基礎(chǔ)是網(wǎng)絡(luò)實(shí)體系統(tǒng)及物聯(lián)網(wǎng)。中國(guó)制造2025堅(jiān)持“創(chuàng)新驅(qū)動(dòng)、質(zhì)量為先、綠色發(fā)展、結(jié)構(gòu)優(yōu)化、人才為本”的基本方針，堅(jiān)持“市場(chǎng)主導(dǎo)、政府引導(dǎo)，立足當(dāng)前、著眼長(zhǎng)遠(yuǎn)，整體推進(jìn)、重點(diǎn)突破，自主發(fā)展、開放合作”的基本原則。工業(yè)4.0、中國(guó)制造2025工信部長(zhǎng)苗圩在講到德國(guó)工業(yè)4.0什么是大數(shù)據(jù)？所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的信息。。大數(shù)據(jù)處理技術(shù)代表了新一代的技術(shù)架構(gòu)，這種架構(gòu)通過(guò)高速獲取數(shù)據(jù)并對(duì)其進(jìn)行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價(jià)值的信息。從大量數(shù)據(jù)中挖掘高價(jià)值知識(shí)是各界對(duì)于大數(shù)據(jù)的一個(gè)共識(shí)。海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點(diǎn)?！狦oogle首席經(jīng)濟(jì)學(xué)家HalVarian大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合，對(duì)企業(yè)產(chǎn)生新的價(jià)值。什么是大數(shù)據(jù)？所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到工業(yè)大數(shù)據(jù)分析及應(yīng)用的三個(gè)階段時(shí)間第一階段1990-2000第二階段2000-2010第三階段2010～至今核心技術(shù)遠(yuǎn)程監(jiān)控、數(shù)據(jù)采集和管理大數(shù)據(jù)中心和數(shù)據(jù)分析軟件數(shù)據(jù)分析平臺(tái)與高級(jí)數(shù)據(jù)分析工具問(wèn)題對(duì)象／價(jià)值以產(chǎn)品為核心的狀態(tài)監(jiān)控，問(wèn)題發(fā)生后的及時(shí)處理，幫助用戶避免故障造成的損失以使用為核心的信息服務(wù)，通過(guò)及時(shí)維修和預(yù)測(cè)型維護(hù)避免故障發(fā)生的風(fēng)險(xiǎn)以用戶為中心的平臺(tái)式服務(wù)，實(shí)現(xiàn)了以社區(qū)為基礎(chǔ)的用戶主導(dǎo)的服務(wù)生態(tài)體系商業(yè)模式產(chǎn)品為主的附加服務(wù)產(chǎn)品租賃體系和長(zhǎng)期服務(wù)合同按需的個(gè)性化自服務(wù)模式，分享經(jīng)濟(jì)代表性企業(yè)和技術(shù)產(chǎn)品GMOnStarTM阿爾斯通TrackTracerTMGEPredix

平臺(tái)大數(shù)據(jù)特征：量（Volume）、速度（Velocity）、多樣性（Variety）、真實(shí)性（Veracity）工業(yè)大數(shù)據(jù)特征：大數(shù)據(jù)特征＋可見性（Visibility）、價(jià)值（Value）工業(yè)大數(shù)據(jù)分析及應(yīng)用的三個(gè)階段時(shí)間第一階段第二階段第三階段核互聯(lián)網(wǎng)大數(shù)據(jù)與工業(yè)大數(shù)據(jù)的對(duì)比分析互聯(lián)網(wǎng)大數(shù)據(jù)工業(yè)大數(shù)據(jù)數(shù)據(jù)量需求大量樣本數(shù)盡可能全面地使用樣本數(shù)據(jù)質(zhì)量要求較低較高，需要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行預(yù)判和修復(fù)對(duì)數(shù)據(jù)屬性意義的解讀不考慮屬性的意義，只分析統(tǒng)計(jì)顯著性強(qiáng)調(diào)特征之間地物理關(guān)聯(lián)分析手段以統(tǒng)計(jì)分析為主，通過(guò)挖掘樣本中各個(gè)屬性之間的相關(guān)性進(jìn)行預(yù)測(cè)具有一定邏輯地流水線式數(shù)據(jù)流分析手段。強(qiáng)調(diào)跨學(xué)科技術(shù)的融合，包括數(shù)學(xué)、物理、機(jī)器學(xué)習(xí)、控制、人工智能等分析結(jié)果準(zhǔn)確性要求較低較高工業(yè)大數(shù)據(jù)待解決問(wèn)題（3B）：隱匿性（BelowSurface）；碎片化（Broken）；低質(zhì)性（BadQuality）互聯(lián)網(wǎng)大數(shù)據(jù)與工業(yè)大數(shù)據(jù)的對(duì)比分析互聯(lián)網(wǎng)大數(shù)據(jù)工業(yè)大數(shù)據(jù)數(shù)據(jù)工業(yè)大數(shù)據(jù)應(yīng)用工業(yè)大數(shù)據(jù)應(yīng)用背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄背景介紹Contents目錄工業(yè)大數(shù)據(jù)的核心是機(jī)器數(shù)據(jù)工業(yè)大數(shù)據(jù)的核心是機(jī)器數(shù)據(jù)機(jī)器大數(shù)據(jù)的特點(diǎn)機(jī)器大數(shù)據(jù)的特點(diǎn)工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)的關(guān)系工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)+=企業(yè)發(fā)展動(dòng)力通過(guò)工業(yè)互聯(lián)網(wǎng)將來(lái)自于傳感器發(fā)出的信息匯總，然后基于大數(shù)據(jù)平臺(tái)，根據(jù)相應(yīng)的指標(biāo)、規(guī)則予以過(guò)濾、分析，可以提煉出對(duì)企業(yè)有價(jià)值的信息。大數(shù)據(jù)可以對(duì)指定信息進(jìn)行歸納總結(jié)，形成某種規(guī)律性的認(rèn)識(shí)，最終提煉為對(duì)企業(yè)和個(gè)人有用的新信息，幫助他們進(jìn)行更好的決策。工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)的關(guān)系工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用提升產(chǎn)品智能化產(chǎn)品的智能化是把傳感器、處理器、存儲(chǔ)器、通信模塊、傳輸系統(tǒng)融入到各種產(chǎn)品中，使得產(chǎn)品具備動(dòng)態(tài)存儲(chǔ)、感知和通信能力，實(shí)現(xiàn)產(chǎn)品的可追溯、可識(shí)別、可定位。目前互聯(lián)網(wǎng)汽車、工程機(jī)械、智能家電等是產(chǎn)品智能化的熱點(diǎn)領(lǐng)域。深入拓展行業(yè)應(yīng)用工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)通過(guò)網(wǎng)絡(luò)與企業(yè)管理平臺(tái)連接，企業(yè)管理平臺(tái)可以運(yùn)用無(wú)線網(wǎng)絡(luò)、視頻遠(yuǎn)程故障診斷等信息服務(wù)系統(tǒng)，遠(yuǎn)程監(jiān)控設(shè)備的運(yùn)轉(zhuǎn)情況，并基于工業(yè)大數(shù)據(jù)實(shí)現(xiàn)故障預(yù)警，有針對(duì)性地提供維修等服務(wù)，實(shí)現(xiàn)“服務(wù)型制造”。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用提升產(chǎn)品智能化產(chǎn)品的智能化是把傳感器工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)全要素全要素就是說(shuō)產(chǎn)品數(shù)據(jù)的完整性,它攜帶了全部的尺寸、工藝、制造、售后使用的信息。01全方位關(guān)注產(chǎn)品設(shè)計(jì)、制造、采購(gòu)、使用等上下游信息。03全過(guò)程數(shù)據(jù)的設(shè)計(jì)和使用，必須要考慮跨越不同的設(shè)計(jì)、制造階段。02全融合萬(wàn)物互聯(lián)意識(shí)，關(guān)注企業(yè)各業(yè)務(wù)的全面關(guān)聯(lián)及融合。04工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)全要素全要素就是說(shuō)產(chǎn)品數(shù)據(jù)的完整性,大數(shù)據(jù)對(duì)企業(yè)的應(yīng)用價(jià)值體現(xiàn)31542自助分析、生產(chǎn)管道可視化、資源解耦隨需而動(dòng)，營(yíng)銷實(shí)時(shí)，以業(yè)務(wù)效率提升為標(biāo)志。提升業(yè)務(wù)效率數(shù)據(jù)集中到數(shù)據(jù)中心，多數(shù)據(jù)源管理，透明服務(wù)支持，實(shí)時(shí)的決策和預(yù)測(cè)能力提升整體經(jīng)營(yíng)管理水平。增強(qiáng)管理水平數(shù)據(jù)開放服務(wù)、租售數(shù)據(jù)、廣告等新業(yè)務(wù).創(chuàng)新商業(yè)模式互聯(lián)網(wǎng)化的電子渠道全景體驗(yàn)、個(gè)性化商品推薦、LBS位置營(yíng)銷、面向客戶個(gè)體的深度洞察提升客戶體驗(yàn)以技術(shù)驅(qū)動(dòng)為標(biāo)志，內(nèi)存計(jì)算、MPP、CEP…分而治之的分布式計(jì)算讓運(yùn)營(yíng)商實(shí)時(shí)高效決策….技術(shù)高效、低成本大數(shù)據(jù)對(duì)企業(yè)的應(yīng)用價(jià)值體現(xiàn)31542自助分析、生產(chǎn)管道提升業(yè)挖掘工業(yè)大數(shù)據(jù)價(jià)值的核心技術(shù)——CPS

分析手段工藝、效率和產(chǎn)能商業(yè)模式內(nèi)核數(shù)據(jù)和知識(shí)建模智能設(shè)備平臺(tái)基礎(chǔ)測(cè)量材料設(shè)備維護(hù)6M6CCPS定義:從實(shí)體空間的對(duì)象、環(huán)境、活動(dòng)中進(jìn)行大數(shù)據(jù)的采集、儲(chǔ)存、建模、分析、挖掘、評(píng)估、預(yù)測(cè)、優(yōu)化、協(xié)同，并與對(duì)象的設(shè)計(jì)、測(cè)試和運(yùn)行性能表征相結(jié)合，產(chǎn)生與實(shí)體空間深度融合、實(shí)時(shí)交互、互相耦合、互相更新的網(wǎng)絡(luò)空間；進(jìn)而，通過(guò)自感知、自記憶、自認(rèn)知、自決策、自重構(gòu)和智能支持促進(jìn)工業(yè)資產(chǎn)的全面智能化.挖掘工業(yè)大數(shù)據(jù)價(jià)值的核心技術(shù)——CPS

分析手段工藝、效率和工業(yè)大數(shù)據(jù)云平臺(tái)實(shí)現(xiàn)路徑工業(yè)大數(shù)據(jù)云平臺(tái)實(shí)現(xiàn)路徑擴(kuò)展性增量式的、幾乎無(wú)限的擴(kuò)展可用性要求系統(tǒng)總是在線運(yùn)行靈活性靈活可動(dòng)態(tài)改變的數(shù)據(jù)模型擴(kuò)展性縱向擴(kuò)展橫向擴(kuò)展分布式資源集中計(jì)算和存儲(chǔ)分布可用性單份數(shù)據(jù)數(shù)據(jù)復(fù)制一致性不要使用分布式事務(wù)處理大數(shù)據(jù)處理的需求和特點(diǎn)擴(kuò)展性增量式的、幾乎無(wú)限的擴(kuò)展可用性要求系統(tǒng)總是在線運(yùn)行靈活背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄背景介紹Contents目錄工業(yè)大數(shù)據(jù)云平臺(tái)建設(shè)終極目標(biāo)工業(yè)大數(shù)據(jù)云平臺(tái)建設(shè)終極目標(biāo)IaaS：提供基本的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源。PaaS：中間層，提供對(duì)行業(yè)業(yè)務(wù)應(yīng)用的支持。SaaS：向用戶交付最終業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析。PaaS環(huán)境層：為業(yè)務(wù)應(yīng)用提供支撐的軟件組件、包括各種中間件和數(shù)據(jù)庫(kù)等。以Hadoop為代表的大數(shù)據(jù)處理。PaaS業(yè)務(wù)層：包含了應(yīng)用的后臺(tái)程序，數(shù)據(jù)處理算法以及業(yè)務(wù)數(shù)據(jù)等實(shí)現(xiàn)業(yè)務(wù)能力的元素。PaaS服務(wù)層：將業(yè)務(wù)層的業(yè)務(wù)、算法和數(shù)據(jù)以接口的形式提供給上層的前端應(yīng)用直接訪問(wèn)。平臺(tái)核心：統(tǒng)一資源+大數(shù)據(jù)+開放服務(wù)云平臺(tái)總體架構(gòu)IaaS：提供基本的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源。平臺(tái)核心：統(tǒng)一資源—22

—

面向一般數(shù)據(jù)中心典型的應(yīng)用場(chǎng)景，提供對(duì)混合IT資源的統(tǒng)一接入，以構(gòu)筑云模式下基礎(chǔ)資源調(diào)度的最佳實(shí)踐。以PaaS能力為核心，將應(yīng)用系統(tǒng)的典型軟件組件以服務(wù)形態(tài)提供，為業(yè)務(wù)系統(tǒng)提供統(tǒng)一環(huán)境支持，并進(jìn)行統(tǒng)一管理和監(jiān)控。將大數(shù)據(jù)平臺(tái)作為典型服務(wù)組件整合到云平臺(tái)中進(jìn)行統(tǒng)一管理，以適應(yīng)未來(lái)應(yīng)用對(duì)大數(shù)據(jù)能力的普遍使用。為用戶提供面向DevOps的統(tǒng)一云服務(wù)業(yè)務(wù)流程，以統(tǒng)一平臺(tái)提供傳統(tǒng)的IaaS和PaaS能力，并貫穿開發(fā)、測(cè)試和生產(chǎn)的全過(guò)程。云平臺(tái)總體架構(gòu)介紹—22—面向一般數(shù)據(jù)中心典型的應(yīng)用場(chǎng)景，提供對(duì)混合I工業(yè)大數(shù)據(jù)平臺(tái)--數(shù)據(jù)業(yè)務(wù)邏輯工業(yè)大數(shù)據(jù)平臺(tái)--數(shù)據(jù)業(yè)務(wù)邏輯背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄背景介紹Contents目錄準(zhǔn)實(shí)時(shí)采集批量采集Hadoop平臺(tái)MPP，基于X86平臺(tái)主數(shù)據(jù)倉(cāng)庫(kù)分布式數(shù)據(jù)庫(kù)基于X86平臺(tái)數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細(xì)化營(yíng)銷智能運(yùn)營(yíng)物聯(lián)網(wǎng)應(yīng)用應(yīng)用商店客服應(yīng)用基礎(chǔ)分析能力數(shù)據(jù)挖掘能力實(shí)時(shí)分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標(biāo)應(yīng)用報(bào)表應(yīng)用主題分析專題分析互聯(lián)網(wǎng)GN口半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)HDFS記錄明細(xì)數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務(wù)和開放SQL、FTP、WS、MDX、API、……分布式數(shù)據(jù)庫(kù)（MPP）：存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計(jì)算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉(cāng)庫(kù)輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉(cāng)庫(kù)（與MPP合設(shè)）：存儲(chǔ)指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺(tái)：負(fù)責(zé)存儲(chǔ)海量的流量話單數(shù)據(jù)，提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺(tái)的能力。數(shù)據(jù)采集（ETL）：負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺(tái)。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫(kù)和主數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用層大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)及定位準(zhǔn)實(shí)時(shí)采集批量采集Hadoop平臺(tái)MPP，基于X86平臺(tái)主數(shù)數(shù)據(jù)分級(jí)存儲(chǔ)原則數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施按數(shù)據(jù)血緣按邏輯層次按業(yè)務(wù)種類按設(shè)備網(wǎng)絡(luò)劃分按設(shè)備物理地址在線、近線、離線按訪問(wèn)頻度內(nèi)存數(shù)據(jù)庫(kù)按響應(yīng)及時(shí)性內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)生命周期中在線數(shù)據(jù)對(duì)高性能存儲(chǔ)的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲(chǔ)的遷移，是分級(jí)存儲(chǔ)管理的一條主線。同時(shí)兼顧考慮其他分級(jí)原則，共同作用影響數(shù)據(jù)遷移機(jī)制?；谏芷诨谠L問(wèn)壓力基于業(yè)務(wù)用途基于物理屬性分級(jí)原則高性能磁盤庫(kù)磁帶光盤庫(kù)中低性能磁盤庫(kù)將核心模型（即中度匯總的模型）通過(guò)改造融入到現(xiàn)有主數(shù)據(jù)倉(cāng)庫(kù)的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉(cāng)庫(kù)中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫(kù)，減輕主數(shù)據(jù)倉(cāng)庫(kù)的計(jì)算與存儲(chǔ)壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉(cāng)庫(kù)主數(shù)據(jù)倉(cāng)庫(kù)2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)分級(jí)存儲(chǔ)數(shù)據(jù)分級(jí)存儲(chǔ)原則數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施按數(shù)據(jù)血緣按邏輯層次按工業(yè)大數(shù)據(jù)平臺(tái)--技術(shù)架構(gòu)工業(yè)大數(shù)據(jù)平臺(tái)--技術(shù)架構(gòu)源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫(kù)?；A(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫(kù)，規(guī)劃保存3年清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫(kù)規(guī)劃保存1+1月，在分布式數(shù)據(jù)庫(kù)內(nèi)完成明細(xì)數(shù)據(jù)和輕度匯總數(shù)據(jù)加工生成，規(guī)劃保存2年ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁(yè)數(shù)據(jù)ftp到Hadoop平臺(tái)做長(zhǎng)久保存非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺(tái)完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫(kù)生成KPI和高度匯總數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫(kù)。Hadoop平臺(tái)主數(shù)據(jù)倉(cāng)庫(kù)報(bào)表數(shù)據(jù)標(biāo)簽庫(kù)客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)明細(xì)數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應(yīng)用庫(kù)分布式數(shù)據(jù)庫(kù)MPP數(shù)據(jù)訪問(wèn)SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層123465業(yè)務(wù)應(yīng)用通過(guò)數(shù)據(jù)訪問(wèn)接口獲取所需求數(shù)據(jù)。7精細(xì)化營(yíng)銷其他應(yīng)用1其他應(yīng)用2指標(biāo)數(shù)據(jù)大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)處理流程源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫(kù)?；A(chǔ)數(shù)據(jù)加載到數(shù)據(jù)采集--設(shè)備數(shù)據(jù)數(shù)據(jù)采集--設(shè)備數(shù)據(jù)數(shù)據(jù)采集--實(shí)時(shí)數(shù)據(jù)接入處理數(shù)據(jù)采集--實(shí)時(shí)數(shù)據(jù)接入處理數(shù)據(jù)采集--批量數(shù)據(jù)接入處理數(shù)據(jù)采集--批量數(shù)據(jù)接入處理交互式查詢實(shí)時(shí)在線處理實(shí)時(shí)流處理

批處理基于spark和hadoop的計(jì)算模型，同時(shí)支持批處理、交互式處理、流處理。技術(shù)架構(gòu)解決方案批處理應(yīng)用（分鐘級(jí)別~小時(shí)級(jí)別）OLTP/在線事務(wù)處理應(yīng)用（毫秒~秒級(jí)別）OLAP/在線交互式分析應(yīng)用（秒級(jí)別）實(shí)時(shí)流處理（持續(xù)不斷）交互式查詢實(shí)時(shí)實(shí)時(shí)技術(shù)架構(gòu)解決方案通常的時(shí)間跨度在數(shù)十秒到數(shù)分鐘之間按數(shù)據(jù)維度進(jìn)行統(tǒng)計(jì)、聚合根據(jù)歷史數(shù)據(jù)進(jìn)行擬合和預(yù)測(cè)計(jì)算數(shù)據(jù)之間的相關(guān)性和模式等適合提供高速在線分析服典型應(yīng)用場(chǎng)景政府各部門數(shù)據(jù)證券交易銀行保險(xiǎn)企業(yè)ERP/CRM等適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析通常的時(shí)間跨度在數(shù)百毫秒到數(shù)秒之間數(shù)據(jù)來(lái)源多、高并發(fā)、數(shù)據(jù)處理量達(dá)分析結(jié)果快速響應(yīng)典型應(yīng)用場(chǎng)景社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析用戶分類、用戶行為預(yù)測(cè)高并發(fā)查詢按主鍵毫秒級(jí)檢索按多維度秒級(jí)檢索按照關(guān)鍵字秒級(jí)檢索交互式查詢實(shí)時(shí)在線處理技術(shù)架構(gòu)解決方案通常的時(shí)間跨度在數(shù)十秒到數(shù)分鐘之間通常的時(shí)間HDFS：分布式文件系統(tǒng)有較強(qiáng)的容錯(cuò)性可在x86平臺(tái)上運(yùn)行，減少總體成本可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用HBase：非結(jié)構(gòu)化NoSQl分布式數(shù)據(jù)庫(kù)

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲(chǔ)，節(jié)省存儲(chǔ)空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲(chǔ)類SQL的查詢語(yǔ)句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理通過(guò)MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算MapReduce：大規(guī)劃并行計(jì)算引擎可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中Hadoop平臺(tái)提供了海量數(shù)據(jù)的分布式存儲(chǔ)與處理的框架。基于服務(wù)器本地的計(jì)算與存儲(chǔ)資源，Hadoop集群可以擴(kuò)展到上千臺(tái)服務(wù)器。同時(shí)，Hadoop在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供數(shù)據(jù)和計(jì)算的高可靠保證。大數(shù)據(jù)平臺(tái)：Hadoop主要功能HBaseMapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì)復(fù)雜計(jì)算并行處理HDFS