行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹

行業(yè)大數(shù)據(jù)部署思路淺析大數(shù)據(jù)的特點(diǎn)理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用什么是大數(shù)據(jù)？

海量數(shù)據(jù)本身+處理方法*大數(shù)據(jù)的4V特征體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效*1、密不可分的大數(shù)據(jù)與云計(jì)算商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)據(jù)是落地的云云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲(chǔ)、訪問(wèn)和計(jì)算。當(dāng)前云計(jì)算更偏重海量存儲(chǔ)和計(jì)算，以及提供的云服務(wù)，運(yùn)行云應(yīng)用，但是缺乏盤(pán)活數(shù)據(jù)資產(chǎn)的能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為國(guó)家、企業(yè)、個(gè)人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算的最終方向。*2、大數(shù)據(jù)不僅僅是“大”多大？至少PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值*4、大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營(yíng)銷(xiāo)通過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象*5、管理大數(shù)據(jù)“易”理解大數(shù)據(jù)“難”雖然大數(shù)據(jù)是一個(gè)重大問(wèn)題，真正的問(wèn)題是讓大數(shù)據(jù)更有意義目前大數(shù)據(jù)管理多從架構(gòu)和并行等方面考慮，解決高并發(fā)數(shù)據(jù)存取的性能要求及數(shù)據(jù)存儲(chǔ)的橫向擴(kuò)展，但對(duì)非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容理解仍缺乏實(shí)質(zhì)性的突破和進(jìn)展，這是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化、普適化的核心非結(jié)構(gòu)化海量信息的智能化處理：自然語(yǔ)言理解、多媒體內(nèi)容理解、機(jī)器學(xué)習(xí)等挖掘掘內(nèi)內(nèi)部部需需求求經(jīng)過(guò)過(guò)大大數(shù)數(shù)據(jù)據(jù)改改造造的的IT不再再是是一一個(gè)個(gè)冷冷冰冰冰冰的的系系統(tǒng)統(tǒng)，，而而變變成成了了推推動(dòng)動(dòng)業(yè)業(yè)務(wù)務(wù)發(fā)發(fā)展展，，挖挖掘掘客客戶戶內(nèi)內(nèi)心心需需求求的的真真正正推推動(dòng)動(dòng)劑劑；；大大數(shù)數(shù)據(jù)據(jù)將將催催生生更更多多的的應(yīng)應(yīng)用用領(lǐng)領(lǐng)域域需需求求。。數(shù)據(jù)據(jù)源源內(nèi)部部結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)外部部其其他他渠渠道道網(wǎng)絡(luò)絡(luò)/應(yīng)用用日日志志EDW（內(nèi)內(nèi)外外部部結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)））用戶戶基基本本信信息息數(shù)據(jù)據(jù)庫(kù)庫(kù)Hadoop（內(nèi)內(nèi)外外部部非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)））Hadoop/GPFSClusterMapReduce&Analytics網(wǎng)絡(luò)絡(luò)日日志志分分析析內(nèi)容容分分析析交互互數(shù)數(shù)據(jù)據(jù)分分析析個(gè)體體分分析析用戶戶購(gòu)購(gòu)買(mǎi)買(mǎi)記記錄錄數(shù)數(shù)據(jù)據(jù)庫(kù)庫(kù)用戶戶維維修修記記錄錄數(shù)數(shù)據(jù)據(jù)庫(kù)庫(kù)內(nèi)部部非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)社會(huì)化媒體數(shù)據(jù)生產(chǎn)、銷(xiāo)售、服務(wù)、售后數(shù)據(jù)數(shù)據(jù)據(jù)應(yīng)應(yīng)用用倉(cāng)倉(cāng)庫(kù)庫(kù)用戶戶在在線線瀏瀏覽覽據(jù)據(jù)庫(kù)庫(kù)用戶戶安安裝裝配配送送數(shù)數(shù)據(jù)據(jù)庫(kù)庫(kù)。。。。。。。。。其他他數(shù)數(shù)據(jù)據(jù)集集清洗整合用戶數(shù)據(jù)清洗整合規(guī)則確定ETLDQ數(shù)據(jù)清洗、整合、轉(zhuǎn)換開(kāi)發(fā)清洗整合規(guī)則自動(dòng)調(diào)度規(guī)則與標(biāo)準(zhǔn)制定用戶信息歸屬規(guī)則確定用戶數(shù)據(jù)使用權(quán)限與流程確定用戶數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)確定數(shù)據(jù)據(jù)應(yīng)應(yīng)用用/服務(wù)務(wù)營(yíng)銷(xiāo)銷(xiāo)/關(guān)懷懷活活動(dòng)動(dòng)自自動(dòng)動(dòng)化化管管理理商業(yè)業(yè)智智能能管理理駕駕駛駛艙艙業(yè)務(wù)務(wù)報(bào)報(bào)表表專題題分分析析嵌入入運(yùn)運(yùn)營(yíng)營(yíng)系系統(tǒng)統(tǒng)的的大大數(shù)數(shù)據(jù)據(jù)應(yīng)應(yīng)用用信息息可可視視化化工工具具CRMSCMMESPLM平臺(tái)臺(tái)化化企企業(yè)業(yè)，，需需要要大大數(shù)數(shù)據(jù)據(jù)架架構(gòu)構(gòu)的的支支撐撐大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展更高高一一層層數(shù)數(shù)據(jù)據(jù)層層面面整整合合企企業(yè)業(yè)內(nèi)內(nèi)外外部部*數(shù)據(jù)據(jù)的的再再利利用用：：由于于在在信信息息價(jià)價(jià)值值鏈鏈中中的的特特殊殊位位置置，，有有些些公公司司可可能能會(huì)會(huì)收收集集到到大大量量的的數(shù)數(shù)據(jù)據(jù)，，但但他他們們并并不不急急需需使使用用也也不不擅擅長(zhǎng)長(zhǎng)再再次次利利用用這這些些數(shù)數(shù)據(jù)據(jù)。。例例如如，，移移動(dòng)動(dòng)電電話話運(yùn)運(yùn)營(yíng)營(yíng)商商手手機(jī)機(jī)用用戶戶的的位位置置信信息息來(lái)來(lái)傳傳輸輸電電話話信信號(hào)號(hào)，，這這對(duì)對(duì)以以他他們們來(lái)來(lái)說(shuō)說(shuō)，，數(shù)數(shù)據(jù)據(jù)只只有有狹狹窄窄的的技技術(shù)術(shù)用用途途。。但但當(dāng)當(dāng)它它被被一一些些發(fā)發(fā)布布個(gè)個(gè)性性化化位位置置廣廣告告服服務(wù)務(wù)和和促促銷(xiāo)銷(xiāo)活活動(dòng)動(dòng)的的公公司司再再次次利利用用時(shí)時(shí)，，則則變變得得更更有有價(jià)價(jià)值值。。大數(shù)數(shù)據(jù)據(jù)價(jià)價(jià)值值鏈鏈的的3大構(gòu)構(gòu)成成：：數(shù)數(shù)據(jù)據(jù)本本身身、、技技能能與與思思維維谷歌歌公公司司三三者者兼兼具具，，在在剛剛開(kāi)開(kāi)始始收收集集數(shù)數(shù)據(jù)據(jù)的的時(shí)時(shí)候候就就已已經(jīng)經(jīng)有有多多次次使使用用數(shù)數(shù)據(jù)據(jù)的的想想法法。。比比方方說(shuō)說(shuō)，，它它的的街街景景采采集集車(chē)車(chē)手手機(jī)機(jī)全全球球定定位位系系統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)不不光光是是為為了了創(chuàng)創(chuàng)建建谷谷歌歌地地圖圖，，也也是是為為了了制制成成全全自自動(dòng)動(dòng)汽汽車(chē)車(chē)以以及及谷谷歌歌眼眼鏡鏡等等與與實(shí)實(shí)景景交交匯匯的的產(chǎn)產(chǎn)品品。。未來(lái)來(lái)，，企企業(yè)業(yè)會(huì)會(huì)依依靠靠洞洞悉悉數(shù)數(shù)據(jù)據(jù)中中的的信信息息更更加加了了解解自自己己，，也也更更加加了了解解客客戶戶。?！洞髷?shù)數(shù)據(jù)據(jù)時(shí)時(shí)代代》傳統(tǒng)統(tǒng)行行業(yè)業(yè)最最終終都都會(huì)會(huì)轉(zhuǎn)轉(zhuǎn)變變?yōu)闉榇蟠髷?shù)數(shù)據(jù)據(jù)行行業(yè)業(yè)，，無(wú)無(wú)論論是是金金融融服服務(wù)務(wù)也也、、醫(yī)醫(yī)藥藥還還是是制制造造業(yè)業(yè)。。大數(shù)據(jù)的未來(lái)和機(jī)遇大數(shù)據(jù)相關(guān)技術(shù)分析析技技術(shù)術(shù)：：數(shù)據(jù)據(jù)處處理理：：自自然然語(yǔ)語(yǔ)言言處處理理技技術(shù)術(shù)統(tǒng)計(jì)計(jì)和和分分析析：：A/Btest;topN排行行榜榜；；地地域域占占比比；；文文本本情情感感分分析析數(shù)據(jù)據(jù)挖挖掘掘：：關(guān)關(guān)聯(lián)聯(lián)規(guī)規(guī)則則分分析析；；分分類類；；聚聚類類模型型預(yù)預(yù)測(cè)測(cè)：：預(yù)預(yù)測(cè)測(cè)模模型型；；機(jī)機(jī)器器學(xué)學(xué)習(xí)習(xí)；；建建模模仿仿真真大數(shù)數(shù)據(jù)據(jù)技技術(shù)術(shù)：：數(shù)據(jù)據(jù)采采集集：：ETL工具具數(shù)據(jù)據(jù)存存取?。海宏P(guān)關(guān)系系數(shù)數(shù)據(jù)據(jù)庫(kù)庫(kù)；；NoSQL；SQL等基礎(chǔ)礎(chǔ)架架構(gòu)構(gòu)支支持持：：云云存存儲(chǔ)儲(chǔ)；；分分布布式式文文件件系系統(tǒng)統(tǒng)等等計(jì)算算結(jié)結(jié)果果展展現(xiàn)現(xiàn)：：云云計(jì)計(jì)算算；；標(biāo)標(biāo)簽簽云云；；關(guān)關(guān)系系圖圖等等存儲(chǔ)儲(chǔ)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)：：海量量數(shù)數(shù)據(jù)據(jù)的的查查詢?cè)?、、統(tǒng)統(tǒng)計(jì)計(jì)、、更更新新等等操操作作效效率率低低非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)圖片片、、視視頻頻、、word、pdf、ppt等文文件件存存儲(chǔ)儲(chǔ)不利利于于檢檢索索、、查查詢?cè)兒秃痛娲鎯?chǔ)儲(chǔ)半結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)轉(zhuǎn)換換為為結(jié)結(jié)構(gòu)構(gòu)化化存存儲(chǔ)儲(chǔ)按照照非非結(jié)結(jié)構(gòu)構(gòu)化化存存儲(chǔ)儲(chǔ)解決決方方案案：：Hadoop（MapReduce技術(shù)術(shù)））流計(jì)計(jì)算算（（twitter的storm和yahoo！的的S4）數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘什么是hadoop開(kāi)源Apache項(xiàng)項(xiàng)目,靈靈感來(lái)源源于Google的MapReduce白白皮書(shū)和和Google文件系系(GFS),Yahoo完成成了絕大大部分初初始設(shè)計(jì)計(jì)和開(kāi)發(fā)發(fā)Hadoop核核心組組件包括括:-分布式式文件系系統(tǒng)-Map/Reduce––分布式式計(jì)算用Java編寫(xiě)寫(xiě)運(yùn)行平臺(tái)臺(tái):?Linux,MacOS/X,Solaris,Windows?普通的的X86硬件平平臺(tái)為什么hadoop很很重要非結(jié)構(gòu)化化數(shù)據(jù)暴暴增:–估計(jì)未來(lái)來(lái)5年，企業(yè)業(yè)的數(shù)據(jù)據(jù)將增長(zhǎng)長(zhǎng)650%，其中80%都是非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)–比如FACEBOOK每天收集集100TB的數(shù)據(jù)，，Twitter會(huì)有每天產(chǎn)生生3500億的tweets非結(jié)構(gòu)化化的數(shù)據(jù)據(jù)同樣蘊(yùn)蘊(yùn)藏巨大大價(jià)值需要新方方法利用用所有數(shù)數(shù)據(jù)進(jìn)行行業(yè)務(wù)分分析–ApacheHadoop作為一個(gè)個(gè)分析存存儲(chǔ)大量量數(shù)據(jù)的的關(guān)鍵數(shù)據(jù)平臺(tái)臺(tái)出現(xiàn)hadoop與與大數(shù)據(jù)據(jù)Hadoop是致力于于“大數(shù)數(shù)據(jù)”處處理的最最重要平平臺(tái)之一一–能夠輕松松擴(kuò)展到到PB級(jí)別的數(shù)數(shù)據(jù)存儲(chǔ)儲(chǔ)，處理理規(guī)模–帶有高度度容錯(cuò)能能力的并并行處理理架構(gòu)–基于普通通的X86平臺(tái)硬件件架構(gòu)，，硬件成成本低廉廉–用內(nèi)置格格式存儲(chǔ)儲(chǔ)/處理數(shù)據(jù)據(jù)–基于開(kāi)源源項(xiàng)目，，擁有當(dāng)當(dāng)量的代代碼來(lái)源源，并且且傳統(tǒng)廠廠商也日日益重視視對(duì)其的的支持，，它已經(jīng)經(jīng)成為重重要的并并行處理理架構(gòu)標(biāo)標(biāo)準(zhǔn)之一一企業(yè)級(jí)Hadoop堆棧數(shù)據(jù)存儲(chǔ)儲(chǔ)與訪問(wèn)問(wèn)方式大數(shù)據(jù)與與應(yīng)用總總體設(shè)計(jì)計(jì)行業(yè)大數(shù)數(shù)據(jù)建設(shè)設(shè)思考1.思考的問(wèn)問(wèn)題使用當(dāng)前前數(shù)據(jù)資資源建設(shè)設(shè)大數(shù)據(jù)據(jù)平臺(tái)能能做什么么？實(shí)現(xiàn)以前前無(wú)法實(shí)實(shí)現(xiàn)的應(yīng)應(yīng)用需求求針對(duì)當(dāng)前前業(yè)務(wù)狀狀況，為為什么需需要建設(shè)設(shè)大數(shù)據(jù)據(jù)平臺(tái)改善現(xiàn)狀狀，為未未來(lái)發(fā)展展奠定基基礎(chǔ)具備什么么樣的條條件才能能建設(shè)大大數(shù)據(jù)平平臺(tái)？硬件和網(wǎng)網(wǎng)絡(luò)資源源具備了了嗎？數(shù)據(jù)應(yīng)用用業(yè)務(wù)需需求明確確了嗎？？已有業(yè)務(wù)遷移移到大數(shù)數(shù)據(jù)平臺(tái)臺(tái)可行嗎嗎？2.建設(shè)步驟驟分析當(dāng)前前及未來(lái)來(lái)數(shù)據(jù)量量及數(shù)據(jù)據(jù)類型（（不止是是原始數(shù)數(shù)據(jù)哦