大數(shù)據(jù)行業(yè)發(fā)展與基本概念-V

大數(shù)據(jù)基本概念與行業(yè)發(fā)展大數(shù)據(jù)的起源12數(shù)據(jù)發(fā)展簡(jiǎn)史3國(guó)內(nèi)行業(yè)發(fā)展基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點(diǎn)，合理搭配，重新組隊(duì)；打破傳統(tǒng)思維，通過(guò)分析比賽數(shù)據(jù)，尋找“性價(jià)比”最高球員，運(yùn)用數(shù)據(jù)取得成功；布拉德?皮特主演的《點(diǎn)球成金》是一部美國(guó)奧斯卡獲獎(jiǎng)影片，所講述的是皮特扮演的棒球隊(duì)總經(jīng)理利用計(jì)算機(jī)數(shù)據(jù)分析，對(duì)球隊(duì)進(jìn)行了翻天覆地的改造，讓一家不起眼的小球隊(duì)能夠取得巨大的成功。電影《點(diǎn)球成金》僅供開采162年僅供開采45年僅供開采60年2013年，10分鐘的信息總量將達(dá)1.8ZB2010年全球數(shù)據(jù)總量1.2ZB，年增長(zhǎng)50%數(shù)據(jù)不再是社會(huì)生產(chǎn)的“副產(chǎn)物”，而是可被二次乃至多次加工的原料，從中可以探索更大價(jià)值，它變成了生產(chǎn)資料。不可再生資源VS數(shù)據(jù)2020年全球數(shù)據(jù)總量將達(dá)到40ZB數(shù)據(jù)爆炸式增長(zhǎng)（每分鐘……）Twitter上發(fā)布98000+新微博13000+個(gè)iPhone應(yīng)用下載Skype上37萬(wàn)+分鐘的語(yǔ)音通話上傳6600張新照片到flickr發(fā)出1.68億+條EmailYouTube上上傳600+新視頻淘寶光棍節(jié)10680+個(gè)新訂單12306出票1840+張傳統(tǒng)處理方式所無(wú)法解決的挑戰(zhàn)12345挑戰(zhàn)數(shù)據(jù)體量越來(lái)越大非結(jié)構(gòu)半結(jié)構(gòu)混雜處理速度要求越來(lái)越快數(shù)據(jù)應(yīng)用模式創(chuàng)新更豐富的視覺(jué)元素需要性價(jià)比更高的儲(chǔ)存方式數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

需要不同的數(shù)據(jù)管理策略當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺(jué)：架構(gòu)只能scale-up，scale-out不易處理時(shí)間過(guò)長(zhǎng)，time-to-value受限成本過(guò)高，cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺需要更高效的計(jì)算方式規(guī)模時(shí)間傳統(tǒng)大數(shù)據(jù)什么是大數(shù)據(jù)？維基百科：大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來(lái)的新石油”容量Volume多樣Variety價(jià)值Value速度Velocity數(shù)據(jù)體量量巨大。。從TB級(jí)別，躍躍升到PB級(jí)以上。數(shù)據(jù)類型型繁多。。日志、、視頻、、圖片、、GIS等。秒級(jí)定律。。一般要要求在秒秒級(jí)內(nèi)給給出分析析結(jié)果。。利用低價(jià)價(jià)值密度度數(shù)據(jù)，，可以帶帶來(lái)高價(jià)價(jià)值回報(bào)報(bào)。大數(shù)據(jù)的的“4V”特征更多的““V”可變性Variability真實(shí)性Veracity可視化Visualization數(shù)據(jù)的含含義總是是在快速變變化的。要考慮慮具體的的上下文文。確保數(shù)據(jù)的真真實(shí)性，，才能保保證數(shù)據(jù)據(jù)分析的的正確性性。只有正確確的可視視化，原原始數(shù)據(jù)據(jù)才可被被投入使使用。大數(shù)據(jù)的的起源12數(shù)據(jù)發(fā)展展簡(jiǎn)史3國(guó)內(nèi)行業(yè)業(yè)發(fā)展數(shù)據(jù)概述述在人類發(fā)發(fā)展歷程程中，數(shù)數(shù)據(jù)表現(xiàn)現(xiàn)方式分分為兩類類：模擬數(shù)據(jù)據(jù)（聲音音，文件件，圖像像，視頻頻）數(shù)字?jǐn)?shù)據(jù)據(jù)（文字字，符號(hào)號(hào)）自從計(jì)算算機(jī)發(fā)明明以來(lái)，，數(shù)據(jù)在在計(jì)算機(jī)機(jī)中都是是以二進(jìn)進(jìn)制0和1的形式進(jìn)進(jìn)行保存存。鑒于對(duì)數(shù)數(shù)據(jù)的分分類管理理需要，，隨之而而來(lái)各種種各種的的數(shù)據(jù)管管理軟件件應(yīng)運(yùn)而而生。數(shù)據(jù)倉(cāng)庫(kù)NoSQLNewSQL關(guān)系型數(shù)據(jù)庫(kù)集群化大數(shù)據(jù)數(shù)據(jù)發(fā)展展的五個(gè)個(gè)階段第一階段段關(guān)系系型數(shù)據(jù)據(jù)庫(kù)第二階段數(shù)數(shù)據(jù)倉(cāng)庫(kù)庫(kù)DW-DataWarehouse面向主題題數(shù)據(jù)是按按照一定定的主題題域進(jìn)行行組織，，一個(gè)主主題通常常與多個(gè)個(gè)操作型型信息系系統(tǒng)相關(guān)。集成的必須保證數(shù)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)內(nèi)的信息是是關(guān)于整個(gè)個(gè)企業(yè)的一一致的全局局信息。相對(duì)穩(wěn)定某個(gè)數(shù)據(jù)進(jìn)進(jìn)入數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)之后，，一般情況況下將被長(zhǎng)長(zhǎng)期保留，，修改和刪刪除操作很少。反映歷史變變化倉(cāng)庫(kù)中的數(shù)據(jù)通通常包含歷歷史信息，，反映過(guò)去去某一時(shí)點(diǎn)點(diǎn)到目前的的各個(gè)階段段的信息。用于支持管理決策ETLBI第三階段NoSQL、NewSQL事務(wù)分析互聯(lián)網(wǎng)OldSQL大數(shù)據(jù)時(shí)代架構(gòu)多元化化NewSQL分析OldSQL事務(wù)NoSQL互聯(lián)網(wǎng)鍵值存儲(chǔ)數(shù)據(jù)庫(kù)庫(kù)NoSQL互聯(lián)網(wǎng)列式存儲(chǔ)數(shù)據(jù)庫(kù)庫(kù)文檔存儲(chǔ)數(shù)數(shù)據(jù)庫(kù)圖像存儲(chǔ)數(shù)數(shù)據(jù)庫(kù)文件存儲(chǔ)數(shù)數(shù)據(jù)庫(kù)消息隊(duì)列系系統(tǒng)NewSQL分析第四階段集集群化高可用通常采用Master-Slave或者P2P模式，保障障數(shù)據(jù)的災(zāi)災(zāi)備。分片將大規(guī)模數(shù)數(shù)據(jù)按照一一定規(guī)則拆拆分，不同同的分片存存儲(chǔ)在不同同的結(jié)點(diǎn)。。復(fù)制數(shù)據(jù)通常會(huì)會(huì)在集群的的多個(gè)結(jié)點(diǎn)點(diǎn)中留存多多個(gè)數(shù)據(jù)副副本，以保保證可靠。?；旌蠎?yīng)用不同的業(yè)務(wù)場(chǎng)景景，會(huì)混合使使用多種不不同的數(shù)據(jù)存儲(chǔ)系統(tǒng)。。服務(wù)器1分片處理前前分片處理后后片服務(wù)器1片服務(wù)器2片服務(wù)器3服務(wù)器1復(fù)制前復(fù)制后服務(wù)器1服務(wù)器2服務(wù)器3主從復(fù)制or對(duì)等等復(fù)復(fù)制制第五五階階段段大大數(shù)數(shù)據(jù)據(jù)讓大大象象跳跳舞舞Hadoop2.0生態(tài)態(tài)流式式計(jì)計(jì)算算框框架架搜索索引引擎擎框框架架某政政務(wù)務(wù)大大數(shù)數(shù)據(jù)據(jù)項(xiàng)項(xiàng)目目架構(gòu)構(gòu)大數(shù)數(shù)據(jù)據(jù)的的起起源源12數(shù)據(jù)據(jù)發(fā)發(fā)展展簡(jiǎn)簡(jiǎn)史史3國(guó)內(nèi)內(nèi)行行業(yè)業(yè)發(fā)發(fā)展展大數(shù)數(shù)據(jù)據(jù)是是如如何何成成為為網(wǎng)網(wǎng)紅紅的的？？2005年2008年2011年2015年2016年2012年2014年第一一款款商商用用Hadoop項(xiàng)目目誕誕生生在美美國(guó)國(guó)發(fā)發(fā)表表第第一一個(gè)關(guān)于于大大數(shù)據(jù)據(jù)的的白皮皮書書國(guó)家家工信信部部發(fā)布布物聯(lián)網(wǎng)網(wǎng)十十二二五五規(guī)規(guī)劃劃成為為世界界經(jīng)經(jīng)濟(jì)濟(jì)論壇重重要要主主題題之之一一在我國(guó)國(guó)政政府府報(bào)報(bào)告告中大數(shù)據(jù)據(jù)首首次次出出現(xiàn)現(xiàn)國(guó)務(wù)務(wù)院院印印發(fā)發(fā)《促進(jìn)進(jìn)大大數(shù)據(jù)據(jù)發(fā)發(fā)展展行行動(dòng)動(dòng)綱綱要要》大數(shù)據(jù)據(jù)““十十三三五五””規(guī)規(guī)劃劃出出臺(tái)臺(tái)我國(guó)國(guó)大大數(shù)數(shù)據(jù)據(jù)的的發(fā)發(fā)展展階階段段時(shí)間探索起起步期期快速推推進(jìn)器器規(guī)模發(fā)發(fā)展期期產(chǎn)業(yè)消消化期期應(yīng)用成成熟期期市場(chǎng)認(rèn)認(rèn)可度度1）大數(shù)數(shù)據(jù)產(chǎn)產(chǎn)業(yè)在在中國(guó)國(guó)出現(xiàn)現(xiàn)，并并逐步步受到到關(guān)注注，互互聯(lián)網(wǎng)網(wǎng)企業(yè)業(yè)率先先將應(yīng)應(yīng)用落落地2）2015年我國(guó)國(guó)提出出《大數(shù)據(jù)據(jù)發(fā)展展行動(dòng)動(dòng)綱要要》大力支支持大大數(shù)據(jù)據(jù)產(chǎn)業(yè)業(yè)發(fā)展展，并并于2016年提升升為國(guó)國(guó)家戰(zhàn)戰(zhàn)略3）大數(shù)數(shù)據(jù)概概念廣廣泛普普及，，企業(yè)業(yè)用戶戶不斷斷提升升，資資本市市場(chǎng)高高度關(guān)關(guān)注，，大數(shù)數(shù)據(jù)企企業(yè)規(guī)規(guī)?；l(fā)展展4）大數(shù)數(shù)據(jù)市市場(chǎng)相相對(duì)成成熟，，市場(chǎng)場(chǎng)熱度度逐漸漸消化化，大大數(shù)據(jù)據(jù)企業(yè)業(yè)整合合5）行業(yè)業(yè)標(biāo)準(zhǔn)準(zhǔn)建立立、監(jiān)監(jiān)管規(guī)規(guī)范完完善，，被廣廣泛應(yīng)應(yīng)用，，行業(yè)業(yè)將趨趨于穩(wěn)穩(wěn)定發(fā)發(fā)展我國(guó)大數(shù)據(jù)據(jù)產(chǎn)業(yè)業(yè)市場(chǎng)場(chǎng)規(guī)模模2017年我國(guó)國(guó)大數(shù)數(shù)據(jù)市市場(chǎng)規(guī)規(guī)模已已達(dá)358億元，，年增增速達(dá)達(dá)到47.3%。預(yù)計(jì)2020年，我國(guó)大大數(shù)據(jù)市場(chǎng)場(chǎng)規(guī)模將達(dá)達(dá)到731億元。我國(guó)大數(shù)據(jù)據(jù)主要應(yīng)用用領(lǐng)域市場(chǎng)吸引力力應(yīng)用成熟度度教育物流電信交通醫(yī)療政府公共服服務(wù)金融電子商務(wù)我國(guó)大數(shù)據(jù)據(jù)區(qū)域分布布京津冀地區(qū)區(qū)依托北京京，培育了一大批大大數(shù)據(jù)企業(yè)業(yè)，是目前前我國(guó)大數(shù)數(shù)據(jù)企業(yè)集集聚最多的的地方。珠三角地區(qū)區(qū)依托廣州州和深圳兩兩個(gè)國(guó)家超超級(jí)計(jì)算中中心的集聚聚作用，在在騰訊、華華為、中興興等一批骨骨干企業(yè)的的帶動(dòng)下，，逐漸形成成了大數(shù)據(jù)據(jù)集聚發(fā)展展的趨勢(shì)。長(zhǎng)三角地區(qū)區(qū)依托上海海、杭州、、南京，吸引了大批大數(shù)數(shù)據(jù)企業(yè)，上海發(fā)布《上海推進(jìn)大大數(shù)據(jù)研究究與發(fā)展三三年行動(dòng)計(jì)計(jì)劃》，推動(dòng)大數(shù)數(shù)據(jù)在城市市管理和民民生服務(wù)領(lǐng)領(lǐng)域應(yīng)用。。大西南地區(qū)區(qū)以貴州、、重慶為代代表城市，，通過(guò)積極極吸引國(guó)內(nèi)內(nèi)外龍頭骨骨干企業(yè)，，實(shí)現(xiàn)大數(shù)數(shù)據(jù)產(chǎn)業(yè)在在當(dāng)?shù)氐目炜焖侔l(fā)展?；A(chǔ)資源/云平臺(tái)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)分析展示應(yīng)用管理工工具實(shí)時(shí)接接入、、海量量堆積積多種結(jié)結(jié)構(gòu)、、海量量存儲(chǔ)儲(chǔ)離線統(tǒng)統(tǒng)計(jì)、、實(shí)時(shí)時(shí)計(jì)算算數(shù)據(jù)倉(cāng)倉(cāng)庫(kù)、、機(jī)器器學(xué)習(xí)習(xí)圖形、、報(bào)表表等工工具庫(kù)高可用用、高高性能能集群群數(shù)據(jù)安安全大數(shù)據(jù)據(jù)的一一般利利用過(guò)過(guò)程（（生命命周期期）大數(shù)據(jù)據(jù)產(chǎn)業(yè)業(yè)鏈及及細(xì)分分領(lǐng)域域數(shù)據(jù)采采集基礎(chǔ)軟軟件硬件應(yīng)用軟件信息服服務(wù)數(shù)據(jù)存存儲(chǔ)數(shù)據(jù)處處理數(shù)據(jù)分分析展示應(yīng)應(yīng)用●采集集設(shè)設(shè)備備●存儲(chǔ)儲(chǔ)設(shè)設(shè)備備