大數(shù)據(jù)行業(yè)發(fā)展與基本概念

大數(shù)據(jù)基本概念與行業(yè)發(fā)展現(xiàn)在是1頁(yè)\一共有41頁(yè)\編輯于星期五大數(shù)據(jù)的起源12數(shù)據(jù)發(fā)展簡(jiǎn)史3國(guó)內(nèi)行業(yè)發(fā)展現(xiàn)在是2頁(yè)\一共有41頁(yè)\編輯于星期五基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點(diǎn)，合理搭配，重新組隊(duì)；打破傳統(tǒng)思維，通過(guò)分析比賽數(shù)據(jù)，尋找“性價(jià)比”最高球員，運(yùn)用數(shù)據(jù)取得成功；布拉德?皮特主演的《點(diǎn)球成金》是一部美國(guó)奧斯卡獲獎(jiǎng)影片，所講述的是皮特扮演的棒球隊(duì)總經(jīng)理利用計(jì)算機(jī)數(shù)據(jù)分析，對(duì)球隊(duì)進(jìn)行了翻天覆地的改造，讓一家不起眼的小球隊(duì)能夠取得巨大的成功。電影《點(diǎn)球成金》現(xiàn)在是3頁(yè)\一共有41頁(yè)\編輯于星期五僅供開(kāi)采162年僅供開(kāi)采45年僅供開(kāi)采60年2013年，10分鐘的信息總量將達(dá)1.8ZB2010年全球數(shù)據(jù)總量1.2ZB，年增長(zhǎng)50%數(shù)據(jù)不再是社會(huì)生產(chǎn)的“副產(chǎn)物”，而是可被二次乃至多次加工的原料，從中可以探索更大價(jià)值，它變成了生產(chǎn)資料。不可再生資源VS數(shù)據(jù)2020年全球數(shù)據(jù)總量將達(dá)到40ZB現(xiàn)在是4頁(yè)\一共有41頁(yè)\編輯于星期五數(shù)據(jù)爆炸式增長(zhǎng)（每分鐘……）Twitter上發(fā)布98000+新微博13000+個(gè)iPhone應(yīng)用下載Skype上37萬(wàn)+分鐘的語(yǔ)音通話上傳6600張新照片到flickr發(fā)出1.68億+條EmailYouTube上上傳600+新視頻淘寶光棍節(jié)10680+個(gè)新訂單12306出票1840+張現(xiàn)在是5頁(yè)\一共有41頁(yè)\編輯于星期五傳統(tǒng)處理方式所無(wú)法解決的挑戰(zhàn)12345挑戰(zhàn)數(shù)據(jù)體量越來(lái)越大非結(jié)構(gòu)半結(jié)構(gòu)混雜處理速度要求越來(lái)越快數(shù)據(jù)應(yīng)用模式創(chuàng)新更豐富的視覺(jué)元素現(xiàn)在是6頁(yè)\一共有41頁(yè)\編輯于星期五需要性價(jià)比更高的儲(chǔ)存方式數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)現(xiàn)在是7頁(yè)\一共有41頁(yè)\編輯于星期五85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

需要不同的數(shù)據(jù)管理策略當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺(jué)：架構(gòu)只能scale-up，scale-out不易處理時(shí)間過(guò)長(zhǎng)，time-to-value受限成本過(guò)高，cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺現(xiàn)在是8頁(yè)\一共有41頁(yè)\編輯于星期五需要更高效的計(jì)算方式規(guī)模時(shí)間傳統(tǒng)大數(shù)據(jù)現(xiàn)在是9頁(yè)\一共有41頁(yè)\編輯于星期五什么是大數(shù)據(jù)？維基百科：大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來(lái)的新石油”現(xiàn)在是10頁(yè)\一共有41頁(yè)\編輯于星期五容量Volume多樣Variety價(jià)值Value速度Velocity數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)以上。數(shù)據(jù)類型繁多。日志、視頻、圖片、GIS等。秒級(jí)定律。一般要求在秒級(jí)內(nèi)給出分析結(jié)果。利用低價(jià)值密度數(shù)據(jù)，可以帶來(lái)高價(jià)值回報(bào)。大數(shù)據(jù)的“4V”特征現(xiàn)在是11頁(yè)\一共有41頁(yè)\編輯于星期五更多的“V”可變性Variability真實(shí)性Veracity可視化Visualization數(shù)據(jù)的含義總是在快速變化的。要考慮具體的上下文。確保數(shù)據(jù)的真實(shí)性，才能保證數(shù)據(jù)分析的正確性。只有正確的可視化，原始數(shù)據(jù)才可被投入使用?，F(xiàn)在是12頁(yè)\一共有41頁(yè)\編輯于星期五大數(shù)據(jù)的起源12數(shù)據(jù)發(fā)展簡(jiǎn)史3國(guó)內(nèi)行業(yè)發(fā)展現(xiàn)在是13頁(yè)\一共有41頁(yè)\編輯于星期五數(shù)據(jù)概述在人類發(fā)展歷程中，數(shù)據(jù)表現(xiàn)方式分為兩類：模擬數(shù)據(jù)（聲音，文件，圖像，視頻）數(shù)字?jǐn)?shù)據(jù)（文字，符號(hào)）自從計(jì)算機(jī)發(fā)明以來(lái)，數(shù)據(jù)在計(jì)算機(jī)中都是以二進(jìn)制0和1的形式進(jìn)行保存。鑒于對(duì)數(shù)據(jù)的分類管理需要，隨之而來(lái)各種各種的數(shù)據(jù)管理軟件應(yīng)運(yùn)而生?，F(xiàn)在是14頁(yè)\一共有41頁(yè)\編輯于星期五現(xiàn)在是15頁(yè)\一共有41頁(yè)\編輯于星期五數(shù)據(jù)倉(cāng)庫(kù)NoSQLNewSQL關(guān)系型數(shù)據(jù)庫(kù)集群化大數(shù)據(jù)數(shù)據(jù)發(fā)展的五個(gè)階段現(xiàn)在是16頁(yè)\一共有41頁(yè)\編輯于星期五第一階段關(guān)系型數(shù)據(jù)庫(kù)現(xiàn)在是17頁(yè)\一共有41頁(yè)\編輯于星期五第二階段數(shù)據(jù)倉(cāng)庫(kù)DW-DataWarehouse面向主題數(shù)據(jù)是按照一定的主題域進(jìn)行組織，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。集成的必須保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。相對(duì)穩(wěn)定某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之后，一般情況下將被長(zhǎng)期保留，修改和刪除操作很少。反映歷史變化倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，反映過(guò)去某一時(shí)點(diǎn)到目前的各個(gè)階段的信息。用于支持管理決策現(xiàn)在是18頁(yè)\一共有41頁(yè)\編輯于星期五現(xiàn)在是19頁(yè)\一共有41頁(yè)\編輯于星期五ETLBI現(xiàn)在是20頁(yè)\一共有41頁(yè)\編輯于星期五第三階段NoSQL、NewSQL事務(wù)分析互聯(lián)網(wǎng)OldSQL大數(shù)據(jù)時(shí)代架構(gòu)多元化NewSQL分析OldSQL事務(wù)NoSQL互聯(lián)網(wǎng)現(xiàn)在是21頁(yè)\一共有41頁(yè)\編輯于星期五鍵值存儲(chǔ)數(shù)據(jù)庫(kù)NoSQL互聯(lián)網(wǎng)列式存儲(chǔ)數(shù)據(jù)庫(kù)文檔存儲(chǔ)數(shù)據(jù)庫(kù)圖像存儲(chǔ)數(shù)據(jù)庫(kù)文件存儲(chǔ)數(shù)據(jù)庫(kù)消息隊(duì)列系統(tǒng)現(xiàn)在是22頁(yè)\一共有41頁(yè)\編輯于星期五NewSQL分析現(xiàn)在是23頁(yè)\一共有41頁(yè)\編輯于星期五第四階段集群化高可用通常采用Master-Slave或者P2P模式，保障數(shù)據(jù)的災(zāi)備。分片將大規(guī)模數(shù)據(jù)按照一定規(guī)則拆分，不同的分片存儲(chǔ)在不同的結(jié)點(diǎn)。復(fù)制數(shù)據(jù)通常會(huì)在集群的多個(gè)結(jié)點(diǎn)中留存多個(gè)數(shù)據(jù)副本，以保證可靠?；旌蠎?yīng)用不同的業(yè)務(wù)場(chǎng)景，會(huì)混合使用多種不同的數(shù)據(jù)存儲(chǔ)系統(tǒng)。現(xiàn)在是24頁(yè)\一共有41頁(yè)\編輯于星期五服務(wù)器1分片處理前分片處理后片服務(wù)器1片服務(wù)器2片服務(wù)器3現(xiàn)在是25頁(yè)\一共有41頁(yè)\編輯于星期五服務(wù)器1復(fù)制前復(fù)制后服務(wù)器1服務(wù)器2服務(wù)器3主從復(fù)制or對(duì)等復(fù)制現(xiàn)在是26頁(yè)\一共有41頁(yè)\編輯于星期五第五階段大數(shù)據(jù)讓大象跳舞現(xiàn)在是27頁(yè)\一共有41頁(yè)\編輯于星期五Hadoop2.0生態(tài)現(xiàn)在是28頁(yè)\一共有41頁(yè)\編輯于星期五流式計(jì)算框架現(xiàn)在是29頁(yè)\一共有41頁(yè)\編輯于星期五搜索引擎框架現(xiàn)在是30頁(yè)\一共有41頁(yè)\編輯于星期五某政務(wù)大數(shù)據(jù)項(xiàng)目架構(gòu)現(xiàn)在是31頁(yè)\一共有41頁(yè)\編輯于星期五大數(shù)據(jù)的起源12數(shù)據(jù)發(fā)展簡(jiǎn)史3國(guó)內(nèi)行業(yè)發(fā)展現(xiàn)在是32頁(yè)\一共有41頁(yè)\編輯于星期五大數(shù)據(jù)是如何成為網(wǎng)紅的？2005年2008年2011年2015年2016年2012年2014年第一款商用Hadoop項(xiàng)目誕生在美國(guó)發(fā)表第一個(gè)關(guān)于大數(shù)據(jù)的白皮書(shū)國(guó)家工信部發(fā)布物聯(lián)網(wǎng)十二五規(guī)劃成為世界經(jīng)濟(jì)論壇重要主題之一在我國(guó)政府報(bào)告中大數(shù)據(jù)首次出現(xiàn)國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》大數(shù)據(jù)“十三五”規(guī)劃出臺(tái)現(xiàn)在是33頁(yè)\一共有41頁(yè)\編輯于星期五我國(guó)大數(shù)據(jù)的發(fā)展階段時(shí)間探索起步期快速推進(jìn)器規(guī)模發(fā)展期產(chǎn)業(yè)消化期應(yīng)用成熟期市場(chǎng)認(rèn)可度1）大數(shù)據(jù)產(chǎn)業(yè)在中國(guó)出現(xiàn)，并逐步受到關(guān)注，互聯(lián)網(wǎng)企業(yè)率先將應(yīng)用落地2）2015年我國(guó)提出《大數(shù)據(jù)發(fā)展行動(dòng)綱要》大力支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，并于2016年提升為國(guó)家戰(zhàn)略3）大數(shù)據(jù)概念廣泛普及，企業(yè)用戶不斷提升，資本市場(chǎng)高度關(guān)注，大數(shù)據(jù)企業(yè)規(guī)?；l(fā)展4）大數(shù)據(jù)市場(chǎng)相對(duì)成熟，市場(chǎng)熱度逐漸消化，大數(shù)據(jù)企業(yè)整合5）行業(yè)標(biāo)準(zhǔn)建立、監(jiān)管規(guī)范完善，被廣泛應(yīng)用，行業(yè)將趨于穩(wěn)定發(fā)展現(xiàn)在是34頁(yè)\一共有41頁(yè)\編輯于星期五我國(guó)大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模2017年我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模已達(dá)358億元，年增速達(dá)到47.3%。預(yù)計(jì)2020年，我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模將達(dá)到731億元?，F(xiàn)在是35頁(yè)\一共有41頁(yè)\編輯于星期五我國(guó)大數(shù)據(jù)主要應(yīng)用領(lǐng)域市場(chǎng)吸引力應(yīng)用成熟度教育物流電信交通醫(yī)療政府公共服務(wù)金融電子商務(wù)現(xiàn)在是36頁(yè)\一共有41頁(yè)\編輯于星期五我國(guó)大數(shù)據(jù)區(qū)域分布京津冀地區(qū)依托北京，培育了一大批大數(shù)據(jù)企業(yè)，是目前我國(guó)大數(shù)據(jù)企業(yè)集聚最多的地方。珠三角地區(qū)依托廣州和深圳兩個(gè)國(guó)家超級(jí)計(jì)算中心的集聚作用，在騰訊、華為、中興等一批骨干企業(yè)的帶動(dòng)下，逐漸形成了大數(shù)據(jù)集聚發(fā)展的趨勢(shì)。長(zhǎng)三角地區(qū)依托上海、杭州、南京，吸引了大批大數(shù)據(jù)企業(yè)，上海發(fā)布《上海推進(jìn)大數(shù)據(jù)研究與發(fā)展三年行動(dòng)計(jì)劃》，推動(dòng)大數(shù)據(jù)在城市管理和民生服務(wù)領(lǐng)域應(yīng)用。大西南地區(qū)以貴州、重慶為代表城市，通過(guò)積極吸引國(guó)內(nèi)外龍頭骨干企業(yè)，實(shí)現(xiàn)大數(shù)據(jù)產(chǎn)業(yè)在當(dāng)?shù)氐目焖侔l(fā)展?，F(xiàn)在是37頁(yè)\一共有41頁(yè)\編輯于星期五基礎(chǔ)資源/云平臺(tái)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)采集數(shù)據(jù)處理數(shù)據(jù)分析展示應(yīng)用管理工具實(shí)時(shí)接入、海量堆積多種結(jié)構(gòu)、海量存儲(chǔ)離線統(tǒng)計(jì)、實(shí)時(shí)計(jì)算數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)圖形、報(bào)表等工具庫(kù)高可用、高性能集群數(shù)據(jù)安全大數(shù)據(jù)的一般利用過(guò)程（生命周期）現(xiàn)在是38頁(yè)\一共有41頁(yè)\編輯于星期五大數(shù)據(jù)產(chǎn)業(yè)鏈及細(xì)分領(lǐng)域數(shù)據(jù)采集基礎(chǔ)軟件硬件應(yīng)用