大數(shù)據(jù)技術(shù)發(fā)展課件

大數(shù)據(jù)技術(shù)發(fā)展大數(shù)據(jù)技術(shù)發(fā)展1數(shù)據(jù)庫技術(shù)發(fā)展歷史無庫時代層次狀數(shù)據(jù)庫網(wǎng)狀數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫分布式數(shù)據(jù)庫數(shù)據(jù)庫技術(shù)發(fā)展歷史無庫時代2層次型數(shù)據(jù)庫層次型數(shù)據(jù)庫3

關(guān)系型數(shù)據(jù)庫之父：E.F.Codd

關(guān)系型數(shù)據(jù)庫之父：E.F.Codd4關(guān)系型數(shù)據(jù)庫

1970年，Codd劃時代的論文《用于大型共享數(shù)據(jù)庫的關(guān)系數(shù)據(jù)模型》關(guān)系與關(guān)系代數(shù)關(guān)系型數(shù)據(jù)庫

1970年，Codd劃時代的論文5

SQL之父唐·錢伯林（DonChamberlin），是IBMFellow，ACM及IEEE特別會員。

他是SQL關(guān)系數(shù)據(jù)庫語言的發(fā)明人之一，也是XQuery語言的設(shè)計基礎(chǔ)Quilt

語言的發(fā)明人之一。Don擁有加利福尼亞大學(xué)博士學(xué)位。他目前在

IBMAlmaden研究中心工作，在過去幾年中，他代表IBM參與W3CXMLQuery

工作組的工作。

SQL之父唐·錢伯林（DonChamberlin），是I6左起EdOates、BruceScott、BobMiner、LarryEllison

左起EdOates、BruceScott、BobMi7Oracle

CEOLarryEllisonOracleCEOLarryEllison8大數(shù)據(jù)技術(shù)發(fā)展課件9大數(shù)據(jù)技術(shù)發(fā)展課件10變化來了之一：數(shù)據(jù)量爆炸增長變化來了之一：數(shù)據(jù)量爆炸增長11全球每秒鐘發(fā)送290萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不息的讀5.5年…每天會有2.88萬個小時的視頻上傳到Y(jié)outube，足夠一個人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個人晝夜不息的瀏覽16年…每天亞馬遜上將產(chǎn)生6.3百萬筆訂單…每個月網(wǎng)民在Facebook上要花費7千億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達1.3EBGoogle上每天需要處理24PB的數(shù)據(jù)…大數(shù)據(jù)時代到來全球每秒鐘發(fā)送290萬封電子郵件，一分鐘讀一篇的話，足夠一個12變化來只二：非結(jié)構(gòu)化類型增加成主流變化來只二：非結(jié)構(gòu)化類型增加成主流13大數(shù)據(jù)來源大數(shù)據(jù)來源14TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量數(shù)據(jù)量增加數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)時代已經(jīng)來臨..大數(shù)據(jù)的興起TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化15“大數(shù)據(jù)或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內(nèi)達到截取、管理、處理、并整理成為人類所能解讀的信息?！保ňS基百科）“大數(shù)據(jù)是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊?！保ò俣劝倏疲按髷?shù)據(jù)是人們獲得新認(rèn)知、創(chuàng)造新價值的源泉，還是改變市場組織機構(gòu)，以及政府與公民關(guān)系的方法

?！保ā洞髷?shù)據(jù)時代》）“大數(shù)據(jù)是數(shù)據(jù)量在10TB以上、需要采用新興的大數(shù)據(jù)技術(shù)加以收集、處理和應(yīng)用，以展現(xiàn)更多社會、商業(yè)價值的數(shù)據(jù)?！保▊€人總結(jié)）大數(shù)據(jù)的詮釋大數(shù)據(jù)的詮釋16非結(jié)構(gòu)化處理案例（BigTable）非結(jié)構(gòu)化處理案例（BigTable）17數(shù)據(jù)變革的現(xiàn)實驅(qū)動力數(shù)據(jù)量爆炸性增長

需要分布式存儲數(shù)據(jù)類型增加需要半結(jié)構(gòu)化存儲數(shù)據(jù)模型日漸復(fù)雜弱化關(guān)聯(lián)的需求PC服務(wù)器成本下降PC服務(wù)器大行其道數(shù)據(jù)變革的現(xiàn)實驅(qū)動力數(shù)據(jù)量爆炸性增長18數(shù)據(jù)變革的理論驅(qū)動力-CAP理論CAP（Consistency,Availability,Patitiontolerance）又叫做布魯爾定理（Brewer'stheorem），它指出對于一個分布式計算系統(tǒng)來說，不可能同時滿足以下三點理論論述的是在任何分布式系統(tǒng)中，只可能滿足一致性，可用性及分區(qū)容忍性三者中的兩者，不可能全部都滿足。所以不用花時間精力在如何滿足所有三者上面。對于分布式數(shù)據(jù)系統(tǒng)，分區(qū)容忍性是基本要求對于大多數(shù)web應(yīng)用，犧牲一致性而換取高可用性，是目前多數(shù)分布式數(shù)據(jù)庫產(chǎn)品的方向。數(shù)據(jù)變革的理論驅(qū)動力-CAP理論CAP（Consistenc19大數(shù)據(jù)技術(shù)發(fā)展課件20變革的方向NOSQL?NEWSQL?Nosql是notonlysql，并不是沒有sql，是一種菲關(guān)系型數(shù)據(jù)庫Nosql希望從內(nèi)核與理念上打破關(guān)系模型、設(shè)計出一套更適合分布式存儲，支持多樣化數(shù)據(jù)的存儲體系。

MongoDB

Hbase

RedisNEWSQL希望以盡可能兼容原有體系的基礎(chǔ)上，逐漸過渡到分布式存儲VoltDB

MEMsql變革的方向NOSQL?NEWSQL?Nosql是no21變革方法縱向擴展（很難分布式部署、無Master架構(gòu)）

---橫向擴展分庫分表—分片行式存儲----列式存儲ACID-BASE無需預(yù)定義模式、不需建立確定的列變革方法縱向擴展（很難分布式部署、無Master架構(gòu)）22NoSQL數(shù)據(jù)模型及分類NoSQL運動兩個核心理論基礎(chǔ)：Google的BigTable

BigTable提出了一種很有趣的數(shù)據(jù)模型，它將各列數(shù)據(jù)進行排序存儲。數(shù)據(jù)值按范圍分布在多臺機器，數(shù)據(jù)更新操作有嚴(yán)格的一致性保證。Amazon的Dynamo Dynamo使用的是另外一種分布式模型。Dynamo的模型更簡單，它將數(shù)據(jù)按key進行hash存儲。其數(shù)據(jù)分片模型有比較強的容災(zāi)性，因此它實現(xiàn)的是相對松散的弱一致性：最終一致性。NoSQL數(shù)據(jù)模型及分類NoSQL運動兩個核心理論基礎(chǔ)：23大數(shù)據(jù)技術(shù)發(fā)展課件24NoSQL數(shù)據(jù)模型及分類

類型部分代表特點列存儲HbaseCassandraHypertable顧名思義，是按列存儲數(shù)據(jù)的。最大的特點是方便存儲結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對針對某一列或者某幾列的查詢有非常大的IO優(yōu)勢。文檔存儲MongoDBCouchDB文檔存儲一般用類似json的格式存儲，存儲的內(nèi)容是文檔型的。這樣也就有有機會對某些字段建立索引，實現(xiàn)關(guān)系數(shù)據(jù)庫的某些功能。key-value存儲TokyoCabinet/TyrantBerkeleyDBMemcacheDBRedis可以通過key快速查詢到其value。一般來說，存儲不管value的格式，照單全收。（Redis包含了其他功能）圖存儲Neo4JFlockDBInfoGrid圖形關(guān)系的最佳存儲。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫來解決的話性能低下，而且設(shè)計使用不方便。對象存儲db4oVersant通過類似面向?qū)ο笳Z言的語法操作數(shù)據(jù)庫，通過對象的方式存取數(shù)據(jù)。xml數(shù)據(jù)庫BerkeleyDBXMLBaseX高效的存儲XML數(shù)據(jù)，并支持XML的內(nèi)部查詢語法，比如XQuery,Xpath。NoSQL數(shù)據(jù)模型及分類

類型部分代表特點Hbase顧名思義25大數(shù)據(jù)技術(shù)發(fā)展課件26NoSQL應(yīng)用現(xiàn)狀

NoSQL應(yīng)用現(xiàn)狀

27大數(shù)據(jù)應(yīng)用領(lǐng)域大數(shù)據(jù)應(yīng)用領(lǐng)域2829綜合來看，未來幾年大數(shù)據(jù)在商業(yè)智能，公共服務(wù)和市場營銷三個領(lǐng)域的應(yīng)用非常值得看好，大多數(shù)大數(shù)據(jù)案例和預(yù)算將發(fā)生在這三個領(lǐng)域。數(shù)據(jù)來源：CCWResearch，2012/4制造行業(yè)最關(guān)注的大數(shù)據(jù)應(yīng)用場景大數(shù)據(jù)應(yīng)用前景29綜合來看，未來幾年大數(shù)據(jù)在商業(yè)智能，公共服務(wù)和市場營銷三29在河北廊坊郊區(qū)，農(nóng)田里安裝了內(nèi)置攝像頭的傳感器，通過傳感器、攝像頭等終端應(yīng)用收集、采集農(nóng)產(chǎn)品的各項指標(biāo)，并將數(shù)據(jù)匯聚到云端進行實時監(jiān)測、分析和管理，比如每天的氣溫、濕度、雨量等信息，還向農(nóng)民發(fā)放智能手機和平板電腦，讓大家隨時記錄工作成果和現(xiàn)場注意到的問題。農(nóng)業(yè)管理采用條形碼及RFID技術(shù)進行記錄、監(jiān)督，從而實現(xiàn)針對生產(chǎn)、收獲、庫存、流通和食品安全等的管理，再根據(jù)不同地區(qū)、不同作物類型進行相應(yīng)的數(shù)據(jù)信息調(diào)整，以便監(jiān)控管理軟件能夠很好地幫助農(nóng)戶種植和管理作物。糧食安全、農(nóng)業(yè)結(jié)構(gòu)調(diào)整等方面的管理問題，都可通過大數(shù)據(jù)研究預(yù)測和解決。在河北廊坊郊區(qū)，農(nóng)田里安裝了內(nèi)置攝像頭的傳感器，通過傳感器、30兩會期間，通過“網(wǎng)友熱搜的兩會關(guān)鍵詞”，了解老百姓關(guān)注的熱點、精神和解讀，為制定工作目標(biāo)提供決策依據(jù)。創(chuàng)建環(huán)境監(jiān)控物聯(lián)網(wǎng)系統(tǒng)，利用大數(shù)據(jù)手段監(jiān)控、評估、分析誘因（地域氣象條件、生產(chǎn)生活方式、植被治理模式，城市建設(shè)方式），找到解決方案。政府治理大數(shù)據(jù)提高政府社會治理水平兩會期間，通過“網(wǎng)友熱搜的兩會關(guān)鍵詞”，了解老百姓關(guān)注的熱點312009年，Google不借助任何醫(yī)療手段，僅通過5000萬條用戶檢索關(guān)鍵詞，比美國疾控中心提前數(shù)周預(yù)測H1N1流感的爆發(fā)！中英人壽保險有限公司分析客戶多種生活數(shù)據(jù)（愛好、常瀏覽網(wǎng)站、?？垂?jié)目等），找出更有可能患高血壓、糖尿病和抑郁癥的人。醫(yī)療健康通過大數(shù)據(jù)預(yù)測疾病，定位患者2009年，Google不借助任何醫(yī)療手段，僅通過5000萬32商業(yè)營銷淘寶、亞馬遜等電商企業(yè)，通過客戶商品瀏覽與購買行為，進行偏好分析，并準(zhǔn)確的預(yù)測客戶的產(chǎn)品購買意向，進行相關(guān)推送。精準(zhǔn)營銷：北美折扣零售商Target在完全不和準(zhǔn)媽媽對話的前提下，僅分析顧客的購買習(xí)慣，并進行“懷孕趨勢”評分，能較準(zhǔn)確地預(yù)測預(yù)產(chǎn)期，以便在孕期寄送相應(yīng)的優(yōu)惠券。通過客戶行為特征分析，進行產(chǎn)品推薦，實現(xiàn)精準(zhǔn)營銷。商業(yè)營銷淘寶、亞馬遜等電商企業(yè)，通過客戶商品瀏覽與購買行為，33交易風(fēng)險監(jiān)控：交易所對于實時交易數(shù)據(jù)進行及時撲捉，對金融期貨等異常交易行為、持倉、資金、行情風(fēng)險進行監(jiān)控，及時制止擾亂市場的行為。同時通過對海量交易數(shù)據(jù)的存儲進行交易反演，旨在挖掘風(fēng)險監(jiān)控的最優(yōu)閥值，提升風(fēng)控可靠性。風(fēng)險溢價計量：在小微企業(yè)業(yè)務(wù)方面，銀行可以在準(zhǔn)確計量風(fēng)險溢價的基礎(chǔ)上，構(gòu)建自動審批模板，適當(dāng)提高價格、加快授信流程，既滿足企業(yè)融資需求，又確保風(fēng)險調(diào)整后的總體收益水平。交易風(fēng)險監(jiān)控：交易所對于實時交易數(shù)據(jù)進行及時撲捉，對金融期貨34金融大數(shù)據(jù)產(chǎn)學(xué)研項目。

2014年，基于CEP的金融期貨會員端風(fēng)險監(jiān)控（中國金融期貨交易所）交易數(shù)據(jù)結(jié)算數(shù)據(jù)市場數(shù)據(jù)其他數(shù)據(jù)事件流連接適配器歷史數(shù)據(jù)訪問適配器保證金賬戶風(fēng)險監(jiān)控模型客戶異常交易行為監(jiān)控模型市場行情監(jiān)控模型其他模型事件訂閱適配器風(fēng)險監(jiān)控異常報警狀態(tài)展示流程處理金融大數(shù)據(jù)產(chǎn)學(xué)研項目2014年，基于CEP的金融期貨會員端風(fēng)35演講完畢，謝謝觀看！演講完畢，謝謝觀看！36大數(shù)據(jù)技術(shù)發(fā)展大數(shù)據(jù)技術(shù)發(fā)展37數(shù)據(jù)庫技術(shù)發(fā)展歷史無庫時代層次狀數(shù)據(jù)庫網(wǎng)狀數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫分布式數(shù)據(jù)庫數(shù)據(jù)庫技術(shù)發(fā)展歷史無庫時代38層次型數(shù)據(jù)庫層次型數(shù)據(jù)庫39

關(guān)系型數(shù)據(jù)庫之父：E.F.Codd

關(guān)系型數(shù)據(jù)庫之父：E.F.Codd40關(guān)系型數(shù)據(jù)庫

1970年，Codd劃時代的論文《用于大型共享數(shù)據(jù)庫的關(guān)系數(shù)據(jù)模型》關(guān)系與關(guān)系代數(shù)關(guān)系型數(shù)據(jù)庫

1970年，Codd劃時代的論文41

SQL之父唐·錢伯林（DonChamberlin），是IBMFellow，ACM及IEEE特別會員。

他是SQL關(guān)系數(shù)據(jù)庫語言的發(fā)明人之一，也是XQuery語言的設(shè)計基礎(chǔ)Quilt

語言的發(fā)明人之一。Don擁有加利福尼亞大學(xué)博士學(xué)位。他目前在

IBMAlmaden研究中心工作，在過去幾年中，他代表IBM參與W3CXMLQuery

工作組的工作。

SQL之父唐·錢伯林（DonChamberlin），是I42左起EdOates、BruceScott、BobMiner、LarryEllison

左起EdOates、BruceScott、BobMi43Oracle

CEOLarryEllisonOracleCEOLarryEllison44大數(shù)據(jù)技術(shù)發(fā)展課件45大數(shù)據(jù)技術(shù)發(fā)展課件46變化來了之一：數(shù)據(jù)量爆炸增長變化來了之一：數(shù)據(jù)量爆炸增長47全球每秒鐘發(fā)送290萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不息的讀5.5年…每天會有2.88萬個小時的視頻上傳到Y(jié)outube，足夠一個人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個人晝夜不息的瀏覽16年…每天亞馬遜上將產(chǎn)生6.3百萬筆訂單…每個月網(wǎng)民在Facebook上要花費7千億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達1.3EBGoogle上每天需要處理24PB的數(shù)據(jù)…大數(shù)據(jù)時代到來全球每秒鐘發(fā)送290萬封電子郵件，一分鐘讀一篇的話，足夠一個48變化來只二：非結(jié)構(gòu)化類型增加成主流變化來只二：非結(jié)構(gòu)化類型增加成主流49大數(shù)據(jù)來源大數(shù)據(jù)來源50TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量數(shù)據(jù)量增加數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)時代已經(jīng)來臨..大數(shù)據(jù)的興起TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化51“大數(shù)據(jù)或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內(nèi)達到截取、管理、處理、并整理成為人類所能解讀的信息?！保ňS基百科）“大數(shù)據(jù)是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊?！保ò俣劝倏疲按髷?shù)據(jù)是人們獲得新認(rèn)知、創(chuàng)造新價值的源泉，還是改變市場組織機構(gòu)，以及政府與公民關(guān)系的方法

?！保ā洞髷?shù)據(jù)時代》）“大數(shù)據(jù)是數(shù)據(jù)量在10TB以上、需要采用新興的大數(shù)據(jù)技術(shù)加以收集、處理和應(yīng)用，以展現(xiàn)更多社會、商業(yè)價值的數(shù)據(jù)?！保▊€人總結(jié)）大數(shù)據(jù)的詮釋大數(shù)據(jù)的詮釋52非結(jié)構(gòu)化處理案例（BigTable）非結(jié)構(gòu)化處理案例（BigTable）53數(shù)據(jù)變革的現(xiàn)實驅(qū)動力數(shù)據(jù)量爆炸性增長

需要分布式存儲數(shù)據(jù)類型增加需要半結(jié)構(gòu)化存儲數(shù)據(jù)模型日漸復(fù)雜弱化關(guān)聯(lián)的需求PC服務(wù)器成本下降PC服務(wù)器大行其道數(shù)據(jù)變革的現(xiàn)實驅(qū)動力數(shù)據(jù)量爆炸性增長54數(shù)據(jù)變革的理論驅(qū)動力-CAP理論CAP（Consistency,Availability,Patitiontolerance）又叫做布魯爾定理（Brewer'stheorem），它指出對于一個分布式計算系統(tǒng)來說，不可能同時滿足以下三點理論論述的是在任何分布式系統(tǒng)中，只可能滿足一致性，可用性及分區(qū)容忍性三者中的兩者，不可能全部都滿足。所以不用花時間精力在如何滿足所有三者上面。對于分布式數(shù)據(jù)系統(tǒng)，分區(qū)容忍性是基本要求對于大多數(shù)web應(yīng)用，犧牲一致性而換取高可用性，是目前多數(shù)分布式數(shù)據(jù)庫產(chǎn)品的方向。數(shù)據(jù)變革的理論驅(qū)動力-CAP理論CAP（Consistenc55大數(shù)據(jù)技術(shù)發(fā)展課件56變革的方向NOSQL?NEWSQL?Nosql是notonlysql，并不是沒有sql，是一種菲關(guān)系型數(shù)據(jù)庫Nosql希望從內(nèi)核與理念上打破關(guān)系模型、設(shè)計出一套更適合分布式存儲，支持多樣化數(shù)據(jù)的存儲體系。

MongoDB

Hbase

RedisNEWSQL希望以盡可能兼容原有體系的基礎(chǔ)上，逐漸過渡到分布式存儲VoltDB

MEMsql變革的方向NOSQL?NEWSQL?Nosql是no57變革方法縱向擴展（很難分布式部署、無Master架構(gòu)）

---橫向擴展分庫分表—分片行式存儲----列式存儲ACID-BASE無需預(yù)定義模式、不需建立確定的列變革方法縱向擴展（很難分布式部署、無Master架構(gòu)）58NoSQL數(shù)據(jù)模型及分類NoSQL運動兩個核心理論基礎(chǔ)：Google的BigTable

BigTable提出了一種很有趣的數(shù)據(jù)模型，它將各列數(shù)據(jù)進行排序存儲。數(shù)據(jù)值按范圍分布在多臺機器，數(shù)據(jù)更新操作有嚴(yán)格的一致性保證。Amazon的Dynamo Dynamo使用的是另外一種分布式模型。Dynamo的模型更簡單，它將數(shù)據(jù)按key進行hash存儲。其數(shù)據(jù)分片模型有比較強的容災(zāi)性，因此它實現(xiàn)的是相對松散的弱一致性：最終一致性。NoSQL數(shù)據(jù)模型及分類NoSQL運動兩個核心理論基礎(chǔ)：59大數(shù)據(jù)技術(shù)發(fā)展課件60NoSQL數(shù)據(jù)模型及分類

類型部分代表特點列存儲HbaseCassandraHypertable顧名思義，是按列存儲數(shù)據(jù)的。最大的特點是方便存儲結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對針對某一列或者某幾列的查詢有非常大的IO優(yōu)勢。文檔存儲MongoDBCouchDB文檔存儲一般用類似json的格式存儲，存儲的內(nèi)容是文檔型的。這樣也就有有機會對某些字段建立索引，實現(xiàn)關(guān)系數(shù)據(jù)庫的某些功能。key-value存儲TokyoCabinet/TyrantBerkeleyDBMemcacheDBRedis可以通過key快速查詢到其value。一般來說，存儲不管value的格式，照單全收。（Redis包含了其他功能）圖存儲Neo4JFlockDBInfoGrid圖形關(guān)系的最佳存儲。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫來解決的話性能低下，而且設(shè)計使用不方便。對象存儲db4oVersant通過類似面向?qū)ο笳Z言的語法操作數(shù)據(jù)庫，通過對象的方式存取數(shù)據(jù)。xml數(shù)據(jù)庫BerkeleyDBXMLBaseX高效的存儲XML數(shù)據(jù)，并支持XML的內(nèi)部查詢語法，比如XQuery,Xpath。NoSQL數(shù)據(jù)模型及分類

類型部分代表特點Hbase顧名思義61大數(shù)據(jù)技術(shù)發(fā)展課件62NoSQL應(yīng)用現(xiàn)狀

NoSQL應(yīng)用現(xiàn)狀

63大數(shù)據(jù)應(yīng)用領(lǐng)域大數(shù)據(jù)應(yīng)用領(lǐng)域6465綜合來看，未來幾年大數(shù)據(jù)在商業(yè)智能，公共服務(wù)和市場營銷三個領(lǐng)域的應(yīng)用非常值得看好，大多數(shù)大數(shù)據(jù)案例和預(yù)算將發(fā)生在這三個領(lǐng)域。數(shù)據(jù)來源：CCWResearch，2012/4制造行業(yè)最關(guān)注的大數(shù)據(jù)應(yīng)用場景大數(shù)據(jù)應(yīng)用前景29綜合來看，未來幾年大數(shù)據(jù)在商業(yè)智能，公共服務(wù)和市場營銷三65在河北廊坊郊區(qū)，農(nóng)田里安裝了內(nèi)置攝像頭的傳感器，通過傳感器、攝像頭等終端應(yīng)用收集、采集農(nóng)產(chǎn)品的各項指標(biāo)，并將數(shù)據(jù)匯聚到云端進行實時監(jiān)測、分析和管理，比如每天的氣溫、濕度、雨量等信息，還向農(nóng)民發(fā)放智能手機和平板電腦，讓大家隨時記錄工作成果和現(xiàn)場注意到的問題。農(nóng)業(yè)管理采用條形碼及RFID技術(shù)進行記錄、監(jiān)督，從而實現(xiàn)針對生產(chǎn)、收獲、庫存、流通和食品安全等的管理，再根據(jù)不同地區(qū)、不同作物類型進行相應(yīng)的數(shù)據(jù)信息調(diào)整，以便監(jiān)控管理軟件能夠很好地幫助農(nóng)戶種植和管理作物。糧食安全、農(nóng)業(yè)結(jié)構(gòu)調(diào)整等方面的管理問題，都可通過大數(shù)據(jù)研究預(yù)測和解決。在河北廊坊郊區(qū)，農(nóng)田里安裝了內(nèi)置攝像頭的傳感器，通過傳感器、66兩會期間，通過“網(wǎng)友熱搜的兩會