7.1-NoSQL數(shù)據(jù)庫概述-1

1、7.1 NoSQL數(shù)據(jù)庫概述數(shù)據(jù)庫管理目標與內(nèi)容關(guān)系數(shù)據(jù)庫局限分布式大數(shù)據(jù)處理【本節(jié)學(xué)習(xí)目標】一、數(shù)據(jù)庫管理目標與內(nèi)容數(shù)據(jù)類型多樣化，數(shù)字、字符、文本等，還需要視頻、音頻、圖形、圖像、動畫、HTML/XML、流數(shù)據(jù)等更復(fù)雜的數(shù)據(jù)類型數(shù)據(jù)結(jié)構(gòu)需要結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等各種結(jié)構(gòu)數(shù)據(jù)存儲方式多樣化（列式存儲、鍵值存儲、圖存儲、文檔存儲等）存儲位置-分布透明， 存儲量-海量查詢要求多層次：時空、關(guān)聯(lián)、分析、挖掘等自定義操作、各種數(shù)據(jù)統(tǒng)計分析、分類、聚類、預(yù)測、離群點發(fā)現(xiàn)等操作數(shù)據(jù)庫的發(fā)展必須滿足不斷發(fā)展的新的領(lǐng)域需求二、關(guān)系數(shù)據(jù)庫局限用二維表的方式來存儲數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系，OLTP（On Li

2、ne Transaction Process在線事務(wù)處理）提供了數(shù)據(jù)處理平臺數(shù)據(jù)庫高并發(fā)讀寫需求 海量數(shù)據(jù)的高效存儲和處理數(shù)據(jù)庫高擴展性和高可用性需求在處理WEB2.0網(wǎng)站， 特別是超大規(guī)模和高并非的SNS類冬天網(wǎng)站： Hign Perfprmance-主從分離，分庫、分表， 緩解寫壓力， 增強讀擴展Huge Storage-海量存儲-分庫、分表， 緩解數(shù)據(jù)增長壓力High Scalability and Hign Avbailability-高擴展和高可用 - 主從、復(fù)制等三、分布式大數(shù)據(jù)處理分布式文件系統(tǒng)分布式數(shù)據(jù)庫大數(shù)據(jù)分布式大數(shù)據(jù)1. 分布式文件系統(tǒng)分布式文件系統(tǒng)（Distribute

3、d File System：DFS ）是指文件系統(tǒng)的物理存儲資源不在本地節(jié)點上，通過計算機網(wǎng)絡(luò)與節(jié)點相連。DFS-單個訪問點和一個邏輯結(jié)構(gòu)，用戶透明訪問系統(tǒng)中的任何文件DFS將統(tǒng)一網(wǎng)絡(luò)中的不同計算機上的共享文件夾組織起來，形成一個單獨的、邏輯的、層次式的共享文件系統(tǒng)。分布式文件系統(tǒng)特點：高可靠性高訪問性在線遷移、復(fù)制自動負載均衡元數(shù)據(jù)和數(shù)據(jù)分離2. 分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫=數(shù)據(jù)庫 + 網(wǎng)絡(luò)技術(shù)思想： 將數(shù)據(jù)分散存儲，海量數(shù)據(jù)邏輯分片，存儲容量大，并發(fā)訪問量高 分布式數(shù)據(jù)庫特點：數(shù)據(jù)的物理分布性數(shù)據(jù)的邏輯整體性 數(shù)據(jù)的分布獨立性場地自治和協(xié)調(diào)數(shù)據(jù)的冗余及冗余透明性3. 大數(shù)據(jù)大數(shù)據(jù)就是海量數(shù)據(jù)

4、+復(fù)雜計算。5V特征： 超量Volume、高速Velocity、異構(gòu)Variety、真實Veracity、價值ValueVolumeVelocityVarietyVeracityValue4. 大數(shù)據(jù)處理挑戰(zhàn)數(shù)據(jù)的異構(gòu)性和不完備性數(shù)據(jù)處理的時效性數(shù)據(jù)的安全與隱私保護大數(shù)據(jù)的能耗問題 大數(shù)據(jù)管理易用性問題5. 分布式大數(shù)據(jù) 海量數(shù)據(jù)存儲的關(guān)鍵技術(shù)包括數(shù)據(jù)劃分（分布式）、數(shù)據(jù)一致性和可用性、負載均衡、容錯機制、虛擬存儲技術(shù)、云存儲技術(shù)等。 要求在分布式數(shù)據(jù)庫的基礎(chǔ)上，具有更高的數(shù)據(jù)訪問速度； 更強的可擴展性；更高的并發(fā)訪問量。對應(yīng)可用性、一致性、高并發(fā)、高容量等的平衡？6. 大數(shù)據(jù)時代NoSQLNosql數(shù)據(jù)庫-易擴展， 靈活的數(shù)據(jù)模型，高可用， 大數(shù)據(jù)量、高性能分布式數(shù)據(jù)庫必須具有高可擴展性、高并發(fā)性、高可用性等特征，即動態(tài)增添存儲節(jié)點(容量的線性擴展)， 響應(yīng)大規(guī)模用戶的讀/寫請求，對海量數(shù)據(jù)進行隨機讀/寫；提供容錯機制，實現(xiàn)對數(shù)據(jù)的冗余備份，保證數(shù)據(jù)和服務(wù)的高度可靠性。7. NoSQL特點面對海量大數(shù)據(jù)的存儲和管理， 需要對關(guān)系數(shù)據(jù)