大數(shù)據(jù)存儲-緒論

大數(shù)據(jù)存儲緒論隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計算等技術(shù)的快速興起，人類社會中數(shù)據(jù)的增長方式與以往任何時期都有了巨大的不同。不僅數(shù)據(jù)規(guī)模越來越大，數(shù)據(jù)形式越來越復(fù)雜，數(shù)據(jù)的更新速度越來越快，數(shù)據(jù)與人們生活的密切程度也越來越高。據(jù)美國互聯(lián)網(wǎng)數(shù)據(jù)中心研究，僅僅互聯(lián)網(wǎng)上的數(shù)據(jù)每年就呈現(xiàn)50%左右的增長。除此之外，全世界的工業(yè)設(shè)備、交通工具、生活電器、移動終端，也都隨時測量和傳遞著有關(guān)震動、位置、溫度、濕度乃至人類之間相互聯(lián)系的變化情況，海量數(shù)據(jù)已成為目前數(shù)據(jù)信息最明顯的標簽之一。人類已經(jīng)進入了一個“大數(shù)據(jù)”時代，數(shù)據(jù)的規(guī)模更加龐大，數(shù)據(jù)的種類不再單一，快速查詢、定位并提供數(shù)據(jù)的要求也越來越高，與此緊密相關(guān)的數(shù)據(jù)存儲與傳統(tǒng)的數(shù)據(jù)存儲相比亦發(fā)生了巨大變化。項目描述項目背景為后續(xù)更好地學(xué)習(xí)大數(shù)據(jù)存儲的相關(guān)知識，本項目將通過大數(shù)據(jù)簡介及大數(shù)據(jù)存儲技術(shù)的介紹，讓讀者對大數(shù)據(jù)技術(shù)體系及大數(shù)據(jù)存儲技術(shù)有一定的了解，為真正生產(chǎn)環(huán)境中的存儲技術(shù)選型奠定好架構(gòu)設(shè)計的基礎(chǔ)。項目描述項目目標隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計算等技術(shù)的快速興起，人類社會中數(shù)據(jù)的增長方式與以往任何時期都有了巨大的不同。不僅數(shù)據(jù)規(guī)模越來越大，數(shù)據(jù)形式越來越復(fù)雜，數(shù)據(jù)的更新速度越來越快，數(shù)據(jù)與人們生活的密切程度也越來越高。據(jù)美國互聯(lián)網(wǎng)數(shù)據(jù)中心研究，僅僅互聯(lián)網(wǎng)上的數(shù)據(jù)每年就呈現(xiàn)50%左右的增長。除此之外，全世界的工業(yè)設(shè)備、交通工具、生活電器、移動終端，也都隨時測量和傳遞著有關(guān)震動、位置、溫度、濕度乃至人類之間相互聯(lián)系的變化情況，海量數(shù)據(jù)已成為目前數(shù)據(jù)信息最明顯的標簽之一。人類已經(jīng)進入了一個“大數(shù)據(jù)”時代，數(shù)據(jù)的規(guī)模更加龐大，數(shù)據(jù)的種類不再單一，快速查詢、定位并提供數(shù)據(jù)的要求也越來越高，與此緊密相關(guān)的數(shù)據(jù)存儲與傳統(tǒng)的數(shù)據(jù)存儲相比亦發(fā)生了巨大變化。項目描述項目分析1大數(shù)據(jù)的存儲技術(shù)目錄大數(shù)據(jù)簡介2大數(shù)據(jù)存儲是大數(shù)據(jù)技術(shù)體系中的一部分。為此，了解大數(shù)據(jù)的概念、特征和應(yīng)用領(lǐng)域，熟悉大數(shù)據(jù)技術(shù)體系，是理解大數(shù)據(jù)存儲技術(shù)的前提和基礎(chǔ)。任務(wù)描述

“大數(shù)據(jù)”一詞早在上世紀80年代就已提出，并于2009年開始成為IT行業(yè)的流行詞匯，但作為一個較為抽象的概念，至今業(yè)界還沒有對“大數(shù)據(jù)”給出一個確切、統(tǒng)一的定義。維基百科：在合理的時間內(nèi)，無法運用傳統(tǒng)的數(shù)據(jù)庫管理工具或數(shù)據(jù)處理軟件，完成捕獲、管理和處理等功能的大型而復(fù)雜的數(shù)據(jù)集。麥肯錫：大數(shù)據(jù)是指在一定時間內(nèi)無法用傳統(tǒng)數(shù)據(jù)庫軟件工具采集、存儲、管理和分析其內(nèi)容的數(shù)據(jù)集合。Gartner：大數(shù)據(jù)是指需要借助新的處理模式才能擁有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的具有海量、多樣化和高增長率等特點的信息資產(chǎn)。大數(shù)據(jù)的概念大數(shù)據(jù)的特征處理速度快數(shù)據(jù)價值密度低數(shù)據(jù)種類多數(shù)據(jù)規(guī)模大目前，大數(shù)據(jù)已滲透到各行業(yè)和各業(yè)務(wù)職能領(lǐng)域。電商行業(yè)：通過海量的商品交易數(shù)據(jù)，不僅可以統(tǒng)計出消費熱點、客戶的消費習(xí)慣、消費特點、影響消費的因素等，還能預(yù)測出消費趨勢、流行趨勢等。醫(yī)療行業(yè)：在疫情追蹤、溯源與預(yù)警、輔助醫(yī)療救治、助力資源合理配置及輔助決策中得到廣泛應(yīng)用，提升各地疫情防控工作效率。為防控“戰(zhàn)役”提供了重要支持。交通行業(yè)：通過提前預(yù)測道路交通情況，為出行提供優(yōu)化方案，在助力交通部門提高道路交通把控能力，防止和緩解交通擁堵等方面起到了極為重要的作用。大數(shù)據(jù)的應(yīng)用領(lǐng)域

大數(shù)據(jù)的技術(shù)體系，就是以從各種類型海量數(shù)據(jù)中快速獲取有價值的信息為目的，由大量在大數(shù)據(jù)領(lǐng)域涌現(xiàn)出的數(shù)據(jù)采集、存儲、處理和呈現(xiàn)等相關(guān)技術(shù)所組成的相互聯(lián)系的技術(shù)整體。大數(shù)據(jù)的技術(shù)體系1大數(shù)據(jù)的存儲技術(shù)目錄大數(shù)據(jù)簡介2數(shù)據(jù)可以存儲在文件、數(shù)據(jù)庫或數(shù)據(jù)倉庫中。為此，首先解釋3種數(shù)據(jù)存儲的方式，然后對數(shù)據(jù)庫存儲中常用的分布式數(shù)據(jù)庫進行簡要介紹。任務(wù)描述數(shù)據(jù)存儲簡介1.基于文件系統(tǒng)的數(shù)據(jù)存儲分布式文件系統(tǒng)架構(gòu)圖文件系統(tǒng)是操作系統(tǒng)用于在分區(qū)上、存儲設(shè)備上負責(zé)組織、存取與管理文件的機構(gòu)，主要由3部分組成：與文件管理有關(guān)軟件、被管理的文件以及實施文件管理所需的數(shù)據(jù)結(jié)構(gòu)。其中，被管理的文件，即數(shù)據(jù)，是以文件的形式存儲在各存儲設(shè)備上，并由操作系統(tǒng)統(tǒng)一管理。數(shù)據(jù)存儲簡介2.基于數(shù)據(jù)庫的數(shù)據(jù)存儲數(shù)據(jù)庫（Database）就是按照一定的數(shù)據(jù)結(jié)構(gòu)（數(shù)據(jù)的組織形式或數(shù)據(jù)之間的聯(lián)系）進行組織、存儲和管理數(shù)據(jù)的倉庫。通過數(shù)據(jù)庫提供的多種方式可以方便地管理數(shù)據(jù)庫里的數(shù)據(jù)。T指采用了關(guān)系模型來組織數(shù)據(jù)的數(shù)據(jù)庫，以由行和列所組成的二維表格的形式存儲數(shù)據(jù)。指那些非嚴格關(guān)系型的、分布式的、不保證遵循ACID原則的數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫數(shù)據(jù)存儲簡介2.基于文件系統(tǒng)的數(shù)據(jù)存儲關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)庫是人類社會在處理數(shù)據(jù)不同階段而出現(xiàn)的不同產(chǎn)物，分別適用于不同的場景。關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫優(yōu)勢易理解建表靈活易使用儲存靈活易維護處理數(shù)據(jù)量巨大不足海量數(shù)據(jù)處理效率低復(fù)雜查詢能力弱數(shù)據(jù)庫系統(tǒng)升級或擴展時，需要停機事務(wù)處理能力弱數(shù)據(jù)存儲簡介3.基于數(shù)據(jù)倉庫的數(shù)據(jù)存儲數(shù)據(jù)倉庫存儲的主要是歷史數(shù)據(jù)，并通過維度表用于對數(shù)據(jù)的分析。數(shù)據(jù)倉庫通過系統(tǒng)的分析、整理和組織大量的歷史數(shù)據(jù)，以聯(lián)機分析處理（OLAP）和數(shù)據(jù)挖掘等各種方法，幫助決策者快速有效的從大量數(shù)據(jù)中，分析出有價值的信息，以實現(xiàn)輔助決策，構(gòu)建商業(yè)智能。0面向主題0集成0相對穩(wěn)定0反應(yīng)歷史變化分布式數(shù)據(jù)庫簡介1.分布式數(shù)據(jù)庫及其管理系統(tǒng)分布式數(shù)據(jù)庫是在傳統(tǒng)集中式數(shù)據(jù)庫的基礎(chǔ)上發(fā)展而來的，是針對大數(shù)據(jù)存儲管理而快速發(fā)展起來的關(guān)鍵技術(shù)，是數(shù)據(jù)庫技術(shù)和網(wǎng)絡(luò)技術(shù)不斷發(fā)展、互相融合、互相促進的結(jié)果。其基本思想是借助計算機網(wǎng)絡(luò)技術(shù)，將海量數(shù)據(jù)分散存儲在網(wǎng)絡(luò)中的不同存儲節(jié)點，并通過分布式計算技術(shù)，將這些分散的物理存儲單元連接起來組成一個邏輯上統(tǒng)一的數(shù)據(jù)庫，從而在獲取更大存儲容量的同時，實現(xiàn)更高的并發(fā)訪問量。分布式數(shù)據(jù)庫管理系統(tǒng)是一種專門為分布式數(shù)據(jù)庫所設(shè)計的，用于建立、使用和維護分布式數(shù)據(jù)庫的大型軟件，通過借助存儲引擎和計算引擎，對分布式數(shù)據(jù)庫進行統(tǒng)一的管理，以保證分布式數(shù)據(jù)庫的安全性和完整性。分布式數(shù)據(jù)庫2.NoSQL數(shù)據(jù)庫的特點靈活的數(shù)據(jù)模型可擴展性強高可用性高并發(fā)性NoSQL（Not

Only

SQL，可意為“不僅僅是SQL”）數(shù)據(jù)庫，是對不同于傳統(tǒng)的關(guān)系數(shù)據(jù)庫的統(tǒng)稱。0000分布式數(shù)據(jù)庫3.NoSQL數(shù)據(jù)庫的分類鍵值數(shù)據(jù)庫Redis、SimpleDB列族數(shù)據(jù)庫文檔數(shù)據(jù)庫圖形數(shù)據(jù)庫HBase、BigTableMongoDB、CruchDBNeo4J、GraphDB在大數(shù)據(jù)的儲存與處理上，NoSQL具備傳統(tǒng)關(guān)系型數(shù)據(jù)庫無法比擬的性能優(yōu)勢。隨著人們對非關(guān)系型數(shù)據(jù)庫的日益重視，目前已開發(fā)出眾多性能優(yōu)秀的NoSQL數(shù)據(jù)庫產(chǎn)品。人類已經(jīng)進入了一個“大數(shù)據(jù)”時代，數(shù)據(jù)的