大數(shù)據(jù)基礎(chǔ) 件3-1 分布式存儲(chǔ)概述

浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院儲(chǔ)與計(jì)算大數(shù)據(jù)存大數(shù)據(jù)基礎(chǔ)Unit3《大數(shù)據(jù)基礎(chǔ)》.移動(dòng)商務(wù)營銷課程群3.1.1分布式存儲(chǔ)概述3.1.2HDFS工作原理3.1.3HDFS基礎(chǔ)命令3.1分布式存儲(chǔ)3.1.1分布式存儲(chǔ)概述1集中式存儲(chǔ)和分布式存儲(chǔ)集中式存儲(chǔ)就是指由一臺(tái)或多臺(tái)主計(jì)算機(jī)組成中心節(jié)點(diǎn)，數(shù)據(jù)集中存儲(chǔ)于這個(gè)中心節(jié)點(diǎn)中，并且整個(gè)系統(tǒng)的所有業(yè)務(wù)單元都集中部署在這個(gè)中心節(jié)點(diǎn)上，系統(tǒng)所有的功能均由其集中處理。

集中式存儲(chǔ)系統(tǒng)最大的特點(diǎn)就是部署結(jié)構(gòu)簡(jiǎn)單，由于集中式系統(tǒng)往往基于底層性能卓越的大型主機(jī)，因此無需考慮如何對(duì)服務(wù)進(jìn)行多個(gè)節(jié)點(diǎn)的部署，也就不用考慮多個(gè)節(jié)點(diǎn)之間的分布式協(xié)作問題。3.1.1分布式存儲(chǔ)概述1集中式存儲(chǔ)和分布式存儲(chǔ)分布式存儲(chǔ)，是相對(duì)于集中式存儲(chǔ)來說的，是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的網(wǎng)絡(luò)服務(wù)器上，這些服務(wù)器在空間部署上可以隨意分布，可能被放在不同的機(jī)柜上，也可能在不同的機(jī)房中，甚至分布在不同的城市。分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，滿足了大數(shù)據(jù)應(yīng)用存儲(chǔ)的需要，能夠利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。3.1.1分布式存儲(chǔ)概述2分布式存儲(chǔ)系統(tǒng)的特性分布式系統(tǒng)可以方便的擴(kuò)展到幾百臺(tái)到幾千臺(tái)的集群規(guī)模，而且，隨著集群規(guī)模的增長，系統(tǒng)整體性能表現(xiàn)為線性增長?？蓴U(kuò)展分布式存儲(chǔ)系統(tǒng)的自動(dòng)容錯(cuò)、自動(dòng)負(fù)載均衡機(jī)制使其可以構(gòu)建在普通PC機(jī)之上。另外，線性擴(kuò)展能力也使得增加、減少機(jī)器非常方便，可以使用較低的成本實(shí)現(xiàn)自動(dòng)運(yùn)維。低成本無論整個(gè)集群還是單機(jī)服務(wù)，都要求分布式系統(tǒng)具備高性能。高性能分布式存儲(chǔ)系統(tǒng)需要提供易用的對(duì)外接口，另外也要求具備完善的監(jiān)控、運(yùn)維工具，并能夠方便地與其它系統(tǒng)集成。易用3.1.1分布式存儲(chǔ)概述

CAP理論加州大學(xué)伯克利分校的計(jì)算機(jī)教授EricBrewer在2000年提出，其核心思想是任何基于網(wǎng)絡(luò)的數(shù)據(jù)共享系統(tǒng)最多只能滿足數(shù)據(jù)一致性(Consistency)、可用性(Availability)和分區(qū)容忍性(PartitionTolerance)三個(gè)特性中的兩個(gè)。3分布式存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)3.1.1分布式存儲(chǔ)概述3分布式存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)是指保證系統(tǒng)中多個(gè)副本的數(shù)據(jù)完全一致的性質(zhì)。數(shù)據(jù)一致性(Consistency)是指在系統(tǒng)中的一部分節(jié)點(diǎn)出現(xiàn)故障之后，系統(tǒng)的整體不影響客戶端的讀/寫請(qǐng)求。可用性(Availability)是指容忍系統(tǒng)的網(wǎng)絡(luò)出現(xiàn)分區(qū)，分區(qū)之間網(wǎng)絡(luò)不可達(dá)。分區(qū)容忍性(PartitionTolerance)3.1.1分布式存儲(chǔ)概述

分區(qū)容忍性一個(gè)分布式系統(tǒng)里面，節(jié)點(diǎn)組成的網(wǎng)絡(luò)本來應(yīng)該是連通的。然而可能因?yàn)橐恍┕收?，使得有些?jié)點(diǎn)之間不連通了，整個(gè)網(wǎng)絡(luò)就分成了幾塊區(qū)域。數(shù)據(jù)就散布在了這些不連通的區(qū)域中。這就叫分區(qū)。當(dāng)你一個(gè)數(shù)據(jù)項(xiàng)只在一個(gè)節(jié)點(diǎn)中保存，那么分區(qū)出現(xiàn)后，和這個(gè)節(jié)點(diǎn)不連通的部分就訪問不到這個(gè)數(shù)據(jù)了。這時(shí)分區(qū)就是無法容忍的。

提高分區(qū)容忍性的辦法就是一個(gè)數(shù)據(jù)項(xiàng)復(fù)制到多個(gè)節(jié)點(diǎn)上，那么出現(xiàn)分區(qū)之后，這一數(shù)據(jù)項(xiàng)就可能分布到各個(gè)區(qū)里，容忍性就提高了。3分布式存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)3.1.1分布式存儲(chǔ)概述

一致性和可用性的矛盾由于當(dāng)前的網(wǎng)絡(luò)硬件肯定會(huì)出現(xiàn)延遲丟包等問題，所以分區(qū)容忍性是我們必須需要實(shí)現(xiàn)的。根據(jù)CAP理論，我們只能在一致性和可用性之間進(jìn)行權(quán)衡?？傊瑪?shù)據(jù)存在的節(jié)點(diǎn)越多，分區(qū)容忍性越高，這就要求復(fù)制更新的數(shù)據(jù)就越多，一致性就越難保證。為了保證一致性，每次寫操作就都要等待全部節(jié)點(diǎn)寫成功，更新所有節(jié)點(diǎn)數(shù)據(jù)所需要的時(shí)間就越長，可用性就會(huì)降低。3分布式存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)3.1.1分布式存儲(chǔ)概述4分布式存儲(chǔ)系統(tǒng)的分類

數(shù)據(jù)分類由于分布式存儲(chǔ)系統(tǒng)所面臨的數(shù)據(jù)需求相對(duì)復(fù)雜，大致可以分為三類：如所有格式的辦公文檔、文本、圖片、圖像、音頻和視頻信息等（1）非結(jié)構(gòu)化數(shù)據(jù)一般存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中，可以用二維關(guān)系表結(jié)構(gòu)表示（2）結(jié)構(gòu)化數(shù)據(jù)介于非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)之間，如HTML，一般是自描述的（3）半結(jié)構(gòu)化數(shù)據(jù)3.1.1分布式存儲(chǔ)概述4分布式存儲(chǔ)系統(tǒng)的分類互聯(lián)網(wǎng)應(yīng)用中，需要存儲(chǔ)大量的圖片、照片、視頻等非結(jié)構(gòu)化的數(shù)據(jù)，這類數(shù)據(jù)以對(duì)象的形式組織，對(duì)象之間沒有關(guān)聯(lián)。如Google的GFS和Hadoop的HDFS（1）分布式文件系統(tǒng)存儲(chǔ)簡(jiǎn)單的半結(jié)構(gòu)化數(shù)據(jù)，它只提供基于主鍵的CRUD功能，即根據(jù)主鍵創(chuàng)建、讀取、更新或者刪除一條鍵值記錄。如Amazon的Dynamo以及Taobao的Tair。（2）分布式鍵值系統(tǒng)存儲(chǔ)關(guān)系較為復(fù)雜的半結(jié)構(gòu)化數(shù)據(jù)，與分布式鍵值系統(tǒng)相關(guān)，分布式表格系統(tǒng)不僅僅支持簡(jiǎn)單的CRUD操作，而且支持掃描某個(gè)主鍵范圍.如Google的Bigtable。（3）分布式表格系統(tǒng)用于存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。分布式數(shù)據(jù)庫采用二維表格組織數(shù)據(jù)，并且提供SQL關(guān)系查詢語言，支持多表關(guān)聯(lián)，嵌套子