8.1.3 大數(shù)據(jù)在云端-存儲(chǔ)虛擬化

《大數(shù)據(jù)導(dǎo)論》大數(shù)據(jù)在云端存儲(chǔ)虛擬化存儲(chǔ)虛擬化關(guān)于大數(shù)據(jù)，最容易想到的便是其數(shù)據(jù)量之龐大，如何高效地保存和管理這些海量數(shù)據(jù)是存儲(chǔ)面臨的首要問題。存儲(chǔ)虛擬化存儲(chǔ)虛擬化最通俗的理解就是對(duì)一個(gè)或者多個(gè)存儲(chǔ)硬件資源進(jìn)行抽象，提供統(tǒng)一的、更有效率的全面存儲(chǔ)服務(wù)。虛擬化存儲(chǔ)原理圖存儲(chǔ)虛擬化有兩大分類：塊虛擬化（Blockvirtualizatlon）和文件虛擬化（Filevirtualization）。塊虛擬化就是將不同結(jié)構(gòu)的物理存儲(chǔ)抽象成統(tǒng)一的邏輯存儲(chǔ)。文件虛擬化則是幫助用戶，使其在一個(gè)多節(jié)點(diǎn)的分布式存儲(chǔ)環(huán)境中，再也不用關(guān)心文件的具體物理存儲(chǔ)位置了。存儲(chǔ)虛擬化存儲(chǔ)虛擬化1.傳統(tǒng)存儲(chǔ)系統(tǒng)時(shí)代世界上第一塊硬盤存儲(chǔ)虛擬化目前傳統(tǒng)存儲(chǔ)系統(tǒng)主要的三種架構(gòu)，包括DASNAS和SAN。（1）DAS（Direct-AttachedStorage，直連式存儲(chǔ)）。（2）NAS（Network-AttachedStorage，網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)）。（3）SAN（StorageAreaNetwork，存儲(chǔ)區(qū)域網(wǎng)絡(luò)）。DAS、SAN和NAS三種存儲(chǔ)方式存儲(chǔ)虛擬化2.大數(shù)據(jù)時(shí)代的新挑戰(zhàn)相對(duì)于傳統(tǒng)的存儲(chǔ)系統(tǒng)，大數(shù)據(jù)存儲(chǔ)一般與上層的應(yīng)用系統(tǒng)結(jié)合得更緊密。不同的應(yīng)用場(chǎng)景，其底層大數(shù)據(jù)存儲(chǔ)的特點(diǎn)也不盡相同。存儲(chǔ)系統(tǒng)存儲(chǔ)虛擬化結(jié)合當(dāng)前主流的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，可以總結(jié)出如下一些基本特點(diǎn)：（1）大容量及高可擴(kuò)展性。（2）高可用性。（3）高性能。（4）安全性。（5）自管理和自修復(fù)。（6）成本。（7）訪問接口的多樣化。存儲(chǔ)虛擬化3.云存儲(chǔ)云存儲(chǔ)是由第三方運(yùn)營(yíng)商提供的在線存儲(chǔ)系統(tǒng)，比如面向個(gè)人用戶的在線網(wǎng)盤和而向企業(yè)的文件、塊或?qū)ο蟠鎯?chǔ)系統(tǒng)等。云存儲(chǔ)存儲(chǔ)虛擬化云存儲(chǔ)通過運(yùn)營(yíng)商來集中、統(tǒng)一地部署和管理存儲(chǔ)系統(tǒng)，降低了數(shù)據(jù)存儲(chǔ)的成本，從而也降低了大數(shù)據(jù)行業(yè)的準(zhǔn)入門檻，為中小型企業(yè)進(jìn)軍大數(shù)據(jù)行業(yè)提供了可能性。在線文件存儲(chǔ)服務(wù)提供商Dropbox存儲(chǔ)虛擬化云存儲(chǔ)背后使用的存儲(chǔ)系統(tǒng)其實(shí)多是采用分布式架構(gòu)，而云存儲(chǔ)因其更多新的應(yīng)用場(chǎng)景，在設(shè)計(jì)上也遇到了新的問題和需求。（1）云存儲(chǔ)在管理系統(tǒng)和訪問接口上大都需要解決如何支持多租戶的訪問方式。（2）云存儲(chǔ)和云計(jì)算一樣，都需要解決的一個(gè)共同難題就是關(guān)于信任（Trust）問題。存儲(chǔ)虛擬化將存儲(chǔ)作為服務(wù)的形式提供給用戶，云存儲(chǔ)在訪問接口上一般都會(huì)秉承簡(jiǎn)潔易用的特性。亞馬遜的S3存儲(chǔ)存儲(chǔ)虛擬化存儲(chǔ)虛擬化是云存儲(chǔ)的一個(gè)重要的技術(shù)基礎(chǔ)，是通過抽象和封裝底層存儲(chǔ)系統(tǒng)的物理特性，將多個(gè)互相隔離的存儲(chǔ)系統(tǒng)統(tǒng)一化為一個(gè)抽象的資源池的技術(shù)。存儲(chǔ)虛擬化存儲(chǔ)虛擬化4.大數(shù)據(jù)存儲(chǔ)的其他需求：（1）去重（Deduplication）數(shù)據(jù)去重大概可以分為基于文件級(jí)別的去重和基于數(shù)據(jù)塊級(jí)別的去重。（2）分層存儲(chǔ)（TieredStorage）比如，