專業(yè)課程設(shè)計(jì)大報(bào)告

課程設(shè)計(jì)大匯報(bào)云存放關(guān)鍵技術(shù)班級：021151學(xué)號：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明時(shí)間：9月云存放關(guān)鍵技術(shù)綜述班級：021151學(xué)號：02115036學(xué)生：王亦瑋指導(dǎo)老師：朱虎明0序言伴隨海量存放系統(tǒng)出現(xiàn)和并行文件系統(tǒng)、分布式文件系統(tǒng)發(fā)展，云存放系統(tǒng)建立在云計(jì)算技術(shù)基礎(chǔ)之上，以其成本低、可拓展特點(diǎn)，將成為未來關(guān)鍵存放方法。本文是一篇相關(guān)云存放關(guān)鍵技術(shù)綜述。開始部分從4個(gè)角度定義了云存放，接著有云存放架構(gòu)介紹，包含部分基礎(chǔ)概念，然后就是本文關(guān)鍵部分云存放關(guān)鍵技術(shù)，分為7大技術(shù)進(jìn)行敘述。包含有虛擬化，分布式存放，數(shù)據(jù)備份、縮減、遷移、壓縮及內(nèi)容分布網(wǎng)絡(luò)技術(shù)，最終還有提到云存放優(yōu)勢、安全問題和云存放現(xiàn)實(shí)狀況及發(fā)展。1

云存放定義1.1

定義1

云存放系統(tǒng)以傳統(tǒng)分布式存放技術(shù)為基礎(chǔ)，利用高吞吐率網(wǎng)絡(luò)技術(shù)為依靠，首先高效地整合管理網(wǎng)絡(luò)存放資源，其次對外提供友好接口，公布便捷網(wǎng)絡(luò)數(shù)據(jù)存放服務(wù)。1.2

定義2

從狹義上來說，云存放是指經(jīng)過虛擬化、分布式技術(shù)、集群應(yīng)用、網(wǎng)格技術(shù)、負(fù)載均衡等技術(shù)，將網(wǎng)絡(luò)中大量存放設(shè)備經(jīng)過軟件集合起來高效協(xié)同工作，共同對外提供低成本、高擴(kuò)展性數(shù)據(jù)存放服務(wù)。

從廣義上來講，云存放能夠了解為按需提供虛擬存放資源，如同云計(jì)算Paas、Iaas服務(wù)一樣，可稱為數(shù)據(jù)存放即服務(wù)（Data

Storage

As

a

Service，DaaS），即基于指定服務(wù)水平請求，經(jīng)過網(wǎng)絡(luò)提供合適虛擬存放和相關(guān)數(shù)據(jù)服務(wù)。1.3

定義3

云存放不是指某一個(gè)具體設(shè)備，而是指一個(gè)由許很多多個(gè)存放設(shè)備和服務(wù)器所組成集合體。使用者使用云存放，并不是使用某一個(gè)存放設(shè)備，而是使用整個(gè)云存放系統(tǒng)帶來一個(gè)數(shù)據(jù)訪問服務(wù)。云存放關(guān)鍵是應(yīng)用軟件和存放設(shè)備相結(jié)合，經(jīng)過應(yīng)用軟件來實(shí)現(xiàn)存放設(shè)備向存放服務(wù)轉(zhuǎn)變。1.4

定義4

云存放就是將儲(chǔ)存資源放到網(wǎng)絡(luò)上供人存取一個(gè)新興方案。使用者能夠在任何時(shí)間、任何地方，透過任何可連網(wǎng)裝置方便地存取數(shù)據(jù)。綜合以上定義，云存放系統(tǒng)應(yīng)含有以下通用特征：★高可擴(kuò)展性：云存放系統(tǒng)可支持海量數(shù)據(jù)處理，資源能夠?qū)崿F(xiàn)按需擴(kuò)展；★低成本：云存放系統(tǒng)應(yīng)含有高性價(jià)比特點(diǎn)，低成本表現(xiàn)在兩方面，更低建設(shè)成本和更低運(yùn)維成本；★無接入限制：相比傳統(tǒng)存放，云存放強(qiáng)調(diào)對用戶存放靈活支持，服務(wù)域內(nèi)存放資源能夠隨地接入，隨時(shí)訪問；★易管理：少許管理員能夠處理上千節(jié)點(diǎn)和PB級存放，更高效支撐大量上層應(yīng)用對存放資源快速布署需求。2

云存放架構(gòu)

云存放是由一個(gè)網(wǎng)絡(luò)設(shè)備、存放設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和用戶端程序等組成復(fù)雜系統(tǒng)。以存放設(shè)備為關(guān)鍵，經(jīng)過應(yīng)用軟件來對外提供數(shù)據(jù)存放和業(yè)務(wù)訪問服務(wù)。云存放架構(gòu)以下圖所表示：★存放層：存放設(shè)備數(shù)量龐大且分布在不一樣地域，相互經(jīng)過廣域網(wǎng)、互聯(lián)網(wǎng)或光纖通道網(wǎng)絡(luò)連接在一起。在存放設(shè)備之上是一個(gè)統(tǒng)一存放設(shè)備管理系統(tǒng)，

實(shí)現(xiàn)存放設(shè)備邏輯虛擬化管理、多鏈路冗余管理，和硬件設(shè)備狀態(tài)監(jiān)控和故障維護(hù)?！锘A(chǔ)管理層：經(jīng)過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存放設(shè)備之間協(xié)同工作，使多個(gè)存放設(shè)備能夠?qū)ν馓峁┩粋€(gè)服務(wù)，

并提供更大更強(qiáng)愈加好數(shù)據(jù)訪問性能。數(shù)據(jù)加密技術(shù)確保云存放中數(shù)據(jù)不會(huì)被未授權(quán)用戶訪問，

數(shù)據(jù)備份和容災(zāi)技術(shù)能夠確保云存放中數(shù)據(jù)不會(huì)丟失，

確保云存放本身安全和穩(wěn)定?！飸?yīng)用接口層：不一樣云存放運(yùn)行商依據(jù)業(yè)務(wù)類型，開發(fā)不一樣服務(wù)接口，提供不一樣服務(wù)。比如視頻監(jiān)控、視頻點(diǎn)播應(yīng)用平臺、網(wǎng)絡(luò)硬盤，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用等?！镌L問層：

授權(quán)用戶能夠經(jīng)過標(biāo)準(zhǔn)公用應(yīng)用接口來登錄云存放系統(tǒng)，享受云存放服務(wù)。3

云存放中關(guān)鍵技術(shù)3.1

云存放中存放虛擬化

經(jīng)過存放虛擬化方法，把不一樣廠商、不一樣型號、不一樣通信技術(shù)、不一樣類型存放設(shè)備互聯(lián)起來，將系統(tǒng)中多種異構(gòu)存放設(shè)備映射為一個(gè)統(tǒng)一存放資源池。存放虛擬化技術(shù)能夠?qū)Υ娣刨Y源進(jìn)行統(tǒng)一分配管理，又能夠屏蔽存放實(shí)體間物理位置和異構(gòu)特征，實(shí)現(xiàn)了資源對用戶透明性，降低了構(gòu)建、管理和維護(hù)資源成本，從而提升云存放系統(tǒng)資源利用率。3.1.1

關(guān)鍵存放虛擬化技術(shù)

存放虛擬化技術(shù)即使不一樣設(shè)備和廠商之間略有區(qū)分，但從總體來說，可概括為基于主機(jī)虛擬化、基于存放設(shè)備虛擬化和基于存放網(wǎng)絡(luò)虛擬化三種技術(shù)。★基于主機(jī)虛擬化存放實(shí)現(xiàn)，其關(guān)鍵技術(shù)是經(jīng)過增加一個(gè)運(yùn)行在操作系統(tǒng)下邏輯卷管理軟件將磁盤上物理塊號映射成邏輯卷號，并以此實(shí)現(xiàn)把多個(gè)物理磁盤陣列映射成一個(gè)統(tǒng)一虛擬邏輯存放空間（邏輯塊）實(shí)現(xiàn)存放虛擬化控制和管理。從技術(shù)實(shí)施層面看，基于主機(jī)虛擬化存放不需要額外硬件支持，便于布署，只經(jīng)過軟件即可實(shí)現(xiàn)對不一樣存放資源存放管理。不過，虛擬化控制軟件也造成了此項(xiàng)技術(shù)關(guān)鍵缺點(diǎn)：首先，軟件布署和應(yīng)用影響了主機(jī)性能；其次，多種和存放相關(guān)應(yīng)用經(jīng)過同一個(gè)主機(jī)，存在越權(quán)訪問數(shù)據(jù)安全隱患；最終，經(jīng)過軟件控制不一樣廠家存放設(shè)備存在額外資源開銷，進(jìn)而降低系統(tǒng)可操作性和靈活性?！锘诖娣旁O(shè)備虛擬化技術(shù)依靠于提供相關(guān)功效存放設(shè)備陣列控制器模塊，常見于高端存放設(shè)備，其關(guān)鍵應(yīng)用針對異構(gòu)SAN存放構(gòu)架。這類技術(shù)關(guān)鍵優(yōu)點(diǎn)是不占主機(jī)資源，技術(shù)成熟度高，輕易實(shí)施；缺點(diǎn)是關(guān)鍵存放設(shè)備必需含有這類功效，且消耗存放控制器資源，同時(shí)因?yàn)楫悩?gòu)廠家磁盤陣列設(shè)備控制功效被主控設(shè)備存放控制器接管造成其高級存放功效將不能使用?！锘诖娣啪W(wǎng)絡(luò)虛擬化技術(shù)關(guān)鍵是在存放區(qū)域網(wǎng)中增加虛擬化引擎實(shí)現(xiàn)存放資源集中管理，其具體實(shí)施通常是經(jīng)過含有虛擬化支持能力路由器或交換機(jī)實(shí)現(xiàn)。在此基礎(chǔ)上，存放網(wǎng)絡(luò)虛擬化又能夠分為帶內(nèi)虛擬化和帶外虛擬化兩類，二者關(guān)鍵區(qū)分在于：帶內(nèi)虛擬化使用同一數(shù)據(jù)通道傳送存放數(shù)據(jù)和控制信號，而帶外虛擬化使用不一樣通道傳送數(shù)據(jù)和命令信息?；诖娣啪W(wǎng)絡(luò)存放虛擬化技術(shù)架構(gòu)合理，不占用主機(jī)和設(shè)備資源；不過其存放陣列中設(shè)備兼容性需要嚴(yán)格驗(yàn)證，和基于設(shè)備虛擬化技術(shù)一樣，因?yàn)榫W(wǎng)絡(luò)中存放設(shè)備控制功效被虛擬化引擎所接管，造成存放設(shè)備自帶高級存放功效將不能使用。3.1.2

存放虛擬化技術(shù)對比

用表格方法對三種存放虛擬化技術(shù)技術(shù)優(yōu)點(diǎn)和缺點(diǎn)、適應(yīng)場景等進(jìn)行了分析對比，結(jié)果以下：3.2

云存放中分布式存放技術(shù)

分布式存放是經(jīng)過網(wǎng)絡(luò)使用服務(wù)商提供各個(gè)存放設(shè)備上存放空間，并將這些分散存放資源組成一個(gè)虛擬存放設(shè)備，數(shù)據(jù)分散存放在各個(gè)存放設(shè)備上。現(xiàn)在比較流行分布式存放技術(shù)為：分布式塊存放、分布式文件系統(tǒng)存放、分布式對象存放和分布式表存放。3.2.1

分布式塊存放

塊存放就是服務(wù)器直接經(jīng)過讀寫存放空間中一個(gè)或一段地址來存取數(shù)據(jù)。因?yàn)椴扇≈苯幼x寫磁盤空間來訪問數(shù)據(jù)，相對于其它數(shù)據(jù)讀取方法，塊存放讀取效率最高，部分大型數(shù)據(jù)庫應(yīng)用只能運(yùn)行在塊存放設(shè)備上。分布式塊存放系統(tǒng)現(xiàn)在以標(biāo)準(zhǔn)Intel/Linux

硬件組件作為基礎(chǔ)存放單元，組件之間經(jīng)過千兆以太網(wǎng)采取任意點(diǎn)對點(diǎn)拓?fù)浼夹g(shù)相互連接，共同工作，組成大型網(wǎng)格存放，網(wǎng)格內(nèi)采取分布式算法管理存放資源。這類技術(shù)比較經(jīng)典代表是IBM

XIV

存放系統(tǒng)，其關(guān)鍵數(shù)據(jù)組件為基于Intel

內(nèi)核磁盤系統(tǒng)，卷數(shù)據(jù)分布到全部磁盤上，從而含有良好并行處理能力；放棄RAID技術(shù)，采取冗余數(shù)據(jù)塊方法進(jìn)行數(shù)據(jù)保護(hù)，統(tǒng)一采取SATA盤，從而降低了存放成本。3.2.2

分布式文件系統(tǒng)存放

文件存放系統(tǒng)可提供通用文件訪問接口，如POSIX、NFS、CIFS、FTP等，實(shí)現(xiàn)文件和目錄操作、文件訪問、文件訪問控制等功效?，F(xiàn)在分布式文件系統(tǒng)存放實(shí)現(xiàn)有軟硬件一體和軟硬件分離兩種方法。關(guān)鍵經(jīng)過NAS虛擬化，或基于X86硬件集群和分布式文件系統(tǒng)集成在一起，以實(shí)現(xiàn)海量非結(jié)構(gòu)化數(shù)據(jù)處理能力。

軟硬件一體方法實(shí)現(xiàn)基于X86硬件，利用專有、定制設(shè)計(jì)硬件組件，和分布式文件系統(tǒng)集成在一起，以實(shí)現(xiàn)目標(biāo)設(shè)計(jì)性能和可靠性目標(biāo)；產(chǎn)品代表Isilon，IBM

SONAS

GPFS。

軟硬件分離方法實(shí)現(xiàn)基于開源分布式文件系統(tǒng)對外提供彈性存放資源，軟硬件分離方法，可采取標(biāo)準(zhǔn)PC服務(wù)器硬件；經(jīng)典開源分布式文件系統(tǒng)有GFS、HDFS。3.2.3

分布式對象存放

對象存放是為海量數(shù)據(jù)提供Key-Value這種經(jīng)過鍵值查找數(shù)據(jù)文件存放模式；對象存放引入對象元數(shù)據(jù)來描述對象特征，對象元數(shù)據(jù)含有豐富語義；引入容器概念作為存放對象集合。對象存放系統(tǒng)底層基于分布式存放系統(tǒng)來實(shí)現(xiàn)數(shù)據(jù)存取，其存放方法對外部應(yīng)用透明。這么存放系統(tǒng)架構(gòu)含有高可擴(kuò)展性，支持?jǐn)?shù)據(jù)并發(fā)讀寫，通常不支持?jǐn)?shù)據(jù)隨機(jī)寫操作。最經(jīng)典應(yīng)用實(shí)例就是亞馬遜S3（Amazon

Simple

Storage

Service）。對象存放技術(shù)相對成熟，對底層硬件要求不高，存放系統(tǒng)可靠性和容錯(cuò)經(jīng)過軟件實(shí)現(xiàn)，同時(shí)其訪問接口簡單，適合處理海量、小數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)，如：郵箱、網(wǎng)盤、相冊、音頻視頻存放等3.2.4

分布式表存放

表結(jié)構(gòu)存放是一個(gè)結(jié)構(gòu)化數(shù)據(jù)存放，如傳統(tǒng)數(shù)據(jù)庫相比，它提供表空間訪問功效受限，但更強(qiáng)調(diào)系統(tǒng)可擴(kuò)展性。提供表存放云存放系統(tǒng)特征就是同時(shí)提供高并發(fā)數(shù)據(jù)訪問性能和可伸縮存放和計(jì)算架構(gòu)。

提供表存放云存放系統(tǒng)有兩類接口訪問方法。一類是標(biāo)準(zhǔn)xDBC、SQL數(shù)據(jù)庫接口，一類是Map-reduce數(shù)據(jù)倉庫應(yīng)用處理接口。前者現(xiàn)在以開源技術(shù)為主，還未有成熟商業(yè)軟件，后者已經(jīng)有商業(yè)軟件和成功商業(yè)應(yīng)用案例。3.2.5

分布式存放總結(jié)

現(xiàn)在分布式存放系統(tǒng)已經(jīng)得到了快速發(fā)展，其技術(shù)已經(jīng)較為成熟。優(yōu)異分布式存放系統(tǒng)必需含有下面多個(gè)特征：高性能、高可靠性、高可擴(kuò)展性、透明性和自治性?！锔咝阅埽簩τ诜植际较到y(tǒng)中每一個(gè)用戶全部要盡可能減小網(wǎng)絡(luò)延遲和因網(wǎng)絡(luò)擁塞、網(wǎng)絡(luò)斷開、節(jié)點(diǎn)

退出等問題造成影響；★高可靠性：高可靠性是大多數(shù)系統(tǒng)設(shè)計(jì)時(shí)關(guān)鍵考慮問題。分布式環(huán)境通常全部有高可靠性需求，用戶將文件保留到分布式存放系統(tǒng)基礎(chǔ)要求是數(shù)據(jù)可靠；★高可擴(kuò)展性：分布式存放系統(tǒng)需要能夠適應(yīng)節(jié)點(diǎn)規(guī)模和數(shù)據(jù)規(guī)模擴(kuò)大；★透明性：需要讓用戶在訪問網(wǎng)絡(luò)中其它節(jié)點(diǎn)中數(shù)據(jù)時(shí)能感到像是訪問自己本機(jī)數(shù)據(jù)一樣；★自治性：分布式存放系統(tǒng)需要擁有一定自我維護(hù)和恢復(fù)功效。3.3

云存放中數(shù)據(jù)備份3.3.1

副本數(shù)據(jù)布局

一個(gè)被廣泛采取副本布局方法是經(jīng)過集中式存放目錄來定位數(shù)據(jù)對象存放位置。這種方法能夠利用存放目錄中存放存放節(jié)點(diǎn)信息，將數(shù)據(jù)對象多個(gè)副本放置在不一樣機(jī)架上，這么可大大提升系統(tǒng)數(shù)據(jù)可靠性。谷歌文件系統(tǒng)(谷歌

File

System，GFS)、Hadoop

分布式文件系統(tǒng)(

Hadoop

Distributed

File

System，HDFS)等著名分布式文件系統(tǒng)全部采取了這種數(shù)據(jù)布局方法，然而，基于集中式存放目錄數(shù)據(jù)放置方法存在以下兩個(gè)缺點(diǎn):

1.伴隨存放目錄增加，查找數(shù)據(jù)對象所需開銷也會(huì)越來越大;2.為提升數(shù)據(jù)對象定位速度，通常情況下全部會(huì)將存放目錄存放在服務(wù)器內(nèi)存中，對于PB

級云存放系統(tǒng)來說，文件數(shù)量可能達(dá)成上億級，這造成存放目錄將會(huì)占用上百GB內(nèi)存。所以，當(dāng)數(shù)據(jù)對象數(shù)量達(dá)成上億等級時(shí)，基于集中式存放目錄數(shù)據(jù)放置方法在存放開銷和數(shù)據(jù)定位時(shí)間開銷上全部是難以接收，另外，還會(huì)大大限制系統(tǒng)擴(kuò)展性。

另一個(gè)副本布局方法是基于哈希算法副本布局方法，它完全摒棄了統(tǒng)計(jì)數(shù)據(jù)對象映射信息做法。基于哈希算法副本布局方法需要滿足以下要求:

1.均衡性：依據(jù)節(jié)點(diǎn)權(quán)重為存放節(jié)點(diǎn)分配數(shù)據(jù)對象。2.動(dòng)態(tài)自適應(yīng)性：當(dāng)系統(tǒng)中節(jié)點(diǎn)數(shù)量發(fā)生改變時(shí)，需遷移數(shù)據(jù)量

應(yīng)該盡可能少。3.低性能開銷。4.高效性：確定副本位置所需時(shí)間開銷盡可能小，理想情況下為O(

1)

。3.3.2傳統(tǒng)備份策略

經(jīng)典用戶備份步驟是這么：天天全部要在凌晨進(jìn)行一次增量備份，然后每七天末凌晨進(jìn)行全備份。采取這種方法，一旦出現(xiàn)了數(shù)據(jù)災(zāi)難，用戶能夠恢復(fù)到某天（注意是以天為單位）數(shù)據(jù)，所以在最壞情況下，可能丟失整整一天數(shù)據(jù)。那么，能不能縮小備份時(shí)間單位呢？比如，可不能夠每半天進(jìn)行一次增量備份呢？答案是很困難。因?yàn)槊看芜M(jìn)行備份數(shù)據(jù)量全部很大情況下，備份時(shí)間窗口很大，需要繁忙業(yè)務(wù)系統(tǒng)停機(jī)很長時(shí)間才能做到。所以，為了確保數(shù)據(jù)更高安全性，用戶必需對在線系統(tǒng)實(shí)施在線實(shí)時(shí)復(fù)制，盡可能多地采取快照等磁盤管理技術(shù)維持?jǐn)?shù)據(jù)高可用性，這么勢必需要增加很大一部分投資。3.3.3

連續(xù)數(shù)據(jù)保護(hù)

連續(xù)數(shù)據(jù)保護(hù)（CDP）是一個(gè)連續(xù)捕捉和保留數(shù)據(jù)改變，并將改變后數(shù)據(jù)獨(dú)立于初始數(shù)據(jù)進(jìn)行保留方法，而且該方法能夠?qū)崿F(xiàn)過去任意一個(gè)時(shí)間點(diǎn)數(shù)據(jù)恢復(fù)。CDP系統(tǒng)可能基于塊、文件或應(yīng)用，而且為數(shù)量無限可變恢復(fù)點(diǎn)提供精細(xì)可恢復(fù)對象。所以，全部CDP處理方案全部應(yīng)該含有以下多個(gè)基礎(chǔ)特征：數(shù)據(jù)改變受到連續(xù)捕捉和跟蹤；全部數(shù)據(jù)改變?nèi)看娣旁谝粋€(gè)和主存放地點(diǎn)不一樣獨(dú)立地點(diǎn)中；恢復(fù)點(diǎn)目標(biāo)是任意，而且不需要在實(shí)際恢復(fù)之前事先定義。所以，CDP能夠提供愈加快數(shù)據(jù)檢索、更強(qiáng)數(shù)據(jù)保護(hù)和更高業(yè)務(wù)連續(xù)性能力，而和傳統(tǒng)備份處理方案相比，CDP總體成本和復(fù)雜性全部要低。盡管部分廠商推出了CDP產(chǎn)品，然而從它們功效上分析，還做不到真正連續(xù)數(shù)據(jù)保護(hù)，比如有產(chǎn)品備份時(shí)間間隔為一小時(shí)，那么在這一小時(shí)內(nèi)仍然存在數(shù)據(jù)丟失風(fēng)險(xiǎn)，所以，嚴(yán)格地講，它們還不是完全意義上CDP產(chǎn)品，現(xiàn)在我們只能稱之為類似CDP產(chǎn)品。3.4

云存放中數(shù)據(jù)縮減技術(shù)

為應(yīng)對數(shù)據(jù)存放急劇膨脹，企業(yè)需要不停購置大量存放設(shè)備來滿足不停增加存放需求。權(quán)威調(diào)查機(jī)構(gòu)研究發(fā)覺，企業(yè)購置了大量存放設(shè)備，不過利用率往往不足５０％，存放投資回報(bào)率水平較低。數(shù)據(jù)量急劇增加為存放技術(shù)提出了新問題和要求，怎樣低成本高效快速地處理無限增加信息存放和計(jì)算問題擺在科學(xué)家面前。經(jīng)過云存放技術(shù)不僅處理了存放中高安全性、可靠性、可擴(kuò)展、易管理等存放基礎(chǔ)要求，同時(shí)也利用云存放中數(shù)據(jù)縮減技術(shù)，滿足海量信息爆炸式增加趨勢，一定程度上節(jié)省企業(yè)存放成本，提升效率。3.4.1

自動(dòng)精簡配置

自動(dòng)精簡配置是一個(gè)存放管理特征，關(guān)鍵原理是“欺騙”操作系統(tǒng)，讓操作系統(tǒng)認(rèn)為存放設(shè)備中有很大存放空間，而實(shí)際物理存放空間則沒有那么大。傳統(tǒng)配置技術(shù)為了避免重新配置可能造成業(yè)務(wù)中止，常常會(huì)過分配置容量。在這種情況下，一旦存放分配給某個(gè)應(yīng)用，就不可能重新分配給另一個(gè)應(yīng)用，由此就造成了已分配容量沒有得到充足利用，造成了資源極大浪費(fèi)。而精簡配置技術(shù)帶給用戶益處是大大提升了存放資源利用率，提升了配置管理效率，實(shí)現(xiàn)高自動(dòng)化數(shù)據(jù)存放。

自動(dòng)精簡配置技術(shù)是利用虛擬化方法降低物理存放空間分配，最大程度提升存放空間利用率。這種技術(shù)節(jié)省存放成本可能會(huì)很巨大，而且使存放利用率超９０％。經(jīng)過“欺騙”操作系統(tǒng)，造成仿佛存放空間有足夠大，而實(shí)際物理存放空間并沒有那么大。自動(dòng)精簡配置技術(shù)應(yīng)用會(huì)降低已分配但未使用存放容量浪費(fèi)，在分配存放空間時(shí)，需要多少存放空間系統(tǒng)則按需分配。自動(dòng)精簡配置技術(shù)優(yōu)化了存放空間利用率，擴(kuò)展了存放管理功效，即使實(shí)際分配物理容量小，但能夠?yàn)椴僮飨到y(tǒng)提供超大容量虛擬存放空間。伴隨數(shù)據(jù)存放信息量越來越多，實(shí)際存放空間也能夠立即擴(kuò)展，無需用戶手動(dòng)處理。利用自動(dòng)精簡配置技術(shù)，用戶不需要了解存放空間分配細(xì)節(jié)，這種技術(shù)就能幫助用戶在不降低性能情況下，大幅度提升存放空間利用效率；需求改變時(shí)，無需更改存放容量設(shè)置經(jīng)過虛擬化技術(shù)集成存放，降低超量配置，降低總功耗。自動(dòng)精簡配置這項(xiàng)技術(shù)最初由3Par企業(yè)開發(fā)，現(xiàn)在支持自動(dòng)精簡配置廠商正在快速增加。這項(xiàng)技術(shù)已經(jīng)成為選擇存放系統(tǒng)關(guān)鍵標(biāo)準(zhǔn)之一。不過并不是全部自動(dòng)精簡配置實(shí)施全部是相同。伴隨自動(dòng)精簡配置存放越來越多，物理存放耗盡成為自動(dòng)精簡配置環(huán)境中常常出現(xiàn)風(fēng)險(xiǎn)。所以，告警、通知和存放分析成為必需功效，而且對比傳統(tǒng)環(huán)境，其在自動(dòng)精簡配置環(huán)境中飾演了更關(guān)鍵角色。3.4.2

自動(dòng)存放分層

自動(dòng)存放分層（AST）技術(shù)關(guān)鍵用來幫助數(shù)據(jù)中心最大程度地降低成本和復(fù)雜性。在過去，進(jìn)行數(shù)據(jù)移動(dòng)關(guān)鍵依靠手工操作，由管理員來判定這個(gè)卷數(shù)據(jù)訪問壓力或大或小，遷移時(shí)候也只能一個(gè)整卷一起遷移。自動(dòng)存放分層技術(shù)特點(diǎn)則是其分層自動(dòng)化和智能化。傳統(tǒng)配置方法和自動(dòng)存放分層方法比較是一個(gè)整卷一起遷移。新技術(shù)特點(diǎn)則是其分層自動(dòng)化和智能化。自動(dòng)存放分層是存放上降低數(shù)據(jù)另外一個(gè)機(jī)制。一個(gè)磁盤陣列能夠把活動(dòng)數(shù)據(jù)保留在快速、昂貴存放上，把不活躍數(shù)據(jù)遷移到廉價(jià)低速層上，以限制存放花費(fèi)總量。自動(dòng)存放分層關(guān)鍵性伴隨固態(tài)存放在目前磁盤陣列中采取而提升，并伴隨云存放來臨而補(bǔ)充內(nèi)部布署存放。自動(dòng)存放分層使用戶數(shù)據(jù)保留在適宜存放層級，所以降低了存放需求總量并實(shí)質(zhì)上降低了成本，提升了性能。數(shù)據(jù)從一層遷移到另一層粒度越精細(xì)，能夠使用昂貴存放效率就越高。子卷級分層意味著數(shù)據(jù)是根據(jù)塊來分配而不是整個(gè)卷，而字節(jié)級分層比文件級分層愈加好。怎樣控制數(shù)據(jù)在層間移動(dòng)內(nèi)部工作規(guī)則，決定需要把自動(dòng)分層放在正確位置努力程度。部分系統(tǒng)，是依據(jù)預(yù)先定義什么時(shí)候移動(dòng)數(shù)據(jù)和移動(dòng)到哪一層。相反，Net

App企業(yè)和Oracle企業(yè)（在Sun

ZFS

Storage

7000系列中）提倡存放系統(tǒng)應(yīng)該足夠智能，能反復(fù)數(shù)據(jù)刪除，能自動(dòng)保留數(shù)據(jù)在其適宜層，而不需要用戶定義策略。3.4.3

反復(fù)數(shù)據(jù)刪除

物理存放設(shè)備在使用一段時(shí)間后肯定會(huì)出現(xiàn)大量反復(fù)數(shù)據(jù)。“反復(fù)刪除”技術(shù)（De-duplication）作為一個(gè)數(shù)據(jù)縮減技術(shù)可對存放容量進(jìn)行優(yōu)化。它經(jīng)過刪除數(shù)據(jù)集中反復(fù)數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。使用De-dupe技術(shù)能夠?qū)?shù)據(jù)縮減到原來1/20-1/50。因?yàn)榇蠓冉档土藢ξ锢泶娣趴臻g信息量，進(jìn)而降低傳輸過程中網(wǎng)絡(luò)帶寬、節(jié)省設(shè)備成本、降低能耗。反復(fù)數(shù)據(jù)刪除技術(shù)原理De-dupe根據(jù)消重粒度能夠分為文件級和數(shù)據(jù)塊級。能夠同時(shí)使用２種以上hash算法計(jì)算數(shù)據(jù)指紋，以取得很小數(shù)據(jù)碰撞發(fā)生概率。含有相同指紋數(shù)據(jù)塊即可認(rèn)為是相同數(shù)據(jù)塊，存放系統(tǒng)中僅需要保留一份。這么，一個(gè)物理文件在存放系統(tǒng)中就只對應(yīng)一個(gè)邏輯表示。Net

App企業(yè)為其全部系統(tǒng)提供反復(fù)數(shù)據(jù)刪除選項(xiàng)，而且能夠針對每個(gè)卷進(jìn)行激活。Net

App企業(yè)反復(fù)數(shù)據(jù)刪除并不是實(shí)時(shí)實(shí)施。相反，它是使用預(yù)先設(shè)置進(jìn)程實(shí)施，通常是在閑暇時(shí)間實(shí)施，經(jīng)過掃描把反復(fù)4KB數(shù)據(jù)塊替換為對應(yīng)指針。和Net

App企業(yè)相同，Oracle企業(yè)在其Sun

ZFS

Storage7000系列系統(tǒng)中也含有塊等級反復(fù)數(shù)據(jù)刪除功效。和Net

App企業(yè)不一樣是，去重是在其寫入磁盤時(shí)實(shí)時(shí)實(shí)施。戴爾企業(yè)取得了內(nèi)容感知去重和壓縮技術(shù)，并企圖把這種技術(shù)整合到其全部存放系統(tǒng)中。3.4.4

數(shù)據(jù)壓縮

數(shù)據(jù)壓縮技術(shù)是提升數(shù)據(jù)存放效率最古老最有效方法之一。為了節(jié)省信息存放空間和提升信息傳輸效率，必需對大量實(shí)際數(shù)據(jù)進(jìn)行有效壓縮。數(shù)據(jù)壓縮作為對處理海量信息存放和傳輸支持技術(shù)受到大家極大重視。數(shù)據(jù)壓縮就是將收到數(shù)據(jù)經(jīng)過存放算法存放到更小空間中去。伴隨現(xiàn)在CPU處理能力大幅提升，應(yīng)用實(shí)時(shí)壓縮技術(shù)來節(jié)省數(shù)據(jù)占用空間成為現(xiàn)實(shí)。這項(xiàng)新技術(shù)就是最新研發(fā)出在線壓縮（RACE），它和傳統(tǒng)壓縮技術(shù)不一樣。對RACE技術(shù)，當(dāng)數(shù)據(jù)在首次寫入時(shí)即被壓縮，以幫助系統(tǒng)控制大量數(shù)據(jù)在主存中雜亂無章地存放情形，尤其是多任務(wù)工作時(shí)愈加顯著。該技術(shù)還能夠在數(shù)據(jù)寫入到存放系統(tǒng)前壓縮數(shù)據(jù)，深入提升了存放系統(tǒng)中磁盤和緩存性能和效率。壓縮算法分為無損壓縮和有損壓縮。相對于有損壓縮來說，無損壓縮占用空間大，壓縮比不高，不過它有效地保留了原始信息，沒有任何信號丟失。不過伴隨限制無損格式種種原因逐步被消除，使得無損壓縮格式含有寬廣應(yīng)用前景。數(shù)據(jù)壓縮中使用LZS算法基于LZ77實(shí)現(xiàn)，關(guān)鍵由２部分組成，滑窗（Sliding

Window）和自適應(yīng)編碼（Adaptive

Coding）。壓縮處理時(shí)，在滑窗中查找和待處理數(shù)據(jù)相同塊，并用該塊在滑窗中偏移值及塊長度替換待處理數(shù)據(jù)，從而實(shí)現(xiàn)壓縮編碼。假如滑窗中沒有和待處理數(shù)據(jù)塊相同字段，或偏移值及長度數(shù)據(jù)超出被替換數(shù)據(jù)塊長度，則不進(jìn)行替換處理。LZS算法實(shí)現(xiàn)很簡練，處理比較簡單，能夠適應(yīng)多種高速應(yīng)用。數(shù)據(jù)壓縮應(yīng)用能夠顯著降低待處理和存放數(shù)據(jù)量，通常情況下可實(shí)現(xiàn)2:1～3:1壓縮比。壓縮和去重是互補(bǔ)性技術(shù)，提供去重廠商通常也提供壓縮。而對于虛擬服務(wù)器卷、電子郵件附件、文件和備份環(huán)境來說，去重通常愈加有效，壓縮對于隨機(jī)數(shù)據(jù)效果愈加好，像數(shù)據(jù)庫。換句話說，在數(shù)據(jù)反復(fù)性比較高地方，去重比壓縮有效。3.5

云存放中內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)

云存放是構(gòu)建于互聯(lián)網(wǎng)之上，何如降低網(wǎng)絡(luò)延遲、提升數(shù)據(jù)傳輸率是關(guān)系到云存放性能關(guān)鍵問題。盡管有部分經(jīng)過當(dāng)?shù)馗咚倬彺?、廣域網(wǎng)優(yōu)化等技術(shù)來處理問題研究工作，但離實(shí)際應(yīng)用需求還有一定距離。內(nèi)容分發(fā)網(wǎng)絡(luò)是一個(gè)新型網(wǎng)絡(luò)構(gòu)建模式，關(guān)鍵是針對現(xiàn)有Internet

進(jìn)行改造?；A(chǔ)思想是盡可能避開互聯(lián)網(wǎng)上因?yàn)榫W(wǎng)絡(luò)帶寬小、網(wǎng)點(diǎn)分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性弊端，使數(shù)據(jù)傳輸愈加快、更穩(wěn)定。經(jīng)過在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器，在現(xiàn)有互聯(lián)網(wǎng)基礎(chǔ)之上組成一層智能虛擬網(wǎng)絡(luò)，實(shí)時(shí)地依據(jù)網(wǎng)絡(luò)流量、各節(jié)點(diǎn)連接和負(fù)載情況、響應(yīng)時(shí)間、到用戶距離等信息將用戶請求重新導(dǎo)向離用戶最近服務(wù)節(jié)點(diǎn)上。目標(biāo)是使用戶可就近取得所需內(nèi)容，處理Internet

網(wǎng)絡(luò)擁擠情況，提升用戶訪問網(wǎng)站速度。3.6

云存放中數(shù)據(jù)遷移

當(dāng)我們從一個(gè)物理環(huán)境和單個(gè)陣列過渡到完全虛擬化、高度動(dòng)態(tài)存放環(huán)境時(shí)，數(shù)據(jù)遷移就成了云存放方案中最為基礎(chǔ)、關(guān)鍵步驟，它在整個(gè)方案中占有了舉足輕重作用。把企業(yè)數(shù)據(jù)轉(zhuǎn)移到云中，針對不一樣實(shí)際情況這里有兩種方法：1.當(dāng)企業(yè)數(shù)據(jù)吞吐量較大不過數(shù)據(jù)量不是尤其多，對傳輸延遲也沒過多要求時(shí)，云供給商能夠提供從企業(yè)到供給商某個(gè)存放節(jié)點(diǎn)之間私人鏈接，方便企業(yè)遷移數(shù)據(jù)。企業(yè)能夠依據(jù)自己時(shí)間，在不影響企業(yè)正常運(yùn)行情況下做數(shù)據(jù)轉(zhuǎn)移安排；2.當(dāng)企業(yè)數(shù)據(jù)能夠提供拷貝，那么我們能夠采取sneaker-net

方法，即人工網(wǎng)絡(luò)模式，將數(shù)據(jù)經(jīng)過磁盤、移動(dòng)存放設(shè)備等從企業(yè)服務(wù)器拷入到云數(shù)據(jù)中心或從云數(shù)據(jù)中心拷貝出來。

假如企業(yè)對目前云供給商提供服務(wù)不滿意需要更換服務(wù)商，

怎樣在兩家服務(wù)商云之間轉(zhuǎn)移數(shù)據(jù)？

這應(yīng)該是目前一個(gè)很棘手問題。因?yàn)楝F(xiàn)在云存放還處于初級階段，各個(gè)云供給商全部采取自己加密或傳輸機(jī)制，所以沒有一個(gè)規(guī)范和約束統(tǒng)一標(biāo)準(zhǔn)。很多云存放供給商無法直接將用戶數(shù)據(jù)遷移到另一家供給商。當(dāng)服務(wù)出現(xiàn)故障時(shí)，數(shù)據(jù)將返還給用戶，然后用戶要再找另一家云供給商，或?qū)?shù)據(jù)存放在當(dāng)?shù)胤?wù)器。所以期望各個(gè)云供給商提供一組云數(shù)據(jù)管理應(yīng)用編程接口API，讓不一樣云供給商之間數(shù)據(jù)遷移愈加便捷。3.7

云存放中數(shù)據(jù)容錯(cuò)技術(shù)

數(shù)據(jù)容錯(cuò)技術(shù)是云存放研究領(lǐng)域一項(xiàng)關(guān)鍵技術(shù),良好容錯(cuò)技術(shù)不僅能夠提升系統(tǒng)可用性和可靠性,而且能夠提升數(shù)據(jù)訪問效率。數(shù)據(jù)容錯(cuò)技術(shù)通常全部是經(jīng)過增加數(shù)據(jù)冗余來實(shí)現(xiàn),以確保即使在部分?jǐn)?shù)據(jù)失效以后也能夠經(jīng)過訪問冗余數(shù)據(jù)滿足需求。冗余提升了容錯(cuò)性，不過也增加了存放資源消耗。所以,在確保系統(tǒng)容錯(cuò)性同時(shí)，要盡可能地提升存放資源利用率，以降低成本。現(xiàn)在,常見容錯(cuò)技術(shù)關(guān)鍵有基于復(fù)制(replication)容錯(cuò)技術(shù)和基于糾刪碼(erasure

code)容錯(cuò)技術(shù)兩種?；趶?fù)制容錯(cuò)技術(shù)簡單直觀,易于實(shí)現(xiàn)和布署,不過需要為每個(gè)數(shù)據(jù)對象創(chuàng)建若干一樣大小副本存放空間開銷很大；基于糾刪碼容錯(cuò)技術(shù)則能夠把多個(gè)數(shù)據(jù)塊信息融合到較少冗余信息中，所以能夠有效地節(jié)省存放空間,不過對數(shù)據(jù)讀寫操作要分別進(jìn)行編碼和解碼操作,需要部分計(jì)算開銷。當(dāng)數(shù)據(jù)失效以后,基于復(fù)制容錯(cuò)技術(shù)只需要從其它副本下載一樣大小數(shù)據(jù)即可進(jìn)行修復(fù)；基于糾刪碼技術(shù)則需要下載數(shù)據(jù)量通常遠(yuǎn)大于失效數(shù)據(jù)大小,修復(fù)成本較高。3.7.1

基于復(fù)制容錯(cuò)技術(shù)

基于復(fù)制容錯(cuò)技術(shù)對一個(gè)數(shù)據(jù)對象創(chuàng)建多個(gè)相同數(shù)據(jù)副本,并把得到多個(gè)副本散布到不一樣存放節(jié)點(diǎn)上。當(dāng)若干數(shù)據(jù)對象失效以后,能夠經(jīng)過訪問其它有效副本獲取數(shù)據(jù)。基于復(fù)制容錯(cuò)技術(shù)關(guān)鍵關(guān)注兩方面研究:(1)

數(shù)據(jù)組織結(jié)構(gòu)：數(shù)據(jù)組織結(jié)構(gòu)關(guān)鍵研究大量數(shù)據(jù)對象及其副本

管理方法;(2)

數(shù)據(jù)復(fù)制策略：數(shù)據(jù)復(fù)制策略關(guān)鍵研究副本創(chuàng)建時(shí)機(jī)、副本

數(shù)量、副本放置等問題.3.7.2

基于糾刪碼容錯(cuò)技術(shù)

基于復(fù)制容錯(cuò)技術(shù)存放開銷巨大，要提供冗余度為k

容錯(cuò)能力,就必需另外創(chuàng)建k個(gè)副本，存放空間開銷也增大了k

倍?；诰幋a容錯(cuò)技術(shù)經(jīng)過對多個(gè)數(shù)據(jù)對象進(jìn)行編碼產(chǎn)生編碼數(shù)據(jù)對象，進(jìn)而降低完全復(fù)制帶來巨大存放開銷。RAID技術(shù)中使用最廣泛RAID5

經(jīng)過把數(shù)據(jù)條帶化(stripping)分布到不一樣存放設(shè)備上以提升效率，并采取一個(gè)校驗(yàn)數(shù)據(jù)塊使之能夠容忍一個(gè)數(shù)據(jù)塊失效。不過伴隨節(jié)點(diǎn)規(guī)模和數(shù)據(jù)規(guī)模不停擴(kuò)大,只容忍一個(gè)數(shù)據(jù)塊失效已經(jīng)無法滿足應(yīng)用存放需求。糾刪碼(erasure-coding)技術(shù)是一類源于信道傳輸編碼技術(shù)，因?yàn)槟軌蛉萑潭鄠€(gè)數(shù)據(jù)幀丟失,被引入到分布存放領(lǐng)域,使得基于糾刪碼容錯(cuò)技術(shù)成為能夠容忍多個(gè)數(shù)據(jù)塊同時(shí)失效、最常見基于編碼容錯(cuò)技術(shù)。4

云存放優(yōu)勢

云存放優(yōu)勢關(guān)鍵表現(xiàn)在以下多個(gè)方面：★高可擴(kuò)展性：云存放架構(gòu)采取是并行擴(kuò)容方法，當(dāng)容量不夠

時(shí)，只需采購新存放服務(wù)器，容量即可增加，而且?guī)缀鯖]有上限控制?！镓?fù)載均衡：云存放能自動(dòng)將工作任務(wù)均勻分配到不一樣存放服務(wù)器上，從而可避免因部分存放服務(wù)器工作量過大而造成性能瓶頸，這么可使整個(gè)存放系統(tǒng)發(fā)揮最大功效。★輕易管理：對云存放管理者來說，即使再多存放服務(wù)器也只是一臺存放設(shè)備，管理人