云存儲(chǔ)技術(shù)研究

云存儲(chǔ)技術(shù)研究

近年來(lái)，云計(jì)算的概念越來(lái)越受到重視。美國(guó)網(wǎng)絡(luò)評(píng)估了2009年it世界上五個(gè)科技發(fā)展趨勢(shì)，云計(jì)算排名第一。云存儲(chǔ)是云計(jì)算中的核心研究領(lǐng)域,主要解決云計(jì)算中的數(shù)據(jù)存儲(chǔ)與管理問題。目前,眾多IT巨頭們都在大力開發(fā)云存儲(chǔ)技術(shù)及產(chǎn)品。例如,Google一直致力于推廣以GFS、BigTable等技術(shù)為基礎(chǔ)的應(yīng)用引擎,為用戶進(jìn)行海量數(shù)據(jù)處理提供了手段。本文首先介紹了云存儲(chǔ)的相關(guān)概念,然后結(jié)合企業(yè)的實(shí)例分析與討論了云數(shù)據(jù)存儲(chǔ)與管理技術(shù)。1云存儲(chǔ)1.1系統(tǒng)的協(xié)調(diào)機(jī)制云存儲(chǔ)指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。云存儲(chǔ)可以簡(jiǎn)單的理解為云計(jì)算中的存儲(chǔ),是配置了大容量存儲(chǔ)空間的云計(jì)算系統(tǒng)。用戶所有的數(shù)據(jù)都保存在“云”中,需要時(shí)從“云”中讀取,本地不需要任何的存儲(chǔ)設(shè)備。云存儲(chǔ)更準(zhǔn)精確地說(shuō)是一種服務(wù),用戶使用的是由許多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所提供的數(shù)據(jù)訪問服務(wù)。1.2云存儲(chǔ)的監(jiān)控管理云存儲(chǔ)系統(tǒng)主要用來(lái)進(jìn)行數(shù)據(jù)存儲(chǔ)與管理且處理的數(shù)據(jù)都是超大規(guī)模的,包括存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層和訪問層。云存儲(chǔ)的架構(gòu)模型見圖1。存儲(chǔ)層主要包括存儲(chǔ)設(shè)備及存儲(chǔ)設(shè)備管理系統(tǒng)。存儲(chǔ)設(shè)備分布在不同地域,彼此之間通過(guò)網(wǎng)絡(luò)互聯(lián)在一起。存儲(chǔ)設(shè)備管理系統(tǒng)負(fù)責(zé)存儲(chǔ)設(shè)備的虛擬化管理、多鏈路冗余管理、硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)、設(shè)備升級(jí)等?；A(chǔ)管理層通過(guò)集群系統(tǒng)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù),實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,同時(shí)負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行加密、備份、壓縮等,保證數(shù)據(jù)的正確性與安全性,使云中的存儲(chǔ)設(shè)備提供更強(qiáng)更好的數(shù)據(jù)訪問性能。應(yīng)用接口層根據(jù)用戶訂購(gòu)的服務(wù)為用戶分配權(quán)限,為不同的用戶提供不同的API接口及應(yīng)用軟件,同時(shí)提供網(wǎng)絡(luò)接入、用戶認(rèn)證等功能。訪問層包括能夠訪問云存儲(chǔ)系統(tǒng)的用戶,用戶可以通過(guò)標(biāo)準(zhǔn)的公共應(yīng)用接口登錄云存儲(chǔ)系統(tǒng),享受云存儲(chǔ)服務(wù)。目前,Google、Amazon、IBM等各大公司都實(shí)現(xiàn)了自己的數(shù)據(jù)存儲(chǔ)管理架構(gòu)模型。本文將以GFS/BigTable、HDFS/HBase為例分析云數(shù)據(jù)存儲(chǔ)與管理技術(shù)。2企業(yè)云數(shù)據(jù)存儲(chǔ)技術(shù)2.1系統(tǒng)gfsGoogle為了滿足迅速增長(zhǎng)的數(shù)據(jù)處理需求,設(shè)計(jì)并實(shí)現(xiàn)了文件系統(tǒng)GFS。GFS與傳統(tǒng)的分布式文件系統(tǒng)有很多相同的設(shè)計(jì)目標(biāo),比如性能、可伸縮性、可靠性以及可用性。2.1.1ter、chunpserper一個(gè)GFS集群包含一臺(tái)主服務(wù)器(Master)、多臺(tái)塊服務(wù)器(ChunkServer)以及多個(gè)客戶端,如圖2。所有的這些機(jī)器通常都是普通的Linux機(jī)器。(1)采用gfs的管理文件目錄主服務(wù)器主要負(fù)責(zé)管理文件系統(tǒng)的元數(shù)據(jù)(包括文件和塊的名字空間、訪問控制信息、文件與塊的映射信息以及塊副本的位置,通俗地說(shuō)就是管理文件的目錄結(jié)構(gòu))。也負(fù)責(zé)創(chuàng)建塊及副本,回收不再使用的塊空間,在塊服務(wù)器間進(jìn)行負(fù)載平衡等。GFS采用的是單一的主服務(wù)器的策略,也就是說(shuō)同一時(shí)刻只有一個(gè)主服務(wù)器提供服務(wù),避免了為協(xié)調(diào)多臺(tái)主服務(wù)器同步工作付出的代價(jià)?？蛻舳伺c主服務(wù)器的交互只是獲取元數(shù)據(jù),其它所有數(shù)據(jù)操作都由客戶端直接與塊服務(wù)器進(jìn)行通信,減少了對(duì)主服務(wù)器的讀寫,避免主服務(wù)器成為瓶頸。(2)主要的文件存儲(chǔ)及hdfsGFS的文件被分割成固定大小的塊,默認(rèn)為64M,存放在各個(gè)塊服務(wù)器上。缺省每塊復(fù)制到3個(gè)塊服務(wù)器上,保存3個(gè)備份,用戶可以為文件設(shè)定不同的復(fù)制級(jí)別。選用比較大的塊尺寸的好處為:減少了主服務(wù)器需要保存的元數(shù)據(jù)量,客戶端可以對(duì)一個(gè)塊進(jìn)行多次操作,減輕了網(wǎng)絡(luò)負(fù)載;另一方面也有缺陷,如果塊尺寸過(guò)大,由于小文件包含的塊少,當(dāng)多個(gè)客戶端對(duì)同一個(gè)小文件進(jìn)行多次訪問時(shí),存儲(chǔ)這些塊的塊服務(wù)器就成為熱點(diǎn),根據(jù)反復(fù)實(shí)踐確定為64M。在塊創(chuàng)建的時(shí)候,主服務(wù)器為它分配一個(gè)不變的、全球唯一的64位的塊標(biāo)識(shí)。塊服務(wù)器把塊作為L(zhǎng)inux文件保存在本地硬盤上,并且根據(jù)指定的塊標(biāo)識(shí)和字節(jié)范圍來(lái)訪問塊數(shù)據(jù)。如圖2,顯示了4個(gè)塊服務(wù)器,其中有5個(gè)數(shù)據(jù)塊C0—C4,每個(gè)塊都同時(shí)存放在3個(gè)服務(wù)器上。構(gòu)模型。HDFS與GFS很多原理都相似,這里不再贅述。但它們也有不同之處,例如HDFS缺少快照和記錄追加操作,同時(shí)也不支持并行寫;數(shù)據(jù)一致性方面,HDFS更簡(jiǎn)單,對(duì)于失敗的寫,結(jié)果顯示為“不一致”,成功的為“已定義”;系統(tǒng)交互方面,DataNode基本不處理租約;主服務(wù)器上的操作,HDFS也比較簡(jiǎn)單,它不區(qū)分讀/寫鎖;垃圾回收上,HDFS目前并沒有實(shí)現(xiàn)回收站的功能?？偟膩?lái)說(shuō),HDFS基本實(shí)現(xiàn)了GFS的一些目標(biāo),但還有很多的功能需要實(shí)現(xiàn)。3企業(yè)云數(shù)據(jù)管理系統(tǒng)3.1辦公3.1.1千臺(tái)普通服務(wù)器pb級(jí)數(shù)據(jù)BigTable是Google公司設(shè)計(jì)的用來(lái)處理海量數(shù)據(jù)的分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng),它處理的數(shù)據(jù)通常是分布在數(shù)千臺(tái)普通服務(wù)器上的PB級(jí)的數(shù)據(jù)。BigTable的實(shí)現(xiàn)滿足了以下幾個(gè)特性:適用性廣泛、可擴(kuò)展、高性能和高可用性,它已經(jīng)在超過(guò)60個(gè)Google的產(chǎn)品和項(xiàng)目上得到了應(yīng)用,例如GoogleAnalytics、GoogleFinance、Orkut、PersonalizedSearch、Writely和GoogleEarth。3.1.2織物上的使用·行。行關(guān)鍵字可以是任意的字符串,目前最多為64K,所有行按照字典順序排序。對(duì)同一個(gè)行關(guān)鍵字的讀或?qū)懖僮鞫际窃拥?用戶訪問數(shù)據(jù)時(shí)給一行或者幾行數(shù)據(jù)加鎖?！ち凶濉Ａ嘘P(guān)鍵字組成的集合叫做“列族”,同一列族存放相同的類型的數(shù)據(jù)。列族必須先創(chuàng)建才能存放數(shù)據(jù)。一張表中的列族最多幾百個(gè),并且列族在運(yùn)行期間很少改變?！ち?。列關(guān)鍵字的命名語(yǔ)法為:列族:限定詞。列族的名字必須是可打印的字符串,而限定詞的名字可以是任意的字符串。例如上例中anchor為列族,與my.look.ca都是限定詞。再如,也可以有列族language,用來(lái)存放撰寫網(wǎng)頁(yè)的語(yǔ)言。在language列族中只使用一個(gè)列關(guān)鍵字,用來(lái)存放每個(gè)網(wǎng)頁(yè)的語(yǔ)言標(biāo)識(shí)ID?！r(shí)間戳。由于每一個(gè)數(shù)據(jù)項(xiàng)都可以有不同的版本(比如網(wǎng)頁(yè)經(jīng)常更新時(shí)就會(huì)產(chǎn)生不同版本),不同版本的數(shù)據(jù)通過(guò)時(shí)間戳來(lái)索引。時(shí)間戳的類型是64位整型。時(shí)間戳可以由BigTable或者用戶程序賦值,如果用戶不定義則使用當(dāng)前時(shí)間。不同版本的數(shù)據(jù)按照時(shí)間戳倒序排序,即最新的數(shù)據(jù)排在最前面,用戶可以指定只保存最后n個(gè)版本的數(shù)據(jù)?！ablet。BigTable又劃分出為多個(gè)Tablet,每個(gè)Tablet包括多個(gè)行,每個(gè)行可以動(dòng)態(tài)分區(qū)。一個(gè)Tablet大概有100-200MB,每個(gè)機(jī)器存儲(chǔ)100個(gè)左右的Tablet?！STable。BigTable使用GFS存儲(chǔ)日志文件和數(shù)據(jù)文件。存儲(chǔ)文件的格式為GoogleSSTable。SSTable使用關(guān)鍵字(key)到值(value)映射的數(shù)據(jù)結(jié)構(gòu),關(guān)鍵字和值都是任意的字符串。SSTable劃分為多個(gè)數(shù)據(jù)塊(數(shù)據(jù)塊大小可以配置,典型配置為64K),使用塊索引(通常存儲(chǔ)在SSTable的最后)來(lái)定位數(shù)據(jù)塊。在打開SSTable的時(shí)候,索引被加載到內(nèi)存,每次查找時(shí)先用二分查找法在內(nèi)存中的索引里找到數(shù)據(jù)塊的位置,然后再?gòu)挠脖P讀取相應(yīng)的數(shù)據(jù)塊。也可以選擇把整個(gè)SSTable都放在內(nèi)存中,這樣就不必訪問硬盤了?！hubby。BigTable采用了一個(gè)分布式鎖服務(wù)組件Chubby。一個(gè)Chubby服務(wù)包括5個(gè)活動(dòng)的副本,其中的一個(gè)副本被作為Master,只有在大多數(shù)副本都是正常運(yùn)行的,并且能夠互相通信的時(shí),Chubby服務(wù)才是可用的。3.2hbc的構(gòu)成HBase是Hadoop的正式子項(xiàng)目,它是一個(gè)面向列的分布式數(shù)據(jù)庫(kù),其思想源于Google的BigTable。HBase的索引是行關(guān)鍵字(rowkey)、列關(guān)鍵字(columnkey)和時(shí)間戳(timestamp)。表是疏松存儲(chǔ)的,用戶可以給行定義各種不同的列。所有行都按照詞典順序排序,每行由一個(gè)可排序的主鍵和任意數(shù)量的列構(gòu)成。HBase做寫操作時(shí),每一行都是一個(gè)原子元素,用戶訪問數(shù)據(jù)時(shí)給一行或者幾行數(shù)據(jù)加鎖。列名的格式為<family>:<label>,family必須是可打印的字符串,label是任意的字符串。每個(gè)表的family集合是固定不變的,只能通過(guò)改變表結(jié)構(gòu)來(lái)改變,label的值是可以改變的。HBase要求列族的個(gè)數(shù)小于100。HBase時(shí)間戳的概念類似于BigTable。HBase分為多個(gè)regions,類似于BigTable的tablet,Region大小是可配置的,默認(rèn)為256MB。HBase可以使用任何文件系統(tǒng),只要有該文件系統(tǒng)的代理或者驅(qū)動(dòng)即可,例如HDFS、S3、S3N、EBS。內(nèi)部存儲(chǔ)數(shù)據(jù)的文件的格式為Hfile,其中數(shù)據(jù)塊的大小是可配置的,典型配置是64K,使用塊索引來(lái)定位數(shù)據(jù)塊。HBase不支持存儲(chǔ)文件到內(nèi)存的映射。ZooKeeper被HBase用來(lái)協(xié)調(diào)任務(wù)并非當(dāng)成鎖服務(wù)。HBase使用ZooKeeper達(dá)到了BigTable使用Chubby的效果。HBase支持多個(gè)Master。4云存儲(chǔ)的應(yīng)用前景及挑戰(zhàn)我國(guó)對(duì)云存儲(chǔ)技術(shù)的研究處于剛剛起步階段,但云存儲(chǔ)已經(jīng)成為未來(lái)存儲(chǔ)方式發(fā)展的一種趨勢(shì)。在《中國(guó)云存儲(chǔ)服務(wù)報(bào)告,ChinaCloudStorageServicesReport》中指出未來(lái)5年,中國(guó)云存儲(chǔ)服務(wù)市場(chǎng)的年復(fù)合增長(zhǎng)率將達(dá)到103%,中型企業(yè)將成為中國(guó)第一輪大規(guī)模采用云存儲(chǔ)服務(wù)的企業(yè)。也有機(jī)構(gòu)預(yù)測(cè),到2013年,企業(yè)對(duì)私有云的投資會(huì)超過(guò)公有云,至少5:1。在云存儲(chǔ)時(shí)代,目前各個(gè)云存儲(chǔ)企業(yè)及研究機(jī)構(gòu)也正在將各類搜索、虛擬化等技術(shù)與云存儲(chǔ)相結(jié)合,從而能夠提供一系列的數(shù)據(jù)服務(wù)。云存儲(chǔ)相比普通的存儲(chǔ)技術(shù)有許多的優(yōu)勢(shì):普通企業(yè)需要投資很多才能構(gòu)建自己的數(shù)據(jù)中心,而云存儲(chǔ)服務(wù)商有專業(yè)的存儲(chǔ)解決方案,所以對(duì)于普通企業(yè)租用公共云存儲(chǔ)更合適。普通企業(yè)的數(shù)據(jù)中心通常不能應(yīng)對(duì)突發(fā)性的大訪問量,比如大型賽事的購(gòu)票系統(tǒng),但云存儲(chǔ)使用了服務(wù)器集群和虛擬化技術(shù),可以臨時(shí)調(diào)用集群中的各個(gè)設(shè)備。如果企業(yè)自己構(gòu)建數(shù)據(jù)中心,需要購(gòu)買各種設(shè)備管理軟件,負(fù)責(zé)設(shè)備和軟件的升級(jí)、維護(hù)及管理。使用云存儲(chǔ)服務(wù),則可以把這些工作交給專業(yè)的云存儲(chǔ)服務(wù)商來(lái)進(jìn)行。所以說(shuō)云存儲(chǔ)是未來(lái)存儲(chǔ)發(fā)展的一種趨勢(shì)。但是,云存儲(chǔ)的發(fā)展也面臨很多問題,這些問題不解決勢(shì)必會(huì)影響云存儲(chǔ)技術(shù)的發(fā)展及推廣應(yīng)用。由于數(shù)據(jù)存儲(chǔ)在云中,各個(gè)用戶都能訪問,因此保證數(shù)據(jù)的安全是首要問題。數(shù)據(jù)加密技術(shù)、數(shù)據(jù)備份等技術(shù)的應(yīng)用保證了數(shù)據(jù)的安全性。由于云的服務(wù)器及用戶分布在網(wǎng)絡(luò)中的各個(gè)地方,所有的數(shù)據(jù)都需要在網(wǎng)絡(luò)中傳輸。目前基本上是通過(guò)ADSL、DDN等寬帶接入設(shè)備的,只有帶寬充足了,才能提高傳輸速度,用戶才能更好的享受云存儲(chǔ)的服務(wù)。由于云服務(wù)器是各個(gè)云廠商提供的,分布廣泛且配置不同。當(dāng)用戶需要訪問數(shù)據(jù)時(shí),應(yīng)該能夠快速地找到,當(dāng)用戶存儲(chǔ)數(shù)據(jù)時(shí),應(yīng)該能夠把數(shù)據(jù)存放在合適的服務(wù)器中,而且必須解決服務(wù)器的故障等問題。這些都需要進(jìn)行管理。建設(shè)云數(shù)據(jù)中心需要大量的資金投入,對(duì)于我國(guó)國(guó)內(nèi)企業(yè)來(lái)說(shuō)還是一個(gè)很大的挑戰(zhàn),雖然國(guó)內(nèi)建設(shè)了部分的云數(shù)據(jù)中心,但由于用戶少,維護(hù)一個(gè)云數(shù)據(jù)中心也是一個(gè)挑戰(zhàn)。這些只是我國(guó)云存儲(chǔ)發(fā)展處于起步階段面臨的問題,隨著更多的廠商的加入及用戶的使用此問題便會(huì)迎刃而解。5核心領(lǐng)域的數(shù)據(jù)存儲(chǔ)及管理模式云計(jì)算是互聯(lián)網(wǎng)發(fā)展的必然產(chǎn)物,它的出現(xiàn)也為互聯(lián)網(wǎng)帶來(lái)了更豐富的應(yīng)用。云數(shù)據(jù)存