云存儲(chǔ)技術(shù)分析與應(yīng)用

云存儲(chǔ)技術(shù)分析與應(yīng)用第一頁(yè)，共63頁(yè)。傳統(tǒng)存儲(chǔ)技術(shù)壁壘傳統(tǒng)的塊存儲(chǔ)承載Oracle、MySQL等關(guān)系數(shù)據(jù)庫(kù)，在應(yīng)對(duì)大數(shù)據(jù)環(huán)境下高性能應(yīng)用系統(tǒng)，特別是超大規(guī)模和高并發(fā)的業(yè)務(wù)系統(tǒng)已經(jīng)顯得力不從心，暴露出很多難以克服的問(wèn)題:

1、傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)具有不錯(cuò)的性能，高穩(wěn)定型，久經(jīng)歷史考驗(yàn)，使用簡(jiǎn)單，功能強(qiáng)大，同時(shí)也積累了大量的成功案例。在互聯(lián)網(wǎng)界，因?yàn)槠溟_(kāi)源和出色的性能，MySQL作為很多網(wǎng)站數(shù)據(jù)管理的首選。但是，隨著網(wǎng)絡(luò)技術(shù)和軟件技術(shù)的飛速發(fā)展，網(wǎng)站開(kāi)始快速發(fā)展，近幾年比較火爆的論壇、博客、SNS、微博逐漸引領(lǐng)Web領(lǐng)域的潮流。隨著訪問(wèn)量的急劇上升，幾乎大部分使用傳統(tǒng)數(shù)據(jù)庫(kù)的網(wǎng)站都開(kāi)始出現(xiàn)了性能問(wèn)題。2、Web程序不再僅僅專注在功能上，同時(shí)也在追求性能，雖后來(lái)MySQL的集群技術(shù)和Memcache的緩存技術(shù)，使得MySql架構(gòu)在一段時(shí)間緩解性能的壓力，但最終還是因?yàn)槠鋽U(kuò)展性差(需要比較復(fù)雜的技術(shù)來(lái)實(shí)現(xiàn))，在承受大數(shù)據(jù)下的I/O壓力，面臨著很大的問(wèn)題。3、傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)并不能提供這些應(yīng)用所需要的高可擴(kuò)展性，新型的網(wǎng)絡(luò)應(yīng)用又不像金融等領(lǐng)域那樣需要嚴(yán)格的數(shù)據(jù)一致性和很強(qiáng)的事務(wù)特性，而是對(duì)海量數(shù)據(jù)的松散結(jié)構(gòu)表示以及可用性和可擴(kuò)展性提出了更高的要求，很多研究學(xué)者和互聯(lián)網(wǎng)公司早已開(kāi)始尋求新的數(shù)據(jù)存儲(chǔ)和管理架構(gòu)，并試著弱化數(shù)據(jù)管理系統(tǒng)在一致性和事務(wù)性方面的要求，向著系統(tǒng)可用性和可擴(kuò)展性方面努力，互聯(lián)網(wǎng)公司更是推出自己的產(chǎn)品，并成功運(yùn)用到自己的后端系統(tǒng)中。第二頁(yè)，共63頁(yè)。云存儲(chǔ)產(chǎn)生背景第一，對(duì)數(shù)據(jù)庫(kù)高并發(fā)讀寫(xiě)的需求。Web2.0應(yīng)用強(qiáng)調(diào)的是以用戶為主，需要根據(jù)用戶個(gè)性化信息來(lái)實(shí)時(shí)生成動(dòng)態(tài)頁(yè)面和提供動(dòng)態(tài)的信息，目前比較流行的微博就是如此，對(duì)數(shù)據(jù)庫(kù)的并發(fā)訪問(wèn)的負(fù)載就非常高，往往能達(dá)到每秒上萬(wàn)次的讀寫(xiě)請(qǐng)求，甚至更多。從已有的優(yōu)秀的數(shù)據(jù)庫(kù)產(chǎn)品看來(lái)，在應(yīng)付上萬(wàn)次SQL查詢還能勉強(qiáng)應(yīng)付，但是應(yīng)付上萬(wàn)次SQL寫(xiě)數(shù)據(jù)請(qǐng)求時(shí)，I/O成了瓶頸。

第二，對(duì)海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)的需求。以FACEBOOK為例，一個(gè)月就達(dá)到了2._5億條用戶動(dòng)態(tài)，對(duì)于關(guān)系數(shù)據(jù)庫(kù)來(lái)說(shuō)，在一張擁有2._5億條記錄的表里面進(jìn)行SQL查詢，效率是極其低下乃至無(wú)法忍受的。

第三，對(duì)數(shù)據(jù)庫(kù)的高可擴(kuò)展性和高可用性的需求。在基于Web的架構(gòu)中，數(shù)據(jù)庫(kù)是最難進(jìn)行橫向擴(kuò)展的，當(dāng)一個(gè)Web應(yīng)用的用戶量和訪問(wèn)量與口俱增的時(shí)，數(shù)據(jù)庫(kù)服務(wù)器卻沒(méi)辦法像WebServer那樣簡(jiǎn)單的通過(guò)更多的硬件和服務(wù)節(jié)點(diǎn)來(lái)進(jìn)行擴(kuò)展性能和分擔(dān)負(fù)載。很多需要不間斷提供服務(wù)的網(wǎng)站來(lái)說(shuō)，因?yàn)檫@樣的升級(jí)需要停機(jī)維護(hù)和數(shù)據(jù)遷移，對(duì)用戶體驗(yàn)值急劇降低。

第四，支持非結(jié)構(gòu)化數(shù)據(jù)的處理能力的需求。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的處理，對(duì)數(shù)據(jù)類型有比較明確的限制，只針對(duì)某些數(shù)據(jù)類型，如整型數(shù)字，字符及字符串等，對(duì)類似圖片，音視頻的非結(jié)構(gòu)化出具的支持不夠第三頁(yè)，共63頁(yè)。

存儲(chǔ)類型匯報(bào)目錄

1

塊存儲(chǔ)2分布式文件存儲(chǔ)33對(duì)象存儲(chǔ)34表存儲(chǔ)35數(shù)據(jù)遷移策略36第四頁(yè)，共63頁(yè)。存儲(chǔ)類型存儲(chǔ)類型分布式文件存儲(chǔ)對(duì)象存儲(chǔ)直接附加存儲(chǔ)DAS塊存儲(chǔ)表存儲(chǔ)存儲(chǔ)域網(wǎng)絡(luò)SANIPSANFCSAN網(wǎng)絡(luò)附加存儲(chǔ)NAS日志詳單類存儲(chǔ)NoSQL存儲(chǔ)Google文件系統(tǒng)GFSHadoop分布式文件系統(tǒng)OLTP關(guān)系數(shù)據(jù)庫(kù)OLAP數(shù)據(jù)倉(cāng)庫(kù)BC-oNestAmazonS3BigTableHBase第五頁(yè)，共63頁(yè)。匯報(bào)目錄

存儲(chǔ)類型1

塊存儲(chǔ)2分布式文件存儲(chǔ)33對(duì)象存儲(chǔ)34表存儲(chǔ)35數(shù)據(jù)遷移策略36第六頁(yè)，共63頁(yè)。塊存儲(chǔ)技術(shù)（1）塊存儲(chǔ)將存儲(chǔ)區(qū)域劃分成固定大小的小塊，是傳統(tǒng)裸存儲(chǔ)設(shè)備的存儲(chǔ)空間對(duì)外暴露方式。塊存儲(chǔ)系統(tǒng)將大量磁盤(pán)設(shè)備通過(guò)SCSI/SAS或FCSAN與存儲(chǔ)服務(wù)器連接，服務(wù)器直接通過(guò)SCSI/SAS或FC協(xié)議控制和訪問(wèn)數(shù)據(jù)。塊存儲(chǔ)方式不存在數(shù)據(jù)打包/解包過(guò)程，可提供更高的性能。系統(tǒng)目標(biāo)：為現(xiàn)有各種應(yīng)用提供通用的存儲(chǔ)能力在云計(jì)算環(huán)境下，塊存儲(chǔ)設(shè)備面臨著分布式環(huán)境數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊存儲(chǔ)節(jié)點(diǎn)2數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊存儲(chǔ)節(jié)點(diǎn)1索引節(jié)點(diǎn)直接索引1直接索引2直接索引3直接索引4直接索引5直接索引6目錄索引目錄索引數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊存儲(chǔ)節(jié)點(diǎn)傳統(tǒng)設(shè)備的塊存儲(chǔ)面向的是單一的物理設(shè)備第七頁(yè)，共63頁(yè)。塊存儲(chǔ)技術(shù)（2）塊存儲(chǔ)主要適用場(chǎng)景基于傳統(tǒng)的磁盤(pán)陣列實(shí)現(xiàn)，對(duì)外提供標(biāo)準(zhǔn)的FC或iSCSI協(xié)議數(shù)據(jù)訪問(wèn)特點(diǎn)：延遲低、帶寬較高、但可擴(kuò)展性差應(yīng)用系統(tǒng)跟存儲(chǔ)系統(tǒng)耦合程度緊密以卷的方式掛載到主機(jī)操作系統(tǒng)后，可格式化文件系統(tǒng)，或以裸數(shù)據(jù)或文件系統(tǒng)的方式作為數(shù)據(jù)庫(kù)的存儲(chǔ)塊存儲(chǔ)技術(shù)特點(diǎn)為一些高性能，高IO的企業(yè)關(guān)鍵業(yè)務(wù)系統(tǒng)（如企業(yè)內(nèi)部數(shù)據(jù)庫(kù)）提供存儲(chǔ)。塊存儲(chǔ)本身可以通過(guò)多個(gè)設(shè)備堆疊出更大的空間，但受限于數(shù)據(jù)庫(kù)的能力，通常只能支持TB級(jí)數(shù)據(jù)庫(kù)應(yīng)用可為虛擬機(jī)提供集中存儲(chǔ)，包括鏡像和實(shí)例的存儲(chǔ)第八頁(yè)，共63頁(yè)。塊存儲(chǔ)技術(shù)（3）塊存儲(chǔ)主要包括DAS和SAN兩種存儲(chǔ)方式直接附加存儲(chǔ)DAS以主機(jī)為中心，將外部的數(shù)據(jù)存儲(chǔ)設(shè)備通過(guò)SISC/IDE/ATA等I/O總線直接連接到服務(wù)器上，使數(shù)據(jù)存儲(chǔ)設(shè)備是服務(wù)器結(jié)構(gòu)一部分。SAN采用塊數(shù)據(jù)組織，通過(guò)可伸縮的高速專用存儲(chǔ)網(wǎng)絡(luò)互連不同類型的存儲(chǔ)設(shè)備和服務(wù)器，提供內(nèi)部任意節(jié)點(diǎn)間多路可選擇的數(shù)據(jù)交換。應(yīng)用服務(wù)器文件系統(tǒng)SCSI，F(xiàn)CJBOD應(yīng)用服務(wù)器文件系統(tǒng)光纖交換機(jī)RAIDRAID第九頁(yè)，共63頁(yè)。塊存儲(chǔ)技術(shù)（4）優(yōu)點(diǎn)缺點(diǎn)DAS設(shè)備成本低廉，實(shí)施簡(jiǎn)單通過(guò)磁盤(pán)陣列技術(shù)，可將多塊硬盤(pán)在邏輯上組合成一塊硬盤(pán)，實(shí)現(xiàn)大容量的存儲(chǔ)不能提供不同操作系統(tǒng)下的文件共享存儲(chǔ)容量受限I/O總線支持的設(shè)備數(shù)量服務(wù)器發(fā)生故障時(shí)，數(shù)據(jù)不可訪問(wèn)數(shù)據(jù)備份操作非常復(fù)雜SAN可實(shí)現(xiàn)大容量存儲(chǔ)設(shè)備數(shù)據(jù)共享可實(shí)現(xiàn)高速計(jì)算機(jī)和高速存儲(chǔ)設(shè)備的高速互聯(lián)可實(shí)現(xiàn)數(shù)據(jù)高效快速集中備份建設(shè)成本和能耗高，部署復(fù)雜單獨(dú)建立光纖網(wǎng)絡(luò)，異地?cái)U(kuò)展比較困難互操作性差，數(shù)據(jù)無(wú)法共享元數(shù)據(jù)服務(wù)器會(huì)成為性能瓶頸適用場(chǎng)景DAS服務(wù)器在地理分布上很分散，通過(guò)SAN或NAS在它們之間進(jìn)行互連非常困難既要求數(shù)據(jù)的集中管理，又要求最大限度的降低數(shù)據(jù)的管理成本許多數(shù)據(jù)庫(kù)應(yīng)用和應(yīng)用服務(wù)器在內(nèi)的應(yīng)用，它們需要直接連接到存儲(chǔ)器上SAN與其它計(jì)算資源緊密集群來(lái)實(shí)現(xiàn)遠(yuǎn)程備份和檔案存儲(chǔ)過(guò)程磁盤(pán)鏡像、備份與恢復(fù)、檔案數(shù)據(jù)的存檔和檢索、存儲(chǔ)設(shè)備間的數(shù)據(jù)遷移以及網(wǎng)絡(luò)中不同服務(wù)器間的數(shù)據(jù)共享等用于合并子網(wǎng)和網(wǎng)絡(luò)附接存儲(chǔ)系統(tǒng)第十頁(yè)，共63頁(yè)。塊存儲(chǔ)產(chǎn)品-EMCDataDomainEMCDataDomain是一種采用重復(fù)數(shù)據(jù)消除技術(shù)的面向大數(shù)據(jù)備份的備份云重復(fù)刪除方式在線重復(fù)刪除重復(fù)刪除模式變長(zhǎng)重復(fù)刪除數(shù)據(jù)復(fù)制技術(shù)1:N，N:1，雙向多級(jí)RAID組盤(pán)方式RAID6多級(jí)數(shù)據(jù)校驗(yàn)完全數(shù)據(jù)協(xié)議VTL全局重復(fù)刪除支持對(duì)備份軟件的支持支持幾乎所有主流備份軟件第十一頁(yè)，共63頁(yè)。塊存儲(chǔ)產(chǎn)品-IBMXIVIBMXIV存儲(chǔ)系統(tǒng)是一款創(chuàng)新的創(chuàng)新的高端開(kāi)放式網(wǎng)格塊存儲(chǔ)磁盤(pán)存儲(chǔ)系統(tǒng)系統(tǒng)特點(diǎn)高可靠/可用性持續(xù)的高性能極佳的管理性全部?jī)?nèi)置的企業(yè)功能最佳性價(jià)比技術(shù)架構(gòu)采用大規(guī)模并行的分布式網(wǎng)格存儲(chǔ)技術(shù)使用了橫向擴(kuò)展的存儲(chǔ)架構(gòu)利用多路網(wǎng)格模塊并行分擔(dān)存儲(chǔ)負(fù)荷通過(guò)細(xì)粒度數(shù)據(jù)分布算法保證數(shù)據(jù)的恒定均衡分布第十二頁(yè)，共63頁(yè)。塊存儲(chǔ)產(chǎn)品-華賽Oceanspace華賽OceanspaceS6800T存儲(chǔ)系統(tǒng)是面向企業(yè)級(jí)高端存儲(chǔ)應(yīng)用的新一代產(chǎn)品主要特點(diǎn)高性能，高擴(kuò)展性高可靠，高可用性高效、靈活、簡(jiǎn)單綠色節(jié)能技術(shù)架構(gòu)以業(yè)界領(lǐng)先的硬件規(guī)格為支撐，融合了高密磁盤(pán)設(shè)計(jì)TurboModule高密度I/O模塊及熱插拔設(shè)計(jì)TurboBoost三級(jí)性能加速技術(shù)多重?cái)?shù)據(jù)保護(hù)等高端技術(shù)滿足大型數(shù)據(jù)庫(kù)OLTP/OLAP，高性能計(jì)算，數(shù)字媒體，互聯(lián)網(wǎng)運(yùn)營(yíng)，集中存儲(chǔ)，備份，容災(zāi)，數(shù)據(jù)遷移等不同業(yè)務(wù)應(yīng)用的需求第十三頁(yè)，共63頁(yè)。云存儲(chǔ)關(guān)鍵技術(shù)容災(zāi)備份重復(fù)數(shù)據(jù)刪除定義在相隔較遠(yuǎn)的異地，建立兩套或多套功能相同的IT系統(tǒng)，互相之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換，當(dāng)一處系統(tǒng)因意外（如火災(zāi)、地震等）停止工作時(shí)，整個(gè)應(yīng)用系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作關(guān)鍵技術(shù)包括數(shù)據(jù)備份技術(shù)、數(shù)據(jù)復(fù)制技術(shù)和數(shù)據(jù)管理技術(shù)等，應(yīng)用容災(zāi)包括災(zāi)難檢測(cè)技術(shù)、系統(tǒng)遷移技術(shù)和系統(tǒng)恢復(fù)技術(shù)等定義是一項(xiàng)存儲(chǔ)優(yōu)化技術(shù)，可以消除冗余數(shù)據(jù)的多個(gè)副本并且僅存儲(chǔ)唯一的數(shù)據(jù)，從而減少數(shù)據(jù)占用的空間主流廠商采用方法基于散列（Hash）的方法基于內(nèi)容識(shí)別的重復(fù)刪除DiligentTechnologies用于ProtecTierVTL的技術(shù)第十四頁(yè)，共63頁(yè)。南基IDC管理域塊存儲(chǔ)應(yīng)用現(xiàn)狀I(lǐng)DC管理域存儲(chǔ)資源池劃分為三個(gè)功能池，分別是低性能存儲(chǔ)資源池（IBMDS5020）、高性能存儲(chǔ)資源池（IBMDS5300-生產(chǎn)）、備份存儲(chǔ)資源池(IBMDS5300-備份)設(shè)備名稱功能模塊硬件配置數(shù)量備注磁盤(pán)陣列實(shí)時(shí)生產(chǎn)用DS5300（48個(gè)600GFC盤(pán)）1新增實(shí)時(shí)生產(chǎn)用DS5020（14個(gè)600GFC盤(pán)）1利舊600GFC盤(pán)5新增備份存儲(chǔ)DS5300（32個(gè)2TSATA盤(pán)）1新增第十五頁(yè)，共63頁(yè)。匯報(bào)目錄

存儲(chǔ)類型1

塊存儲(chǔ)2

分布式文件存儲(chǔ)33對(duì)象存儲(chǔ)34表存儲(chǔ)35數(shù)據(jù)遷移策略36第十六頁(yè)，共63頁(yè)。分布式文件存儲(chǔ)文件存儲(chǔ)以標(biāo)準(zhǔn)文件系統(tǒng)接口形式向應(yīng)用系統(tǒng)提供海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)空間。分布式文件系統(tǒng)把分布在局域網(wǎng)內(nèi)各個(gè)計(jì)算機(jī)上的共享文件夾集合成一個(gè)虛擬共享文件夾，將整個(gè)分布式文件資源以統(tǒng)一的試圖呈現(xiàn)給用戶。它對(duì)用戶和應(yīng)用程序屏蔽各個(gè)節(jié)點(diǎn)計(jì)算機(jī)底層文件系統(tǒng)的差異，提供用戶方便的管理資源的手段或統(tǒng)一的訪問(wèn)接口。分布式文件系統(tǒng)的出現(xiàn)很好的滿足互聯(lián)網(wǎng)信息不斷增長(zhǎng)的需求，并為上層構(gòu)建實(shí)時(shí)性更高，更易使用的結(jié)構(gòu)化存儲(chǔ)系統(tǒng)提供有效的數(shù)據(jù)管理的支持。在催生了許多分布式數(shù)據(jù)庫(kù)產(chǎn)品的同時(shí)，也促使分布式存儲(chǔ)技術(shù)不斷的發(fā)展和成熟。技術(shù)特點(diǎn)提供NFS/CIFS/POSIX等文件訪問(wèn)接口協(xié)議開(kāi)銷較高、響應(yīng)延遲較塊存儲(chǔ)長(zhǎng)應(yīng)用系統(tǒng)跟存儲(chǔ)系統(tǒng)的耦合程度中等存儲(chǔ)能力和性能水平擴(kuò)展適用場(chǎng)景適合TB~PB級(jí)文件存儲(chǔ)，可支持文件頻繁修改和刪除。例如圖片、文件、視頻、郵件附件、MMS的存儲(chǔ)海量數(shù)據(jù)存儲(chǔ)及系統(tǒng)負(fù)載的轉(zhuǎn)移文件在線備份文件共享第十七頁(yè)，共63頁(yè)。傳統(tǒng)分布式文件系統(tǒng)NAS技術(shù)特點(diǎn)應(yīng)用服務(wù)器以太網(wǎng)交換機(jī)文件系統(tǒng)RAID文件系統(tǒng)RAID網(wǎng)絡(luò)附件存儲(chǔ)NAS是一種文件網(wǎng)絡(luò)存儲(chǔ)結(jié)構(gòu)，通過(guò)以太網(wǎng)及其他標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)將存儲(chǔ)設(shè)備連接到許多計(jì)算機(jī)上，建立專用于數(shù)據(jù)存儲(chǔ)的存儲(chǔ)內(nèi)部網(wǎng)絡(luò)文件協(xié)議支持NFS和CIFS網(wǎng)絡(luò)文件協(xié)議連接方式百兆/千兆以太網(wǎng)主要功能細(xì)顆粒度數(shù)據(jù)共享及跨平臺(tái)文件共享存儲(chǔ)擴(kuò)展高達(dá)數(shù)百TB，不停機(jī)適用場(chǎng)景商業(yè)或企業(yè)級(jí)數(shù)據(jù)共享；高性能計(jì)算或技術(shù)計(jì)算優(yōu)點(diǎn)易于管理，節(jié)約成本缺點(diǎn)系統(tǒng)（包括存儲(chǔ)容量和性能）擴(kuò)展性差SAN和NAS的區(qū)別：SAN是網(wǎng)絡(luò)上的磁盤(pán)陣列，NAS是一個(gè)網(wǎng)絡(luò)上的文件系統(tǒng)。SAN其實(shí)是一個(gè)網(wǎng)絡(luò)，但這個(gè)網(wǎng)絡(luò)里包含各種各樣的元素，主機(jī)、適配器、網(wǎng)絡(luò)交換機(jī)、磁盤(pán)陣列等。所以NAS通常是一個(gè)以以太網(wǎng)連接的遠(yuǎn)程服務(wù)器集群的文件系統(tǒng)，而SAN是一個(gè)以高速子網(wǎng)（比如說(shuō)光纖網(wǎng)絡(luò)FC）所連接的網(wǎng)絡(luò)磁盤(pán)陣列。第十八頁(yè)，共63頁(yè)。分布式文件系統(tǒng)-GFSGFS是Google公司為了存儲(chǔ)海量搜索數(shù)據(jù)而設(shè)計(jì)的專用文件系統(tǒng)。GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用GFSClient（客戶端）GFS集群Master（主服務(wù)器）ChunkSever（數(shù)據(jù)庫(kù)服務(wù)器）Client：GFS提供給應(yīng)用程序的接口，不遵守POSIX規(guī)范以庫(kù)文件形式提供Master：GFS的管理節(jié)點(diǎn)，主要存儲(chǔ)與數(shù)據(jù)文件相關(guān)的元數(shù)據(jù)ChunkSever：負(fù)責(zé)具體的存儲(chǔ)工作，用來(lái)存儲(chǔ)Chunk第十九頁(yè)，共63頁(yè)。分布式文件系統(tǒng)-HDFSHDFS（HadoopDistributed）是運(yùn)行在通用硬件上的分布式文件系統(tǒng)，提供了一個(gè)高度容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)解決方案HDFSNameNode（Master服務(wù)器）DataNode（Slave服務(wù)器）NameNode功能處理來(lái)自客戶端的文件訪問(wèn)處理來(lái)自客戶端的文件訪問(wèn)負(fù)責(zé)數(shù)據(jù)塊到數(shù)據(jù)節(jié)點(diǎn)之間的映射DataNode功能管理掛載在節(jié)點(diǎn)上的存儲(chǔ)設(shè)備響應(yīng)客戶端的讀寫(xiě)請(qǐng)求在NameNode的統(tǒng)一調(diào)度下創(chuàng)建、刪除和復(fù)制數(shù)據(jù)塊第二十頁(yè)，共63頁(yè)。GFS和HDFS對(duì)比相同點(diǎn)采用單一主控機(jī)+多臺(tái)工作機(jī)的模式，由一臺(tái)主控機(jī)(Master)存儲(chǔ)系統(tǒng)全部元數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)的分布、復(fù)制、備份決策通過(guò)數(shù)據(jù)分塊和復(fù)制（多副本，一般是3）來(lái)提供更高的可靠性和更高的性能提供了一個(gè)樹(shù)結(jié)構(gòu)的文件系統(tǒng)，實(shí)現(xiàn)了類似與Linux下的文件復(fù)制、改名、移動(dòng)、創(chuàng)建、刪除操作以及簡(jiǎn)單的權(quán)限管理等不同點(diǎn)多客戶端并發(fā)Append模型GFS允許文件被多次或者多個(gè)客戶端同時(shí)打開(kāi)以追加數(shù)據(jù)，以記錄為單位HDFS文件只允許一次打開(kāi)并追加數(shù)據(jù)Master單點(diǎn)失效的處理GFS中采用主從模式備份Master的系統(tǒng)元數(shù)據(jù)，當(dāng)主Master失效時(shí)，通過(guò)分布式選舉備機(jī)接替主Master繼續(xù)對(duì)外提供服務(wù)HDFSMaster的持久化數(shù)據(jù)只寫(xiě)入到本機(jī)，出現(xiàn)故障時(shí)需要人工介入對(duì)快照的支持GFS通過(guò)內(nèi)部采用copy-on-write的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)集群快照功能HDFS不提供快照功能第二十一頁(yè)，共63頁(yè)。分布式文件存儲(chǔ)產(chǎn)品-EMCiSlionEMCiSlion是一種面向海量文件處理的存儲(chǔ)云存儲(chǔ)類型分布式文件存儲(chǔ)支持協(xié)議支持NFSv3(UDPorTCP),CIFS,FTP,HTTP等訪問(wèn)協(xié)議接口節(jié)點(diǎn)最小3節(jié)點(diǎn)，最大96節(jié)點(diǎn)應(yīng)用場(chǎng)景面向海量文件處理的存儲(chǔ)優(yōu)點(diǎn)強(qiáng)大的擴(kuò)展性，不可比擬的性能，統(tǒng)一的可分層的架構(gòu)，長(zhǎng)期保留以及簡(jiǎn)單管理數(shù)據(jù)遷移方式AutoBalance能在新節(jié)點(diǎn)加入時(shí)自動(dòng)重新分布數(shù)據(jù)以最大限度利用集群的所有節(jié)點(diǎn)，不需要停機(jī)、修改應(yīng)用系統(tǒng)或者手工干預(yù)存儲(chǔ)擴(kuò)展單節(jié)點(diǎn)容量最大6TB第二十二頁(yè)，共63頁(yè)。分布式文件存儲(chǔ)產(chǎn)品-IBMSONAS優(yōu)點(diǎn)整合多個(gè)單獨(dú)的文件系統(tǒng)，提高存儲(chǔ)系統(tǒng)的利用率和短期ROI；采用加節(jié)點(diǎn)的擴(kuò)容方式，提高長(zhǎng)期ROI；采用標(biāo)準(zhǔn)和開(kāi)發(fā)的結(jié)構(gòu)；缺點(diǎn)采購(gòu)成本高數(shù)據(jù)遷移方式采用以文件為單位的數(shù)據(jù)遷移方式，通過(guò)后臺(tái)的Infiniband交換機(jī)完成，對(duì)前端業(yè)務(wù)沒(méi)有任何影響存儲(chǔ)擴(kuò)展存儲(chǔ)池可為1~30個(gè)，每個(gè)存儲(chǔ)池可包含60~240塊磁盤(pán)，最大可達(dá)7200塊磁盤(pán)，最大容量可達(dá)14.4PB裸容量IBMSONAS是以GPFS并行文件系統(tǒng)為核心的橫向擴(kuò)展文件型存儲(chǔ)解決方案存儲(chǔ)類型基于分布式文件系統(tǒng)，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)支持協(xié)議CIFS、NFS、SCP、FTP和HTTP等接口節(jié)點(diǎn)最小2節(jié)點(diǎn)，最大30節(jié)點(diǎn)應(yīng)用場(chǎng)景適合大型組織和機(jī)構(gòu)，如數(shù)字媒體，高性能分析，能源與地理學(xué)科，汽車(chē)、航空及電子設(shè)計(jì)等領(lǐng)域第二十三頁(yè)，共63頁(yè)。分布式文件存儲(chǔ)產(chǎn)品-華為CSS應(yīng)用場(chǎng)景應(yīng)用于文件服務(wù)和備份、流媒體、數(shù)字化視頻監(jiān)控、行為分析、日志監(jiān)控、歷史數(shù)據(jù)檢索、數(shù)據(jù)挖掘等領(lǐng)域優(yōu)點(diǎn)支持多重?cái)?shù)據(jù)保護(hù)；分布式架構(gòu)確保標(biāo)準(zhǔn)存儲(chǔ)節(jié)點(diǎn)和元數(shù)據(jù)節(jié)點(diǎn)無(wú)瓶頸，，支持高并發(fā)、高帶寬；智能化的全系統(tǒng)無(wú)損升級(jí)和擴(kuò)容；性能統(tǒng)計(jì)及智能分析；基于策略的無(wú)損負(fù)載均衡；節(jié)點(diǎn)即插即用存儲(chǔ)擴(kuò)展Scale-out擴(kuò)展方式，系統(tǒng)容量可從TB級(jí)平滑擴(kuò)展到100PB級(jí)華為CloudstorCSS云存儲(chǔ)系統(tǒng)是一款集先進(jìn)的分布式系統(tǒng)、智能化的資源調(diào)度能力和管理能力于一體的數(shù)據(jù)存儲(chǔ)系統(tǒng)存儲(chǔ)類型分布式文件系統(tǒng)(非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ))分布式數(shù)據(jù)庫(kù)(結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ))支持協(xié)議POSIX、NFS/CIFS、簡(jiǎn)化SQL等接口節(jié)點(diǎn)最小2節(jié)點(diǎn)，最大30節(jié)點(diǎn)第二十四頁(yè)，共63頁(yè)。云存儲(chǔ)關(guān)鍵技術(shù)（1）MapReduce模型Hadoop框架定義MapReduce是Google提出的一個(gè)軟件框架，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算主要思想Map（映射）和Reduce（化簡(jiǎn)）及其主要思想從函數(shù)式編程語(yǔ)言借來(lái)的，還有從矢量編程語(yǔ)言借來(lái)的特性當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組定義Hadoop是Apache開(kāi)源組織的一個(gè)分布式計(jì)算框架，能夠以一種可靠、高效、可伸縮的方式對(duì)大量數(shù)據(jù)進(jìn)行分布式處理核心核心是HDFS、MapReduce和HBase，它們分別是Google云計(jì)算最核心技術(shù)GFS、MapReduce和Bigtable的開(kāi)源實(shí)現(xiàn)第二十五頁(yè)，共63頁(yè)。云存儲(chǔ)關(guān)鍵技術(shù)（2）分布式一致性分布式鎖管理GoogleChubby系統(tǒng)架構(gòu)定義分布式一致性指在分布式系統(tǒng)中不論數(shù)據(jù)存放在何處,作為一個(gè)整體他們應(yīng)是完整和一致的主要解決方法兩步提交（two-phasecommit）協(xié)議、三步提交（Three-phasecommit）協(xié)議、復(fù)制服務(wù)器（Duplicateserver）等定義分布式鎖是實(shí)現(xiàn)一致性的一種方法，分布式鎖管理（DLM）可以為集群系統(tǒng)中的相互操作的進(jìn)程提供同步訪問(wèn)共享資源的機(jī)制。為了有效地同步訪問(wèn)集群中的共享資源，應(yīng)用程序必須使用DLM編程接口來(lái)控制資源的訪問(wèn)鎖模式空、并發(fā)讀、并發(fā)寫(xiě)、保護(hù)讀、保護(hù)寫(xiě)、獨(dú)占第二十六頁(yè)，共63頁(yè)。匯報(bào)目錄

存儲(chǔ)類型1塊存儲(chǔ)2分布式文件存儲(chǔ)33

對(duì)象存儲(chǔ)34表存儲(chǔ)35數(shù)據(jù)遷移策略36第二十七頁(yè)，共63頁(yè)。對(duì)象存儲(chǔ)技術(shù)（1）對(duì)象存儲(chǔ)為海量非結(jié)構(gòu)化數(shù)據(jù)提供Key-Value這種通過(guò)鍵-值查找數(shù)據(jù)文件的存儲(chǔ)模式，提供了基于對(duì)象的訪問(wèn)接口，有效地合并了NAS和SAN的存儲(chǔ)結(jié)構(gòu)優(yōu)勢(shì)，通過(guò)高層次的抽象具有NAS的跨平臺(tái)共享數(shù)據(jù)和基于策略的安全訪問(wèn)優(yōu)點(diǎn)，支持直接訪問(wèn)具有SAN的高性能和交換網(wǎng)絡(luò)結(jié)構(gòu)的可伸縮性。系統(tǒng)目標(biāo)：對(duì)象存儲(chǔ)系統(tǒng)是互聯(lián)網(wǎng)發(fā)明的小文件存儲(chǔ)系統(tǒng)技術(shù)特點(diǎn)訪問(wèn)接口簡(jiǎn)單，提供REST/SOAP接口協(xié)議開(kāi)銷高、響應(yīng)延遲較文件存儲(chǔ)長(zhǎng)引入對(duì)象元數(shù)據(jù)描述對(duì)象特征應(yīng)用系統(tǒng)跟存儲(chǔ)系統(tǒng)的耦合程度松散支持一次寫(xiě)多次讀第二十八頁(yè)，共63頁(yè)。對(duì)象存儲(chǔ)技術(shù)（2）對(duì)象是介于文件和塊之間的一種抽象，具有唯一的ID標(biāo)識(shí)符。對(duì)象提供類似文件的訪問(wèn)方法，如創(chuàng)建、打開(kāi)、讀寫(xiě)和關(guān)閉等。每個(gè)對(duì)象是一系列有序字節(jié)的集合，是數(shù)據(jù)和數(shù)據(jù)屬性集的綜合體。數(shù)據(jù)包括自身的元數(shù)據(jù)和用戶數(shù)據(jù)。數(shù)據(jù)屬性可以根據(jù)應(yīng)用的需求進(jìn)行設(shè)置，包括數(shù)據(jù)分布、服務(wù)質(zhì)量等。對(duì)象維護(hù)自己的屬性，簡(jiǎn)化了存儲(chǔ)系統(tǒng)的管理任務(wù)，增加了靈活性。對(duì)象分為根對(duì)象，組對(duì)象和用戶對(duì)象。對(duì)象特點(diǎn)對(duì)象存儲(chǔ)系統(tǒng)組成部分對(duì)象（Object）：對(duì)象存儲(chǔ)的基本單元對(duì)象存儲(chǔ)設(shè)備（OSD）：對(duì)象存儲(chǔ)系統(tǒng)的核心文件系統(tǒng)：文件系統(tǒng)對(duì)用戶的文件操作進(jìn)行解釋，并在元數(shù)據(jù)服務(wù)器和對(duì)象存儲(chǔ)設(shè)備間通信，完成所請(qǐng)求的操作。元數(shù)據(jù)服務(wù)器（MDS）：為客戶端提供元數(shù)據(jù)網(wǎng)絡(luò)連接：對(duì)象存儲(chǔ)系統(tǒng)的重要組成部分。第二十九頁(yè)，共63頁(yè)。對(duì)象存儲(chǔ)適用場(chǎng)景對(duì)象存儲(chǔ)適用場(chǎng)景云存儲(chǔ)供應(yīng)商：對(duì)象存儲(chǔ)使得“混合云”和“私有云”成為可能高性能計(jì)算領(lǐng)域：提供了一個(gè)帶有NAS系統(tǒng)的傳統(tǒng)的文件共享和管理特征的單系統(tǒng)映象文件系統(tǒng)，并改進(jìn)了SAN的資源整合和可擴(kuò)展的性能企業(yè)級(jí)應(yīng)用：對(duì)象存儲(chǔ)是企業(yè)能夠以低成本的簡(jiǎn)易方式實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)和訪問(wèn)的方案大數(shù)據(jù)應(yīng)用：對(duì)象存儲(chǔ)系統(tǒng)對(duì)于文件索引所容納的條目數(shù)量不受限制數(shù)據(jù)備份或歸檔：以互聯(lián)網(wǎng)服務(wù)的方式進(jìn)行廣域歸檔或遠(yuǎn)程數(shù)據(jù)備份對(duì)象存儲(chǔ)適用業(yè)務(wù)大型流數(shù)據(jù)存儲(chǔ)對(duì)象（如視頻與音頻流媒體數(shù)據(jù)）中型存儲(chǔ)對(duì)象（如遙感圖像數(shù)據(jù)、圖片數(shù)據(jù)等）小型存儲(chǔ)對(duì)象（如一般矢量GIS數(shù)據(jù)、文本屬性和DEM數(shù)據(jù)等）第三十頁(yè)，共63頁(yè)。對(duì)象存儲(chǔ)系統(tǒng)-oNest系統(tǒng)oNest系統(tǒng)架構(gòu)oNest系統(tǒng)是一個(gè)用于存儲(chǔ)和管理海量對(duì)象的云存儲(chǔ)系統(tǒng)。系統(tǒng)實(shí)現(xiàn)了跨數(shù)據(jù)中心的海量對(duì)象存儲(chǔ)和備份邏輯，對(duì)外提供REST，SOAP以及NativeAPI等訪問(wèn)接口，是適用于互聯(lián)網(wǎng)和企業(yè)用戶的數(shù)據(jù)存儲(chǔ)系統(tǒng)，具備向大規(guī)模用戶和大企業(yè)提供存儲(chǔ)服務(wù)的能力oNest系統(tǒng)由若干個(gè)Region組成每個(gè)Region由按照地理位置劃分的一個(gè)或多個(gè)數(shù)據(jù)中心組成每個(gè)數(shù)據(jù)中心由一個(gè)master進(jìn)行管理，部署一個(gè)或多個(gè)AZ隸屬于相同Region的AZ通過(guò)高速網(wǎng)絡(luò)連接存儲(chǔ)Object時(shí)，由全局DNS服務(wù)器根據(jù)地理鄰近原則選擇Region和AZ第三十一頁(yè)，共63頁(yè)。對(duì)象存儲(chǔ)服務(wù)-AmazonS3S3三個(gè)基本概念：對(duì)象、鍵和桶簡(jiǎn)單存儲(chǔ)服務(wù)S3構(gòu)建在Dynamo架構(gòu)基礎(chǔ)之上，其采用面向?qū)ο蟮拇鎯?chǔ)方式S3存儲(chǔ)架構(gòu)對(duì)象基本存儲(chǔ)單元由數(shù)據(jù)和元數(shù)據(jù)組成元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)元數(shù)據(jù)是通過(guò)一對(duì)鍵—值集合來(lái)定義的鍵對(duì)象的唯一標(biāo)識(shí)符桶用來(lái)存儲(chǔ)對(duì)象的容器S3的每個(gè)用戶限制最多創(chuàng)建100個(gè)桶不限制每個(gè)桶中對(duì)象的數(shù)量桶不可以被嵌套桶的名稱是全局唯一的第三十二頁(yè)，共63頁(yè)。大數(shù)據(jù)管理關(guān)鍵技術(shù)

在大規(guī)模的分布式數(shù)據(jù)管理系統(tǒng)中，數(shù)據(jù)的劃分策略直接影響系統(tǒng)的擴(kuò)展性和性能，分布式環(huán)境下，數(shù)據(jù)的管理和存儲(chǔ)都需要協(xié)調(diào)多個(gè)服務(wù)器節(jié)點(diǎn)來(lái)進(jìn)行，為提高系統(tǒng)的整體性能和避免某個(gè)節(jié)點(diǎn)負(fù)載過(guò)高，系統(tǒng)必須在客戶端請(qǐng)求到來(lái)是及時(shí)的進(jìn)行合理的分發(fā)。目前，主流的分布式數(shù)據(jù)庫(kù)系統(tǒng)在數(shù)據(jù)劃分的策略方面主要有順序均分和哈希一映射兩種方式。同的服務(wù)器節(jié)點(diǎn)上去，使系統(tǒng)各節(jié)點(diǎn)的負(fù)載較均衡。BigTable和HBase就是采用的順序均分的策略進(jìn)行數(shù)據(jù)劃分，這種劃分策略能有效的利用系統(tǒng)資源，也易擴(kuò)展系統(tǒng)的規(guī)模。Cassandra和Dynam。采取的一致哈希一的方式進(jìn)行數(shù)據(jù)劃分，保證了數(shù)據(jù)能均勻的散列到各存儲(chǔ)節(jié)點(diǎn)上，避免了系統(tǒng)出現(xiàn)單點(diǎn)負(fù)載較高的情況，這種方式也能提供良好的擴(kuò)展性。

負(fù)載均衡是分布式系統(tǒng)需要解決的關(guān)鍵問(wèn)題。分布式數(shù)據(jù)管理系統(tǒng)中，負(fù)載均衡主要包括數(shù)據(jù)均勻的散列，和訪問(wèn)請(qǐng)求產(chǎn)生的負(fù)載能均勻分擔(dān)在各服務(wù)節(jié)點(diǎn)上，實(shí)際中這兩者很難同時(shí)滿足，用戶訪問(wèn)請(qǐng)求的不可預(yù)測(cè)性可能導(dǎo)致某些節(jié)點(diǎn)過(guò)熱。

Dynamo采用虛擬節(jié)點(diǎn)技術(shù)，將負(fù)載較大的虛擬節(jié)點(diǎn)映射到服務(wù)能力較強(qiáng)的物理節(jié)點(diǎn)上來(lái)達(dá)到系統(tǒng)的負(fù)載均衡，這也使服務(wù)能力較強(qiáng)的物理節(jié)點(diǎn)在集群的哈希一環(huán)上占有多個(gè)虛擬節(jié)點(diǎn)的位置，避免了負(fù)載均衡策略導(dǎo)致數(shù)據(jù)在全環(huán)的移動(dòng)。HBase通過(guò)主控節(jié)點(diǎn)監(jiān)控其他每個(gè)RegionServer的負(fù)載狀況，通過(guò)Region的劃分和遷移來(lái)達(dá)到系統(tǒng)的負(fù)載均衡。第三十三頁(yè)，共63頁(yè)。對(duì)象存儲(chǔ)產(chǎn)品-EMCAtomsEMCAtmos是一種面向海量?jī)?nèi)容存儲(chǔ)的分布式對(duì)象存儲(chǔ)云存儲(chǔ)類型分布式對(duì)象存儲(chǔ)支持協(xié)議將web服務(wù)API(REST/SOAP)用于基于Internet的應(yīng)用程序，將舊式協(xié)議(CIFS/NFS/IFS)用于基于文件的系統(tǒng)接口節(jié)點(diǎn)系統(tǒng)容量分別有：60TB、480TB和720TB，全部基于x86服務(wù)器應(yīng)用場(chǎng)景適合于企業(yè)IT部門(mén)、大型Internet、電信服務(wù)提供商建立企業(yè)自己的云架構(gòu)優(yōu)點(diǎn)自動(dòng)配置、自我修復(fù)數(shù)據(jù)遷移方式采用VPLEX實(shí)現(xiàn)數(shù)據(jù)遷移存儲(chǔ)擴(kuò)展PB級(jí)（15PB）第三十四頁(yè)，共63頁(yè)。對(duì)象存儲(chǔ)產(chǎn)品-華為UDS華為UDS海量存儲(chǔ)系統(tǒng)是基于ARM架構(gòu)的低功耗、高密度存儲(chǔ)節(jié)點(diǎn)，通過(guò)對(duì)象存儲(chǔ)技術(shù)、P2P分布式存儲(chǔ)引擎技術(shù)、集群應(yīng)用技術(shù)等構(gòu)建的海量對(duì)象存儲(chǔ)基礎(chǔ)架構(gòu)平臺(tái)主要功能對(duì)外提供各種類型文件的存儲(chǔ)、共享服務(wù)，支撐海量資源池、集中活躍歸檔、集中備份等云存儲(chǔ)解決方案，共同提供如在線備份、網(wǎng)盤(pán)、空間租賃、異地容災(zāi)等應(yīng)用應(yīng)用場(chǎng)景互連網(wǎng)服務(wù)商提供公有云服務(wù)，需要大容量低成本的海量存儲(chǔ)資源池；電信運(yùn)營(yíng)商提供空間租賃、網(wǎng)盤(pán)業(yè)務(wù)運(yùn)營(yíng)，需要可擴(kuò)展性強(qiáng)、可靠性高、易管理的海量存儲(chǔ)資源池存儲(chǔ)擴(kuò)展Scale-out架構(gòu)，EB級(jí)擴(kuò)展關(guān)鍵技術(shù)無(wú)狀態(tài)的控制節(jié)點(diǎn)集群；分布式、自組織的存儲(chǔ)節(jié)點(diǎn)；無(wú)瓶頸的海量元數(shù)據(jù)存儲(chǔ)；SoD分布式哈希算法(DHT)；基于P2P的數(shù)據(jù)自愈機(jī)制關(guān)鍵特性EB級(jí)擴(kuò)展；安全可靠；高效融合第三十五頁(yè)，共63頁(yè)。南方基地BC-oNest部署結(jié)構(gòu)服務(wù)器分配指標(biāo)Hbase集群60臺(tái)，磁盤(pán)共享AAAmaster和AAAslave各1臺(tái)OAS/Flumenode/memcached集群共用9臺(tái)Flumemaster1臺(tái)Zookeeper集群7臺(tái)DataStorage集群300臺(tái)統(tǒng)計(jì)集群regionstat和azstat各1臺(tái)Licenseserver集群，healer集群和OAS集群每臺(tái)服務(wù)器1個(gè)，AAAslave、regionstat和azstat各1個(gè)Console服務(wù)器1臺(tái)第三十六頁(yè)，共63頁(yè)。匯報(bào)目錄

存儲(chǔ)類型1塊存儲(chǔ)2分布式文件存儲(chǔ)33對(duì)象存儲(chǔ)34

表存儲(chǔ)35數(shù)據(jù)遷移策略36第三十七頁(yè)，共63頁(yè)。傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)壁壘1、傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)強(qiáng)調(diào)的ACID特性即原子性，最典型的就是關(guān)系數(shù)據(jù)庫(kù)事務(wù)一致性，目前很多web實(shí)時(shí)應(yīng)用系統(tǒng)并不要求嚴(yán)格的數(shù)據(jù)庫(kù)事務(wù)特性，對(duì)讀一致性的要求很低，有些場(chǎng)合對(duì)寫(xiě)一致性要求也不高，因此數(shù)據(jù)庫(kù)事務(wù)管理成了數(shù)據(jù)庫(kù)高負(fù)載下的一個(gè)沉重負(fù)擔(dān)，也限制了關(guān)系數(shù)據(jù)庫(kù)向著擴(kuò)展性和分布式方向的發(fā)展。2、傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)中的表都是存儲(chǔ)經(jīng)過(guò)串行化的數(shù)據(jù)結(jié)構(gòu)，每個(gè)字段構(gòu)成都一樣，即使某些某些字段為空，但數(shù)據(jù)庫(kù)管理系統(tǒng)會(huì)為每個(gè)元組分配所有字段的存儲(chǔ)空間，這也是關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)的一個(gè)限制性能提升的瓶頸。3、分布式表存儲(chǔ)以鍵值對(duì)的形式進(jìn)行存儲(chǔ)，它的結(jié)構(gòu)靈活，不像關(guān)系數(shù)據(jù)庫(kù)那樣每個(gè)有固定的字段數(shù)，每個(gè)元組可以有自己不一樣的字段構(gòu)成，也可以根據(jù)需要增加一些自己所特有的鍵值對(duì)，這樣每個(gè)結(jié)構(gòu)就很靈活，可以動(dòng)態(tài)調(diào)整，減少一些不必要的處理時(shí)間和空間開(kāi)銷。第三十八頁(yè)，共63頁(yè)。表存儲(chǔ)技術(shù)（1）表存儲(chǔ)系統(tǒng)用來(lái)存儲(chǔ)和管理結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)，向應(yīng)用系統(tǒng)提供高可擴(kuò)展的表存儲(chǔ)空間，包括交易型數(shù)據(jù)庫(kù)和分析型數(shù)據(jù)庫(kù)。NoSQL是設(shè)計(jì)滿足超大規(guī)模數(shù)據(jù)存儲(chǔ)需求的分布式存儲(chǔ)系統(tǒng)，沒(méi)有固定的Schema，不支持join操作，通過(guò)“向外擴(kuò)展”的方式提高系統(tǒng)負(fù)載能力。系統(tǒng)目標(biāo)：管理結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)交易型分析型TB~PB級(jí)NoSQL存儲(chǔ)日志詳單類存儲(chǔ)TB級(jí)OLTP關(guān)系數(shù)據(jù)庫(kù)OLAP數(shù)據(jù)倉(cāng)庫(kù)交易型數(shù)據(jù)特點(diǎn)：每次更新或查找少量記錄，并發(fā)量大，響應(yīng)時(shí)間短分析型數(shù)據(jù)特點(diǎn)：更新少，批量導(dǎo)入，每次針對(duì)大量數(shù)據(jù)進(jìn)行處理，并發(fā)量小第三十九頁(yè)，共63頁(yè)。表存儲(chǔ)技術(shù)（2）表存儲(chǔ)技術(shù)特點(diǎn)和適用場(chǎng)景技術(shù)特點(diǎn)適用場(chǎng)景NoSQL存儲(chǔ)KV存儲(chǔ)，通常不支持SQL、只有主索引、半結(jié)構(gòu)化大規(guī)模互聯(lián)網(wǎng)社交網(wǎng)絡(luò)、博客、微博等日志詳單類存儲(chǔ)兼容SQL、索引通常只對(duì)單表有效、多表Join需掃描，支持MapReduce并行計(jì)算大規(guī)模日志存儲(chǔ)處理、信令系統(tǒng)處理、經(jīng)分系統(tǒng)ETL等OLTP關(guān)系數(shù)據(jù)庫(kù)支持標(biāo)準(zhǔn)SQL、多表join、索引、事務(wù)計(jì)費(fèi)系統(tǒng)、在線交易系統(tǒng)等OLAP數(shù)據(jù)倉(cāng)庫(kù)支持標(biāo)準(zhǔn)SQL、多表Join、索引中等規(guī)模日志存儲(chǔ)處理、經(jīng)分系統(tǒng)等第四十頁(yè)，共63頁(yè)。主流NoSQL技術(shù)介紹1、Cassandra是一個(gè)用來(lái)管理分布在大量廉價(jià)服務(wù)器上的海量結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，借鑒了Amazon的Dynam。的系統(tǒng)架構(gòu)，采用基于P2P的去中心化的數(shù)據(jù)管理系統(tǒng)，數(shù)據(jù)按照鍵值(Key-Value)對(duì)的形式進(jìn)行組織。Cassandra中，系統(tǒng)中的每個(gè)節(jié)點(diǎn)是對(duì)等的，能夠通過(guò)網(wǎng)絡(luò)通信的方式感知其他節(jié)點(diǎn)的狀態(tài)，可以通過(guò)任意一個(gè)節(jié)點(diǎn)訪問(wèn)系統(tǒng)中存儲(chǔ)的數(shù)據(jù)，沒(méi)有單點(diǎn)失效的問(wèn)題。支持的數(shù)據(jù)結(jié)構(gòu)非常松散、靈活，不需要預(yù)先指定數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，可以動(dòng)態(tài)的增加或刪除字段，支持key上的范圍查詢，具有高可用，可擴(kuò)展性的特點(diǎn)。

2、MongoDB的主要目標(biāo)是在Key-Value存儲(chǔ)方式以及傳統(tǒng)的RDBMS系統(tǒng)(豐富的功能)之間架起一座橋梁，集兩者的優(yōu)勢(shì)于一身。是一種采用二進(jìn)制的JSON即BSON數(shù)據(jù)模型，面向文檔的NoSql數(shù)據(jù)庫(kù)，MongoDB采用C++語(yǔ)言進(jìn)行和二進(jìn)制的數(shù)據(jù)存儲(chǔ)格式，因此具有很高的性能和可擴(kuò)展性，相比一般的鍵值存儲(chǔ)，MongoDB具有更豐富的功能。能以更高效、更靈活的方式實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)所提供的功能。3、Redis本質(zhì)上是通過(guò)一個(gè)鍵值(Key-Value)存儲(chǔ)的、與Memcached類似NoSQL(非關(guān)系型數(shù)據(jù)庫(kù))型數(shù)據(jù)庫(kù)，NoSQL存儲(chǔ)數(shù)據(jù)并沒(méi)有固定的表結(jié)構(gòu)，通常也沒(méi)有連接操作。第四十一頁(yè)，共63頁(yè)。主流NoSQL技術(shù)特點(diǎn)分析1、Redis是一個(gè)key-value存儲(chǔ)系統(tǒng)，功能和Memcached類似，但其讀寫(xiě)性能比Memcached高出幾倍，適合小數(shù)據(jù)的存儲(chǔ)讀寫(xiě)。此外Redis單個(gè)value的最大限制是1GB，不像memcached只能保存1MB的數(shù)據(jù)。2、MongoDB是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的產(chǎn)品，適用與大量數(shù)據(jù)下高頻次讀操作。它最大的特點(diǎn)是它支持的查詢語(yǔ)言非常強(qiáng)大。根據(jù)官方的文檔，當(dāng)數(shù)據(jù)量達(dá)到50GB以上的時(shí)候，Mongo的數(shù)據(jù)庫(kù)訪問(wèn)速度是MySQL的10倍以上。3、Cassandra，在讀數(shù)據(jù)方面性能并不十分出色，但寫(xiě)性能優(yōu)異。對(duì)Cassandra的一個(gè)寫(xiě)操作，會(huì)被復(fù)制到其他節(jié)點(diǎn)上去，容易擴(kuò)展，適合進(jìn)行大量數(shù)據(jù)的寫(xiě)入多點(diǎn)備份。第四十二頁(yè)，共63頁(yè)。某省網(wǎng)管系統(tǒng)現(xiàn)狀設(shè)備種類多，多個(gè)系統(tǒng)都使用各自的存儲(chǔ)系統(tǒng)，多方維護(hù)人員共同維護(hù)系統(tǒng)的正常存儲(chǔ)與備份，造成了不必要的開(kāi)支。而且隨著網(wǎng)管中心業(yè)務(wù)系統(tǒng)增加，還需采購(gòu)更多設(shè)備，IT系統(tǒng)越來(lái)越復(fù)雜，系統(tǒng)維保成本自然也水漲船高，給經(jīng)營(yíng)帶來(lái)了額外的壓力。用戶數(shù)量達(dá)到幾千萬(wàn)人，需要存儲(chǔ)各種信息及其備份信息。為了確?？煽啃?，各種數(shù)據(jù)一般都有2個(gè)備份，這無(wú)疑又成倍的增加了數(shù)據(jù)存儲(chǔ)量。目前存儲(chǔ)在MySQL中的數(shù)據(jù)，存儲(chǔ)和訪問(wèn)速度的效率較低，難以滿足高效率存儲(chǔ)和高訪問(wèn)速度的要求?，F(xiàn)有網(wǎng)管子系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)性能要求不一，如動(dòng)環(huán)監(jiān)控系統(tǒng)對(duì)數(shù)據(jù)讀寫(xiě)性能要求極高。而單一的MySQL存儲(chǔ)模式在海量數(shù)據(jù)中的查詢功能越來(lái)越不能滿足其需要。搭建一個(gè)網(wǎng)管中心集中存儲(chǔ)平臺(tái)，將中心各子系統(tǒng)的儲(chǔ)存設(shè)備全部納入到集中存儲(chǔ)平臺(tái)中，統(tǒng)一管理，統(tǒng)一接入。第四十三頁(yè)，共63頁(yè)。某省移動(dòng)網(wǎng)管系統(tǒng)表存儲(chǔ)應(yīng)用狀況網(wǎng)管子系統(tǒng)數(shù)據(jù)量讀寫(xiě)頻率讀性能要求寫(xiě)性能要求選用系統(tǒng)動(dòng)環(huán)監(jiān)控小高高高RedisOMC小高高高Redis話務(wù)網(wǎng)管大較高高—MongoDB網(wǎng)優(yōu)系統(tǒng)大中等高—MongoDB傳輸網(wǎng)管大較高高—MongoDB投訴系統(tǒng)大中等高—MongoDB電子運(yùn)維系統(tǒng)大中等—高CassandraRedis本質(zhì)上是通過(guò)一個(gè)鍵值存儲(chǔ)的、與Memeaehed類似的NoSQL(非關(guān)系型數(shù)據(jù)庫(kù))型數(shù)據(jù)庫(kù)，具有小數(shù)據(jù)塊高讀寫(xiě)性能MongoDB介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的數(shù)據(jù)庫(kù)產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫(kù)的高性能、開(kāi)源、無(wú)模式的文檔型數(shù)據(jù)庫(kù)，具有大量數(shù)據(jù)存儲(chǔ)能力和存儲(chǔ)數(shù)據(jù)高效讀性能Cssandra使用了BigTable的數(shù)據(jù)模型，是一種面向列的數(shù)據(jù)庫(kù)，具有優(yōu)異的數(shù)據(jù)寫(xiě)功能第四十四頁(yè)，共63頁(yè)。表存儲(chǔ)系統(tǒng)-BigTableBigTable是Google設(shè)計(jì)的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，用來(lái)處理海量的數(shù)據(jù)的一種非關(guān)系型的數(shù)據(jù)庫(kù)。本質(zhì)上說(shuō)，Bigtable是一個(gè)鍵-值（key-value）映射系統(tǒng)特點(diǎn)適合大規(guī)模海量數(shù)據(jù)，PB級(jí)數(shù)據(jù)分布式、并發(fā)數(shù)據(jù)處理，效率極高易于擴(kuò)展，支持動(dòng)態(tài)伸縮適用于廉價(jià)設(shè)備適合于讀操作，不適合寫(xiě)操作不適用于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)BigTable的數(shù)據(jù)模型BigTable的鍵包括行鍵、列鍵和時(shí)間戳第四十五頁(yè)，共63頁(yè)。表存儲(chǔ)系統(tǒng)-HBaseHBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群，基于列存儲(chǔ)的鍵值對(duì)NoSQL數(shù)據(jù)庫(kù)系統(tǒng)。采用Java語(yǔ)言實(shí)現(xiàn)的，HBase表結(jié)構(gòu)是一個(gè)稀疏的、多維度的、排序的映射表。客戶端以表格為單位，進(jìn)行數(shù)據(jù)的存儲(chǔ)，每一行都有一個(gè)關(guān)鍵字作為行在HBase的唯一標(biāo)識(shí)，表數(shù)據(jù)采用稀疏的存儲(chǔ)模式，因此同一張表的不同行可能有截然不同的列。一般通過(guò)行主鍵和列關(guān)鍵字和時(shí)間戳來(lái)訪問(wèn)表中的數(shù)據(jù)單元。HBase是Bigtable的開(kāi)源實(shí)現(xiàn)HBase利用HadoopHDFS作為文件存儲(chǔ)系統(tǒng)HBase利用HadoopMapReduce來(lái)處理HBase中的海量數(shù)據(jù)HBase利用Zookeeper作為協(xié)同服務(wù)第四十六頁(yè)，共63頁(yè)。表存儲(chǔ)技術(shù)（3）NoSQL數(shù)據(jù)庫(kù)分類類型主要產(chǎn)品特點(diǎn)列存儲(chǔ)HbaseCassandraHypertable顧名思義，是按列存儲(chǔ)數(shù)據(jù)的。最大的特點(diǎn)是方便存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對(duì)針對(duì)某一列或者某幾列的查詢有非常大的IO優(yōu)勢(shì)。文檔存儲(chǔ)MongoDBCouchDB文檔存儲(chǔ)一般用類似json的格式存儲(chǔ)，存儲(chǔ)的內(nèi)容是文檔型的。這樣也就有有機(jī)會(huì)對(duì)某些字段建立索引，實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)的某些功能。Key-Value存儲(chǔ)TCabinet/TyrantBerkeleyDBMemcacheDBRedis可以通過(guò)key快速查詢到其value。一般來(lái)說(shuō)，存儲(chǔ)不管value的格式，照單全收。（Redis包含了其他功能）圖存儲(chǔ)Neo4JFlockDB圖形關(guān)系的最佳存儲(chǔ)。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)來(lái)解決的話性能低下，而且設(shè)計(jì)使用不方便。對(duì)象存儲(chǔ)db4oVersant通過(guò)類似面向?qū)ο笳Z(yǔ)言的語(yǔ)法操作數(shù)據(jù)庫(kù)，通過(guò)對(duì)象的方式存取數(shù)據(jù)。XML數(shù)據(jù)庫(kù)BerkeleyDBXMLBaseX高效的存儲(chǔ)XML數(shù)據(jù)，并支持XML的內(nèi)部查詢語(yǔ)法，比如XQuery,Xpath。第四十七頁(yè)，共63頁(yè)。表存儲(chǔ)技術(shù)（4）典型NoSQL數(shù)據(jù)庫(kù)適用場(chǎng)景數(shù)據(jù)庫(kù)最佳適用適用場(chǎng)景Cassandra寫(xiě)操作較多，讀比較少的時(shí)候。如果你的系統(tǒng)都是基于Java的時(shí)候主要應(yīng)用場(chǎng)景包括：銀行、金融行業(yè)、數(shù)據(jù)分析。應(yīng)用于FacebookMongoDB主要支持海量數(shù)據(jù)存儲(chǔ)，動(dòng)態(tài)查詢，定義索引，針對(duì)大數(shù)據(jù)庫(kù)的高性能使用，大容量磁盤(pán)空間。適用于：網(wǎng)站數(shù)據(jù)、緩存、大尺寸，低價(jià)值的數(shù)據(jù)、高伸縮性的場(chǎng)景、用于對(duì)象及JSON數(shù)據(jù)的存儲(chǔ)Redis在數(shù)據(jù)庫(kù)大小可預(yù)見(jiàn)的前提下，適用于數(shù)據(jù)變化速度快的應(yīng)用較小數(shù)據(jù)量的高性能操作和運(yùn)算上，包括：股價(jià)系統(tǒng)、數(shù)據(jù)分析、實(shí)時(shí)數(shù)據(jù)采集以及實(shí)時(shí)通信場(chǎng)景CouchD對(duì)于數(shù)據(jù)變化不太頻繁的業(yè)務(wù)，運(yùn)行有預(yù)先定義的查詢。此外對(duì)于版本控制有高要求的業(yè)務(wù)同樣適用CRM、CMS系統(tǒng)等HBase類似于BigTable，需要隨即、實(shí)時(shí)的讀寫(xiě)大數(shù)據(jù)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)，如：Facebook網(wǎng)站、郵件數(shù)據(jù)庫(kù)等第四十八頁(yè)，共63頁(yè)。表存儲(chǔ)產(chǎn)品-EMCGreenplumEMCGreenplum是面向大數(shù)據(jù)分析和復(fù)雜查詢的云架構(gòu)技術(shù)特點(diǎn)無(wú)共享MPP架構(gòu)開(kāi)放硬件平臺(tái)高級(jí)負(fù)載管理在線系統(tǒng)擴(kuò)容支持按列存儲(chǔ)和按行存儲(chǔ)支持SQL2003及OLAP性能和加載能力線性擴(kuò)展PipelinedinterconnectDAS容錯(cuò)支持表分區(qū)和索引Greenplum基本架構(gòu)第四十九頁(yè)，共63頁(yè)。不同存儲(chǔ)技術(shù)的對(duì)比

分布式對(duì)象存儲(chǔ)分布式文件存儲(chǔ)塊存儲(chǔ)NoSQL存儲(chǔ)存儲(chǔ)單位對(duì)象，就是帶客戶化元數(shù)據(jù)的文件文件數(shù)據(jù)塊文檔更新方式不支持就地更新，通過(guò)建立新的對(duì)象版本進(jìn)行更新支持就地更新支持就地更新很少更新協(xié)議通過(guò)HTTP的REST和SOAPCIFS和NFSSCSI，F(xiàn)iberChannel和SATAApache協(xié)議，HTTP/REST元數(shù)據(jù)支持支持客戶化元數(shù)據(jù)固有的文件系統(tǒng)屬性固有的系統(tǒng)屬性固有的文件系統(tǒng)屬性最佳應(yīng)用場(chǎng)景相對(duì)靜態(tài)的文件數(shù)據(jù)和云存儲(chǔ)共享文件數(shù)據(jù)交易數(shù)據(jù)和頻繁變化的數(shù)據(jù)非關(guān)系型數(shù)據(jù)存儲(chǔ)，適用于海量數(shù)據(jù)存儲(chǔ)和OLTP的應(yīng)用場(chǎng)景最大優(yōu)勢(shì)擴(kuò)展性和分布式訪問(wèn)簡(jiǎn)單的共享文件訪問(wèn)和管理高性能易擴(kuò)展、靈活的數(shù)據(jù)模型、高可用、大數(shù)據(jù)量，高性能制約因素不適合頻繁變化的交易數(shù)據(jù)；不提供基于鎖機(jī)制的共享協(xié)議很難擴(kuò)展到數(shù)據(jù)中心之外的范疇很難擴(kuò)展到數(shù)據(jù)中心之外的范疇很難實(shí)現(xiàn)數(shù)據(jù)的完整性；缺乏強(qiáng)有力的技術(shù)支持等第五十頁(yè)，共63頁(yè)。中國(guó)移動(dòng)私有云涉及的存儲(chǔ)類型FC-SAN塊存儲(chǔ)分布式文件存儲(chǔ)對(duì)象存儲(chǔ)NoSQL數(shù)據(jù)庫(kù)日志詳單類存儲(chǔ)特點(diǎn)高速數(shù)據(jù)存儲(chǔ)POSIX/CIFS/NFS/FTP,分布式高并發(fā)，易擴(kuò)展HTTPKey-value存儲(chǔ)，APISQL數(shù)據(jù)庫(kù)簡(jiǎn)化SQL語(yǔ)義、MapReduce數(shù)據(jù)類型非結(jié)構(gòu)化非結(jié)構(gòu)化非結(jié)構(gòu)化半結(jié)構(gòu)化結(jié)構(gòu)化數(shù)據(jù)規(guī)模TB級(jí)TB~PB級(jí)PB級(jí)TB~PB級(jí)PB級(jí)應(yīng)用場(chǎng)景直接使用裸卷的數(shù)據(jù)庫(kù)傳統(tǒng)NAS應(yīng)用，可隨機(jī)讀寫(xiě)、文件在線備份、文件共享。適合于面向Web的海量只讀性數(shù)據(jù)存儲(chǔ)交易型，不需要復(fù)雜系統(tǒng)查詢，查詢速度要求快，存放數(shù)據(jù)量大，高并發(fā)訪問(wèn)，特別是只需返回最近的結(jié)果的應(yīng)用分析型，依賴于數(shù)據(jù)表組織數(shù)據(jù)的數(shù)據(jù)庫(kù)，共享高并發(fā)訪問(wèn)的應(yīng)用第五十一頁(yè)，共63頁(yè)。匯報(bào)目錄

存儲(chǔ)類型1

塊存儲(chǔ)2分布式文件存儲(chǔ)33對(duì)象存儲(chǔ)34表存儲(chǔ)35

數(shù)據(jù)遷移策略36第五十二頁(yè)，共63頁(yè)。存儲(chǔ)類型選擇存儲(chǔ)類型選擇從業(yè)務(wù)類型和存儲(chǔ)接口進(jìn)行分類接口類型業(yè)務(wù)類型文件接口IPTV、視訊基地等對(duì)象接口互聯(lián)網(wǎng)業(yè)務(wù)、備份等數(shù)據(jù)庫(kù)接口大數(shù)據(jù)分析、OLAP等云存儲(chǔ)的引入選擇有代表性業(yè)務(wù)（例如集中備份等）先試點(diǎn)，然后逐步推進(jìn)第五十三頁(yè)，共63頁(yè)。數(shù)據(jù)遷移原則確保數(shù)據(jù)安全性在技術(shù)允許的條件下，要絕對(duì)保證數(shù)據(jù)的安全性，要絕對(duì)避免數(shù)據(jù)損失、丟失等風(fēng)險(xiǎn)確保數(shù)據(jù)一致性在數(shù)據(jù)遷移的過(guò)程中要保證數(shù)據(jù)一致性，一定要避免數(shù)據(jù)遷移后系統(tǒng)無(wú)法正常啟動(dòng)等風(fēng)險(xiǎn)的出現(xiàn)確?，F(xiàn)有主機(jī)正常工作在數(shù)據(jù)遷移過(guò)程中，要盡量避免給主機(jī)帶來(lái)不必要的風(fēng)險(xiǎn)，造成業(yè)務(wù)系統(tǒng)非計(jì)劃宕機(jī)確保停機(jī)時(shí)間最短在數(shù)據(jù)遷移過(guò)程中，業(yè)務(wù)系統(tǒng)停機(jī)是不可避免的，但是應(yīng)該盡量縮短停機(jī)時(shí)間分步驟實(shí)施由于數(shù)據(jù)中心主機(jī)數(shù)量較多，數(shù)據(jù)量大，所以數(shù)據(jù)遷移必須分階段實(shí)施，數(shù)據(jù)遷移方案也應(yīng)該給出不同階段的工作量由專業(yè)人員進(jìn)行數(shù)據(jù)遷移為了確保數(shù)據(jù)遷移的安全、可靠并最終成功，所有數(shù)據(jù)遷移所涉及的到設(shè)備廠商必須由原廠商工程師實(shí)際操作數(shù)據(jù)向存儲(chǔ)的遷移必須嚴(yán)格遵守下列遷移原則，確保數(shù)據(jù)遷移順利完成第五十四頁(yè)，共63頁(yè)。數(shù)據(jù)遷移過(guò)程PlanningandDesignIntegrationImplementationandTestingDocumentationandFunctionalOverview評(píng)估（格式、環(huán)境及遷移影響）數(shù)據(jù)遷移技術(shù)選擇數(shù)據(jù)遷移細(xì)節(jié)計(jì)劃/回退計(jì)劃數(shù)據(jù)遷移環(huán)境監(jiān)理數(shù)據(jù)遷移時(shí)間預(yù)算/業(yè)務(wù)影響分析測(cè)試驗(yàn)證數(shù)據(jù)遷移遷移有效性測(cè)試系統(tǒng)切換測(cè)試文檔數(shù)據(jù)檢驗(yàn)階段集成測(cè)試階段評(píng)估設(shè)計(jì)階段項(xiàng)目初始化階段項(xiàng)目技術(shù)訪問(wèn)階段數(shù)據(jù)收集階段分析數(shù)據(jù)階段制定數(shù)據(jù)遷移計(jì)劃階段總結(jié)回顧階段遷移前測(cè)試和演習(xí)階段數(shù)據(jù)遷移階段遷移后測(cè)試階段總結(jié)回顧階段檢驗(yàn)層面數(shù)據(jù)同步的判斷標(biāo)準(zhǔn)存儲(chǔ)層參與復(fù)制的每個(gè)磁盤(pán)鏡像對(duì)處于同步狀態(tài)OS層相關(guān)VG可以正常激活數(shù)據(jù)庫(kù)層數(shù)據(jù)庫(kù)可以正常啟動(dòng)應(yīng)用層數(shù)據(jù)遷移前后的統(tǒng)計(jì)信息是一致的第五十五頁(yè)，共63頁(yè)。數(shù)據(jù)遷移方法數(shù)據(jù)遷移基于主機(jī)層面的遷移基于存儲(chǔ)層面的遷移利用主機(jī)上的卷管理器進(jìn)行數(shù)據(jù)鏡像數(shù)據(jù)庫(kù)導(dǎo)入導(dǎo)出數(shù)據(jù)備份與恢復(fù)利用存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)復(fù)制工具進(jìn)行數(shù)據(jù)遷移第五十六頁(yè)，共63頁(yè)?；谥鳈C(jī)的數(shù)據(jù)遷移卷鏡像軟件EMCOpenMigrator/LMUNIX環(huán)境采用邏輯卷管理器中的擴(kuò)展邏輯卷鏡像Wind