存儲(chǔ)基礎(chǔ)知識(shí)2_應(yīng)用與存儲(chǔ).

1、第一部分：存儲(chǔ)應(yīng)用第二部分：OS與存儲(chǔ)快照備份生命周期管理存儲(chǔ)虛擬化容災(zāi)存儲(chǔ)應(yīng)用存儲(chǔ)的應(yīng)用存儲(chǔ)的應(yīng)用從數(shù)據(jù)保護(hù)說(shuō)起從數(shù)據(jù)保護(hù)說(shuō)起 每個(gè)企業(yè)都在大量的使用計(jì)算機(jī)處理自己的核心數(shù)據(jù)，這些數(shù)據(jù)往往是企業(yè)生產(chǎn)經(jīng)營(yíng)必不可少的部分。依賴(lài)這些數(shù)據(jù)的計(jì)算機(jī)系統(tǒng)的停機(jī)往往會(huì)造成企業(yè)生產(chǎn)經(jīng)營(yíng)活動(dòng)的停頓，給企業(yè)造成巨大的損失。所以，可以說(shuō)，這些數(shù)據(jù)是企業(yè)的生命核心。企業(yè)的IT管理員為了保證生產(chǎn)經(jīng)營(yíng)活動(dòng)的持續(xù)運(yùn)行 數(shù)據(jù)丟失的原因硬件故障 RAID也會(huì)損壞病毒入侵人為操作應(yīng)用錯(cuò)誤自然災(zāi)難快照快照 關(guān)于指定數(shù)據(jù)集合的一個(gè)完全可用拷貝，該拷貝包括相應(yīng)數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)（拷貝開(kāi)始的時(shí)間點(diǎn)）的映像?？煺湛梢允瞧渌硎镜臄?shù)據(jù)的一個(gè)

2、副本，也可以是數(shù)據(jù)的一個(gè)復(fù)制品。 快照是指向保存在存儲(chǔ)設(shè)備中的數(shù)據(jù)的引用標(biāo)記或指針?？梢岳斫鉃椋嚎煺沼悬c(diǎn)像是詳細(xì)的目錄表，但它被計(jì)算機(jī)作為完整的數(shù)據(jù)備份來(lái)對(duì)待。 分割鏡像快照分割鏡像快照 分割鏡像快照（Splitting a mirror）寫(xiě)操作寫(xiě)操作鏡像子系統(tǒng)鏡像子系統(tǒng)（存儲(chǔ)陣列，邏輯卷管理器，虛擬化設(shè)備）（存儲(chǔ)陣列，邏輯卷管理器，虛擬化設(shè)備）源源鏡像鏡像寫(xiě)操作寫(xiě)操作鏡像子系統(tǒng)鏡像子系統(tǒng)（存儲(chǔ)陣列，邏輯卷管理器，虛擬化設(shè)備）（存儲(chǔ)陣列，邏輯卷管理器，虛擬化設(shè)備）鏡像關(guān)系終止鏡像關(guān)系終止源源鏡像鏡像快照代理保證數(shù)據(jù)一致性快照代理保證數(shù)據(jù)一致性 database consistency 快照的數(shù)

3、據(jù)一致性問(wèn)題業(yè)界大多數(shù)的存儲(chǔ)系統(tǒng)在做快照時(shí)，都僅僅是對(duì)磁盤(pán)中的數(shù)據(jù)進(jìn)行快照操作，而沒(méi)有顧及服務(wù)器緩存中的數(shù)據(jù)。因此，經(jīng)常發(fā)現(xiàn)快照出來(lái)的數(shù)據(jù)“不對(duì)”，與預(yù)期中的數(shù)據(jù)不一致。在存儲(chǔ)設(shè)備執(zhí)行數(shù)據(jù)快照操作時(shí)，必須同時(shí)兼顧磁盤(pán)和緩存中的數(shù)據(jù)，才能?chē)?yán)格保證數(shù)據(jù)的一致性。 保證快照數(shù)據(jù)一致性的方法接口調(diào)用：部分存儲(chǔ)廠商提供編程接口，在主機(jī)端放置手動(dòng)編寫(xiě)的腳本程序。做數(shù)據(jù)快照時(shí)，通過(guò)腳本調(diào)用數(shù)據(jù)庫(kù)的接口，將緩存“刷”到磁盤(pán)上，以此保證數(shù)據(jù)一致性?？煺沾恚荷贁?shù)廠商提供完全自動(dòng)化的快照代理程序，針對(duì)不同的客戶(hù)端應(yīng)用，比如Oracle、SQL Server、Exchange、Notes等，在客戶(hù)端安裝不同的快照代

4、理程序，與應(yīng)用程序進(jìn)行聯(lián)動(dòng)，保證各種存儲(chǔ)服務(wù)運(yùn)行時(shí)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的一致性和完整性。備份系統(tǒng)構(gòu)成和架構(gòu)備份系統(tǒng)構(gòu)成和架構(gòu)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)LAN備份設(shè)備備份服務(wù)器備份客戶(hù)機(jī)工作站業(yè)務(wù)/數(shù)據(jù)庫(kù)服務(wù)器 備份服務(wù)器安裝備份管理服務(wù)器軟件 備份客戶(hù)機(jī)安裝備份客戶(hù)機(jī)軟件 備份服務(wù)器連接備份設(shè)備備份軟件作用備份軟件作用 復(fù)制拷貝的局限性a) 只能完成一般文件系統(tǒng)的全備份，而不能完成增量備份；b) 不能靈活的制定自動(dòng)備份策略；c) 不能自動(dòng)的將大數(shù)據(jù)自動(dòng)的備份到多個(gè)備份存儲(chǔ)介質(zhì)上去；d) 數(shù)據(jù)庫(kù)模塊，完成數(shù)據(jù)的聯(lián)機(jī)備份e) 操作系統(tǒng)備份，完成操作

5、系統(tǒng)的備份 f) 不能有效的記錄備份索引，如：什么時(shí)間備份，備份什么內(nèi)容，備份級(jí)別？備份數(shù)據(jù)保存在哪，備份數(shù)據(jù)需要保存時(shí)間？備份軟件體系結(jié)構(gòu)備份軟件體系結(jié)構(gòu) 傳統(tǒng)軟件：集中式、文件式。性能下降、擴(kuò)展問(wèn)題備份源數(shù)據(jù)備份客戶(hù)端備份客戶(hù)端Agent備份服務(wù)器備份服務(wù)器備份目錄/索引 備份管理目錄/索引管理磁帶管理備份數(shù)據(jù)備份數(shù)據(jù)目錄目錄/索引信息索引信息備份發(fā)起備份發(fā)起增量與差分備份的差異增量與差分備份的差異 增量備份備份前次備份后所產(chǎn)生的數(shù)據(jù)恢復(fù)時(shí)需要最新的全備份及所有的增量備份 差分備份備份所有在前一次全備份后所產(chǎn)生的數(shù)據(jù)恢復(fù)時(shí)只需要最新的全備份及最新的差分備份備份數(shù)據(jù)流向管理備份數(shù)據(jù)流向管理

6、LAN Free基于基于基于基于基于基于SANSANSAN的的的的的的LanfreeLanfreeLanfree備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份設(shè)備Disk/Tape Library/VTL備份服務(wù)器SANLAN磁盤(pán)陣列應(yīng)用服務(wù)器磁盤(pán)輔助備份的技術(shù)磁盤(pán)輔助備份的技術(shù)磁帶 (tape drives, tape automation)虛擬磁帶(Virtual Library System) 基本備份和恢復(fù)功能 離線保存 針對(duì)惡意破壞(黑客&病毒)的最佳保護(hù) 增強(qiáng)性能 增強(qiáng)可靠性 無(wú)縫的集成 “即時(shí)”大量恢復(fù) 平衡高可用性投資快照和克隆技術(shù)(Business Copy)性

7、能增加獲得成本增加Write-to-Disk技術(shù)如何工作的技術(shù)如何工作的foo 1foo 2foo 3foo nhost 1host 2host 3host n低成本的磁盤(pán)本地或共享的存儲(chǔ) 每個(gè)主機(jī)將自己的文件寫(xiě)到低成本的磁盤(pán)上. 所有文件的傳輸通過(guò)備份軟件管理 通過(guò)備份服務(wù)器將數(shù)據(jù)傳輸?shù)酱艓?kù)上Backup serverTape虛擬磁帶庫(kù)如何工作虛擬磁帶庫(kù)如何工作host 1host 2host 3host n虛擬磁帶設(shè)備本地或共享存儲(chǔ) 每個(gè)主機(jī)象磁帶庫(kù)備份一樣寫(xiě)到一個(gè)或多個(gè)虛擬驅(qū)動(dòng)器上. 所有文件的傳輸通過(guò)備份軟件管理 通過(guò)備份服務(wù)器將數(shù)據(jù)傳輸?shù)酱艓?kù)上Backup serverTapeW

8、rite-to-Disk 和虛擬磁帶庫(kù)技術(shù)比較和虛擬磁帶庫(kù)技術(shù)比較虛擬磁帶庫(kù)虛擬磁帶庫(kù)Write-to-Disk設(shè)置復(fù)雜性設(shè)置復(fù)雜性設(shè)置僅僅和真正的磁帶庫(kù)一樣設(shè)置僅僅和真正的磁帶庫(kù)一樣需要配置需要配置RAID組組, LUNs,卷和文件卷和文件系統(tǒng)系統(tǒng)數(shù)據(jù)壓縮數(shù)據(jù)壓縮可以實(shí)現(xiàn)軟件和硬件的壓縮可以實(shí)現(xiàn)軟件和硬件的壓縮 (軟件壓縮通常會(huì)影響性能軟件壓縮通常會(huì)影響性能) 不可以基于設(shè)備級(jí)的壓縮不可以基于設(shè)備級(jí)的壓縮費(fèi)用費(fèi)用較昂貴的購(gòu)置成本較昂貴的購(gòu)置成本備份軟件許可證好象是帶庫(kù)一樣備份軟件許可證好象是帶庫(kù)一樣或按每個(gè)或按每個(gè)TB頒發(fā)許可證頒發(fā)許可證通過(guò)壓縮獲得存儲(chǔ)效率通過(guò)壓縮獲得存儲(chǔ)效率較低的管理費(fèi)用

9、較低的管理費(fèi)用在絕大部分備份應(yīng)用中都是免費(fèi)或在絕大部分備份應(yīng)用中都是免費(fèi)或按按TB頒發(fā)許可頒發(fā)許可較高的管理費(fèi)用較高的管理費(fèi)用性能性能針對(duì)連續(xù)讀寫(xiě)操作調(diào)試硬件設(shè)備針對(duì)連續(xù)讀寫(xiě)操作調(diào)試硬件設(shè)備性能取決于設(shè)定的磁盤(pán)陣列和服務(wù)性能取決于設(shè)定的磁盤(pán)陣列和服務(wù)器器虛擬磁帶的目標(biāo)客戶(hù)虛擬磁帶的目標(biāo)客戶(hù) 由于緩慢的服務(wù)器而不能滿(mǎn)足備份時(shí)間（backup windows）要求的客戶(hù)。容量200Gb左右或更高的Windows服務(wù)器是一個(gè)很好的目標(biāo)。 要執(zhí)行很多單個(gè)文件恢復(fù)的客戶(hù) 期望不再使用磁帶的客戶(hù)。警告這些客戶(hù)并向他們解釋可拆卸介質(zhì)的益處-站點(diǎn)保護(hù)、防范惡意攻擊（病毒/黑客）。同時(shí)，確保客戶(hù)了解磁帶的其它用

10、途（數(shù)據(jù)分配和復(fù)制、存檔、法規(guī)） 要備份具有較短生命周期的數(shù)據(jù)的客戶(hù)。 對(duì)非關(guān)鍵數(shù)據(jù)使用快照和克隆技術(shù)的客戶(hù)。數(shù)據(jù)生命周期的三個(gè)概念數(shù)據(jù)生命周期的三個(gè)概念A(yù)BCDEFGABCDEFGABCDEFGABCDEFG 備份 Backup 歸檔 Archive 遷移 MigratorDataMigrator 數(shù)據(jù)遷移數(shù)據(jù)遷移 降低了在線存儲(chǔ)的大小，從而改進(jìn)了應(yīng)用、備份和恢復(fù)的性能。 用N層存儲(chǔ)體系結(jié)構(gòu)來(lái)透明的擴(kuò)展主存儲(chǔ)容量。 遷移數(shù)據(jù)可用來(lái)達(dá)到保存的目的（文件歸檔） 消除了時(shí)常發(fā)生的容量配額問(wèn)題 當(dāng)前用經(jīng)濟(jì)的磁盤(pán)系統(tǒng)來(lái)做分級(jí)存儲(chǔ)是很實(shí)用的Data MigrationSet1,000 GbbeforeS

11、tatic dataWeekly94Data Protection Backupsets700 Gb300 GbFree 300 Gbafter6630% increase in free space30% decrease in backupRecallDM policyItems over 365 days old and bigger than 10K虛擬化的原理虛擬化的原理16857管理2客客 戶(hù)戶(hù)管理員管理員物理資源物理資源邏輯資源邏輯資源存儲(chǔ)虛擬化的目的存儲(chǔ)虛擬化的目的抽象抽象Abstract統(tǒng)一數(shù)據(jù)管理功能統(tǒng)一數(shù)據(jù)管理功能“Virtualization”降低管理難度降低管理難度數(shù)

12、據(jù)跨設(shè)備流動(dòng)數(shù)據(jù)跨設(shè)備流動(dòng)提高可擴(kuò)展性提高可擴(kuò)展性提高設(shè)備使用效率提高設(shè)備使用效率隱藏隱藏Hide隔離隔離Isolate設(shè)備構(gòu)件化設(shè)備構(gòu)件化帶內(nèi)帶內(nèi) virtualization 優(yōu)點(diǎn)不需修改主機(jī)結(jié)點(diǎn)具有平臺(tái)無(wú)關(guān)性 不足虛擬化功能部件作為I/O路徑上的集中環(huán)節(jié)容易成為系統(tǒng)性能瓶頸擴(kuò)展性較差帶外帶外 virtualization 不足需要在主機(jī)上增加代理軟件 優(yōu)點(diǎn)appliance在I/O路徑之外而不觸及真正數(shù)據(jù)，性能較高沒(méi)有在I/O路徑上引入集中環(huán)節(jié)，擴(kuò)展性較好容災(zāi)設(shè)計(jì)的關(guān)鍵指標(biāo)容災(zāi)設(shè)計(jì)的關(guān)鍵指標(biāo) RTO（Recovery Time Objective）代表容災(zāi)系統(tǒng)在災(zāi)難發(fā)生后數(shù)據(jù)或者系統(tǒng)恢復(fù)

13、所用的時(shí)間。 RPO（Recovery Point Objective）代表災(zāi)難發(fā)生時(shí)已經(jīng)備份的數(shù)據(jù)與生產(chǎn)中心數(shù)據(jù)的時(shí)間差。 參考下圖便于理解RPO與RTO的概念。成本效益分析成本效益分析 不能片面追求RPO與RTO TCO與RIO的關(guān)系 成本效益模型分析 性能最好的方案不一定是最佳方案常見(jiàn)數(shù)據(jù)保護(hù)技術(shù)區(qū)別常見(jiàn)數(shù)據(jù)保護(hù)技術(shù)區(qū)別IIIIIIIVV12345678910（CDP)最新數(shù)據(jù)備份備份快照快照復(fù)制復(fù)制CDP保護(hù)顆粒度保護(hù)顆粒度1-N 天天1-N 小時(shí)小時(shí)只有最新數(shù)據(jù)只有最新數(shù)據(jù)保留過(guò)去時(shí)間點(diǎn)保留過(guò)去時(shí)間點(diǎn)基于智能存儲(chǔ)系統(tǒng)的數(shù)據(jù)容災(zāi)基于智能存儲(chǔ)系統(tǒng)的數(shù)據(jù)容災(zāi) 利用存儲(chǔ)系統(tǒng)內(nèi)建的固件或操作系

14、統(tǒng),通過(guò)IP網(wǎng)絡(luò)或DWDM光纖通道等傳輸界面連接,將數(shù)據(jù)以同步或異步的方式復(fù)制到遠(yuǎn)端。智能存儲(chǔ)將存儲(chǔ)器I/O操作Log復(fù)制到遠(yuǎn)端的存儲(chǔ)系統(tǒng)中并執(zhí)行，保證數(shù)據(jù)的一致性。較容易實(shí)現(xiàn)主中心和備份中心的操作系統(tǒng)、數(shù)據(jù)庫(kù)、文件的實(shí)時(shí)拷貝維護(hù)能力。 優(yōu)點(diǎn)就是數(shù)據(jù)與運(yùn)行分開(kāi),對(duì)主機(jī)系統(tǒng)的運(yùn)行資源影響比較小。另外,借助高速緩存加速I(mǎi)/O存取,兩端的數(shù)據(jù)差異時(shí)間點(diǎn)比較小, 存儲(chǔ)系統(tǒng)本身具備一定的容錯(cuò)能力,使之具有一定的運(yùn)行性能和可靠性。 最大的限制在于其昂貴的構(gòu)造成本。一般需要來(lái)自同一個(gè)廠家的存儲(chǔ)系統(tǒng)。 SourceUnlimited DistanceTargetSourceLimited DistanceTa

15、rget基于智能存儲(chǔ)系統(tǒng)的數(shù)據(jù)容災(zāi)基于智能存儲(chǔ)系統(tǒng)的數(shù)據(jù)容災(zāi)以下所有技術(shù)支持同步和異步CA直接FC500m為1Gbit 300m為2Gbit 50m線纜9m線纜交換的FC 10km，通過(guò)標(biāo)準(zhǔn)的LW GBIC或SFP40 或 80km，通過(guò)ELW GBIC和延伸的結(jié)構(gòu) 50m50mFC交換機(jī)FC交換機(jī)9m線纜CWDM / DWDM200km DWDM，視交換機(jī)/FW而定100km CWDM hp continetalcluster/hp metrocluster支持無(wú)協(xié)議轉(zhuǎn)換。使用專(zhuān)用的光纖。可以與其它光纖協(xié)議共享鏈路實(shí)時(shí)數(shù)據(jù)復(fù)制容災(zāi)技術(shù)層次實(shí)時(shí)數(shù)據(jù)復(fù)制容災(zāi)技術(shù)層次存儲(chǔ)設(shè)備（磁盤(pán)陣列/光纖交換機(jī)

16、）交易控制存儲(chǔ)設(shè)備（磁盤(pán)陣列/光纖交換機(jī)）數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)應(yīng)用軟件應(yīng)用軟件消息傳輸I/O控制數(shù)據(jù)塊傳輸邏輯卷（卷管理/虛擬化）邏輯卷（卷管理/虛擬化）RealSync操作系統(tǒng)（卷管理軟件）操作系統(tǒng)（卷管理軟件）文件傳輸OS與存儲(chǔ)與存儲(chǔ)OS與存儲(chǔ)與存儲(chǔ)邏輯卷管理邏輯卷管理 傳統(tǒng)分區(qū)缺點(diǎn)：磁盤(pán)的劃分通過(guò)分區(qū)來(lái)實(shí)現(xiàn)，在系統(tǒng)安裝之前用戶(hù)必須正確選擇每個(gè)分區(qū)的大小分區(qū)大小是固定不變的，同時(shí)也就限制文件系統(tǒng)和文件的大小分配給分區(qū)的磁盤(pán)空間必須是連續(xù)，這個(gè)特點(diǎn)限制了分區(qū)不能跨越多個(gè)物理卷 LVM邏輯卷管理優(yōu)點(diǎn)：可分配非連續(xù)空間，可以跨越多個(gè)硬盤(pán)可以動(dòng)態(tài)增大邏輯卷的大小方便存儲(chǔ)管理操作，包括文件系統(tǒng)的備份、分區(qū)的

17、刪除、新分區(qū)的建立和文件系統(tǒng)的恢復(fù)等新的硬盤(pán)很容易動(dòng)態(tài)地添加到系統(tǒng)DriversVG操作系統(tǒng)物理存儲(chǔ)Logical Volume Manager (LVM)LVLV數(shù)據(jù)庫(kù)文件系統(tǒng)VGLV文件系統(tǒng)卷組卷組VG ：Volume Group 一個(gè)卷組VG可以擁有多個(gè)硬盤(pán)，但至少擁有一個(gè)硬盤(pán)(hdisk) 一個(gè)硬盤(pán)(hdisk)只能屬于一個(gè)VG，不能同時(shí)屬于多個(gè)不同VG 用戶(hù)可以創(chuàng)建多個(gè)不同VG，rootvg是操作系統(tǒng)所在的VG物理卷物理卷PV和和PP 存儲(chǔ)管理器中，一個(gè)硬盤(pán)就是一個(gè)PV 一個(gè)PV要?jiǎng)澐譃榇笮∠嗟鹊腜P 同一個(gè)VG中的不同PV的PP大小要一樣，默認(rèn)的PP大小為4M PV必須加入一個(gè)VG

18、中，系統(tǒng)才能使用其存儲(chǔ)空間Physical Volume (物理卷)Physical Partition (物理分區(qū))邏輯卷邏輯卷LV(Logical Volume) 存儲(chǔ)管理一個(gè)很重要的特點(diǎn)就是引入了“邏輯卷”這個(gè)概念，幾乎所有的存儲(chǔ)管理都圍繞“邏輯卷”展開(kāi) 邏輯卷LV有多個(gè)邏輯上連續(xù)的邏輯分區(qū)LP組成，邏輯分區(qū)與物理分區(qū)存在映射關(guān)系，他們大小一樣Logical Partition 邏輯分區(qū) 創(chuàng)建了邏輯卷后，可以在上面創(chuàng)建文件系統(tǒng)，還可以直接是裸設(shè)備，用于數(shù)據(jù)庫(kù)軟件的數(shù)據(jù)存取等 邏輯卷空間不足，只要卷組中還有足夠的PP數(shù)量，那么邏輯卷空間都可以動(dòng)態(tài)增大邏輯卷邏輯卷LV與文件系統(tǒng)與文件系統(tǒng) 邏

19、輯卷管理器：扮演的角色就是管理好邏輯卷與物理卷之間的映射關(guān)系，保證所有的上層存儲(chǔ)操作命令都正確地把數(shù)據(jù)寫(xiě)入相應(yīng)的物理設(shè)備中 文件系統(tǒng)：是數(shù)據(jù)存儲(chǔ)方式。它扮演的角色就是以清晰層次結(jié)構(gòu)的文件和目錄，去管理好用戶(hù)數(shù)據(jù)存取，保證用戶(hù)寫(xiě)入的數(shù)據(jù)以可靠的存儲(chǔ)方式存放，且無(wú)差錯(cuò)地響應(yīng)用戶(hù)請(qǐng)求的數(shù)據(jù) 不同文件系統(tǒng)的數(shù)據(jù)存在硬盤(pán)的不同邏輯卷中邏輯卷策略邏輯卷策略 - 鏡像鏡像mirror 鏡像mirror，類(lèi)似于RAID1，可以實(shí)現(xiàn)邏輯卷中邏輯分區(qū)的鏡像，在獨(dú)立的不同硬盤(pán)中保存兩個(gè)或三個(gè)副本，從而保證硬盤(pán)出錯(cuò)時(shí)數(shù)據(jù)不受損壞而且是可用的 鏡像的調(diào)度策略Parallel(并行)：每個(gè)副本的寫(xiě)請(qǐng)求是同時(shí)進(jìn)行的，當(dāng)更新時(shí)間最長(zhǎng)的副本完成后，控制就返回給程序。執(zhí)行效率很高，但當(dāng)副本更新時(shí)若有硬盤(pán)錯(cuò)誤發(fā)生，數(shù)據(jù)的完整性有可能遭到破壞。讀操作時(shí)候，讀最相近的副本，所以響應(yīng)