容災技術概念

容災技術的概念目錄TOC\o"1-3"\h\z第一章容災技術及方案討論21.1容災技術的意義21.2容災技術的分類31.3同步傳輸?shù)臄?shù)據(jù)復制41.4同步數(shù)據(jù)容災的性能分析91.5異步數(shù)據(jù)復制方式121.6容災技術性能總結和對照17第二章廣域網(wǎng)絡的高可用技術〔軟件容災方式〕18容災技術及方案討論容災技術的意義當應用系統(tǒng)的一個完整環(huán)境因災難性事件(如火災、地震等)遭到破壞時，為了迅速恢復應用系統(tǒng)的數(shù)據(jù)、環(huán)境，立即恢復應用系統(tǒng)的運行，保證系統(tǒng)的可用性，這就需要異地災難備份系統(tǒng)(也稱容災系統(tǒng))?？梢哉f，對于關鍵事物的處理系統(tǒng),如聯(lián)通的各項業(yè)務系統(tǒng)〔客戶效勞、計費、IDC等〕，建立最高級別的平安體系，也是提高效勞質量、在競爭中立于不敗之地的重要舉措。長期以來,對企業(yè)而言,建立一套可行的容災系統(tǒng)相當困難,主要是高昂的本錢和技術實現(xiàn)的復雜度。鑒于此,從可行性而言,必須具有良好的性能價格比。建立異地容災系統(tǒng)，即指建立遠程的數(shù)據(jù)中心，通過配置遠程容災系統(tǒng)將本地數(shù)據(jù)實時進行遠程復制，同時實現(xiàn)本地系統(tǒng)故障時應用系統(tǒng)的遠程啟動，確保系統(tǒng)的不中斷運行。建立異地容災中心的優(yōu)勢在于：強大的一級災難抗御能力。有效防止物理設備損傷產(chǎn)生的災難后果。提供99.9999%的平安機制。實時數(shù)據(jù)復制提供強大的數(shù)據(jù)交換能力。隨著數(shù)據(jù)平安技術的開展，Cluster〔HA〕的技術越來越成熟，Cluster的部署越來越普及，Cluster技術確實解決了用戶系統(tǒng)的高可用性問題，為業(yè)務的良性開展提供了穩(wěn)定的基石。隨著業(yè)務的開展，商業(yè)環(huán)境對效勞供給商提出的要求也越來越苛刻，這必將使應用系統(tǒng)及其數(shù)據(jù)對高可用性的要求走上一個新的臺階。一個本地Cluster系統(tǒng)理論上可以提供99.99%以上的系統(tǒng)高可用性，但一旦發(fā)生火災、自然災害、人為破壞等意外事件，效勞商將如何應對呢？如果沒有必要的準備和應對手段，這樣的一次意外對效勞上來說將是災難性的。對于IT部門來講，要提高自己的抗災能力，其必要的技術就是建立起一個容災系統(tǒng)。容災技術的分類一個容災系統(tǒng)的實現(xiàn)可以采用不同的技術，一種技術是：采用硬件進行遠程數(shù)據(jù)復制，我們稱為硬件復制技術。這種技術的提供者是一些存儲設備廠商。數(shù)據(jù)的復制完全通過專用線路實現(xiàn)物理存儲設備之間的交換。另一種技術是：采用軟件系統(tǒng)實現(xiàn)遠程的實時數(shù)據(jù)復制，并且實現(xiàn)遠程的全程高可用體系〔遠程監(jiān)控和切換〕。這種技術的代表如VERITAS等一些著名存儲軟件廠商。我們在下面的章節(jié)會對以上兩種技術進行詳細的論述。容災系統(tǒng)的歸類在另一個方面要由其最終到達的效果來決定。從其對系統(tǒng)的保護程度來分，我們可以將容災系統(tǒng)分為：數(shù)據(jù)容災和應用容災。所謂數(shù)據(jù)容災，就是指建立一個異地的數(shù)據(jù)系統(tǒng)，該系統(tǒng)是本地關鍵應用數(shù)據(jù)的一個實時復制。在本地數(shù)據(jù)及整個應用系統(tǒng)出現(xiàn)災難時，系統(tǒng)至少在異地保存有一份可用的關鍵業(yè)務的數(shù)據(jù)。該數(shù)據(jù)可以是與本地生產(chǎn)數(shù)據(jù)的完全實時復制，也可以比本地數(shù)據(jù)略微落后，但一定是可用的。所謂應用容災，是在數(shù)據(jù)容災的根底上，在異地建立一套完整的與本地生產(chǎn)系統(tǒng)相當?shù)膫浞輵孟到y(tǒng)〔可以是互為備份〕。建立這樣一個系統(tǒng)相比照擬復雜，不僅需要一份可用的數(shù)據(jù)復制，還要有包括網(wǎng)絡、主機、應用、甚至IP等資源，以及各資源之間的良好協(xié)調。應用容災應該說是真正意義上的容災系統(tǒng)。我們先討論一下數(shù)據(jù)容災。數(shù)據(jù)容災〔硬件容災方案和軟件容災方案均包括〕，又稱為異地數(shù)據(jù)復制技術，按照其實現(xiàn)的技術方式來說，主要可以分為同步傳輸方式和異步傳輸方式〔各廠商在技術用語上可能有所不同。而根據(jù)容災的距離，數(shù)據(jù)容災又可以分成遠程數(shù)據(jù)容災和近程數(shù)據(jù)容災方式。下面，我們將主要按同步傳輸方式和異步傳輸方式對數(shù)據(jù)容災展開討論，其中也會涉及到遠程容災和近程容災的概念，并作相應的分析。同步傳輸?shù)臄?shù)據(jù)復制有關同步數(shù)據(jù)容災，在傳統(tǒng)意義上講，就是通過容災軟件〔可以含在硬件系統(tǒng)內(nèi)〕，將本地生產(chǎn)數(shù)據(jù)通過某種機制復制到異地。從廣義上講，同步數(shù)據(jù)容災是指在異地建立起一套與本地數(shù)據(jù)實時同步的異地數(shù)據(jù)。從上圖，我們可以看出，采用同步傳輸方式進行異地數(shù)據(jù)容災的過程包括：本地主機系統(tǒng)發(fā)出第一個I/O請求A；主時機對本地磁盤系統(tǒng)發(fā)出I/O請求；本地磁盤系統(tǒng)完成I/O操作，并通知本地主機“I/O完成〞；2’.在往本地I/O的同時，本地系統(tǒng)〔主機或磁盤系統(tǒng)〕會向異地系統(tǒng)發(fā)出I/O請求A；3’.異地系統(tǒng)完全I/O操作，并通知本地系統(tǒng)“I/O完成〞4.本地主機系統(tǒng)得到“I/O完成〞確實認，然后，發(fā)出第二個I/O請求B。不同的異地數(shù)據(jù)復制技術的實現(xiàn)方式是不同的，包括：基于主機邏輯卷層的同步數(shù)據(jù)復制方式〔軟件復制方式〕；基于磁盤系統(tǒng)I/O控制器的同步數(shù)據(jù)復制方式〔硬件復制方式〕；基于主機邏輯卷的同步數(shù)據(jù)復制方式基于主機邏輯卷的同步數(shù)據(jù)復制方式以VERITASVolumeReplicator〔VVR〕為代表，VVR是集成于VERITASVolumeManager〔邏輯卷管理〕的遠程數(shù)據(jù)復制軟件，它可以運行于同步模式和異步模式。在同步模式下，其實現(xiàn)原理如下列圖：當主機發(fā)起一個I/O請求A之后,必然通過邏輯卷層，邏輯卷管理層在向本地硬盤發(fā)出I/O請求的同時，將同時通過TCP/IP網(wǎng)絡向異地系統(tǒng)發(fā)出I/O請求。其實現(xiàn)過程如下：本地主機系統(tǒng)發(fā)出第一個I/O請求A；主機邏輯卷層會對本地磁盤系統(tǒng)發(fā)出I/O請求；本地磁盤系統(tǒng)完成I/O操作，并通知本地邏輯卷“I/O完成〞；2’.在往本地磁盤系統(tǒng)I/O的同時，本地主機系統(tǒng)邏輯卷會向異地系統(tǒng)發(fā)出I/O請求A；3’.異地系統(tǒng)完成I/O操作，并通知本地主機系統(tǒng)“I/O完成〞4．本地主機系統(tǒng)得到“I/O完成〞確實認，然后，發(fā)出第二個I/O請求B。二、基于磁盤系統(tǒng)的同步數(shù)據(jù)復制功能基于磁盤系統(tǒng)的同步數(shù)據(jù)復制功能實現(xiàn)異地數(shù)據(jù)容災，如SRDF和PPRC。這兩個軟件運行的平臺是磁盤系統(tǒng)，部署這樣的系統(tǒng)必須要求在兩端采用相同種類的磁盤系統(tǒng)。其同步數(shù)據(jù)復制的實現(xiàn)原理如下列圖：當主機發(fā)出一個I/O請求A之后，I/O進入磁盤控制器。該控制器在接到I/O請求后，一方面會寫入本地磁盤，同時利用另一個控制器〔或稱通道〕，通過專用通道〔如：ESCON〕、FC光纖通道〔IPoverFC〕或者租用線路，將數(shù)據(jù)從本地磁盤系統(tǒng)同步的復制到異地磁盤系統(tǒng)。其實現(xiàn)過程如下：本地主機系統(tǒng)發(fā)出第一個I/O請求A；主機對本地磁盤系統(tǒng)發(fā)出I/O請求；2’.在往本地磁盤系統(tǒng)I/O的同時，本地磁盤系統(tǒng)會向異地磁盤系統(tǒng)發(fā)出I/O請求A；本地磁盤系統(tǒng)完成I/O操作；3’.異地系統(tǒng)完成I/O操作，并通知本地磁盤系統(tǒng)“I/O完成〞4．本地次盤系統(tǒng)向主機確認“I/O完成〞，然后，主機系統(tǒng)發(fā)出第二個I/O請求B。同步數(shù)據(jù)容災的性能分析利用同步傳輸方式建立異地數(shù)據(jù)容災，可以保證在本地系統(tǒng)出現(xiàn)災難時，異地存在一份與本地數(shù)據(jù)完全一致的數(shù)據(jù)備份〔具有完整的一致性〕。但利用同步傳輸方式建立這樣一個系統(tǒng)，必須考慮“性能〞這個因素。采用同步數(shù)據(jù)傳輸方式時，從前面的描述來看，本地系統(tǒng)必須等到數(shù)據(jù)成功的寫到異地系統(tǒng)，才能進行下一個I/O操作。一個I/O通過遠程鏈路寫到異地系統(tǒng)，涉及到3個技術參數(shù)：帶寬、距離和中間設備及協(xié)議轉換的時延。帶寬本地I/O的帶寬是100MB/秒〔SAN網(wǎng)絡中〕，在I/O流量很大的情況下，如果與遠程的I/O帶寬相對“100MB/秒==800Mbit/秒〞窄得多的話，如E1：2Mbit/秒；E3：45Mbit/秒，將會明顯拖慢生產(chǎn)系統(tǒng)的I/O，從而影響系統(tǒng)性能。距離光和電波在線路上傳輸?shù)乃俣仁?0萬公里/秒，當距離很長時，這種線路上的延時將會變得很明顯。例如：一個異地容災系統(tǒng)的距離是1000KM，其數(shù)據(jù)庫寫盤的數(shù)據(jù)塊大小是10KB〔一次I/O的數(shù)據(jù)量〕，那么：本地I/O時〔100米距離內(nèi)〕：光電在線路上的延時 =0.1km/300,000km*2次/一個來回 =0.67*10-6秒1秒鐘內(nèi)允許I/O次 =1/〔0.67*10-6〕=1.5*10-6次1秒鐘允許的I/O量 =10KB*1.5*10-6=15GB此數(shù)字遠遠超過光纖通道帶寬本身，也就是說，光電在100米距離的線路上的延時對性能的影響可以忽略不計。異地I/O的〔1000公里〕：光電在線路上的延時 =1000km/300,000km*2次 =1/150秒1秒鐘內(nèi)允許I/O次 =1/〔1/150〕=150次1秒鐘允許的I/O量 =10KB*150=1.5MB此數(shù)據(jù)說明，在1000公里距離上，允許的最大I/O量在不存在帶寬限制時，已經(jīng)遠遠低于本地I/O的能力。〔注：上面分析還未考慮中間設備及協(xié)議轉換的延時〕。中間鏈路設備和協(xié)議轉換的時延中間鏈路設備和協(xié)議轉換的方式的不同，時延不同，對性能的影響也不同。在對性能影響的分析中，這個因數(shù)也應計算在內(nèi)。目前不同異地數(shù)據(jù)復制技術所依賴的介質和協(xié)議不同，我們將介質、協(xié)議和大概時延例表如下，這里提供的數(shù)據(jù)只精確到數(shù)量級，僅供參考，實際數(shù)據(jù)應該向設備供給商索取。鏈路設備和協(xié)議帶寬支持的距離設備和協(xié)議轉換時延租用線路任意不受限制約1msESCON136Mbit66公里<100usLAN1000Mbit10公里<100usATM655Mbit不受限制<100usIPoverFC800Mbit60公里<100usFC800Mbit60公里<10us下面是一個線路時延分析對照表，供參考。距離1000KM100KM10KM線路時延/次I/O6ms600us60us支持的鏈路和協(xié)議租用線路ATM租用線路ATM租用線路ATMESCONLANIPoverFCFC本地磁盤I/O能力10KB/ms在1000公里和100公里距離上，采用租用線路和ATM，允許的最大I/O能力〔假定帶寬足夠，數(shù)據(jù)塊大小以10KB為例〕：1000公里100公里租用線路ATM租用線路ATM線路時延/次I/O6ms6ms600us600us設備和協(xié)議時延>1ms<100us>1ms<100us每個I/O響應時間>8ms>7ms>2.6ms1.7ms不適合用同步傳輸方式備注不適合用同步傳輸在10公里距離上，采用各種傳輸協(xié)議允許的最大I/O能力，數(shù)據(jù)塊大小以10KB為例〔假定帶寬足夠〕：10公里租用線路ATMLANESCONIPoverFCFC線路時延/次60us60us60us60us設備協(xié)議時延>1ms<100us<100us<10usI/O次數(shù)/秒485-930900-5800900-5800900-12500I/OMB/秒9-589-589-125備注適合用同步傳輸異步數(shù)據(jù)復制方式從前面的分析來看，同步數(shù)據(jù)容災一般只能在較短距離內(nèi)部署〔10KM-100KM〕，大于這個距離，就沒有實際應用價值了。因為即使在1000KM距離上，4.5MB的速率即使將數(shù)據(jù)復制到異地，每個I/O的響應時間也會超過10ms，這種響應速度太慢。異步數(shù)據(jù)容災是在“線路帶寬和距離能保證完成數(shù)據(jù)復制過程，同時，異地數(shù)據(jù)復制不影響生產(chǎn)系統(tǒng)的性能〞這樣的要求下提出來的?？紤]異步數(shù)據(jù)容災，應該注意到以下幾個技術條件和事實。帶寬必須能保證將本地生產(chǎn)數(shù)據(jù)根本上完全復制到異地容災端，還要考慮距離對傳輸能力的影響。按照前面的估算：在1000公里范圍內(nèi)，一條帶寬足夠的線路能支持的I/O流量最大為〔數(shù)據(jù)塊大小10KM〕：1.4MB×3600秒×24小時=120GB/天異地容災遠端數(shù)據(jù)會比本地生產(chǎn)端數(shù)據(jù)落后一定時間,這個時間隨采用的技術，帶寬、距離、數(shù)據(jù)流特點的不同而不同。一般而言，軟件方式的數(shù)據(jù)復制技術具有完整的數(shù)據(jù)包的排隊和斷點重發(fā)機制，在災難情況下可以保證災難時間點的數(shù)據(jù)一致性。異步容災根本不影響本地系統(tǒng)性能。與同步傳輸方式相比，異步傳輸方式對帶寬和距離的要求低很多，它只要求在某個時間段內(nèi)能將數(shù)據(jù)全部復制到異地即可，同時異步傳輸方式也不會明顯影響應用系統(tǒng)的性能。其缺點是在本地生產(chǎn)數(shù)據(jù)發(fā)生災難時，異地系統(tǒng)上的數(shù)據(jù)可能會短暫損失〔如果廣域網(wǎng)速率較低，交易未完整發(fā)送的話〕，但不影響一致性〔類似本地數(shù)據(jù)庫主機的異常關機〕。通過異步傳輸模式進行異地數(shù)據(jù)復制的技術，包括：基于主機邏輯卷的數(shù)據(jù)復制方式基于磁盤系統(tǒng)I/O控制器的數(shù)據(jù)復制方式基于主機邏輯卷〔Volume〕的數(shù)據(jù)復制方式首先申明：針對這種方式，這以VERITASVVR為例，但并不表示所有基于主機進行復制的其它軟件采用同樣方式，也不保證其它軟件是有應用價值的。VERITASVVR〔VolumeReplicator〕通過基于Volume和Log的復制技術，保證在任何時刻本地系統(tǒng)發(fā)生自然災難時，在異地的數(shù)據(jù)仍是可用的。VERITASVVR在異步模式下采用了Log技術來跟蹤未及時復制的數(shù)據(jù)塊，這個Log是一個先到先效勞的堆棧，每一筆I/O處理都會首先被放進這個Log，并按到達先后順序被復制到異地效勞器系統(tǒng)。下列圖是其工作的結構原理。從上圖，我們可以看到整個I/O和復制的過程如下：本地主機系統(tǒng)發(fā)出第一個I/O請求A到邏輯卷；邏輯卷對本地磁盤系統(tǒng)發(fā)出I/O請求；2’.在往本地磁盤系統(tǒng)I/O的同時，邏輯卷向本地磁盤系統(tǒng)上的VVRLog發(fā)出相同的寫請求；本地磁盤系統(tǒng)完成I/O操作；并通知邏輯卷“I/O完成〞；3’.VVR完成針對這個I/O的遠程操作，并通知邏輯卷；邏輯卷向主機確認“I/O完成〞。效勞器的另一個進程：VVR的進程，負責將Log隊列中的I/O復制到異地效勞器。這個過程和上面的I/O過程在時間上無關。如上圖中的標記：“I〞和“II〞。I:本地VVR進程從Log隊列中取出最先到達的I/O，復制到異地效勞器II:異地效勞器接收到本地效勞器VVR發(fā)出的I/O請求，將相應數(shù)據(jù)寫到異地磁盤系統(tǒng)，然后，通知本地系統(tǒng)VVR進程，要求下一個I/O。這里，跟蹤未及時復制的數(shù)據(jù)塊的Log技術是保證異地數(shù)據(jù)可用的必要條件。一個數(shù)據(jù)庫的I/O是有嚴格順序的，這個順序是保證數(shù)據(jù)庫完整性的必要條件，一個完整性被破壞的數(shù)據(jù)庫一般是不可用的，比方根本無法啟動、翻開該數(shù)據(jù)庫，且是無法修復的。本地數(shù)據(jù)庫的完整性是由數(shù)據(jù)庫本身來維護的。當一個數(shù)據(jù)庫被實時復制到異地時，要保證異地數(shù)據(jù)庫的完整性，必然保證在異地磁盤I/O上的I/O順序和本地I/O順序完全相同，否那么，異地數(shù)據(jù)庫的完整性就無法保證。VERITASVVR采用的I/O控制機制是支持先到先效勞的Log技術，因此，不管異地數(shù)據(jù)比本地數(shù)據(jù)落后多少時間，都能保證異地數(shù)據(jù)庫數(shù)據(jù)的一致性。比方：本地系統(tǒng)在12：00時發(fā)生自然災難，由于局部數(shù)據(jù)未被及時復制到異地，如有10分鐘的數(shù)據(jù)未完成復制，那么在異地系統(tǒng)上存在11：50分鐘以前的所有數(shù)據(jù)，且這個數(shù)據(jù)庫是可用的。目前的基于磁盤系統(tǒng)的異地數(shù)據(jù)復制技術采用Bitmap技術和Timestamp技術，這兩種技術都不能保證本地向異地復制數(shù)據(jù)的順序嚴格和本地I/O的順序相同，所以，這兩種方式都不能保證異地數(shù)據(jù)庫的完整性。Bitmap〔位圖〕技術記錄未被及時復制的數(shù)據(jù)塊的方法是：對于每個數(shù)據(jù)塊〔如32KB〕用一個Bit來對應，某一個Bit被置為“1〞時，表示其對應的數(shù)據(jù)塊已被修改正，正在等待處理〔這里是等待被復制〕。由此可以看出，當有一塊以上的數(shù)據(jù)塊未被及時復制時，系統(tǒng)并無法確認哪一塊數(shù)據(jù)塊應該先復制到異地，所以，系統(tǒng)將任選一塊，即不按到達的時間先后進行復制。可以看出，這種方式不能根本保證異地數(shù)據(jù)庫數(shù)據(jù)的完整性、一致性。Timestamp方式是對每個未及時傳送的數(shù)據(jù)塊蓋上一個時間戳。從外表上看，由于時間戳的關系，好似能確定一個數(shù)據(jù)塊被修改的時間順序了。其實不然：當一個未被及時復制的數(shù)據(jù)塊被第2次修改，并蓋上新的時間戳時，數(shù)據(jù)復制的順序就被破壞了。例如：現(xiàn)在有10塊數(shù)據(jù)塊未被復制，編號“1、2、3、4、5、6、7、8、9、10〞；這時，第3塊數(shù)據(jù)被再次修改，并被蓋上一個新的時間戳“11〞；這時，系統(tǒng)會按這樣的次序進行復制：“1、2、〔沒有3〕、4、5、6、7、8、9、10、11〞。我們可以看到，在復制進行到“4~10〞之間時，異地數(shù)據(jù)的完整性被破壞。事實上，在一個運行繁忙的系統(tǒng)中，出現(xiàn)這種情況機率極高，甚至每時每刻都處在這種狀態(tài)之下。所以，本著嚴格的，對系統(tǒng)可用性負責任的態(tài)度，我們認為“Timestamp〞的技術雖然比Bitmap技術有一定優(yōu)勢，但實際上也無法保證異地數(shù)據(jù)的完整性和可用性。Bitmap和Timestamp方式的技術弱點：沒有l(wèi)og；作為磁盤系統(tǒng)內(nèi)置的數(shù)據(jù)復制功能，傳統(tǒng)的磁盤管理模式?jīng)]有考慮在磁盤系統(tǒng)內(nèi)部開辟出一個磁盤塊給磁盤系統(tǒng)控制器本身使用，所以，磁盤系統(tǒng)無法采用log模式進行異步數(shù)據(jù)復制。磁盤系統(tǒng)保存異步傳輸模式的目的：復制，但不是容災復制；數(shù)據(jù)復制的目的不僅僅是容災。數(shù)據(jù)容災要求兩地時時保持連接，數(shù)據(jù)復制過程在任一時間都在進行〔除非有線路或設備故障〕。而非容災性復制只要求在某一個時間段里將數(shù)據(jù)復制到異地，復制告一段落后〔在某一時刻完全同步〕，復制工作會暫停。這種復制可能是為一個特殊目的只做一次，如在線業(yè)務遷移；也可能每天或每月追加一次。這樣，在異地就會存在一份最大損失數(shù)據(jù)量為1天或1個月的生產(chǎn)數(shù)據(jù)復制品，其對數(shù)據(jù)的保障能力，如同磁盤備份。這種方式復制數(shù)據(jù)的目的包括：1〕在異地保存一份備份數(shù)據(jù)〔如同磁帶備份異地保存〕。2〕在線業(yè)務遷移，當信息中心或其中的一個效勞要遷移到另一個地方，又希望少停機〔實際上也可用磁帶備份和恢復來實現(xiàn)〕。3〕利用與磁盤快照技術結合，為異地開發(fā)中心提供一個與生產(chǎn)數(shù)據(jù)盡量相同的測試數(shù)據(jù)源。當然，也可用于其它可能的目的。綜上所述，我們可以看出，雖然基于磁盤系統(tǒng)的異地數(shù)據(jù)復制功能有異步傳輸模式，但實際上并不支持異步數(shù)據(jù)容災，只有像VERITASVolumeReplicator這樣基于先進先出的Log技術的解決方案才真正支持異步數(shù)據(jù)容災。容災技術性能總結和對照以下我們對于各種容災技術的工作方式進行總結。Software〔同步〕Software〔異步〕基于陣列的同步數(shù)據(jù)容災理想距離<100km<1000km60km(光纖)鏈路要求任何支持TCP/IP的設備任何支持TCP/IP的設備ESCON,ATMIPoverFC理想