




版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
XX數(shù)據(jù)應用容災系統(tǒng)項目建議可行性方案TOC\o"1-5"\h\z用戶需求及針對本需求的容災系統(tǒng)設計綜述 41.1應用數(shù)據(jù)安全級別的分級考慮 41.2用戶需求分析: 51.3本項目中需要注意的幾個要點 7數(shù)據(jù)容災系統(tǒng)的詳細設計 112.1系統(tǒng)設計原則 1.1....2.2系統(tǒng)的產(chǎn)品選擇 12...3.3災備中心的組建 15...2.4數(shù)據(jù)容災系統(tǒng)的基本結構 1.7..2.5數(shù)據(jù)的遠程復制流程 1.9..2.6 數(shù)據(jù)的遠程恢復流程 20..2.7本容災系統(tǒng)的結構特點 25..2.8數(shù)據(jù)容災系統(tǒng)擴展 26...2.9系統(tǒng)投資保障 27...數(shù)據(jù)容災系統(tǒng)與其他方案的簡要比較 27數(shù)據(jù)容災系統(tǒng)的實施計劃 314.1系統(tǒng)實施需求規(guī)劃 3.1...TOC\o"1-5"\h\z4.2相關性要求/實施步驟 32..4.3系統(tǒng)配置活單 35...數(shù)據(jù)容災系統(tǒng)的測試/驗收計劃 365.1基本測試及對Oracle和其他類型數(shù)據(jù)的測試 365.2切換及回切的測試 37...5.3故障測試 38....數(shù)據(jù)容災系統(tǒng)的日常管理/演練計劃 39應用級容災的規(guī)劃 40后續(xù)其他節(jié)點的擴展規(guī)劃 4010.EMCRECOVERPOINT的維護 41附件一:美國EMC公司簡要介紹 錯誤!未定義書簽。1.用戶需求及針對本需求的容災系統(tǒng)設計綜述xxxxxxx當前的應用系統(tǒng)類別較多,包括了辦公及業(yè)務等多個方面。在平臺上包括Windows及當前主流的多種UNIX,在存儲體系上也具有多種型號的存儲產(chǎn)品。因此,整個系統(tǒng)的復雜程度較大。同時,由于應用系統(tǒng)一經(jīng)處于比較完善的程度,因此,任何的調(diào)整都將帶來很大的影響。為此,為了確保數(shù)據(jù)的安全性,在早期用戶實施了數(shù)據(jù)的磁帶備份,但對于關鍵數(shù)據(jù)來說,這種磁帶備份還不能夠完全滿足系統(tǒng)抵御各種災難的能力。 為此,用戶考慮對數(shù)據(jù)實施災備計劃。數(shù)據(jù)的容災保護提供最基本的容災底線保證,確保在任何預計之外的災難發(fā)生后,業(yè)務系統(tǒng)都可以在允許損失極少量數(shù)據(jù)(或無損失)的情況下,在一定的時間內(nèi)恢復,數(shù)據(jù)容災同時也是應用邏輯錯誤和數(shù)據(jù)庫軟件 bug的容災應對出發(fā)點;可以通過一定的方式來恢復到這種故障之前的可用的狀態(tài)。1.1應用數(shù)據(jù)安全級別的分級考慮鑒于當前存在的大量數(shù)據(jù),在安全性的要求上建議分出不同的優(yōu)先級別,建立不同安全級別的保護措施。這樣不僅在成本上會帶來優(yōu)勢,同時也可以確保最關鍵數(shù)據(jù)的不丟失。這種分級保護一般根據(jù)可以承受的數(shù)據(jù)丟失量 (如半小時,或一天)來考慮。我們不妨把不允許有任何數(shù)據(jù)丟失的應用定義為安全級別最高, 要求進行實時的同步的數(shù)據(jù)遠程傳輸,對于相對來講數(shù)據(jù)安全級別稍低者可以把數(shù)據(jù)傳輸?shù)膬?yōu)先
級別作相對較低的配置,從而確保在同一時間優(yōu)先發(fā)送最為關鍵的應用數(shù)據(jù)而對丁數(shù)據(jù)安全要求一般的數(shù)據(jù)來說,建議采用本地的磁帶備份即可,而不必納入到災備的體系中來。這樣不僅可以合理使用資金,同時也可以確保關鍵數(shù)據(jù)的最高級別保護。1.2用戶需求分析:用戶資料采集:DE.LL665042HPDL580WEB!H!H兩全Brocade3900DELL|EMCCX700DELL2650□ELL|EMCCX4Q0SUN60Q(T2DE.LL665042HPDL580WEB!H!H兩全Brocade3900DELL|EMCCX700DELL2650□ELL|EMCCX4Q0SUN60Q(T2物流DELLPnwerVaJtIBM69O*2OLAPoracleHPDS20*2UNiX-oracle新增世植OELLIEMC CX600舊M69D*2'21,OLTPoracle.dbi2bportalBrocade3SOOxxxxxxx當前SAN環(huán)境(圖)用戶需求分析:1) 數(shù)據(jù)的實時遠程復制針對關鍵業(yè)務系統(tǒng)數(shù)據(jù)實現(xiàn)數(shù)據(jù)的實時的遠程復制,從而保障數(shù)據(jù)在本地發(fā)生各種故障之后首先可以保障數(shù)據(jù)的完整性,并可以通過一定的途徑快速得以恢復,或者根據(jù)情況在遠程直接啟動應用。2) 災備數(shù)據(jù)的可處理性,包括對數(shù)據(jù)的讀寫操作。所謂的讀操作,是指災備數(shù)據(jù)可以為其它的某些臨時的應用提供便利,支持對這些數(shù)據(jù)的讀操作。從而可以方便地驗證災備體系的工作是否正常,或者在必要的時候利用這些數(shù)據(jù)進行諸如員工培訓、軟件調(diào)試、相關系統(tǒng)的引用等多種處理。所謂的數(shù)據(jù)讀寫操作,是考慮利用災備數(shù)據(jù)提供諸如員工培訓、系統(tǒng)應用測試、后續(xù)軟件調(diào)試或其他臨時應用的可能。這樣,可以為上述應用帶來最大的便利性。但是,為了保持和原始數(shù)據(jù)的一致性,系統(tǒng)應該支持上述寫入操作的Reset(重置)操作,使得在上述任務結束后,可以方便地把數(shù)據(jù)恢復到?jīng)]有進行寫入操作之前的狀態(tài),維持災備數(shù)據(jù)和源數(shù)據(jù)的嚴格一致。另外一個方面,數(shù)據(jù)的讀寫支持,也可以很方便地驗證災備體系的工作是否正常。當然,這種讀寫操作必須要對數(shù)據(jù)的遠程復制和本地的應用不產(chǎn)生任何影響。2)(遠期)應用的可切換支持。災備中心不應該作為純粹的備用系統(tǒng),在提供諸如數(shù)據(jù)查詢等應用的同時,還要提供自動的應用切換等支持,一旦在生廣中心發(fā)生故障后,災備中心的關鍵系統(tǒng)可以自動接管生產(chǎn)系統(tǒng),提供持續(xù)的應用保障。這種規(guī)劃建議作為遠期的目標之一,當前建議只以數(shù)據(jù)的遠程復制為主,但當前的方案必須要考慮到本要素。1.3本項目中需要注意的幾個要點通過在對用戶的具體環(huán)境和需求作了細致的分析之后,我們認為用戶對該數(shù)據(jù)容災系統(tǒng)給以了充分的重視,所提出的觀點和要求是十分詳細和具體的,在此,從我們方案提供商的角度,對此作如下的概括,便于整體方案的分析。方案的通用性。這種通用性體現(xiàn)在兩個方面:一是異構平臺、存儲設備的支持性,二是對不同應用類型數(shù)據(jù)的適用性,只有這樣的方案才可以較好地保障用戶當前投資, 達到與應用類型無關、與平臺無關以及與磁盤陣列等存儲設備無關的適用性最廣的解決方案。在當前,數(shù)據(jù)主要以Oracle、DB2、SQL2000類型為主,但是隨著應用類型的增加,產(chǎn)生不同類型數(shù)據(jù)的可能性還是很有可能的。如果現(xiàn)在選用了僅僅支持如Oracle數(shù)據(jù)的解決方案,那末臨時性的其他數(shù)據(jù)將無法得到及時的復制,或者今后的應用擴展將受到很大的制約。實時的數(shù)據(jù)復制解決方案。我們認為最終用戶已經(jīng)對不同應用數(shù)據(jù)的安全性要求做出了很好的分析和劃分,其中關鍵數(shù)據(jù)要求不丟失,或盡量少地丟失。因此,我們認為必須要采用真正的實時的數(shù)據(jù)復制解決方案才可以滿足這種要求。在條件具備的情況下,應該做到無延遲數(shù)據(jù)復制。而建議采用非實時或準實時復制方案。災備數(shù)據(jù)的可用性分為兩個方面,一是數(shù)據(jù)的實時復制的可靠性,要求復制數(shù)據(jù)要和源數(shù)據(jù)保持嚴格一致,嚴格按照源數(shù)據(jù)的寫入順序進行復制,使得災備數(shù)據(jù)具有可用性。二是在需要的時候可以很便利地對災備數(shù)據(jù)進行讀寫操作,但是,這種讀寫操作不應該對數(shù)據(jù)的實時復制產(chǎn)生影響。還有,在對災備數(shù)據(jù)進行修改(如進行員工培訓、軟件測試等操作時對數(shù)據(jù)的采集或調(diào)整測試)后可以恢復到原有狀況,從而確保數(shù)據(jù)的一致性和安全性。擴展的便利性包括對當前和今后其他應用類型數(shù)據(jù)的實時復制的擴展, 復制距離的擴展以及復制節(jié)點數(shù)量的擴展等多個方面,在當前選擇方案的時候面對未來的需求進行全面考慮。數(shù)據(jù)的丟失量對于關鍵應用要求數(shù)據(jù)不丟失,因此,不建議采用諸如當前在主機上開辟一定的緩存(Buffer)空間,用來存放待復制的數(shù)據(jù),利用異步的方式發(fā)送到遠程。這樣的產(chǎn)品無疑會因為各種原因導致數(shù)據(jù)的丟失率較大, 如當主機資源意外掉電或宕機時,上述Buffer(緩存)中的數(shù)據(jù)必然會被丟失。我們推薦在主機產(chǎn)生寫入操作的同時數(shù)據(jù)被發(fā)送出去,這樣,數(shù)據(jù)始終保持和本地的寫入同步,這樣的方案才可以真正做到數(shù)據(jù)的無丟失。數(shù)據(jù)的可回滾性(最新數(shù)據(jù)不可用情況下的數(shù)據(jù)恢復支持)不可避免地會在某些情況下,最新復制的數(shù)據(jù)不可用的情況下,尤其對于Oracle數(shù)據(jù)庫,很可能在管理員發(fā)現(xiàn)故障時,其內(nèi)部已經(jīng)在幾分鐘之前就已經(jīng)出現(xiàn)了問題,那末,被復制過去的數(shù)據(jù)肯定也是不能夠被使用的。此時,我們必須要具有數(shù)據(jù)的回滾性支持,比如可以往前回滾30秒、1分鐘或2分鐘,并利用這些數(shù)據(jù)獲得可用數(shù)據(jù)同時數(shù)據(jù)的丟失量最小化。災備自身系統(tǒng)實施及恢復的便利(簡易)性災備系統(tǒng)的實施不應該對現(xiàn)有的應用系統(tǒng)作任何調(diào)整,尤其是對當前運行較穩(wěn)定的系統(tǒng)。當然,即使需要一定的調(diào)整。那末。這種調(diào)整夜必須是系統(tǒng)管理員可以理解并接受的。同樣,對于災備系統(tǒng)自身而言,發(fā)生問題后的解決或全面的恢復也要簡易化,要支持如WEB管理,圖形化管理,而不應該需要較復雜的配置。否則,今后如果需要作系統(tǒng)調(diào)整,那末,系統(tǒng)管理員將無法面對這種配置和管理,甚至導致日常的維護也不敢動手的現(xiàn)狀。對系統(tǒng)的影響最小化由于當前應用系統(tǒng)的完善性和穩(wěn)定性,不建議為了本災備系統(tǒng)而對當前的應用系統(tǒng)做任何方面的調(diào)整。主機資源不能夠因為災備系統(tǒng)的實施而顯得緊張, 包括內(nèi)存、CPU等資源的占用應力求最小化。當然這種影響我們認為同樣包括實施時候對系統(tǒng)、對數(shù)據(jù)庫、對應用的調(diào)整合對存儲空間的調(diào)整等多個方面。災備方案要支持策略化配置便于不同的應用數(shù)據(jù)具有不同的復制優(yōu)先級別,以確保關鍵數(shù)據(jù)不丟失。災備系統(tǒng)的管理簡易性為了確保災備系統(tǒng)的正常運行,在日常的管理中必須要進行一定的演練,以保障需要時候的迅捷相應和確認災備系統(tǒng)可用性。 那末,這種日常的演練活動必須要簡單,也就是災備系統(tǒng)自身必須要具有簡易的人性化的管理,同時,在對災備數(shù)據(jù)作驗證時不應當對生產(chǎn)系統(tǒng)產(chǎn)生任何影響。還有,系統(tǒng)自身故障后應該具有很便利的方式直接來恢復, 而不需要重新配置。災備數(shù)據(jù)具有不影響復制的讀寫支持,同時支持寫入操作后的Reset(數(shù)據(jù)重置)為了充分利用災備數(shù)據(jù),方案必須要支持對災備數(shù)據(jù)的讀寫,同時,該讀寫的過程不應該影響數(shù)據(jù)的繼續(xù)復制。這樣,我們可以利用災備數(shù)據(jù)進行諸如軟件調(diào)試、員工培訓、系統(tǒng)測試、災備系統(tǒng)測試、演練等多種操作。但是,一旦在這種練習結束后,必須要要保證災備數(shù)據(jù)恢復原樣,保持和實際數(shù)據(jù)一致。相關故障的自恢復故障報警功能系統(tǒng)涉及到大量的專業(yè)設備或技術,因此,災備系統(tǒng)必須要具有很強的相關故障自恢復功能。如WAN故障、主機故障、應用系統(tǒng)故障等相關因素在恢復正常后,災備系統(tǒng)也應該自動恢復運行,保持數(shù)據(jù)的實時復制另外,災備系統(tǒng)自身應該具有完善的日志和報警機制,減輕管理員的負擔災備系統(tǒng)具有較強的數(shù)據(jù)傳輸性能(如高度的壓縮等能力)由于系統(tǒng)基于IP鏈路設計,因此,必須要具有很高的數(shù)據(jù)傳輸能力,才可以保障在有限的帶寬資源環(huán)境下提高數(shù)據(jù)的復制性能。這種性能的提高很大程度上是靠較高的壓縮率來時實現(xiàn)的,我們建議災備系統(tǒng)要具有超過10倍的壓縮率C2.數(shù)據(jù)容災系統(tǒng)的詳細設計2.1系統(tǒng)設計原則在基于當前的先進技術及產(chǎn)品的情況下,結合整體造價,提供最高性價比的整體解決方案是我們這次規(guī)劃的主要原則。同時在遵循用戶提出的設計原則的前提下,我們還充分考慮了如下的設計理念:最高的性價比。根據(jù)用戶應用的實際需求,提供適宜的解決方案,在有限的資金許可范圍內(nèi),提供符合上述需求的方案,并降低后續(xù)的維護成本,從而提高系統(tǒng)的整體性價比。實時的數(shù)據(jù)復制,數(shù)據(jù)丟失率最小化。策略化的數(shù)據(jù)復制,保障關鍵應用和一般應用數(shù)據(jù)的優(yōu)先級別策略化,確保關鍵數(shù)據(jù)不丟失。嚴格的數(shù)據(jù)一致性。災備數(shù)據(jù)的可讀寫支持,在進行讀寫的同時不影響正常的數(shù)據(jù)復制,災備數(shù)據(jù)在被操作后致支持重置,確保與原數(shù)據(jù)一致?;赪EB、GUI(圖形管理)及CLI(命令行)多種管理方式。對應用系統(tǒng)影響最小化;自身故障對應用系統(tǒng)無影響實施便利,無須對應用作任何調(diào)整。廣泛的適用性,數(shù)據(jù)復制和應用類型、數(shù)據(jù)類型沒有任何關系,支持異構的平臺和存儲設備。高性能的數(shù)據(jù)傳輸,具有高度的數(shù)據(jù)壓縮率(高于 10倍),提高數(shù)據(jù)復制性能。2.2系統(tǒng)的產(chǎn)品選擇我們選用業(yè)界最領先的美國EMC公司的RECOVERPOINT產(chǎn)品作為本系統(tǒng)數(shù)據(jù)的實時復制(容災)產(chǎn)品。EMC公司總部在美國加利福尼業(yè)州,在美國紐約、圣何塞(硅谷)及以色列具有研發(fā)基地,專門致力于數(shù)據(jù)安全解決方案的技術研發(fā)。在數(shù)據(jù)容災日益成為大家關注的話題的同時,EMC推出了新一代的數(shù)據(jù)復制解決方案。大體來說,美國EMC產(chǎn)品具有如下的基本特點:提供實時的數(shù)據(jù)復制保障,確保在各種故障發(fā)生的情況下數(shù)據(jù)的完整性。便于實現(xiàn)應用的遠程容災。支持異構存儲和異構服務器平臺。這種功能的實現(xiàn)便于用戶提供對當前及未來存儲設備投資的保障, 最大程度地適應存儲設備的多樣性,避免在今后磁盤陣列的擴展成為被限制的一個方面。相反,目前大多的數(shù)據(jù)容災解決方案均是以磁盤陣列為基礎進行復制, 要求本地和遠程具有相同的磁盤陣列類型?;跇藴蔍P網(wǎng)絡進行數(shù)據(jù)復制,同時采用智能化帶寬縮減技術來實現(xiàn)對帶寬需求的空前降低。目前的數(shù)據(jù)復制方案均要求在本地和遠程之間通過專線連接,這樣無疑會帶來巨大的成本要求。而EMC的解決方案可以基于IP網(wǎng)絡,同時具有帶寬約減技術(較高的數(shù)據(jù)壓縮率),策略化地實現(xiàn)數(shù)據(jù)和應用對當前帶寬的適應性。策略化的數(shù)據(jù)復制解決方案,支持全面的數(shù)據(jù)保護服務級別。不同的應用數(shù)據(jù)具有不同的安全級別,因此,在數(shù)據(jù)復制的同時也可以按照不同的應用給以不同的策略設置,確保關鍵數(shù)據(jù)的安全。如用戶可以定義關于延遲、帶寬等方面的策略,使得用戶可以在性能、安全和成本之間均衡考慮。同步、異步以及時間點多種模式的數(shù)據(jù)復制方式動態(tài)全面支持。RECOVERPOINT提供了無數(shù)據(jù)丟失的保護措施。一臺主機應用每次進行到本地磁盤子系統(tǒng)的寫處理時,會并行處理寫操作到本地的 EMC設備。EMC應用這種同步連接,并利用獨特的緩沖(Buffer)來移交最新的數(shù)據(jù)保護級別,達到無數(shù)據(jù)丟失的保護。EMC的緩沖被內(nèi)置在設備內(nèi),可以被置于遠遠超過光纖所能達到的距離之外。利用快照歷史可以允許恢復到任一時間點的數(shù)據(jù)狀態(tài)。除了可以保持始終一致的數(shù)據(jù)復制之外,EMC還提供了獨特的回滾能力:“小徑快照”提供頻繁的基于幾秒間隔的快照能力,這樣可以實現(xiàn)到任何時間點(point-in-time)的數(shù)據(jù)恢復。在最新數(shù)據(jù)被破壞的情況下,可以從快照歷史庫中選擇最近的一次完好可用的快照數(shù)據(jù)快速恢復到剛剛故障之前的狀態(tài)。 這一極有價值的能力非常引人注目地減少了數(shù)據(jù)丟失以及對數(shù)據(jù)崩潰的保護。在一定的程度上EMC提供的該功能可以代替數(shù)據(jù)備份技術,甚至遠遠超過了后者企業(yè)級高可用及可擴展性支持在每個節(jié)點通過放置兩臺RECOVERPOINT產(chǎn)品,可以達到自動化的冗余設計,實現(xiàn)數(shù)據(jù)復制應用的高可用。唯一的真正“out-of-band”技術的采用使得實施簡單易行,同時對應用的影響最小化。EMC基于智能化out-of-band的一種設備,可以連接到SAN和IP結構中。也就是說,這種數(shù)據(jù)復制的過程是在數(shù)據(jù)路徑之外的,以一種非入侵的方式進行。因此,EMC的實施出人意料的簡單易行,另夕卜,與in-band產(chǎn)品相比,EMC的out-of-band解決方案提供了無限制的擴展能力,同時對應用無任何潛在的影響。遠程數(shù)據(jù)的可用性支持EMC提供的復制解決方案支持遠程數(shù)據(jù)的可操作性,包括讀寫。這樣某些特定的操作如生產(chǎn)數(shù)據(jù)的模擬化聯(lián)系,軟件的調(diào)整測試、系統(tǒng)開發(fā)測試、 新軟件的升級測試等等都可以在這些基礎上進行首先測試, 確保沒有問題之后再于生產(chǎn)系統(tǒng)之上進行實施。遠程管理的支持EMC的RECOVERPOINT設備支持遠程的管理與維護,可以配置Email地址,并選擇某一類型的信息發(fā)送到該地址。同時,經(jīng)過用戶開放許可,在北京的技術服務中心和美國EMC公司的服務人員都可以隨時提供遠程支持。以最快的速度解決問題。便捷的配置恢復在RECOVERPOINT自身發(fā)生故障,甚至需要更換時,可以便捷地從原來
EMC的配置信息中恢復其配置。該信息被保存在磁盤陣列中,并且該空間只有軟件可以支配,從而保障其安全可靠性。EMC靈活的擴展支持EMC的解決方案支持雙向的數(shù)據(jù)復制,支持異構的平臺和存儲設備,便于擴展。任何應用類型的適應性(方案的通用性)由于EMC的獨特數(shù)據(jù)復制方式,決定了該方案可以適應任何的應用類型。這樣便為用戶提供了靈活便利的應用擴展余地??梢苑奖愕匕呀窈蟮膽眉{入到本書據(jù)復制體系中來。綜上,我們認為采用EMC的數(shù)據(jù)容災解決方案是最合適的選擇。3.3災備中心的組建根據(jù)當前的用戶應用環(huán)境和今后發(fā)展的考慮, 我們建議在遠程災備點組建SAN的存儲架構用于省數(shù)據(jù)中心和今后其它生產(chǎn)點數(shù)據(jù)的集中災備中心。基本的架構如下圖示意。備價戊*器磁帶庫針對這種架構,我們建議在產(chǎn)品的選擇上作如下的基本要求:1) 在經(jīng)費許可的情況下配置雙交換機,配置必要的服務器(但是對丁RECOVERPOINT的解決方案來說,并不需要在災備中心配置服務器,我們建議配置服務器的目的僅在丁對數(shù)據(jù)的驗證和某些必要的操作) 。初期可以配置單臺光纖交換機。2)磁盤陣列的選擇建議采用FC-SATA的磁盤。作為數(shù)據(jù)的災備系統(tǒng),日常并不涉及到應用,因此,建議采用價格相對低廉的 FC-SATA磁盤陣列。3) 關鍵產(chǎn)品配置冗余部件,提高安全性。磁帶庫可作為備選設備供遠期擴容之用2.4數(shù)據(jù)容災系統(tǒng)的基本結構基于美國EMC公司的產(chǎn)品,我們提供了如下圖的數(shù)據(jù)安全保障體系架構。從下圖可以看出,系統(tǒng)的配置簡單,結構活晰。在本方案中我們不需要在數(shù)據(jù)中心的各服務器上安裝軟件,唯一需要的是在需要做數(shù)據(jù)復制的系統(tǒng)上安裝RECOVERPOINT的驅動程序,而不需要在服務器上作任何其他方面的調(diào)試。該結構的主要配置如下:在數(shù)據(jù)中心和災備中心分別配置兩臺RECOVERPOINT,分別連接到光纖存儲交換機和以太網(wǎng)絡,每個點的RECOVERPOINT之間可以自動冗余,保障數(shù)據(jù)容災系統(tǒng)的不問斷運行。在各服務器上只需要安裝RECOVERPOINT的驅動程序,不需要安裝其他的任何軟件。具體請參考如下示意圖。I夾備中心IBrocace3痂||Brocace39(^]TTBDELLiEMCCX4O0HFlQSi耕我Hdell^mcoellbicDELL 1—一"—1CX6CO CX7C0P?MerVajl!2.5數(shù)據(jù)的遠程復制流程EMC提供了完整的獨立于應用系統(tǒng)之外的數(shù)據(jù)容災體系。這樣對應用系統(tǒng)的影響被降低到最低。具體的數(shù)據(jù)復制過程如下所述:在需要作數(shù)據(jù)復制的應用服務器上安裝RECOVERPOINT的驅動軟件。在應用數(shù)據(jù)進行寫操作時,這些驅動程序會截取這些寫入操作,并把該寫入操作在繼續(xù)其正常寫入的同時并行地復制到本地的RECOVERPOINT設備上。數(shù)據(jù)中心的RECOVERPOINT設備在接收到上述數(shù)據(jù)之后通過諸如壓縮等方面的處理,根據(jù)策略設置把相關數(shù)據(jù)傳遞到遠程(災備中心)的RECOVERPOINT設備上。遠程(災備中心)的RECOVERPOINT設備把上述數(shù)據(jù)按照嚴格的寫入順序寫入到遠程(災備中心) 的磁盤存儲系統(tǒng),實現(xiàn)數(shù)據(jù)的一致性遠程保存。另外的一種方式,EMC安裝在本地服務器上面的驅動在接收到遠程磁盤陣列的寫入反饋(ACK)應答之后才繼續(xù)進行下一個寫入操作,這樣的方式是100%同步的方式,可以保障數(shù)據(jù)100%的完整和可用性。還有,EMC的復制支持某一個時間點的復制方式,可以每隔幾秒鐘自動產(chǎn)生一次快照,并在遠程保存這些快照,這樣,快照歷史庫可以便利地恢復歷史庫中某一個時間的數(shù)據(jù)。便于在最新數(shù)據(jù)被破壞的情況下,可用數(shù)據(jù)的恢復。上述幾種方式的利用可以由RECOVERPOINT自動優(yōu)化選擇,無需人工調(diào)整或設置。因此,從該方面來講,EMC的解決方案不僅僅可以恢復最新的應用數(shù)據(jù),同時也可以恢復某一個時間點的數(shù)據(jù)?;谏鲜鰯?shù)據(jù)復制原理,EMC適應任何類型的應用數(shù)據(jù),同時無需單獨購買諸如針對Oracle、Informix等等不同應用的選件。這一方面也為用戶今后的擴展提供了方便。這種數(shù)據(jù)復制可以基于一定的策略設置,針對不同的應用采用不同的諸如延遲、帶寬占用等方面的策略設置,確保關鍵數(shù)據(jù)的可靠性復制。由于數(shù)據(jù)在正常寫入的同時被傳遞到本地RECOVERPOINT設備上,因此,這種數(shù)據(jù)丟失的可能性被降低到最低的程度,在某種程度上EMC提供了無數(shù)居丟失的安全保障。在本地配置兩臺RECOVERPOINT設備,可以保障其中一臺故障的情況下,保證數(shù)據(jù)實時復制的繼續(xù)性,起到冗余的作用。這種切換是自動的,無需人工調(diào)整。2.6數(shù)據(jù)的遠程恢復流程在本地數(shù)據(jù)出現(xiàn)故障的情況下,可以通過RECOVERPOINT的圖形界面方便地把數(shù)據(jù)恢復過來。完整數(shù)據(jù)的恢復流程僅僅需要調(diào)整原來的數(shù)據(jù)復制方向,由本地到遠程調(diào)整為由遠程到本地,那末,遠程的數(shù)據(jù)將會作為源數(shù)據(jù)被復制到本地,從而實現(xiàn)數(shù)據(jù)的恢復。這種恢復是最新數(shù)據(jù)并且是最完整的恢復。在某些情況下,被復制到遠程的數(shù)據(jù)可能因為在復制的同時本地數(shù)據(jù)已經(jīng)被破壞等原因導致最新數(shù)據(jù)不可用的情況。此時,我們完全可以通過可用的最新數(shù)據(jù)快照恢復可用的數(shù)據(jù)由于EMC提供了數(shù)據(jù)快照歷史庫的原因,我們可以根據(jù)需要把數(shù)據(jù)恢復到原來的某一個時刻,在一定程度上取代利用磁帶所作的數(shù)據(jù)備份的功能。 當然這種取代是在一定程度上的,并不能完全代替歷史數(shù)據(jù)的備份。在某些情況下需要對部分文件進行恢復時,可以把災備中心的數(shù)據(jù)復制卷加載上來,隨意恢復任何一個文件。4.6RECOVERPOINT的管理與維護RECOVERPOINT支持基于WEB的全局管理,用戶可以便利地實現(xiàn)遠程監(jiān)控,并可以通過email來定制一定類型的活全部的系統(tǒng)信息,包括故障、警告等,從而在最短的時間內(nèi)獲得系統(tǒng)得異常信息。卜面是RECOVERPOINT的管理界面示意圖:,>MRMlWtdHPHf¥qgH制ifflflH枷C Infl C』■ . C Infl C』■ . H .* —?■- 13-」■■□□S^e|hitiSb|i|-za^M0F?K伽愀并:SlsragaH0S16-計—.eW頃F曲QKK3K弛做爭J1H&Hh'NJAiTffH| E 笙>?"5";EC4fl?|LW1P-1X|成1W?kV融I?1蛙005.再^+w-wlEhrEn^i網(wǎng)?ifffcTs-71Si;S0OKWtcKri*^?raunaKnhgOKbUArWFn^jfc^jtCMGJgMKrrQ313<*■FLA^heOcieiZMuargMiter?MAAgMKhWOKHM匚牌BP時3苒Mthftt心litWz「憂1*地f313Q|f.IH"畫X'lh-L'J;.dd fC*1必? 中蛤" 如MW素阪1wEi'LE-r“|[T~哄L..1n1Lh...]M.」頊k.J宮L.] Mgr..| 勺從上圖可以看到,系統(tǒng)中的SAN組件,WAN及主機均可以動態(tài)體現(xiàn)出來,無論是其中的任何一個發(fā)生故障,那末,都會在該圖形上直接顯示,一旦故障解決,系統(tǒng)可以自動恢復,無須人工處理。這位系統(tǒng)整體的管理帶來了直觀性和便利性。系統(tǒng)的遠程維護:RECOVERPOINT支持其遠程管理,在用戶許可并對管理員開放用戶名和密碼后,可以通過互聯(lián)網(wǎng)絡直接登錄到RECOVERPOINT,從而進行一定的分析與處理。4.7基本的策略設置
系統(tǒng)可以根據(jù)應用的不同、安全級別要求的不同、線路的利用要求等多方面進行策略設置,這些策略包括:優(yōu)先級別的設置,不同的復制組可以設置相對的優(yōu)先級別,從而保障關鍵應用數(shù)據(jù)的不丟失,體現(xiàn)出不同應用數(shù)據(jù)不同的安全要求。帶寬利用率的設置,如果用戶的帶寬比較緊張,那末可以限制數(shù)據(jù)復制所占用的帶寬,從而,全面保障應用帶寬,保障應用性能。高壓縮率的設置,系統(tǒng)提供可6-10倍的壓縮率,對于數(shù)據(jù)庫應用甚至可以高達15倍的壓縮,從而為數(shù)據(jù)的傳輸性能帶來保障。
高級策略設置:數(shù)據(jù)復制系統(tǒng)(RECOVERPOINT)故障后是否保持應用系統(tǒng)的繼續(xù)運行,否則,一旦RECOVERPOINT故障,可以在同一時間終止應用系統(tǒng)的寫入,從而保障應用系統(tǒng)數(shù)據(jù)和災備數(shù)據(jù)保持完整地一致。缺省情況下,RECOVERPOINT的故障對應用系統(tǒng)沒有任何影響。在WAN故障情況下,是否允許應用系統(tǒng)得繼續(xù)運行。舟舟04.8整體的成本降低從發(fā)展的角度來看,我們推薦的RECOVERPOINT方案可以在如下的幾個方面為用戶帶來附加的費用降低,從而帶來整體的投資降低:對不同磁盤陣列的支持:本地和遠程的磁盤陣列可以不同,為今后的擴展帶來便利。災備點的磁盤陣列可以根據(jù)情況來選用中端或低端的產(chǎn)品。對不同應用類型的支持,避免了今后不同的應用需要需要采用另外的方案來實現(xiàn)容災的目的。低帶寬的要求,帶來后續(xù)帶寬成本的降低。維護成本大大降低,由于涉及內(nèi)容較少,和磁盤陣列、 SAN、應用等多個方面都沒有較大的關系,因此,維護的工作量大大降低,同時遠程的維護支持帶來了7*24維護的可能,代表著整體的維護成本的降低。后續(xù)擴展的成本,KBX支持多對一的復制,也支持雙向的復制,因此,對于今后的節(jié)點加入和擴展帶來了保障,無須另外的方案解決。2.7本容災系統(tǒng)的結構特點從上面的配置介紹及示意圖,我們可以活楚看到本子系統(tǒng)的主要特點:充分降低數(shù)據(jù)安全體系對系統(tǒng)的影響;真正實時的數(shù)據(jù)遠程復制;數(shù)據(jù)的完整恢復(零數(shù)據(jù)丟失)保障;和應用無關;支持任何應用類型;實施維護便利;擴展便利;距離無限制,服務器增加或應用增加不需要重新購買相關軟件;支持異構服務器和存儲環(huán)境(不同廠家的磁盤陣列);100%的數(shù)據(jù)一致性恢復,確保數(shù)據(jù)的可用性。自身具備高可用支持,保障了容災自身體系的不問段運行。對現(xiàn)有的存儲系統(tǒng)及應用系統(tǒng)無須調(diào)整,確保當前應用系統(tǒng)的穩(wěn)定性。持續(xù)的數(shù)據(jù)保護,可以把數(shù)據(jù)恢復到任意的時間點。2.8數(shù)據(jù)容災系統(tǒng)擴展可以從三個方面來討論本問題:1) 應用類型的擴展,不可避免地會存在多種類型數(shù)據(jù)(應用)的遠程復制(容災)要求,這樣,就要求當前的容災設計必須要適用這種多種類型數(shù)據(jù)共存的需求。我們提供的解決方案和應用類型沒有任何關系,因此,無論是何種應用類型產(chǎn)生的數(shù)據(jù)或任何的數(shù)據(jù)類型都能夠被本容災系統(tǒng)復制到遠程。2) 應用服務器的擴展,我們提供的方案支持異構的平臺和磁盤陣列,因此,面向未來的發(fā)展,無論是服務器的增加還是其他廠家(或型號)的磁盤陣列的加入,都可以被輕松地納入到本容災體系中。還有我們提供的方案在造價上和應用服務器的數(shù)量和類型沒有關系,便于隨時擴展服務器。3) 基于應用級容災需求的擴展。由于我們提供的方案保障了遠程數(shù)據(jù)的可用性,因此,可以便利地利用其他高可用軟件來實現(xiàn)應用的遠程切換。4) 今后其他點的加入:如果有其他地點的數(shù)據(jù)需要作容災規(guī)劃,那末,只需要和本配置一樣配置相應的RECOVERPOINT硬件產(chǎn)品即可。其他完全可以利用本災備中心的所有資源。因此,這種擴展將極為便利,無須再添加其他的相關產(chǎn)品/設備。對當前整個的災備系統(tǒng)業(yè)沒有任何影響。2.9系統(tǒng)投資保障由于EMC的RECOVERPOINT產(chǎn)品和應用類型無關,支持異構的平臺和存儲設備,因此,可以充分利用現(xiàn)有的系統(tǒng)環(huán)境,充分保障用戶現(xiàn)有的投資。同時上面對擴展性的靈活支持也是對用戶當前投資的一種充分保障。數(shù)據(jù)容災系統(tǒng)與其他方案的簡要比較當前,還有一些廠商提供了基于磁盤陣列的數(shù)據(jù)復制解決方案。主要包括EMC、RM等廠家。其主要結構是在本地數(shù)據(jù)中心和災備中心均配置同一廠家的磁盤陣列產(chǎn)品,中間通過光纖通道連接,以邏輯卷為基本單位,將本地磁盤陣列上的數(shù)據(jù)同步鏡像到遠程的磁盤陣列上。一般這樣的方案可以工作在同步和異步兩種模式下,同步要求帶寬要足夠寬,異步則存在可能的數(shù)據(jù)丟失或對本地應用產(chǎn)生影響。一般這些方案都不支持自動得快照功能,另外,快照也不是基丁增量的,占用較大空間的同時,對應用等都將產(chǎn)生一定得影響。從而在最新數(shù)據(jù)不能夠利用的情況下,數(shù)據(jù)的可用性恢復和數(shù)據(jù)的丟失量無法保障。就此,我們作如下的簡要比較列表供大家參考:序功能EMCRECOVERPOINT基丁磁盤陣歹0的方案備注1實時性實時準實時2通用性和磁盤陣列無關只能適用丁同一個廠家的磁盤陣列產(chǎn)品3遠程數(shù)據(jù)可用性支持讀寫,對生產(chǎn)應用無任何影響,不支持讀,不支持寫入操作。
遠程數(shù)遠程數(shù)不影響不支持數(shù)據(jù)操據(jù)處理據(jù)處理作(處理),如果(正常對復制需要進行處理,復制過的影響那末,必須中斷程中)復制過程。遠程數(shù)支持,并支持數(shù)據(jù)重不支持,如果遠據(jù)的寫置(Reset),保持災程數(shù)據(jù)被更改,操作及備數(shù)據(jù)始終保持與那末,沒有辦法數(shù)據(jù)重本地數(shù)據(jù)的一致性?;謴捅镜睾瓦h置程數(shù)據(jù)的一致性。4數(shù)據(jù)的最新生始終可用可用可用性產(chǎn)數(shù)可用時
5最新生可以通過回滾,來恢必須結合利用后白(基于產(chǎn)數(shù)據(jù)復如15秒或30秒或其他工具進行盤陣的解小可用幾分鐘之前的數(shù)據(jù),快照處理,但是,決方案)的時在保證恢復可用數(shù)快照的頻率較快照對應據(jù)的同時,也保障數(shù)小,數(shù)據(jù)可能的用具有很據(jù)的丟失量最小丟失率較大。大的影響,部支持自動的因為產(chǎn)生快照廣生??煺盏臅r候,需要暫停應用。6快照增量、自動非增量、需要腳本實現(xiàn)自動化7占用空間較小較大快照需要的附加空問8帶寬一般,無需專線很高,必須專線,一般為光纖專線。9技術復雜度極其簡單,支持較復雜,兩套軟WEB、GUI、CLI方件分別管理式的集中管理。
10后期演練難度簡單復雜快照數(shù)據(jù)的利用直接利用間接利用11成木較低較局整體的購頭成木及維護成本。12自身局可用支持不支持13高度壓縮6-10倍無14對應用系統(tǒng)的影響無影響自身故障,對應用系統(tǒng)有影響15策略化支持不支持數(shù)據(jù)容災系統(tǒng)的實施計劃4.1系統(tǒng)實施需求規(guī)劃初步建議用戶在每個點采用單臺RECOVERPOINT設備,今后可以擴展到兩臺,達到冗余的目的。在此情況下我們作如下的基本規(guī)劃:在災備中心的磁盤陣列上分別劃分出多個不同的 LUN,分別供復制時接收不同的應用類型數(shù)據(jù)使用。在本地和和災備中心的磁盤陣列上再分別劃分出2個LUN,分別作為EMCVolume和SnapshotHistoryVolume 。前者用來保存RECOVERPOINT的所有配置信息,以及RECOVERPOINT相關的集群狀態(tài)數(shù)據(jù),空間要求為10GB左右即可。后者,用來保存快照記錄,用丁在最新數(shù)據(jù)不可用的情況下,通過回滾來恢復可用數(shù)據(jù),并保持最小化的數(shù)據(jù)丟失量。該卷的空間大小根據(jù)用戶說明,需要考慮長達24小時的數(shù)據(jù)復制中斷情況下的數(shù)據(jù)變化量來綜合考慮。在本地和災備中心的光纖交換機上分別配置兩個光纖口,連接RECOVERPOINT。在本地和災備中心的以太網(wǎng)絡交換機上分別配置兩個口,分別連接RECOVERPOINT,其中每臺RECOVERPOINT具有兩個以太網(wǎng)口,一個連接內(nèi)部局域網(wǎng),另一個連接WAN。進行簡單的圖形化配置RECOVERPOINT,完成數(shù)據(jù)的初始化,進入正常數(shù)據(jù)復制。進行相關測試,驗收。進入后續(xù)維護期。4.2相關性要求/實施步驟在系統(tǒng)的實施過程中,需要諸如磁盤陣列廠家、光纖交換機廠家及用戶或應用軟件開發(fā)商提供簡單的協(xié)助,具體的任務計劃如下。 (注:黃色部分均為實施前的準備工作,真正的RECOVERPOINT的實施步驟為下表中的7-13。整體的實施周期為一周,包括實施及驗收、測試。)序號項目/任務內(nèi)容負責方完成時間備注
1確認24小時的數(shù)據(jù)最大變化量軟件開發(fā)商和用戶2磁盤陣列(數(shù)據(jù)中心和災備中心)倉U建LUN,用丁接收被復制的數(shù)據(jù)。磁盤陣列廠商/維護人員和生產(chǎn)用空間相同。創(chuàng)建EMCVolume20GB~10GB創(chuàng)建SnapshotHistoryVolume〉=24小時的最大數(shù)據(jù)變化量。3光纖交換機的Zoning設置光纖交換機J商&災備系統(tǒng)實施方需要把EMCVolume和SnapshotVolume及應用LUN進行安全設置。4連接RECOVERPOINT,數(shù)據(jù)中心和災備中心同時進行軟件開發(fā)商&災備系統(tǒng)實施方
5配置RECOVERPOINT,安裝服務器端的RECOVERPOINT驅動程序需要確認RECOVERPOINT利用的IP和Gateway地址,數(shù)據(jù)中心和災備中心的KBX各需要5個IP地址。6申請重新引導系統(tǒng)系統(tǒng)管理員/詢J商/軟件開發(fā)商需要提前申請7現(xiàn)有數(shù)據(jù)系統(tǒng)初始化軟件開發(fā)商&災備系統(tǒng)一天初始化最好在應用停止的情況下進行,當然也支持在線的數(shù)據(jù)初始化。實施方8系統(tǒng)初始化驗證軟件開發(fā)商&災備系統(tǒng)實施方9數(shù)據(jù)的持續(xù)性實時復制,代表災備系統(tǒng)正常運行軟件開發(fā)商&災備系統(tǒng)一天/二天實施方10數(shù)據(jù)的驗證測試11災備數(shù)據(jù)的可用性測試
12災備系統(tǒng)的回切(從災備中心到數(shù)據(jù)中心)的測試根據(jù)需要決定是否進行本項測試13進入系統(tǒng)正常運行、維護期轉交給用戶進行日常管理。需要定期的演練4.3系統(tǒng)配置活單針對上書分析,我們作如下的配置活單列表:)丁與產(chǎn)品名稱分布作用備注1RECOVERPOINT硬件設備生產(chǎn)中心和災備中心各0發(fā)送/接收數(shù)據(jù)遠期可以擴展到各兩臺,達到冗余目的。2EMC數(shù)據(jù)復制軟件一套RECOVERPOINT的軟件及各服務器的RECOVERPOINT驅動軟件。詳細活單見附件。3Emulex光纖卡兩塊用丁RECOVERPOINT對雙光纖交換機的連接支持RECOVERPOINT缺省帶有一塊單口的光纖卡。5.數(shù)據(jù)容災系統(tǒng)的測試/驗收計劃在本災備系統(tǒng)實施完畢,隨即就可以進行相應的測試計劃。測試的主要步驟歹0表如下:5.1基本測試及對Oracle和其他類型數(shù)據(jù)的測試下面是以Oracle應用為例,對系統(tǒng)得測試/驗收步驟。Oracle應用數(shù)據(jù)是用戶最為關鍵的,在此,首先針對該應用進行測試測試名稱說明測試方式資源/備注數(shù)據(jù)的實時察看RECOVERPOINT對數(shù)在應用端進行數(shù)據(jù)的測試系統(tǒng)復制據(jù)復制的實時性。插入或刪除等類似操數(shù)據(jù)的實作,時復制的遠程節(jié)點數(shù)測試災備中心數(shù)據(jù)的可用性。加載災備中心的可靠性。據(jù)可用性LUN,利用Oracle作數(shù)據(jù)的可用性檢查遠程數(shù)據(jù)的測試災備中心數(shù)據(jù)的完整性。比較雙方在某一個時完整性刻點的數(shù)據(jù)一致性。數(shù)據(jù)一致性測試數(shù)據(jù)中心和災備中心數(shù)插入/刪除記錄等操測試據(jù)的一致性。作。非Oracle數(shù)同上類似步驟同上類似驗證方案
據(jù)的復制測試的通用性災備中心數(shù)據(jù)支持讀與在正常的運行狀態(tài)下,對災備中心的數(shù)據(jù)進行讀寫操作測試災備中心數(shù)在諸如員工培訓、軟件調(diào)試等在災備中心對數(shù)據(jù)進據(jù)被寫入后情況下,對備份數(shù)據(jù)進行調(diào)整行出入操作,之后進的Reset操治后可以再恢復到原來的一行Reset操作,察看該作致性中間過程忠對數(shù)據(jù)的變更TH否存在,產(chǎn)看數(shù)據(jù)的一致性。5.2切換及回切的測試在本地節(jié)點故障的情況下,用戶往往需要在遠程節(jié)點把應用迅速引導起來,另外,在本地節(jié)點正常之后,需要把應用再次切換回來,這樣的過程稱之為為切換/回切。測試名稱描述測試方式資源/備注兩個節(jié)點正常運行情況下的手工切換,裝載災備沒有必要影響都處丁確認被復制數(shù)據(jù)的可用性,災中心的數(shù)據(jù)中心應用Active狀備中心應用的正常運行。接收的正常運行。態(tài)下的切LUN,啟
換動Oracle。察看運行是否正常,數(shù)據(jù)正否可用。用戶初始化故障的切換以某種方式來模擬數(shù)據(jù)中心數(shù)據(jù)(應用)故障,察看此時數(shù)據(jù)的可用性。需要用戶及軟件提供商進行故障模擬。最新數(shù)據(jù)被破壞情況下的數(shù)據(jù)恢復進行一定的故障模擬,如果數(shù)據(jù)中心的數(shù)據(jù)發(fā)生』、可用的現(xiàn)象,利用災備中心的數(shù)據(jù)恢復全可用狀態(tài)。本地數(shù)據(jù)崩潰后進行回切進行數(shù)據(jù)中心的數(shù)據(jù)從災備中心進行恢復。5.3故障測試各種故障的發(fā)生是不可避免的,我們在上面安排的切換及回切等功能的演示,以及下面的如WAN故障的測試可以涵蓋大多嚴重的故障現(xiàn)象,從而確保數(shù)
據(jù)保護方案的可行性。測試名稱描述測試方式和資源WAN故障拔出WAN的連接線,導致連接故障,一段時間后恢復該聯(lián)路,測試EMC對該故障的響應。(在聯(lián)路故障的情況下,保持本地數(shù)據(jù)正常寫入)拔出WAN的連接線,導致連接故障,一段時間后恢復該聯(lián)路,測試EMC對該故障的響應。(在聯(lián)路故障的情況下,保持本地數(shù)據(jù)正常寫入)KBX故障(應用正常運行,但是KBX故障的情況下,測試其系統(tǒng)的自動恢復及對復制不影響)可以拔出KBX的網(wǎng)線、光纖線等,模擬故障。6.數(shù)據(jù)容災系統(tǒng)的日常管理/演練計劃本系統(tǒng)由丁維護的便利性和在測試(驗證)災備中心的數(shù)據(jù)可用性時,不需要對數(shù)據(jù)中心作任何的調(diào)整,也就是整個測試過程不會對數(shù)據(jù)中心的應用產(chǎn)生任何影響。同時,在對災備中心的數(shù)據(jù)進行讀寫處理時,對 RECOVERPOINT的復制也不會
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025建筑工程評估委托合同
- 2024年山東東營河口區(qū)引進衛(wèi)生專業(yè)技術招聘真題
- 2024年福建農(nóng)信招聘真題
- 基于摻鐿保偏光纖的高功率窄線寬線偏振激光
- 湖北省襄陽市第四中學2025屆高三下學期適應性考試(二)數(shù)學試題(原卷版)
- 山東省濱州市博興縣2024-2025學年八年級下學期4月期中考試語文試卷(含答案)
- 2025年二手交易電商平臺信用評級與信用評價體系研究報告001
- 新型殘障人三輪車行業(yè)深度調(diào)研及發(fā)展項目商業(yè)計劃書
- DB1303T 156-2011 綠色食品生菜生產(chǎn)技術規(guī)程
- 大學自主招生題目及答案
- 絲綢產(chǎn)品市場趨勢分析-洞察分析
- 國家開放大學《幼兒園課程與活動設計》期末大作業(yè)參考答案
- 中職農(nóng)林牧漁類寵物養(yǎng)護與經(jīng)營專業(yè)人培方案
- NB/T 11127-2023在用鋼絲繩芯輸送帶報廢檢測技術規(guī)范
- TCCAATB0045-2023城市航站樓服務規(guī)范
- 第三單元《和諧交往快樂生活》測試卷-高一思想政治課《心理健康與職業(yè)生涯》附答案
- 《現(xiàn)代齒軌交通設計標準》
- 船舶敬港與港口作業(yè)考核試卷
- 禁毒情報學習通超星期末考試答案章節(jié)答案2024年
- DB11T 1946-2021 智慧工地評價標準
- 門窗更換承包合同
評論
0/150
提交評論