版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、數據中心建設方案綜述1IDC網絡建設4IDC網絡建設5IDC基礎系統(tǒng)建設10IDC應用服務系統(tǒng)建設 24IDC綜合管理系統(tǒng)31IDC計費系統(tǒng)35IDC計費系統(tǒng)39技術服務42IDC機房系統(tǒng)設計說明 50綜述經歷了 ISP/ICP飛速發(fā)展,.COM公司的風靡后,一種新的服務模式-互聯網數 據中心(Internet Data Center ,縮寫為IDC)正悄然興起。它在國外吸引著 像AT&T AO-、IBM、Exodus、UUNE待大公司的巨資投入;國內不但四大電信 運營商中國電信、中國網通、中國聯通、中國吉通開始做跑馬圈地,一些專業(yè) 服務商如清華萬博、首都在線和世紀互聯等,也參與了角逐。IDC
2、(Internet Data Center) - Internet 數據中心,它是傳統(tǒng)的數據中心與 Internet的結合,它除了具有傳統(tǒng)的數據中心所具有的特點外,如數據集中、 主機運行可靠等,還應具有訪問方式的變化、要做到 7x24服務、反應速度快 等。IDC是一個提供資源外包服務的基地,它應具有非常好的機房環(huán)境、安全 保證、網絡帶寬、主機的數量和主機的性能、大的存儲數據空間、軟件環(huán)境以 及優(yōu)秀的服務性能。IDC作為提供資源外包服務的基地,它可以為企業(yè)和各類網站提供專業(yè)化的服 務器托管、空間租用、網絡批發(fā)帶寬甚至 ASR EC等業(yè)務。簡單地理解,IDC 是對入駐(Hosting)企業(yè)、商戶或
3、網站服務器群托管的場所;是各種模式電子商 務賴以安全運作的基礎設施,也是支持企業(yè)及其商業(yè)聯盟(其分銷商、供應商、1 / 56客戶等)實施價值鏈管理的平臺。形象地說,IDC是個高品質機房,在其建設方 面,對各個方面都有很高的要求。IDC的總體結構如下圖所示ApplkitiDvi Srmic e Z oouContent Storage ZoneIDC的建設主要在如下幾個方面:網絡建設IDC主要是靠其有一個高性能的網絡為其客戶提供服務,這個高性能的網絡包 括其-AN、WANfD與Internet 接入等方面。IDC的網絡建設主要有:-IDC的-AN的建設,包括其-AN的基礎結構,-AN的層次,-A
4、N的性能。-IDC的WAN勺建設,即IDC的各分支機構之間相互連接的廣域網的建設等。-IDC的用戶接入系統(tǒng)建設,即如何保證IDC的用戶以安全、可靠的方式把數 據傳到IDC的數據中心,或對存放在IDC的用戶自己的設備進行維護,這需要2 / 56IDC為用戶提供相應的接入方式,如撥號接入、專線接入及VPNl?o-IDC與Internet 互聯的建設。-IDC的網絡管理建設,由于IDC的網絡結構相當龐大而且復雜,要保證其網 絡不間斷對外服務,而且高性能,必須有一高性能的網絡管理系統(tǒng)。服務器建設IDC的服務器建設可分為多個方面,總體上分為基礎服務系統(tǒng)服務器和應用服務系統(tǒng)服務器,主要有:-基礎系統(tǒng)服務器
5、:這類服務器是保障IDC為用戶提供各種服務的前提,這類 服務器有DNSK務器、目錄服務器、網絡管理服務器、防火墻服務器、各類安 全服務器、IDC系統(tǒng)性能監(jiān)控服務器等等。-數據庫服務器:它是保證IDC可以為用戶提供各種應用服務的基礎,IDC的 數據庫服務器必須能支持大容量訪問、多種數據庫等。-數據備份服務器:它是IDC為客戶提供安全服務的內容之一,保證客戶的數 據安全可靠。由于IDC的服務器種類繁多、有多種數據庫,所以數據備份要支 持多機型、多種數據格式等等,而且容量要大。-應用服務器:是IDC為用戶提供相關應用服務的服務器。由于 IDC的業(yè)務擴 展,所以應用服務器應具有很好的擴展性,以及支持各
6、類應用軟件的數量要 多。-服務器的負載均衡:這是IDC提供高性能、高可靠性服務的重要方法之一,服務器的負載均衡可由硬件設備(如網絡交換設備)或軟件的方法實現。存儲系統(tǒng)的建設存儲系統(tǒng)是IDC的重點建設內容之一,作為一個IDC,其存儲系統(tǒng)是相當龐大的,特別是在現在的企業(yè)中,數據的容量以由GB級增長到TB級,如此大的數據需要有一個更加安全、可靠的存儲系統(tǒng),由于訪問的數量也是相當龐大的,所以對存儲系統(tǒng)的效率也有很高 的要求;而且存儲系統(tǒng)應具有很好的擴展性,以滿足IDC的發(fā)展的需求。軟件系統(tǒng)的建設軟件系統(tǒng)的建設是IDC需要大量投入的方面,它是在前面網絡、服務器和存儲 系統(tǒng)建設的基礎上,IDC開展對外服務
7、的手段。IDC在軟件建設的主要有:-Web系統(tǒng):IDC開展Web-Hosting服務內容之一,WebS統(tǒng)軟件應支持在一個 系統(tǒng)上能建立為多家企業(yè)服務的 Web系統(tǒng)功能等。-電子郵件系統(tǒng):電子郵件系統(tǒng)應支持多種電子郵件協議,如 SMTP POP3 IMAP4 Web-Mai-和Voice-Mai-等,同時電子郵件系統(tǒng)應有很好擴展性等。-數據庫系統(tǒng):IDC應建立多廠家的數據庫系統(tǒng),如應有 Orac- e、Informix、3 / 56SQ- Server SyBase等廠家的數據庫,以滿足不同用戶的需求。安全系統(tǒng):如防火墻軟件(硬件防火墻除外)、防黑客入侵、防病毒軟件 等。這是保證IDC為用戶提供
8、安全服務器的前提。數據備份軟件:支持多備份設備、多種廠家的機器、多種數據庫等等。應用開發(fā)系統(tǒng):IDC應提供相應的開發(fā)系統(tǒng)平臺,提供相應的開發(fā)工具,滿 足用戶或IDC開發(fā)相應應用的需求。IDC自身服務系統(tǒng)建設IDC是靠其優(yōu)質的服務來占有市場和贏得客戶的,為了做到優(yōu)質高效服務,IDC在其自身服務器系統(tǒng)的建設上也必須有大量的投入。IDC自身服務系統(tǒng)主要有:客戶關系管理系統(tǒng)(CRM): CRM是IDC與客戶建立良好關系的基礎服務系統(tǒng), 它為IDC提供的用戶的發(fā)展動態(tài)以及用戶的新的需求等。計費系統(tǒng):計費系統(tǒng)是IDC收入的保證。網絡與服務器管理系統(tǒng):IDC有龐大的網絡和服務器系統(tǒng),要管理好這些系 統(tǒng),必須
9、有一個功能強大的網絡、服務器和應用管理系統(tǒng),此能保證 IDC對外 的服務質量。IDC的內部管理系統(tǒng):保證IDC內部各部門能夠統(tǒng)一協調工作,完成高質量的服務。機房場地建設機房場地的建設是IDC前期建設投入最大的部分。由于 IDC的用戶可能把其重要的數據和 應用都存放在IDC的機房中,所以對IDC機房場地環(huán)境的要求是非常高的。IDC的機房場地 建 設 主 要 在 如 下 幾 個 方 面 : -機房裝修:機房裝修主要考慮吊頂、隔斷墻、門窗、墻壁和活動地板等。 -供電系統(tǒng):供電系統(tǒng)是IDC的場地建設重點之一,由于 IDC的大量設備需要極大的電力功率,所以供電系統(tǒng)的可靠性建設、擴展性是極其重要的。供電系
10、統(tǒng)建設主要有:供電功 率、UPS建設(n+1)、配電柜、電線、插座、照明系統(tǒng)、接地系統(tǒng)、防雷和自發(fā)電系統(tǒng) 等??照{系統(tǒng):機房的溫度、通風方式和機房空氣環(huán)境等。 - 安全系統(tǒng):門禁系統(tǒng)、消防系統(tǒng)和監(jiān)控系統(tǒng)。 -布線系統(tǒng):機房應有完整的綜合布線系統(tǒng),布線系統(tǒng)包括數據布線、語音布線、終端布 線。通信系統(tǒng):包括數據線帶寬、語音線路數目等。IDC網絡建設IDC網絡功能結構4 / 56我們建議的IDC網絡結構如下圖所示:M&intaneov; Acc tf$sB4ctend LaytiTo InternetCort Lt yerTDSLUser 2WEB SeivetFamDB/MAJL ServerSt
11、o ragt EtcServer Access Lty?r一 Ji用口 NS WailEtcIf Sr r ACCei5核心交換層:由兩臺CISCO650移層交換機構成,實現雙機容錯工作,保證 數據的高速、無阻塞的交換。策略分布層:可以由一組 CSS11000K列內容交換機組成,負責完成服務器負 載均衡和策略分布任務。服務器訪問層:由一組 Cat3524交換機組成,完成托管服務器的高速接入工 作。后端網絡:由兩臺CISCO650的成,實現雙機容錯工作,實現IDC管理中 心,數據庫、郵件、應用等服務器和存儲系統(tǒng)的連接,托管服務器通過第二塊 網卡和后端網絡相連,保證獨立和高速的數據訪問。同時,后端
12、網絡通過防火 墻和前端的核心網絡連接,實現IDC管理中心對前端網絡的管理,防火墻則為 后端網絡提供更嚴格的保護。用戶訪問層:由若干臺 Cat4000和一組Cat2924組成,提供企業(yè)和個人用戶 接入,提供INTERNET:網,企業(yè)用戶還可以通過 VLA明口自己的托管服務器連 接實現日常的維護工作。IDC網絡建設方案設計描述5 / 56. Internet 接入網絡結構 由于本系統(tǒng)Internet接入服務用尸主要來自于各寫字樓內的公司和局級酒店、公寓內的客人和住戶,且各寫字樓相距較近,所以全部采用LAN結構為這些用戶提供接入服務,如下圖所示:LAN采用流行的以太網絡結構,核心交換:Cat6509
13、多層交換機分布層交換或周邊建筑物內主干:Cat4006交換機接入層交換機:Cat2924XL交換機由于考慮到在酒店和寫字樓內重新進行數據布線有一定困難,所以采用TDSLg術實現樓內的數據傳輸,所有數據交換設備都集中在中央機房內,但網絡的總 體結構不變。核心交換使用兩臺Catalyst 6509構成,形成全冗余的高速網絡核心。分布層交換機Catalyst 4006使用兩條千兆線路分別與兩臺 6509相連,形成冗余的千兆主干。樓層交換機使用Catalyst 2924XL交換機。Cat6509上的千兆端口還用來連接其他的節(jié)點,與其他節(jié)點的LANL起構成一個分布式的城域范圍的數據中心的結構。.用 CA
14、CHED速 INTERNE昉問6 / 56Internet的發(fā)展趨勢是盡可能地將內容在地理上靠近用戶,由于本方案中 INTERNE播入用戶的大都來自與商務寫字樓和酒店公寓,其對INTERNET勺訪問具有很大的重復性,所以有效地部署 CACH回以大大地降低INTERNE入的 帶寬負荷,提高內容的相應速度。另外,由于現在INTERNET:出現越來越多的多媒體形式的內容,指望拓寬 INTERNET 口帶寬來提高用戶對這些內容的訪問速度是根本不現實的,而使用 CACH技術對INTERNET:的這些內容進行緩存,不但可以使這些內容對用戶變 得現實可用,提高用戶的忠誠度,而且還可以通過定期定制一些多媒體節(jié)
15、目在 CACHED以有償的方式向用戶提供,這就演化成了一種增值服務??傊?,CACHE寸IDC以及ISP都是必不可少的,經營者可以通過靈活地使用 CACH來最大限度地降低成本,提升利潤。我們建議使用NETAP公司的NetCache C1105來提供緩存服務,將其連接在 INTERNET1入路由器上提供服務。NetCache C1105 的特點:可靠性/可用性/可擴展性專用的體系結構專注于內容可用性的提供微碼的核心系統(tǒng),在增加數據可用性的前提下達到最小的開銷WAFL(Write Anywhere File System ) NetApp專利的文件系統(tǒng)優(yōu)化了磁盤到網 絡的傳輸冗余的熱插拔電源ECCf
16、i存保護OS的冗余拷貝簡化的管理專用的內容管理和送達軟件大型部署時的多系統(tǒng)管理應用分析與報告的日志快速的安裝與啟動企業(yè)框架軟件集成提供集中的應用管理基于WEEBf CLI的管理溫度、電源監(jiān)控提供可預測的系統(tǒng)管理7 / 56安 全加固了的TCP/IP協議棧在沒有防火墻的保護下也能抵御一般的網絡攻擊Icap-enabled 過濾和病毒檢測本地支持的第三方過濾表NTLM LDA叫RADIU縱證支持ACL多協議支持 HTTP FTR NNTP支持主要的流技術(MMS RTSP QuickTime)iCAP-enabled應用提供靈活的對增值服務的訪問.服務器負載均衡的實現對于大部分站點而言,采用多個服
17、務器而不是一臺大型服務器,可以提高服務 器的響應性能,減少服務器的單點故障。但多臺服務器的采用,必須考慮服務 器的負載均衡問題。在本方案中服務器置于CSS11800內容服務交換機之后,所以由CSS1180流成服務器的負載均衡。CSS11000S歹!J通過 ACA(Arrowpoint Content Assure protocol)制定負荷參數,選擇最小負荷的服務器提供用戶所需的內容。同時CSS1100陳列還支持加權輪詢-Weighted Round Robin ;最小連接機制; 最大連接數限制等多種算法實現負載均衡。Cisco CSS 11000系列內容服務交換機是業(yè)界唯一的動態(tài)負載均衡交換
18、機,采 用具有專利權的ACAJJ法,可以根據Cache服務器的命中率、流建立數和 RTT(Round Trip Time)選擇最合適的服務器應答用戶的請求。與其他的負載均 衡設備比較,CSSM有更高的負載均衡能力,因為它是一種基于流的交換機, 其他廠家的負載均衡設備則是基于包的交換機。基于包的解決方案通過檢測對 某一特定內容的請求時的每個包來做轉發(fā)決定,這樣嚴重增加了CPU的負擔。而作為基于流的交換機的CSS 一旦流建立起來后,該流所有的流量都將以線 速轉發(fā)。CSS 以 下 面的多種方 法支持負 載 均, 具 有 專利權的ACA負 載均 衡輪詢(RoundRobin,力口權輪詢(Weighte
19、dRoundRobin,最少連接(Least Connection, LC)/ 最大連接(Max Connection)衡 :算 法RR) WRR)目的IP地址源IP地址 域/域 Hash算法(Domain/Domain hash)- URL/URL Hash 算法8 / 56 考慮到建設初期,負載均衡交換機不是必須的設備,而且也不是所有的托管站點都需要負 載均衡功能,所以,我們建議先不采用負載均衡設備,等到有需求的時候再增加。. WEEK務器的連接我們?yōu)镮DC中的每臺托管服務器都配置兩組網卡,一組用于前端網絡的連接, 提供WE昉問;另一組用于后端網絡的連接,提供對數據庫、郵件等服務器以 及存
20、儲系統(tǒng)的訪問。通過使用不同的網絡通道進行數據庫等后臺應用訪問,可以使服務器更充分的 利用網絡帶寬來相應 WEB青求;同時,后端網絡與前端網絡的分離可以讓數據 庫訪問、文件存取等要求高速、大容量的數據訪問享有更多的網絡帶寬。服務器通過一組接入交換機Cat3524連入主干交換網絡。.后端網絡的設計由于后端網絡連接IDC管理中心,數據庫、郵件等服務器和大容量存儲系統(tǒng), 需要高速的交換系統(tǒng),所以我們使用兩臺 Cat6509交換機作冗余的核心,連接 一組Cat3524提供和WEE務器的連接;對于數據庫等服務器和存儲系統(tǒng),可 以采用千兆以太端口或千兆以太通道提供高達數 Gbps的直接連接。.用戶的遠程維護
21、一般情況下,IDC用戶會要求遠程維護自己的托管服務器,由于用戶只允許對 自己托管的服務器進行訪問,因此,必須采用如:VPN VLAM?技術保證這一點。通過連接到后端網絡的廣域網路由器可以提供用戶通過專線、撥號、 VPN 等各種方式實現遠程維護。對遠程維護的行為進行可以通過以下幾種方式進 行:- DDNt*線:用戶通過DDNt*線連接到IDC中心,通過策略路由或 VLAN1限制 只能訪問自己的服務器,進行維護。 PSTNE ISDN撥號:用戶通過撥號線路訪問IDC中心,身份認證由AAA Server進行,并進行行為授權,保證用戶只能訪問到自己的服務器進行維護。 VPN用戶可能距離IDC中心太遠,
22、從各方面不具備通過 DDN PSTNtfe路訪 問IDC中心的條件,這是可以通過INTERNE睬用VPN的方式與IDC中心連接并 維護服務器。這種情況下,由 VPN Server或VPN路由器保證連接的安全性和 可靠性。VPNB實現可以采用IPSec隧道和MPLS VPK術,在保證信息正確可 達的情況下,對用戶信息進行高強度的加密,保證用戶信息的不被竊取和完整 性。對于本地接入的公司所托管的服務器,由于公司LAN和托管服務器處于一個LAN結構之內,所以,服務器運行維護可以通過定義 VLANffi行。9 / 56.網絡安全的考慮網絡的安全主要通過防火墻和入侵檢測系統(tǒng)來體現,通過部署防火墻系統(tǒng),可
23、 以將網絡劃分成幾個安全等級不同的部分,對于要求安全等級高的部分,還可 以通過部署多級防火墻來提供安全保護。入侵檢測系統(tǒng)則可以對惡意的入侵行為進行探測,進行記錄。 這部分內容參見第三章第二節(jié)安全性建設。.網絡的擴展性網絡良好的擴展性可以讓供應商在相當長一段時間內持續(xù)提供一致服務,而無需進行新的 投資,我們在網絡設計中也充分考慮到了這一點。網絡主交換機 Cat6509采用模塊設計,最多可以支持到384個10/100個快速以太端口,或130個千兆以太端口。其交換帶寬可以從 32Gbps ( 15Mpps )擴展到256Gbps (150Mpps ), 用戶 可以根據需要選配端 口。建筑物主交換機
24、Cat4006也采用模塊設計,支持六個接口插槽,最多可以擴展到240個快速 以 太 端 口, 72 個 千 兆 以 太 端 口。 樓層交換機 Cat2924支持10/100自適應端口速率,而且 2924支持多交換機堆疊,在端口數 不夠時,可以簡便地擴充端口而無需增加上層交換機的端口。 Cat4006可以通過千兆以太通道技術來提升主干連接速率,Cat2924也同樣支持快速以太通道和千兆的主干連接,可以在需要的時候平滑地從現在的10M/100M/1000M的交換結構升級到100M/1000M/n*1000M 的交換結構,成 10倍地提升網絡速率。IDC基礎系統(tǒng)建設IDC在前期建設中,首要任務之一是
25、建設其基礎服務系統(tǒng),IDC的基礎系統(tǒng)主要有DN繇統(tǒng)、目錄服務系統(tǒng)、數據備份系統(tǒng)、安全系統(tǒng)等。DNS1 設在Internet上計算機和網絡設備使用IP地址來表示的,但IP地址很難記憶, 所以采用和IP地址相對應的域名(Domain)來表示主機和網絡,DNS(Domain Name Service)即域名服務就是把主機名字和IP地址作相互匹配,供Internet 上用戶以主機域名的方式相互查詢。DNSg向用戶提供域名查詢或域名登錄服務,其與Internet中的其它域名服務器形成全球域名服務體系。通常DNSK務器采用兩臺或多臺的方式來運行,其中一臺主服務器( Primary),其它為次服 務器(Se
26、cond),當主服務器不能工作時,有任何一臺次服務器來接管其工作, 這樣保證了 DNS系統(tǒng)運行的可靠性,主次服務器之間采用自動信息更新方式。10 / 56IDC的DN繇統(tǒng)除了要為IDC自身服務之外,還要為其客戶提供相應的域名定 義、為用戶開設虛擬域名服務等。所以在 IDC的DNSK務器上可能要定義和管 理上百個或更多域名,由于有如此多的域名,其每天接受的查詢量也是相當龐 大的。為了保證IDC的DNSM名的可靠性和安全性,我們采用 Split DNS技術來設計 IDC的DN繇統(tǒng),即把IDC的DNSS統(tǒng)劃分為內部和外部兩部分,其中外部 DNS 系統(tǒng)位于公共服務區(qū),負責IDC正常對外解讀工作,如ID
27、C的WebK務器、IDC 用戶的Wet務器等解讀工作全由外部 DNS1務器來完成;內部DNS系統(tǒng)主要 有兩項工作,一是負責解讀IDC內部網絡的主機,如目錄服務器、郵件服務器 等,另一工作是負責當內部要查詢Internet上域名時,其把查詢任務轉發(fā)到外 部DNSK務器上,然后由外部DNS1務器完成查詢任務,返回結果。由于把 DN繇統(tǒng)分內外兩部分,Internet上用戶只能看到外部DN繇統(tǒng)中的服務器, 而看不見內部的服務器,而且只有內外 DNS1務器之間交換DNSS詢信息,從 而保證了系統(tǒng)的安全性。如下圖說明了 DNS單讀流程,服Client我們采用兩臺 Sun E420R服務器作為外部 DNS服
28、務器,兩臺 Sun E420R服務器作為內部11 / 56DNS服務器,所有兩臺服務器之間以主次方式運行,DNS軟件可采用 Solaris系統(tǒng)中的,也可使用Internet上公開的Bind。具體的服務器配置如下表所示。DNS服務器機器型號配置備注外部DNS主DNS服務器Sun E420R2x450MHzUltraSPARCCPU1GBMemory2x18.2GB Internal Disk次DNS服務器Sun E420R2x450MHzUltraSPARCCPU1GBMemory1x18.2GB Internal Disk可選內部DNS主DNS服務器Sun E420R2x450MHzUltra
29、SPARCCPU1GBMemory2x18.2GB Internal Disk次DNS服務器Sun E420R2x450MHzUltraSPARCCPU1GBMemory2x18.2GB Internal Disk可選安全性建設系統(tǒng)安全架構的設計將包括兩個方面:防止 IDC網絡外部用戶對IDC網絡系統(tǒng) 可能的攻擊,以及防止IDC網絡內部各子系統(tǒng)之間可能的攻擊。這兩個方面所 采用的技術和思路是一致的。系統(tǒng)安全架構將從三個層次來考慮:網絡層、主機 /服務器系統(tǒng)及應用層。網絡層的安全主要是防范對于整個網絡的非法訪問,一般通過防火墻來實 現。通過配置了多級防火墻,以隔離IDC網絡各個組成部分相互之間的
30、非法訪 問(合法訪問可以通過);對于Internet用戶來講,如果想非法侵入IDC內部 網絡,必須突破防火墻的防范。另外,各級防火墻可采用不同的產品,以提高 網絡整體的安全性。主機/服務器系統(tǒng)的安全是針對個別機器的。除了主機 /服務器的操作系統(tǒng)自 身的安全性之外,目前有多種產品可供選擇,包括 SUN司的Security Manager和 CA公司的 Unicenter TNG 等產品。應用層的安全將從三個方面來考慮:增強應用服務器系統(tǒng)的安全;采用身份 認證機制,以保證應用的可靠性;采用數據加密技術和防病毒軟件,以保證應 用的安全性。.操作系統(tǒng)的安全規(guī)劃操作系統(tǒng)的安全性建設應是整個系統(tǒng)安全性建設
31、的基礎。操作系統(tǒng)的安全性建 設主要包括用戶的管理、超級用戶的管理、文件系統(tǒng)安全管理、遠程對系統(tǒng)的 訪問等。12 / 56 用戶管理:對用戶的管理主要有用戶的賬號口令管理,設置用戶賬號的有效期,用戶賬號口令的存活期限等。如果需要可以規(guī)定用戶只能在指定的時間內才能登錄系統(tǒng),并對登錄系統(tǒng)的用戶進行審核(audit ) o超級用戶的管理:嚴格限制有普通用戶變成超級用戶(如使用su、rlogin等命令),如果需要可以使用如 CA Unicenter TNG這樣的軟件來控制系統(tǒng)超級用戶 的權限。文件系統(tǒng)的安全管理:控制用戶對系統(tǒng)內特殊文件的訪問權限,特別是刪除、 移動等權限,對使用NFS系統(tǒng)可以采用ker
32、beros方式認證。遠程對系統(tǒng)的訪問:封閉系統(tǒng)的telnet、ftp、r-訪問(rsh、rlogin、rcp)等功能;但可以對系統(tǒng)管理員開放相應的telnet、ftp功能,以便利于對系統(tǒng)的管理和維護。.防病毒(Anti-Virus)目前病毒在網絡和Internet上傳播主要以電子郵件和 WebM覽的方式傳播,以 及內部網絡上員工的共享文件的傳播。防病毒可以分為集中防病毒和分散防病 毒兩種方法。集中防病毒的方法是在主要的服務器上安裝防病毒軟件,此軟件 先對進出此服務器的數據進行檢查,然后再把通過檢查的數據發(fā)送給客戶;分 散防病毒是只在客戶端安裝防病毒軟件,它只檢查進出客戶端的數據是否有病 毒感染
33、。由于IDC主要為客戶服務,數據主要集中在服務器上,所以在 IDC系統(tǒng)的防病 毒體系中主要采用集中防病毒方法,但同時對一些與服務器相交戶的內部客戶 段(如管理客戶段)也采用分散的防病毒方法。集中防病毒主要是對進出的郵 件和HTTPW數據進行防病毒;分散是保護內部網的單個終端用戶。.防火墻(Firewall)防火墻(Firewall)是保證網絡安全的重要手段之一,在建設IDC基礎網絡系統(tǒng)安全性時,首先是要考慮防火墻的建設。在 Internet/Intranet 上,通過防火 墻來在兩個或多個網絡間加強訪問控制,其目的是保護一個網絡不受來自另一 個網絡的攻擊,隔離風險區(qū)域與安全區(qū)域的連接,但不妨礙
34、人們對風險區(qū)域的 訪問。防火墻要完成如下主要功能:通過對IP包的檢查,過濾對網絡安全有潛在威脅的IP數據包。屏蔽對于網絡不必要且有安全漏洞的服務,如Telnet、FTP等??刂茝腎nternet上過來的IP數據的流向,如數據包其目的地址只能是某個 區(qū)域的DNS WWW服務器。13 / 56屏蔽對于某些Internet站點的訪問。完成系統(tǒng)內部IP地址到Internet合法IP地址的轉換,保證能夠從系統(tǒng)內部 訪問Internet ,隱藏內部網絡和主機的結構。訪問 日記, 即 Access Log。IDC不僅要建設自己的防火墻系統(tǒng),同時也要考慮特定的用戶需要建立起自己 的防火墻系統(tǒng),即用需要在其自己
35、的應用前增設相應的防火墻系統(tǒng)來保護其應 用的安全(這可根據用戶的實際需求再進行建設)。4.網絡和系統(tǒng)入侵監(jiān)控網絡和系統(tǒng)的入侵檢測是在網絡上增加一臺掃描儀器和在主要服務器上增加相應的防入侵 軟件來實現。此類防入侵軟件有兩個主要功能,一個掃描網絡和系統(tǒng)上的安全漏洞,以便 在網絡和系統(tǒng)建立初期,就解決好安全問題,此功能也屬于安全保護范圍;另一個功能是 在網絡和系統(tǒng)運行時,監(jiān)控數據流,及時發(fā)現黑客入侵,從而做到防止黑客的入侵。在IDC系統(tǒng)中,在每個重要的服務取得網絡的入口處安放一個探測器,對每個進出此段網 絡的數據流進行檢查探測,當其發(fā)現某一個數據流不是正常的數據流時,探測器把此數據 流截獲住,并向位
36、于管理區(qū)的管理服務器發(fā)送入侵信息和警告,然后由管理服務器在做相 應的防御對策同時在每個服務器上安裝有類似的探測器,所以當黑客入侵服務器系統(tǒng)時,也是采取上述 動作。數據存儲系統(tǒng)1. IDC存儲系統(tǒng)綜述在新的以信息為核心的時代,如何更有效的管理、保護和共享企業(yè)信息已為各 行業(yè)的發(fā)展提出了新的挑戰(zhàn)。尤其在電子商務、互連網絡等新興信息行業(yè)領 域,更是面臨著前所未有的巨大挑戰(zhàn)。在傳統(tǒng)的分布式處理模式下,網站內所 有的信息分布在內部各個服務器上,信息的管理,信息的可用性受到了很大的 限制,不能充分發(fā)揮應有的作用,而且系統(tǒng)的升級和新業(yè)務的開發(fā)部署也都不 能及時響應Internet快速變化的要求,在這種情形下
37、,以信息為中心的集中處 理模式應時代的需要再次走上了歷史舞臺,而構建企業(yè)信息基礎設施則更是集 中處理模式的重中之重。對于Internet網站來說,幾分鐘的宕機都會帶來巨大的經濟損失以及不可估量 的網絡用戶的流失,如果宕機的時間再長一些則可能危及整個網站的生命。因 此整個IT系統(tǒng)的高可用性變的非常重要,而作為信息系統(tǒng)核心的數據部分的高 可用性更是重中之重,服務器的宕機可以通過多臺服務器冗余帶來保護,但是14 / 56如果服務器上的數據沒有有效的保護或成為訪問瓶頸,則可能成為致命的缺 陷。另外,分布式的環(huán)境給信息系統(tǒng)管理帶來了巨大的障礙。數據分布在眾多的平 臺和服務器之上,備份和管理的工作變的越來
38、越復雜,多個服務器上分散的數 據很難共享,而且這種分散的存儲模式也帶來了巨大的資源浪費,系統(tǒng)管理人 員無法在多個系統(tǒng)間有效的調度存儲資源。再有,這種處理模式也不利于新業(yè) 務的快速部署,而更快的測試、部署新的應用意味著更快的搶占市場,吸引用 戶,這在Internet中無疑是有著舉足輕重的意義。IDC之間的競爭目前主要表現是網絡帶寬、基礎設施等IDC的基本要素的比較,隨著IDC產生的越來越多,IDC之間的競爭已經表現在如何能夠為IDC的 用戶提供更多的數據及安全服務,如:防火墻、數據備份、鏡像站點、負載均 衡、統(tǒng)計分析等數據安全、管理、分析等增值服務。IDC如何利用現有的帶寬優(yōu)勢、基礎設施優(yōu)勢來提
39、供更多的數據增值服務并且最大的壓縮成本是未來 IDC之間競爭的制勝法寶。因此IDC如何能夠提供更多的數據保護、數據管理 服務成為IDC建立時系統(tǒng)設計的一個重要方面。其實答案是很簡單的,那就是 集中存儲管理。作為IDC的集中存儲系統(tǒng)需求要面對未來IDC用戶的需求的多樣性,可以按照 模塊方式為用戶提供模塊化的服務。作為IDC的存儲中心首先應該具有極高的 安全性,試想如果存儲系統(tǒng)產生問題如何為用戶服務,存儲中心還應該具有很 強的功能彈性:可以實現集中的數據備份、冗災、連接主機的多樣性等等。作為存儲中心的成本可以有兩種評測,一種是簡單的容量成本,另一種是與 IDC系統(tǒng)有關聯關系的功能或服務成本。第一種
40、比較簡單,第二種我們可以通 過以下兩個示例來說明:示例一:很多Web Hosting用戶需要使用高速的文件訪問,要求容量配置管理 簡單、擴容方便。假設有400臺主機需要托管并且主機類型主要是 NK LINUX 等平臺。如果每臺主機都通過光纖通道的IO通道,則我們需要在每臺主機上安 裝一個FC的卡,價格大約是US$2000.00,那么我們共需要80萬美金,如果將 這些成本加到用戶身上顯然不合適。示例二:如果有100臺SUNE HP的服務器提供ASP等業(yè)務,用戶需要對數據進 行備份保護,那么一般情況下需要在每臺服務器上安裝備份軟件,如果每套軟 件價格大約US$15000.00,需要花費150萬美金
41、,并且這種備份方式要站用大 量的網絡資源和服務器的計算資源15 / 56既然存儲服務是中心化的,有沒有更好的解決方案,答案是NETAPP勺FILER。通過下面的方案介紹我們就會明白為什么目前10大IDC中會有9家采用NETAPP勺存儲解決方案來為IDC的用戶提供基礎設施和增值服務。2.存儲系統(tǒng)的建設目標存儲系統(tǒng)重點是對整個網站內的數據進行整合,建立起真正的企業(yè)存儲平臺, 在統(tǒng)一的企業(yè)存儲平臺上建立集中式的處理中心,更有效的完成業(yè)務處理,并 極大的提高系統(tǒng)的可管理性,降低系統(tǒng)的管理難度及管理開銷,提高信息的可 用性和共享性。存 儲 系 統(tǒng) 要 達 到 的 建 設 目 標 如 下完成數據整合,建立
42、全網站的信息基礎設施,在統(tǒng)一的信息存儲平臺上高效的完成業(yè)務處理,將所有應用系統(tǒng)連入已采用的智能存貯系統(tǒng)平臺,進行數據整合,整合后整個網站的 數據信息將位于統(tǒng)一的企業(yè)存儲平臺之上在新的信息基礎設施上更有效的完成系統(tǒng)管理,降低系統(tǒng)管理的難度和工作量,從單點實現對 企業(yè) 存 儲 平臺的統(tǒng)一管 理 和 控制利用新的信息基礎設施最大限度的提高信息的共享性,信息共享可在存貯系統(tǒng)平臺內快速 有效 的 完 成,無需 占 用 網 絡 資源 提高信息的可訪問性和訪問速度,所有的數據磁帶備份工作,可通過備份機利用本地磁盤 鏡像數據來完成,有效降低生產系統(tǒng)的備份窗口需求,大大延長生產系統(tǒng)的在線服務時 間一個完整的存儲
43、系統(tǒng)還應與數據備份系統(tǒng)做到無逢結合,即存儲系統(tǒng)還達到如下目標:關 鍵 數 據關 鍵 業(yè) 務 系 統(tǒng)關鍵業(yè)務系統(tǒng)的網絡部分實現熱備份具體目 關鍵數據實現遠程實時備份,備份技術應不占用主機資源,對應用系統(tǒng)無任何影響。建 立 災 難 備 份 中 心 。在災難備份中心,放置主機系統(tǒng)以用作熱備份,其處理能力為生產中心主機的80%以上。在災難備份中心,建立網絡備份系統(tǒng),其中包括備份網絡設備如路由器、HUB等和備份線路,備份線路的接入分局應不同于生產中心連接的分局。在存儲系統(tǒng)建成后,IDC的信息系統(tǒng)將為未來的發(fā)展(包括業(yè)務和技術)奠定了堅實可靠 的電子信息基礎架構。所有的業(yè)務可以在這一信息基礎架構上進行集中
44、的控制和統(tǒng)一的管 理。信息的可用性、保護性和可管理性將大大提高。系統(tǒng)的可擴展性和靈活性也將比傳統(tǒng) 的分布式存儲方式大大改善,可以充分滿足目前及未來的業(yè)務發(fā)展和管理的需要。3.存儲方案概述IDC的存儲系統(tǒng)是為應用提供服務的,所以在設計IDC存儲系統(tǒng)時,必須要考慮到所服務的類型。IDC的服務類型主要有:Web服務(Web-hosting)、數據16 / 56 庫、郵件、目錄、計費系統(tǒng)等。根據應用服務的類型和特點,我們把數據庫、 郵件、目錄、計費等系統(tǒng)規(guī)劃為一類,此類服務的特點是服務器的種類相同, 如數據庫服務器全為Sun,存儲的數據共享型少,比較集中;把 WebK務歸為 另一類,Wet務器可能是多
45、廠家的(Sun, PC server ),而Wet務的內容共 享型比較多,特別是在 Web負載均衡時,要求多臺 Web服務器的提供的內容要 一致。下圖展示了 NA/儲結構,此存儲系統(tǒng)主要為IDC的基于Web的應用服務,如 Web Web-Hosting等,在IDC中Web務器是很多臺的,而且可能是不廠家的 服務器,同時很多 Web務器采用負載均衡的方式運行,這需要保證每個Web服務器在同一時刻必須提供相同的內容,NAS#儲系統(tǒng)能夠很好地滿足這些要求,同時NAS的良好擴展性能夠滿足 Webfi用對存儲系統(tǒng)擴展的需求。存儲Sw itc hWeb Serv e r存儲我們建議采用Netapp公司的F
46、840作為IDC的NAS#儲系統(tǒng)。我們采用兩臺 Netapp的F840作為存儲系統(tǒng),兩臺F840以雙機備份的方式運行,具體描述如多應用系統(tǒng)數據存儲的獨立性和安全性由于在NAS的存儲系統(tǒng)上要存放多家的數據,如何保證用戶間的數據安全性, 是NAS#儲系統(tǒng)應重點考慮的問題。在 F840 filer 系統(tǒng)上,首先,filer具有 高度的安全性,安全認證由 UNIX主機和WINDOWS NT域控制器負責,安全等 級達 C2級;在 NT環(huán)境中,filer 與 NT的 ACL (access control list )功能 相結合可提供更高的安全保護。為保證數據存放的獨立性,可在一臺filer中將不同應用
47、系統(tǒng)的數據分別存放 于多個卷組中,同時對每一卷組授予不同的操作系統(tǒng)訪問權限,用戶組和用戶 權限,以細化對數據的保護。且在網絡配置上可安裝多個網卡使filer擁有多17 / 56個IP地址,通過子網配置實現數據的分流和隔離,確保應用系統(tǒng)的數據獨立 性。另外,filer的Data Ontap操作系統(tǒng)還提供名為QTRE的空間配額管理工具 只需簡單的命令行配置即可對卷組下的用戶目錄空間和最大可創(chuàng)建文件數作配 置,實現細化管理。Cluster Failover 簡介文件系統(tǒng)專用設備Filer除了軟硬件本身具有99.99%的高可靠性以外,為了消 除一些單點故障(如系統(tǒng)主板出錯,等),在以低成本、低性能開銷
48、、不增加 系統(tǒng)復雜度的前提下,將兩臺獨立的 Filer耦合起來,實現一旦一臺Filer因 故障而停止運行并且不能重新啟動,另一臺 Filer立即就可接管這一臺Filer 的全部工作,保證系統(tǒng)正常運行。Cluster Failover系統(tǒng)結構圖如下圖所示。Sk 口 UAras Ictiw Ok StndtoIT Qw tW Qw Slrrarfbr圖中的兩臺Filer都與磁盤陣列相連,并處于同一子網中,兩臺 Filer之間用 高速、冗余的光纖互連。光纖通道(FC-AL)的硬盤有兩個端口,分別與兩臺 Filer相連。每個Filer有自己主管的一組硬盤。正常運行時,兩臺Filer各自獨立工作,硬盤、
49、風扇或電源出錯不影響另一臺Filer的工作。同樣,若一臺Filer的軟件出錯,這也僅僅引起這臺Filer重新啟動,不會影響到另一臺Filer的工 作。如果一臺Filer發(fā)生災難性故障,即不能重新啟動,則另一臺Filer會自動接管原屬于有故障的Filer的硬盤、文件系統(tǒng)、同時將其IP地址也歸為己 有。18 / 56 在整個接管過程中,客戶端僅簡單地感覺到系統(tǒng)像是在重新啟動。所有在系統(tǒng) 本身重起過程中,能夠保留的狀態(tài),另一臺 Filer也同樣通過接管保留。當 然,如果一臺Filer在其重新啟動過程中丟失一些狀態(tài),如 CIFS鎖(LOCK 狀態(tài)和文件狀態(tài)等,則在接管后,另一臺 Filer也不能保留這
50、些狀態(tài)。一旦有故障的Filer恢復正常運行后,它不會自動地再接管自己的文件系統(tǒng), 這需要系統(tǒng)管理員干預才能實現。系統(tǒng)管理員也可強制一臺Filer交出自己的文件系統(tǒng),從而可實行計劃中的 Filer和硬盤維護工作。Cluster Failover的工作原理Cluster Failover 主 要 依 靠 以 下 兩 個 方 面 工 作 : 其一是 WAFL的特性,特別是 WAFL文件系統(tǒng)的盤上狀態(tài)(ON-DISK STATE)永遠是一 致的。這個盤上狀態(tài)從一個一致點移動到另一個一致點的過程為一個交易,也就是說,要 么完成一個狀態(tài)遷移,要么無狀態(tài)遷移,因此它永遠保持一致。另外,WAFL在日志文件中記
51、錄所有被服務過的、能夠轉移到非易先性RAM (NVRAM )中的客戶請求。日志文件中那些已被轉移到硬盤上的客戶請求只有在一個盤上狀態(tài)遷移完成后,才被丟棄。Filer通常利用這些特征將盤上數據從故障中恢復。當Filer重新啟動時,它只是簡單地重新執(zhí)行在最近(一致性)盤上狀態(tài)未反映的NVRAM中的客戶請求。其次是互連的特性,特別是互連具有遠程內存存取能力(有時也稱作非一致性 內存存取,或者簡稱NVRAM。當一個客戶請求到來時,Filer將其記錄在它本 地的NVRAW。在Cluster的配置中,Filer利用遠程內存存取特性將日志文 件中的記錄項拷貝到另一臺Filer的NVRAMK這個技術的一個突出
52、優(yōu)點是發(fā) 送方發(fā)送的拷貝極快,幾乎不影響到接收方的操作(如,沒有包處理過程)。同樣,另一臺Filer也會將自己的NVRAW的日志記錄項拷貝到這臺 Filer的 NURAMPo當一臺Filer不能從互連的光纖通道、網絡或硬盤上探測到另一臺Filer的心跳(HEARTBEAM I/O活動,他即認為這臺Filer已出故障,接管過程開始。 主要是接管出故障的Filer的IP和MACS址、文件系統(tǒng)和硬盤,以及后臺服務19 / 56 器進程(daemon),并將其使用的NVRAW的日志記錄項回現。這個技術與Filer重新啟動時所使用到的技術類似。接管后,正常工作的 Filer中的每個 后臺服務器進程(da
53、emon)具有兩個標識符,一個用于本地 Filer ,另一個用于 另一臺 Filer 。Cluster Failover 的配置從以上的簡單描述,我們已了解了Clustered Failover 的原理,我們知道這個解決方案能夠使得文件/存儲系統(tǒng)在filer本身具有的高可靠性的基礎上進一 步保證了系統(tǒng)的高可用性。為了避免一些軟硬件的兼容性問題,以及系統(tǒng)運行 后配置和管理的方便,我們建議將兩臺F840的軟件和硬件,包括存儲容量配置成完全相同的兩臺filer 。存儲解決方案特點.整個網絡的數據存儲統(tǒng)一集中管理,非常適合大型設計和制造單位進行文件數據的管理和維護;.容量高,一個文件系統(tǒng)可達12TB,
54、可以簡單地增加 Filer網絡文件數據存儲服務器來成倍的擴大存儲容量而并不影響現有的網絡結構; 3.文件和數據訪問速度快,單卷 NFS操作速度達15,000次每秒; 4. 穩(wěn)定性高,單臺可靠性達 99.995% , 雙機達 99.997% ;5.易于操作,只有 60 條命令,安裝只需 15 分鐘; 6.易于維護,硬盤可以熱插拔,重啟動只需 120 秒; 7.有高度的安全性,安全認證由UNIX主機和 WINDOWS NT主域控制器負責,安全等級 TOC o 1-5 h z 達C2級;8.具有數據保護功能,具有 2030 級硬盤快照功能; 9.具有進程保護功能并重起時間短,約 120 秒; 10.
55、支持多個網絡協議和操作系統(tǒng),適合多種網絡環(huán)境共存(UNIX , WINDOWS NT,HTTP)的數據存儲;11.高效的靈活的管理,支持熱插拔和熱備份硬盤; 12.具有模塊化設計,可以方便地升級和擴展網絡存儲設備; 13.存儲系統(tǒng)中的數據可進行磁帶備份保護,支持現有的數據備份軟件和備份設備;.用磁帶備份保存的數據當其恢復時原有屬性不丟失,可保持 UNIX和WINDOWS NT數 據的初始狀態(tài);.存儲系統(tǒng)具有最優(yōu)化的投資配置及最優(yōu)服務; 16.來備份Unix系統(tǒng)和NT系統(tǒng)混和網絡環(huán)境的全部數據。數據備份系統(tǒng)在IDC應用中,為確保向客戶提供7x24的服務,各種數據的安全可靠是非常重 要的一個環(huán)節(jié),
56、這需要對數據提供一套完整的管理方案,涉及備份、歸檔、復20 / 56 制等方面。我們建議使用 Veritas NetBackup 軟件、Sun Enterprise 220R 服 務器與Sun StorEdge L20磁帶庫配合,作為數據備份的解決方案。VeritasNetBackup軟件Veritas公司是業(yè)界在提供數據存儲解決方案方面全球性著名公司,Veritas的NetBackup是業(yè)界比較常用的備份服務軟件。Veritas NetBackup可以為一個具有大量WindowsNT/2000, UNIX , NetWare等環(huán)境的數據中心提供數據保護,并通過一些靈活的圖形化 界面來管理其所
57、有的備份和恢復工作,這樣可以在一個企業(yè)實施連續(xù)性的備份策略。Vehtas NetBackup 的體系結構NetBackup采用四層的體系結構,將復雜的存儲介質管理和高性能緊密結合, 可以滿足最大型的數據中心的要求。第一層包括NetBackup的Master Server 。 Master Server可以看作策略規(guī)劃 和客戶端備份處理等動作的“大腦。它可以有一個或多個磁帶驅動器或磁帶 庫,備份來自多個客戶端的數據。如果一個機構有多個分離的數據中心,或有數據密集性的應用,例如數據倉 庫,它可以設置多個 Media Server ,為本地的大型應用備份數據的同時通過網 絡備份其他客戶端的數據。如果
58、一個Media Server失效,聯結在該MediaServer上的所有客戶端備份進程可以轉到另一臺Media Server上進行。第三層是Client Agent ,用來備份服務器或工作站的數據。這一層代表大量的獨立的機器。Media Server和Client Agent 都可以由Master Server來集 中管理。對于一些多個 Master Server或者覆蓋面很廣的分布式環(huán)境,NetBackup還可以建立第四層的 Veritas Global Data Manager ,來進行集中管理。Veritas Global Data Manager可以對企業(yè)所有的 NetBackup存儲
59、域進行集中管理。著 允許系統(tǒng)管理員和數據庫管理員可以管理NetBackup的每一個方面。它還可以實施連續(xù)性的策略管理,和監(jiān)控企業(yè)系統(tǒng)中每一個存儲域的狀態(tài)。NetBackup不但可以恢復主備份帶的部分或全部,還可以在別的地方恢復整個 應用或服務。NetBackup可以自動生成主備份磁帶的拷貝,可以將這些拷貝放 在遠離數據中心的地方,以備災難恢復。Vehtas NetBackup 的特點性能、可用性和安全性并行備份和恢復-可以從一個或多個客戶端/服務器通過多個數據流到一個或 多個磁帶機的讀寫,這種并行處理技術優(yōu)化了性能。客戶端壓縮-可以減少網絡流量,現在 Windows NT/2000和NetWa
60、re的客戶 端支持。非專用磁帶格式-可以生成tar兼容的磁帶。21 / 56中斷點重啟-一旦備份中斷,可以從備份中斷的位置重新開始備份。Windows NT/2000的智能化災難恢復-Windows NT/2000的遠程基于物理設備 的恢復。數據加密選項-美國和加拿大用戶可以進行56位的加密,所有的用戶都可以 進行40位加密。靈活的實施模式NetBackup向導-快速簡單地完成備份設備、存儲介質和備份策略的配置。遠程圖形界面管理-可以在任何地方完成所有的備份和恢復處理,包括通過 撥號網絡。用戶驅動的備份和恢復-最終用戶的友好界面可以減少系統(tǒng)管理員的干預。任務分類-可以根據備份的重要程度設置優(yōu)先
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度農貿場農產品溯源系統(tǒng)開發(fā)合同3篇
- 2025版無人駕駛車輛測試場租賃合同范本4篇
- 二零二五版智慧家居系統(tǒng)定制開發(fā)合同范本及智能家居生態(tài)圈構建4篇
- 二零二五年度旅游度假區(qū)內部控制制度咨詢與旅游服務提升合同4篇
- 2025年綠色環(huán)保服裝定制生產合同范本3篇
- 二零二五年度體育賽事組織與管理聘用合同
- 2025年度泥工班組勞務承包施工合同范本
- 二零二五年度房地產代持權證登記合同范本4篇
- 2025年度個人知識產權許可欠款合同模板3篇
- 2025版門窗行業(yè)綠色制造與安裝合同4篇
- 二零二五隱名股東合作協議書及公司股權代持及回購協議
- 四川省成都市武侯區(qū)2023-2024學年九年級上學期期末考試化學試題
- 教育部《中小學校園食品安全和膳食經費管理工作指引》知識培訓
- 初一到初三英語單詞表2182個帶音標打印版
- 2024年秋季人教版七年級上冊生物全冊教學課件(2024年秋季新版教材)
- 環(huán)境衛(wèi)生學及消毒滅菌效果監(jiān)測
- 2023年11月英語二級筆譯真題及答案(筆譯實務)
- 元明時期左江上思州黃姓土司問題研究
- 圍手術期應急預案
- 中玻北方新材料有限責任公司太陽能光伏玻璃及l(fā)ow-e節(jié)能玻璃深加工項目申請立項環(huán)境影響評估報告書簡本
- 【橡膠工藝】-橡膠履帶規(guī)格
評論
0/150
提交評論