服務(wù)器的可擴(kuò)展性_第1頁(yè)
服務(wù)器的可擴(kuò)展性_第2頁(yè)
服務(wù)器的可擴(kuò)展性_第3頁(yè)
服務(wù)器的可擴(kuò)展性_第4頁(yè)
服務(wù)器的可擴(kuò)展性_第5頁(yè)
已閱讀5頁(yè),還剩20頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

效勞器的可擴(kuò)展性

.在前面篇中我們介紹到了效勞器的“四性〞,即“Scalability(可擴(kuò)展性)〞、“Usability(可用性)〞、“Managbility(可管理性)〞、“Availability(可利用性)〞,簡(jiǎn)稱“SUMA〞。那么在效勞器中的的表現(xiàn)又將如何呢?本節(jié)就要以一個(gè)實(shí)例介紹效勞器的第一個(gè)特性--可擴(kuò)展性。效勞器的可擴(kuò)展性是指效勞器的硬件配置可以根據(jù)需要靈活配置,如內(nèi)存、適配器、硬盤、處理器等,因?yàn)樾谄鞯挠布渲每赡苁歉鶕?jù)不同時(shí)期的網(wǎng)絡(luò)配置而改變。效勞器通常因?yàn)橐B接多個(gè)板卡,如網(wǎng)卡,所以需要具有較多的PCI、PCI-X插槽;因?yàn)樾枰呷萘看疟P來存儲(chǔ)效勞器數(shù)據(jù),所以需要有較多的驅(qū)動(dòng)器支架。一般的效勞器機(jī)箱都設(shè)有七八個(gè)硬盤托架,可以放置更多的硬盤。如圖1左圖所示的為IBM.@serverxSeries250部門級(jí)效勞器,該款效勞器擁有0個(gè)熱插拔擴(kuò)展托架,最多可安裝14塊硬盤,其中10塊硬盤支持熱插拔。圖1右圖所示的效勞器主板上具有8條內(nèi)存插槽。.同樣,因效勞器需要高的內(nèi)容容量來滿足效勞器的高性能連接和運(yùn)算,所以需要較多的內(nèi)存插槽。這些結(jié)構(gòu)并不需要在一開始配置時(shí)就全部到位,而是在需要時(shí)購(gòu)置相應(yīng)部件安裝在相應(yīng)的插槽或支架上即可。同時(shí)為了確保效勞器的高度可靠性,通常還提供冗余電源、冗余風(fēng)扇,這樣同時(shí)也使得用戶的網(wǎng)絡(luò)擴(kuò)充時(shí),效勞器也能滿足新的需求,保護(hù)用戶的投資。以上這些就是許多品牌效勞器所提出的“按需擴(kuò)展〞理念?!鞍葱钄U(kuò)展〞就是在購(gòu)置效勞器初期并不需要購(gòu)置全部的組件,只要認(rèn)為暫時(shí)用不上的,都可以先不購(gòu)置,等的網(wǎng)絡(luò)開展到需要用得上這些組件時(shí)再購(gòu)置那些組件,直接插在原來的效勞器或通過相應(yīng)技術(shù)與效勞器連接即可輕松實(shí)現(xiàn)原來效勞器系統(tǒng)的升級(jí)、擴(kuò)展。如在IBM企業(yè)級(jí)x架構(gòu)效勞器技術(shù)中所提出的“XpandOnDemand〞就是這樣一種技術(shù)。.對(duì)于以上所說的擴(kuò)展性,無論如何都是非常有限的。因?yàn)檫@些擴(kuò)展插槽和支架都需要在效勞器機(jī)箱中,而效勞器的機(jī)箱不可能太大,一那么不便于安裝,另一方面,機(jī)箱中部件太多,容量造成效勞器機(jī)箱中溫度上升,給效勞器帶來不穩(wěn)定因素。雖然現(xiàn)在也有一些效勞器把許多PCI設(shè)備從機(jī)箱中移到機(jī)箱外單獨(dú)的一個(gè)柜子中,通過一個(gè)特制的電纜來與效勞器進(jìn)行連接,這樣一那么可以節(jié)省效勞器機(jī)箱的空間,再那么可以使效勞器的PCI設(shè)備具有更大的擴(kuò)展空間。這種技術(shù)在IBM中就稱之為“RemoteI/O〞技術(shù)。但大目前來說,它所能擴(kuò)展的性能也是非常有限的,所以現(xiàn)在許多中高檔效勞器的擴(kuò)展性都不是在機(jī)箱內(nèi)部解決,而是通過相應(yīng)的技術(shù)在效勞器外部解決。其中應(yīng)用最廣,也是擴(kuò)展性能最正確的就是效勞器的群集(Cluster).技術(shù),目前幾乎所有的效勞器操作系統(tǒng)都支持群集技術(shù),其中包括中高檔效勞器常用的UNIX、LINUIX,也包括中低檔服器所用的微軟Windows2000/2003。群集技術(shù)是使單獨(dú)效勞器實(shí)現(xiàn)物理和程序上的連接,并在效勞器之間進(jìn)行協(xié)同通訊,以使它們能夠執(zhí)行共同的任務(wù)。即便某一臺(tái)效勞器停止運(yùn)行,故障應(yīng)急進(jìn)程會(huì)自動(dòng)將該效勞器的工作負(fù)載轉(zhuǎn)移至另一臺(tái)效勞器,以保證提供持續(xù)不斷的效勞。除故障應(yīng)急程序之外,某些形式的群集也使用負(fù)載均衡功能,該功能可使計(jì)算負(fù)載在聯(lián)網(wǎng)的計(jì)算機(jī)間得以分配。目前一般來說比中高檔的效勞器可以實(shí)現(xiàn)4、6、8、12路,甚至16路對(duì)稱擴(kuò)展,每一路都具有獨(dú)立的CPU、RAM和PCI等設(shè)備。為了更直接地說明效勞器的可擴(kuò)展性能,現(xiàn)分別以IBM企業(yè)級(jí)效勞器X架構(gòu)的“按需擴(kuò)展〞和群集技術(shù)對(duì)以上兩種擴(kuò)展方法進(jìn)行簡(jiǎn)要說明。.一、XpandOnDemand(按需擴(kuò)展)技術(shù)由于I/O總線擁塞以及內(nèi)存不能得到有效利用,傳統(tǒng)的多處理器效勞器設(shè)計(jì)在向4路以上擴(kuò)展時(shí)開始遇到一些障礙。IBM的Summit(頂峰)技術(shù)通過一個(gè)強(qiáng)化的4路SMP構(gòu)件塊,能夠有效地向4路以上的SMP(對(duì)稱多處理系統(tǒng))擴(kuò)展。通過利用這種4路構(gòu)件塊創(chuàng)立新的計(jì)算“節(jié)點(diǎn)〞,為系統(tǒng)從4路擴(kuò)展到8路、12路,甚至16路SMP提供了一種有效的途徑。當(dāng)客戶在擁有4路處理器架構(gòu)情況下,因業(yè)務(wù)增長(zhǎng)需要擴(kuò)充其系統(tǒng)時(shí),只需要在原有4路處理器架構(gòu)根底上增加節(jié)點(diǎn),擴(kuò)展到8路、12路或16路處理器架構(gòu)。而Summit芯片組具有物理分區(qū)功能,能夠靈活地劃分工作量并分配給不同的處理器節(jié)點(diǎn)。例如,一個(gè)16路效勞器可以劃分成4路.節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)包括獨(dú)立的處理器、內(nèi)存和I/O支持,各節(jié)點(diǎn)可以運(yùn)行一種不同的操作系統(tǒng)執(zhí)行不同的任務(wù)。IBM企業(yè)級(jí)效勞器X架構(gòu)“按需擴(kuò)展(XpandOnDemand)〞技術(shù)合得效勞器結(jié)構(gòu)得到進(jìn)一步優(yōu)化,它通過提供新的內(nèi)存和I/O(輸入/輸出)子系統(tǒng)使新的處理器體系結(jié)構(gòu)能夠充分發(fā)揮效勞器的潛能。傳統(tǒng)的效勞器在設(shè)計(jì)上遇到的第一個(gè)性能瓶頸就是由于處理器和I/O總線堵塞,以及內(nèi)存的低效利用而導(dǎo)致4向并行處理技術(shù)的向前開展。企業(yè)級(jí)效勞器X架構(gòu)的設(shè)計(jì)提供了先進(jìn)的I/O和內(nèi)存體系機(jī)構(gòu)和一個(gè)高速共享緩存體系機(jī)構(gòu)。工業(yè)標(biāo)準(zhǔn)效勞器在使用了增強(qiáng)的、高性能的SMP(對(duì)稱多處理器)架構(gòu)模塊技術(shù)后,IBM企業(yè)級(jí)效勞器X架構(gòu)平臺(tái)后擴(kuò)展性得到了新的提高,從而實(shí)現(xiàn)了4路并行性能的有效擴(kuò)展。.SMP(對(duì)稱多處理器)技術(shù)是使用從4路到8路,再到12路,甚至是16路并行處理擴(kuò)展技術(shù)來擴(kuò)展企業(yè)的計(jì)算節(jié)點(diǎn),可擴(kuò)展的企業(yè)節(jié)點(diǎn)包括處理器、內(nèi)存、I/O支持、存儲(chǔ)器和其它設(shè)備。每個(gè)節(jié)點(diǎn)就像一臺(tái)獨(dú)立的計(jì)算機(jī)一樣一體化運(yùn)作,可以運(yùn)行不同的操作系統(tǒng),甚至不同分區(qū)的多個(gè)節(jié)點(diǎn)的工作可以鏡像分配到一個(gè)系統(tǒng)中。節(jié)點(diǎn)之間通過一種稱之為“對(duì)稱多功處理器擴(kuò)展端口〞來實(shí)現(xiàn)設(shè)備間的高速連接和頂峰性能的資源共享。這就使效勞器在運(yùn)行多個(gè)節(jié)點(diǎn)時(shí)就像一個(gè)大的、單一節(jié)點(diǎn)的組合,或者像兩個(gè)或者更多的小單元,甚至到可以在以后需要時(shí)重新配置。在IBM企業(yè)級(jí)效勞器X架構(gòu)中還有一種技術(shù)更加充分地保證了效勞器的擴(kuò)展性能,那就是“RemoteI/O(遠(yuǎn)程輸入/輸出)〞技術(shù),這個(gè)技術(shù)我們?cè)谇懊嬉?經(jīng)提到過,現(xiàn)在我們來具體看看它的實(shí)現(xiàn)過程和優(yōu)勢(shì)所在。在工業(yè)標(biāo)準(zhǔn)中有一個(gè)限制,那就是所有PCI和PCI-X適配器插槽都必須在主機(jī)箱中。一方面設(shè)計(jì)者總想在有限的機(jī)箱空間中設(shè)計(jì)最大量的適配器插槽,同時(shí)他們又想通過使效勞器組件變得越來越小來盡量縮小效勞器的大小,以滿足用戶在減小效勞器架構(gòu)空間大小方面的需求。不管怎樣,減小效勞器的大小也就意味著要犧牲一定的適配器插槽為代價(jià)。(這就是為什么效勞器生產(chǎn)商所提供的效勞器中要么是有多個(gè)適配器插槽,而減少驅(qū)動(dòng)器架,要么是有多驅(qū)動(dòng)器架,而提供的插槽較少。否那么就得增加效勞器的尺寸,那勢(shì)必會(huì)造成用戶擁擠的數(shù)據(jù)中心出現(xiàn)其它問題。).一個(gè)非常明顯的解決方案就是限制在機(jī)箱中的適配器數(shù)量,同時(shí)增加一個(gè)外置的“插件箱〞來安裝這些適配器。把適配器的插槽從主機(jī)中引到效勞器機(jī)箱外面,這樣效勞器就可做得更小了。不幸的是PCI-X總線技術(shù)并沒有明確地支持這種外置輸入/輸出接口。在IBM企業(yè)級(jí)效勞器架構(gòu)中的遠(yuǎn)程輸入/輸出(RemoteI/O)技術(shù)支持下,它可以使在單個(gè)效勞器中通過外置的I/O擴(kuò)展箱添加12個(gè)PCI/PCI-X的適配器插槽,提供極其強(qiáng)大的I/O擴(kuò)展性能。這在一方面就解釋了“隨著的增長(zhǎng)支付〞這個(gè)全新的支付理念了。只需要購(gòu)置現(xiàn)在需要的輸入/輸出組件,當(dāng)需要另外的組件時(shí)再到時(shí)另外購(gòu)置即可,這種性能就可以使IBM通過增加I/O外置擴(kuò)展單元來自由升級(jí)的效勞器。.遠(yuǎn)程I/O可為每個(gè)效勞器提供更多可用的適配器插槽,但它同樣具有非常高的可靠性。因?yàn)檫@個(gè)遠(yuǎn)程的I/O組件是用與插件箱分開的獨(dú)立電源來供電,在電源中還有冗余的風(fēng)扇,它比在一個(gè)效勞器主機(jī)箱內(nèi)安裝這么多適配器和驅(qū)動(dòng)器所散發(fā)的熱量更少。另一方面的優(yōu)點(diǎn)就是擴(kuò)展外置的I/O插件箱同樣可以被多個(gè)效勞器共享。如圖2所示。..遠(yuǎn)程I/O在IBMp系列和I系列效勞器(以前個(gè)另的IBMRS/6000和AS/400機(jī))是用來進(jìn)行實(shí)時(shí)連接的。遠(yuǎn)程I/O結(jié)合按需擴(kuò)展系統(tǒng)節(jié)點(diǎn)的設(shè)計(jì)原理,允許在有序、受控的方式下擴(kuò)展的系統(tǒng)。

在過去為了確保的效勞器高性能不斷提高,必須花費(fèi)巨資去買一個(gè)帶有許多處理器插槽、適配器插槽和驅(qū)動(dòng)器架的主機(jī),或許所買的效勞器中有的組件永遠(yuǎn)都用不上,但只想通過這種方式確保的效勞器有足夠高的擴(kuò)展性能?,F(xiàn)在,在IBM企業(yè)級(jí)效勞器X架構(gòu)的擴(kuò)展性設(shè)計(jì)方案下,可以從單個(gè)小小的節(jié)點(diǎn)組件開始。隨后在工業(yè)標(biāo)準(zhǔn)架構(gòu)中隨著的需要增加節(jié)點(diǎn)、I/O擴(kuò)展插件箱和磁盤擴(kuò)展單元(在的預(yù)算允許范圍內(nèi))。不僅企業(yè)級(jí)效勞器X架構(gòu)中的遠(yuǎn)程I/O給非常好的擴(kuò)展.性,而且它的性能也是非常高的。遠(yuǎn)程I/O擴(kuò)展單元是通過獨(dú)占的2Gbps帶寬的連接速度與系統(tǒng)進(jìn)行連接。IBM的“按需擴(kuò)展〞的性能在基于Intel體系架構(gòu)上的效勞器上表現(xiàn)出革命性的先進(jìn)性,可以在不需要任何停機(jī)的情況下擴(kuò)大的效勞器性能:增加(或者刪除)節(jié)點(diǎn)并不需要關(guān)掉其它節(jié)點(diǎn)(按正確的操作程序)。另外模塊化節(jié)點(diǎn)設(shè)計(jì)可以通過節(jié)點(diǎn)間的相互切換來實(shí)現(xiàn)效率的最大化。IBM企業(yè)級(jí)效勞器X架構(gòu)的配置允許向上擴(kuò)展(Scaleup),群集排列使向外擴(kuò)展(Scaleout),事實(shí)上,群集一個(gè)8路、12路或者16路IBM企業(yè)級(jí)效勞器X架構(gòu)系統(tǒng)以上兩種群集方法都可以用。.二、群集擴(kuò)展原理IBM企業(yè)級(jí)效勞器x架構(gòu)的群集擴(kuò)展技術(shù)使得我們對(duì)效勞器擴(kuò)展變得非常容易。為了能更清楚地說明問題,我們先從一個(gè)簡(jiǎn)單、廉價(jià)的4路對(duì)稱多處理節(jié)點(diǎn)開始。在IBM企業(yè)級(jí)效勞器x架構(gòu)的群集技術(shù)中,如果以后發(fā)現(xiàn)需要更多的處理器系統(tǒng)時(shí),只需要簡(jiǎn)單地增加第二個(gè)4路并行處理節(jié)點(diǎn),并用簡(jiǎn)單的一根數(shù)據(jù)線進(jìn)行連接來就可以建立一個(gè)8路并行處理效勞器(如果認(rèn)為所建立的8路并行處理效勞器沒有為提供足夠多的插槽和總線時(shí),還可以插入一個(gè)像IBMEXP300一樣的外置的遠(yuǎn)端I/O擴(kuò)展單元、記錄設(shè)備和遠(yuǎn)端存儲(chǔ)單元.來滿足),這樣,隨著需求的增加,三個(gè)4路并行處理節(jié)點(diǎn)就能夠配置成一個(gè)12路并行處理系統(tǒng),最后4個(gè)4路并行處理節(jié)點(diǎn)能夠組合成一個(gè)16路并行處理效勞器。圖3左圖顯示的是一個(gè)通過上述方法組成的16路并行處理效勞器。在實(shí)際中,各節(jié)點(diǎn)是由一個(gè)框架來堆疊的。圖3右圖顯示的是連接兩種不同SMP擴(kuò)展端口系統(tǒng)的圖示,只需要一條電纜,第二條電纜是用來當(dāng)系統(tǒng)有雙倍吞吐量時(shí)分擔(dān)工作量平衡系統(tǒng),第三個(gè)擴(kuò)展端口是用于4路并行節(jié)點(diǎn)的配置。..如果有時(shí)認(rèn)為有些節(jié)點(diǎn)需要改變,不再需要8路或16路并行處理效勞器,這些節(jié)點(diǎn)也能夠重新別離成一個(gè)單獨(dú)的4路并行處理系統(tǒng)。這種模塊設(shè)計(jì)使自由地決定如何去一步步提高的IT組織,并不需要在事先就要作出一切決定,而不像原來的工業(yè)標(biāo)準(zhǔn)設(shè)計(jì)一樣需要一步到位。IBM企業(yè)級(jí)效勞器X架構(gòu)的設(shè)計(jì)提供了在所有處理器與內(nèi)存之間的互訪,不受它們各自的節(jié)點(diǎn)的限制,減少了彼此間的總線爭(zhēng)奪。不僅如此,還增加了一倍的芯片組、前端總線、PCI總線、以及其它資源來分擔(dān)數(shù)據(jù)交換的負(fù)擔(dān),而這些僅是兩個(gè)節(jié)點(diǎn)完成的,更多的節(jié)點(diǎn)能夠轉(zhuǎn)換成更寬的系統(tǒng)帶寬。這樣的連接和資源問題在傳統(tǒng)的12路或16路對(duì)稱多處理系統(tǒng)中開始產(chǎn)生,IBM企業(yè)級(jí)效勞器X架構(gòu)的設(shè)計(jì)可以輕松.地實(shí)現(xiàn)超負(fù)荷運(yùn)作,就像用16路并行處理系統(tǒng)來完成8路處理系統(tǒng)的工作一樣。需要時(shí)僅需參加一個(gè)新的4路并行處理節(jié)點(diǎn),而在最開始并不需要預(yù)算所有的資金,采購(gòu)是可以分成假設(shè)干個(gè)別離的預(yù)算周期來完成的。在上面所指的設(shè)計(jì)中不僅是指處理器需要增加,在整個(gè)平衡體系中所需的所有資源都需要增加。在每一個(gè)4路到16路的轉(zhuǎn)換配置中,所有節(jié)點(diǎn)間的連接都既能在一個(gè)操作系統(tǒng)和應(yīng)用程序場(chǎng)合中當(dāng)作單個(gè)分區(qū)使用,也可以劃分成多個(gè)獨(dú)立的分區(qū)。同樣,連接帶切換功能的群集效勞器就像連接兩個(gè)、三個(gè)或者四個(gè)節(jié)點(diǎn)一樣容易,只需在連接的節(jié)點(diǎn)之間使用同樣的對(duì)稱多處理器擴(kuò)展端口連接電纜即可。對(duì)于這樣的擴(kuò)展群集,在節(jié)點(diǎn)之間的建立高速的連接不需要復(fù)雜的以太網(wǎng)設(shè)置,因?yàn)槟且淹ㄟ^對(duì)稱多處理端口自動(dòng)設(shè)置了。.三、IBM群集擴(kuò)展優(yōu)勢(shì)

上面介紹了一些在IBM企業(yè)級(jí)效勞器X架構(gòu)中的群集擴(kuò)展原理,那么這種擴(kuò)展方式與標(biāo)準(zhǔn)的分布式群集相比又有哪能些優(yōu)勢(shì)呢?在前面我們了解了在IBM企業(yè)級(jí)效勞器X架構(gòu)中是如何實(shí)現(xiàn)系統(tǒng)擴(kuò)展的,或許會(huì)認(rèn)為這些靈活性都是以犧牲性能為代價(jià),可實(shí)際上絕對(duì)不是那樣。事實(shí)上,IBM企業(yè)級(jí)效勞器X架構(gòu)中的高速對(duì)稱多處理擴(kuò)展端口不僅為我們提供靈活的擴(kuò)展性能,同時(shí)還為我們?cè)贗ntel體系機(jī)構(gòu)領(lǐng)域中提供了最優(yōu)良的性能。那么用4個(gè)節(jié)點(diǎn)方式連接組成的效勞器系統(tǒng)的擴(kuò)展性能比用簡(jiǎn)單的4個(gè)單獨(dú)的4路并行處理系統(tǒng)連在一起去實(shí)現(xiàn)傳統(tǒng).的四個(gè)效勞器群集有哪能些好處呢?它們有共同之處,但又有哪能些重大的差異呢?下面就是答案:4個(gè)4路并行處理的IBM企業(yè)級(jí)效勞器X架構(gòu)使能得到充分的擴(kuò)展自由,可以配置成2個(gè)8路并行處理服器、1個(gè)8路和2個(gè)4路并行處理效勞器、1個(gè)12路和1個(gè)4路并行處理效勞器,或者為一個(gè)單一的16路并行處理效勞器。即使已連接成了某種連接方式,如果想改變?nèi)钥梢酝ㄟ^一個(gè)簡(jiǎn)單的控制命令重新配置成其它的排列,不會(huì)像傳統(tǒng)的群集方式一樣局限于某一種特殊的配置。IBM的“系統(tǒng)分區(qū)(SystemPartitioning)〞技術(shù)允許用一個(gè)操作系統(tǒng)和應(yīng)用軟件系統(tǒng)的復(fù)制在整個(gè)四個(gè)節(jié)點(diǎn)分區(qū)中使用,這就比在傳統(tǒng)的群集解決方案中一個(gè)個(gè)去設(shè)置方便許多。.SMP擴(kuò)展端口允許節(jié)點(diǎn)間在每個(gè)連接間運(yùn)用進(jìn)行雙向32GB/s的速度進(jìn)行實(shí)時(shí)對(duì)話,每個(gè)節(jié)點(diǎn)可與其它3個(gè)節(jié)點(diǎn)進(jìn)行連接。32GB就相當(dāng)于32倍千兆以太網(wǎng)的連接速度(或者16倍于通過局域網(wǎng)交換機(jī)進(jìn)行雙向操作的速度)。另外,這樣的網(wǎng)絡(luò)結(jié)構(gòu)再也不需要為僅少數(shù)幾個(gè)地方需要支持千兆以太網(wǎng)而進(jìn)行重新配置,也就是說不再需要在這些群集效勞器中配置全部的千兆以太網(wǎng)集線器、路由器、交換機(jī)或者適配器。如果不用千兆以太網(wǎng),通常認(rèn)為對(duì)稱多處理擴(kuò)展端口的速度相當(dāng)于320倍的100Mbps以太網(wǎng)。除了在效勞器已安裝的以太網(wǎng)端口外,剩下的可用端口都是用于一般網(wǎng)絡(luò)的連接的。因?yàn)镾MP擴(kuò)展端口在節(jié)點(diǎn)間允許處理器對(duì)處理器直接通信,并沒有占用任何被操作系統(tǒng)處理過程中的.適配器總線和網(wǎng)絡(luò)交換總線,這樣就在系統(tǒng)之間提供了更好的吞吐

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論