




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1.一、項(xiàng)目概況建設(shè)目標(biāo)分布式軟件定義存儲(chǔ)平臺(tái)擴(kuò)容項(xiàng)目建設(shè)主要針對(duì)一期平臺(tái)的數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性進(jìn)行統(tǒng)一數(shù)據(jù)整合,數(shù)據(jù)平臺(tái)通過軟件設(shè)計(jì)簡化底層硬件復(fù)雜度,打造接口標(biāo)準(zhǔn),將底層資源和業(yè)務(wù)平臺(tái)進(jìn)行打通,滿足不同業(yè)務(wù)對(duì)存儲(chǔ)的訪問需求,實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存放、應(yīng)用的統(tǒng)一對(duì)接,業(yè)務(wù)的統(tǒng)一監(jiān)控。做好數(shù)據(jù)整合為未來搭建統(tǒng)一應(yīng)用多活平臺(tái)做好數(shù)據(jù)的收集和技術(shù)準(zhǔn)備。(1)資源池概念將所有存儲(chǔ)服務(wù)器節(jié)點(diǎn)作為大的統(tǒng)一資源池,建設(shè)成為一校區(qū)原數(shù)據(jù)中心、一校區(qū)新建數(shù)據(jù)中心、二校區(qū)數(shù)據(jù)中心統(tǒng)一的存儲(chǔ)資源池。(2)資源統(tǒng)一管理對(duì)資源池(包含物理資源和虛擬資源)實(shí)現(xiàn)統(tǒng)一管理,提供高度動(dòng)態(tài)、靈活的業(yè)務(wù)保障基礎(chǔ)環(huán)境,為實(shí)際使用中帶來最大限度的選擇性。(3) 動(dòng)態(tài)資源調(diào)配動(dòng)態(tài)資源調(diào)配,將所有存儲(chǔ)服務(wù)器作為大的資源統(tǒng)一進(jìn)行管理,并按需自動(dòng)進(jìn)行動(dòng)態(tài)資源調(diào)配。(4)后期連續(xù)性策略實(shí)現(xiàn)對(duì)存儲(chǔ)設(shè)備無中斷的按需擴(kuò)容;對(duì)按照正常數(shù)據(jù)中心設(shè)備的生命周期管理,進(jìn)行更新和替換、應(yīng)用程序、操作系統(tǒng)和硬件,保證與已有的基礎(chǔ)架構(gòu)之間的兼容性。(5)利舊策略新設(shè)備要跟現(xiàn)有的環(huán)境能夠?qū)?,并且要把使用利舊架構(gòu)來進(jìn)行配置,可以把初期投入降低。預(yù)期的建設(shè)效果本次項(xiàng)目規(guī)劃并且達(dá)到下面的建設(shè)效果。
waiXSKYMON冒Ba一校區(qū)數(shù)據(jù)中心(1副本)對(duì)象存儲(chǔ)資源池塊存儲(chǔ)資源池010101010010101010按照上圖的需求,分布式軟件定義存儲(chǔ)平臺(tái)要實(shí)現(xiàn)下面三個(gè)方面的目標(biāo)。塊存儲(chǔ)資源池waiXSKYMON冒Ba一校區(qū)數(shù)據(jù)中心(1副本)對(duì)象存儲(chǔ)資源池塊存儲(chǔ)資源池010101010010101010按照上圖的需求,分布式軟件定義存儲(chǔ)平臺(tái)要實(shí)現(xiàn)下面三個(gè)方面的目標(biāo)。塊存儲(chǔ)資源池對(duì)彖存儲(chǔ)資源池|島m昌營| |壬島冒ml仟也&劄-校區(qū)新數(shù)據(jù)中心(1副本)二HBHHi0101010101011■■i■塊存儲(chǔ)資源池對(duì)象存儲(chǔ)資源池二校區(qū)新數(shù)據(jù)中心(1副本)(1)校園網(wǎng)盤后端存儲(chǔ)雙活在哈工大校區(qū)的任意登錄節(jié)點(diǎn)和環(huán)境,只要能夠?qū)崿F(xiàn)登錄網(wǎng)盤界面,都可以實(shí)現(xiàn)校園網(wǎng)盤業(yè)務(wù)的登錄和使用,不會(huì)受到一校區(qū)或者二校區(qū)數(shù)據(jù)中心后端存儲(chǔ)的故障影響。(2)虛擬化平臺(tái)對(duì)接使用與學(xué)校虛擬化平臺(tái)實(shí)現(xiàn)對(duì)接,可以將部分業(yè)務(wù)遷移到分布式軟件定義存儲(chǔ)平臺(tái)上。(3)存儲(chǔ)流媒體等非結(jié)構(gòu)化數(shù)據(jù)可以為流媒體系統(tǒng)和視頻會(huì)議錄制等業(yè)務(wù)提供高帶寬、低延遲、大并發(fā)數(shù)據(jù)分級(jí)存儲(chǔ)。
二、項(xiàng)目需求描述2.1主要功能需求業(yè)務(wù)集群業(yè)務(wù)集群數(shù)據(jù)中心存儲(chǔ)多活效果圖二校區(qū)數(shù)據(jù)中心10GSW1X86胺務(wù)器仲裁節(jié)點(diǎn)XSKYMON存儲(chǔ)集群I^HlOGSW2X86服務(wù)器10GSW210GSW1I存儲(chǔ)集群-校區(qū)數(shù)據(jù)中心刪戟1OGb75ffrtf*10GSW1GIX86服務(wù)器10GSW110GSW2業(yè)務(wù)集群業(yè)務(wù)集群數(shù)據(jù)中心存儲(chǔ)多活效果圖二校區(qū)數(shù)據(jù)中心10GSW1X86胺務(wù)器仲裁節(jié)點(diǎn)XSKYMON存儲(chǔ)集群I^HlOGSW2X86服務(wù)器10GSW210GSW1I存儲(chǔ)集群-校區(qū)數(shù)據(jù)中心刪戟1OGb75ffrtf*10GSW1GIX86服務(wù)器10GSW110GSW21OGb/5msX86服務(wù)器;10GSW1i10GSW2存儲(chǔ)集群一校區(qū)數(shù)據(jù)中心B"1業(yè)務(wù)網(wǎng)絡(luò)存儲(chǔ)網(wǎng)此次項(xiàng)目采購的分布式軟件定義存儲(chǔ)平臺(tái)需要能夠?qū)崿F(xiàn)兩個(gè)數(shù)據(jù)中心、三個(gè)機(jī)房都能夠完整的保存一份業(yè)務(wù)的全部數(shù)據(jù)。在業(yè)務(wù)平臺(tái)的基礎(chǔ)上任意數(shù)據(jù)中心存儲(chǔ)層面的故障和數(shù)據(jù)丟失都不能影響其他數(shù)據(jù)中心的業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全。還需要滿足哈工大對(duì)分布式軟件定義存儲(chǔ)平臺(tái)擴(kuò)展性、可用性等需求,幫助快速構(gòu)建可被統(tǒng)一監(jiān)控和管理的分布式軟件定義存儲(chǔ)資源池,對(duì)外提供基于塊、文件和對(duì)象的存儲(chǔ)業(yè)務(wù)的使用。需求種類需求名稱需求子項(xiàng)功能列表分布式軟件定義存儲(chǔ)基礎(chǔ)功能統(tǒng)一塊存儲(chǔ)軟件部署功能需求*部署工具及配置工具標(biāo)準(zhǔn)化自動(dòng)化安裝部署工具基礎(chǔ)參數(shù)配置及參數(shù)說明分布式軟件定義存儲(chǔ)塊存儲(chǔ)管理塊存儲(chǔ)卷塊存儲(chǔ)卷信息查看查看塊存儲(chǔ)卷詳細(xì)信息塊存儲(chǔ)卷相關(guān)操作對(duì)塊存儲(chǔ)卷進(jìn)行添加、刪除、擴(kuò)容、QoS、快照、回滾的等操作快照管理快照信息查看查看快照詳細(xì)信息快照管理的相關(guān)操作對(duì)快照進(jìn)行克隆、刪除等操作iSCSIVIP漂移在用戶無感知的情況下,提咼鏈路的咼可用
將故障端口上的業(yè)務(wù),快速自動(dòng)地切換到其它可用端口上,保障業(yè)務(wù)不中斷,提高iSCSI路徑的可靠性。iSCSI網(wǎng)關(guān)管理*訪問路徑管理管理iSCSI協(xié)議訪問路徑客戶端組管理管理iSCSI協(xié)議客戶端組分布式軟件定義存儲(chǔ)文件系統(tǒng)存儲(chǔ)管理快照管理快照信息查看查看快照詳細(xì)信息快照管理的相關(guān)操作對(duì)快照進(jìn)行克隆、刪除等操作NFS網(wǎng)關(guān)管理NFS網(wǎng)關(guān)信息查看查看NFS網(wǎng)關(guān)詳細(xì)信息NFS網(wǎng)關(guān)管理相關(guān)操作對(duì)NFS網(wǎng)關(guān)進(jìn)行添加、刪除、修改、負(fù)載均衡及高可用處理等相關(guān)操作分布式軟件定義存儲(chǔ)對(duì)象系統(tǒng)存儲(chǔ)管理海量小文件管理(小文件聚合優(yōu)化)支持針對(duì)海量小文件存取優(yōu)化,同時(shí)聚合小對(duì)象為大數(shù)據(jù)塊整體操作,大大提升小文件下的空間利用率。小文件優(yōu)化NFS協(xié)議兼容通過NFS提供文件系統(tǒng)功能接口,解決通過文件協(xié)議和對(duì)象存儲(chǔ)協(xié)議互操作功能。通過對(duì)象存儲(chǔ)協(xié)議寫入的數(shù)據(jù)可以通過NFS文件協(xié)議實(shí)現(xiàn)多客戶端數(shù)據(jù)共享的需求,同時(shí)滿足通過NFS文件協(xié)議寫入,通過對(duì)象存儲(chǔ)協(xié)議訪問的需求。舊文件系統(tǒng)和新架構(gòu)互通使用對(duì)象存儲(chǔ)負(fù)載均衡:支持對(duì)象存儲(chǔ)負(fù)載均衡,在保證對(duì)象存儲(chǔ)咼可用的同時(shí),實(shí)現(xiàn)負(fù)載均衡作用。大量訪問的并發(fā)支持分布式軟件定義存儲(chǔ)資源管理服務(wù)器管理服務(wù)器信息查看查看服務(wù)器詳細(xì)信息服務(wù)器管理相關(guān)操作對(duì)服務(wù)器進(jìn)行添加、刪除、修改等相關(guān)操作硬盤管理硬盤信息查看查看硬盤詳細(xì)信息硬盤管理相關(guān)操作對(duì)硬盤進(jìn)行添加、刪除、修改等相關(guān)操作
存儲(chǔ)池管理存儲(chǔ)池信息查看查看存儲(chǔ)池詳細(xì)信息存儲(chǔ)池管理相關(guān)操作對(duì)存儲(chǔ)池進(jìn)行添加、刪除、修改等相關(guān)操作緩存管理*緩存信息查看查看緩存詳細(xì)信息緩存管理相關(guān)操作對(duì)緩存進(jìn)行添加、刪除、修改等相關(guān)操作分布式軟件定義存儲(chǔ)用戶權(quán)限管理用戶權(quán)限管理*用戶權(quán)限管理對(duì)用戶進(jìn)行添加、刪除、修改訪問權(quán)限等相關(guān)操作分布式軟件定義存儲(chǔ)監(jiān)控告警管理監(jiān)控功能*容量與性能監(jiān)控對(duì)統(tǒng)一塊存儲(chǔ)系統(tǒng)進(jìn)行各個(gè)層面上的容量、性能監(jiān)控展示硬件以及基礎(chǔ)服務(wù)監(jiān)控對(duì)統(tǒng)一塊存儲(chǔ)系統(tǒng)進(jìn)行硬件監(jiān)控以及基礎(chǔ)服務(wù)監(jiān)控展示告警功能*告警媒介及告警通知列表管理功能對(duì)告警媒介和告警通知列表進(jìn)行管理分布式軟件定義存儲(chǔ)日志管理日志管理*操作日志管理對(duì)統(tǒng)一塊存儲(chǔ)系統(tǒng)的操作日志收集、分析、展示,并提供相應(yīng)的報(bào)表下載功能分布式軟件定義存儲(chǔ)備份管理備份平臺(tái)管理*備份平臺(tái)信息查看查看備份平臺(tái)的詳細(xì)信息備份平臺(tái)管理相關(guān)操作對(duì)備份平臺(tái)進(jìn)行添加、刪除、修改等相關(guān)操作備份策略管理*備份策略查看查看備份策略的詳細(xì)信息備份策略管理相關(guān)操作對(duì)備份策略進(jìn)行添加、刪除、修改等相關(guān)操作備份恢復(fù)*備份恢復(fù)備份恢復(fù)2.2性能需求在分布式軟件定義存儲(chǔ)平臺(tái),按照3副本的最終配置要求,需要能夠提供8K寫IOPS±300000;8K讀I0PS21200000;8K寫帶寬(MB/S)±3000;8K讀帶寬(MB/S)±12000;對(duì)于本地應(yīng)用客戶機(jī)的讀操作,我們可以避免跨站點(diǎn)讀導(dǎo)致延時(shí)增加,采用本地讀策略,確保100%的讀操作只發(fā)生在本地站點(diǎn)的數(shù)據(jù)副本上。三、項(xiàng)目技術(shù)要求總體要求網(wǎng)絡(luò)連接需求:管理ritch-1GBswitch-2sdsOlsdsO2sdsO3sds04sdsOSsds06干兆網(wǎng)絡(luò)萬兆網(wǎng)絡(luò)10GBswitch-2GBswitch-1網(wǎng)絡(luò)連接需求:管理ritch-1GBswitch-2sdsOlsdsO2sdsO3sds04sdsOSsds06干兆網(wǎng)絡(luò)萬兆網(wǎng)絡(luò)10GBswitch-2GBswitch-13.1.1打造統(tǒng)一數(shù)據(jù)平臺(tái)分布式軟件定義存儲(chǔ)平臺(tái)不但可以提供基于商用硬件的分布式存儲(chǔ)系統(tǒng)以及高性能高可靠性存儲(chǔ),而且可以通過基于控制平面的軟件應(yīng)用存儲(chǔ)控制器,同一套存儲(chǔ)系統(tǒng)為上層應(yīng)用同時(shí)提供塊、文件和對(duì)象三種數(shù)據(jù)服務(wù),滿足業(yè)務(wù)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的存放需求。實(shí)現(xiàn)對(duì)虛擬化環(huán)境中不同異構(gòu)存儲(chǔ)的統(tǒng)一管理交付,將底層異構(gòu)存儲(chǔ)資源抽象化,數(shù)據(jù)中心管理員可依據(jù)前端業(yè)務(wù)團(tuán)隊(duì)所要求的特性以SLA服務(wù)等級(jí)(如IOPS)創(chuàng)建存儲(chǔ)服務(wù),并將其自動(dòng)配置給所需的應(yīng)用程序服務(wù)器。分布式軟件定義存儲(chǔ)平臺(tái)圍繞基礎(chǔ)架構(gòu)設(shè)計(jì),通過存儲(chǔ)系統(tǒng)軟件將通用硬件的本地存儲(chǔ)資源組織起來,構(gòu)建全分布式存儲(chǔ)池,不但可支持超大規(guī)模數(shù)十PB級(jí)以上容量的存儲(chǔ)資源池,也可以整合現(xiàn)有存儲(chǔ)設(shè)施,或構(gòu)建應(yīng)用融合方案,支撐各種業(yè)務(wù)應(yīng)用。3.1.2統(tǒng)一網(wǎng)絡(luò)平臺(tái)分布式軟件定義存儲(chǔ)支持跨不同子網(wǎng)環(huán)境部署,相同功能網(wǎng)絡(luò)不必規(guī)劃在同一網(wǎng)段。方便靈活的網(wǎng)絡(luò)規(guī)劃,降低用戶跨數(shù)據(jù)中心網(wǎng)絡(luò)配置的復(fù)雜度。
存儲(chǔ)網(wǎng)絡(luò)架構(gòu)圖>分網(wǎng)段搭建集群,合井網(wǎng)熱需合理規(guī)圳謹(jǐn)防功能/性能受影響ClientSW1 6W2[■軌 ]萬兆交換機(jī)Nodel Node2 Node3存儲(chǔ)網(wǎng)關(guān)網(wǎng)絡(luò)(GatewayNetwork)—GatewayNet10GE— PublicNet1OGE ClientSW1 6W2[■軌 ]萬兆交換機(jī)Nodel Node2 Node3存儲(chǔ)網(wǎng)關(guān)網(wǎng)絡(luò)(GatewayNetwork)—GatewayNet10GE— PublicNet1OGE ClusterNet1OGE AdminNet1GE 管理網(wǎng)絡(luò)(AdminNetwork)管理和配置集群存儲(chǔ)集群對(duì)夕卜網(wǎng)絡(luò)(PublicNetwork)訪問存儲(chǔ)資源客戶端訪問存儲(chǔ)池存儲(chǔ)集群內(nèi)部網(wǎng)絡(luò)(ClusterNetwork)節(jié)點(diǎn)間OSD監(jiān)控;副本同步AdminNetwork:管理網(wǎng)絡(luò),用戶可以通過該網(wǎng)絡(luò)管理和配置集群;GatewayNetwork:存儲(chǔ)網(wǎng)關(guān)網(wǎng)絡(luò),用戶業(yè)務(wù)可通過該網(wǎng)絡(luò)訪問存儲(chǔ)資源;PublicNetwork:存儲(chǔ)集群對(duì)外網(wǎng)絡(luò),客戶端可通過該訪問到池;ClusterNetwork:存儲(chǔ)集群內(nèi)部網(wǎng)絡(luò),用于各節(jié)點(diǎn)之間存儲(chǔ)集群內(nèi)部網(wǎng)絡(luò),用于各節(jié)點(diǎn)之間存儲(chǔ)集群內(nèi)部網(wǎng)絡(luò),用于各節(jié)點(diǎn)之間OSD監(jiān)控。容災(zāi)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)一個(gè)仲裁節(jié)點(diǎn)在一個(gè)分布式軟件定義存儲(chǔ)集群環(huán)境,一個(gè)獨(dú)立的MON仲裁組件部署在第三站點(diǎn)是需要的。網(wǎng)絡(luò)延時(shí)和帶寬需求當(dāng)使用分布式軟件定義存儲(chǔ)平臺(tái)跨站點(diǎn)部署分布式軟件定義存儲(chǔ)集群時(shí),必須支持2層和3層網(wǎng)絡(luò)。二層網(wǎng)絡(luò)(同一子網(wǎng))和三層網(wǎng)絡(luò)(路由)配置是被使用在推薦的分布式軟件定義存儲(chǔ)集群部署中的。注意:所有站點(diǎn),包括數(shù)據(jù)中心和仲裁節(jié)點(diǎn)之間通過二層網(wǎng)絡(luò)通信是支持的。同樣所有站點(diǎn)間通過三層網(wǎng)絡(luò)通信也是支持的。數(shù)據(jù)中心間的網(wǎng)絡(luò)延時(shí)對(duì)于分布式軟件定義存儲(chǔ)集群來說物理距離不是一個(gè)要考慮的問題,關(guān)鍵需求是看數(shù)據(jù)中心間的真實(shí)網(wǎng)絡(luò)延時(shí)。分布式軟件定義存儲(chǔ)集群要求數(shù)據(jù)中心(非和仲裁節(jié)點(diǎn))間的網(wǎng)絡(luò)延時(shí)或者往返時(shí)間小于5msec,單向小于2.5msec。?數(shù)據(jù)中心間的網(wǎng)絡(luò)帶寬:分布式軟件定義存儲(chǔ)平臺(tái)推薦最小使用lOGbps網(wǎng)絡(luò)帶寬作為數(shù)據(jù)中心數(shù)據(jù)同步的需求。數(shù)據(jù)中心和仲裁節(jié)點(diǎn)間的網(wǎng)絡(luò)延時(shí)在大多數(shù)的分布式軟件定義存儲(chǔ)集群配置中,數(shù)據(jù)中心和仲裁節(jié)點(diǎn)間的網(wǎng)路延時(shí)不應(yīng)超過200msec(單向100msec),這個(gè)網(wǎng)絡(luò)延時(shí)的要求更多依賴于整個(gè)集群中MON組件的數(shù)量。數(shù)據(jù)中心與仲裁節(jié)點(diǎn)間的帶寬數(shù)據(jù)中心與仲裁節(jié)點(diǎn)間的帶寬與集群規(guī)模無關(guān),大約是1Mbps左右,通常的internet網(wǎng)絡(luò)都可以滿足需求。?站點(diǎn)間MTU要保持一致在分布式軟件定義存儲(chǔ)集群的配置中保持所有站點(diǎn)間MTU的一致性是重要的,這將防止出現(xiàn)傳輸碎片。應(yīng)對(duì)網(wǎng)絡(luò)延時(shí)對(duì)于I/O性能帶來的影響,可通過配置網(wǎng)絡(luò)端口MTU=9000,來增加I/O請(qǐng)求的發(fā)包效率,弱化延時(shí)造成的多副本同步寫延時(shí)節(jié)點(diǎn)返回慢的問題。3.2關(guān)鍵技術(shù)指標(biāo)必須滿足下面的技術(shù)指標(biāo)?!镒灾骺煽兀褐R(shí)產(chǎn)權(quán):擁有自主知識(shí)產(chǎn)權(quán),非OEM產(chǎn)品,非聯(lián)合產(chǎn)品(能夠提供集群存儲(chǔ)系統(tǒng)的自主知識(shí)產(chǎn)權(quán)證書、含證書編號(hào))。本次需要提供分布式軟件定義存儲(chǔ)平臺(tái)一體機(jī)。多管理接口:RESTfulAPI:支持RESTful管理接口,以利于上層應(yīng)用無縫整合存儲(chǔ)系統(tǒng)。CLI命令行工具:支持CLI命令行工具,最大化管理效率。GUI管理接口:支持可視化GUI管理接口。全局即刻搜索:支持對(duì)系統(tǒng)內(nèi)所有資源的全部信息搜索,列表信息排序及相應(yīng)字段的過濾,允許快速訪問關(guān)鍵資源。全方位性能指標(biāo)監(jiān)控:支持物理服務(wù)器CPU、內(nèi)存、網(wǎng)絡(luò)、負(fù)載監(jiān)控;支持存儲(chǔ)介質(zhì)讀寫IOPS、帶寬和延遲監(jiān)控;支持存儲(chǔ)池讀寫IOPS、帶寬和延遲監(jiān)控;支持卷、桶、文件目錄讀寫IOPS、帶寬和延遲監(jiān)控;支持上述指標(biāo)統(tǒng)計(jì)保留天數(shù)自定義設(shè)置。實(shí)時(shí)健康管理:支持對(duì)物理服務(wù)器、存儲(chǔ)介質(zhì)、存儲(chǔ)池?cái)?shù)據(jù)冗余狀態(tài)監(jiān)控及管理;支持對(duì)象、塊和文件的網(wǎng)關(guān)和鏈路健康檢測(cè);支持存儲(chǔ)介質(zhì)根據(jù)SMART信息預(yù)測(cè)設(shè)備壽命,提醒壞盤可能。容量預(yù)警:根據(jù)智能算法預(yù)測(cè)未來容量使用增長,可以預(yù)測(cè)剩余容量將在幾天后被寫滿,并在容量使用天數(shù)剩余30天內(nèi)給與提示和告警?!镆钥梢暬囊晥D展示硬盤的基本信息及從屬關(guān)系:基本信息包括:硬盤名稱、狀態(tài)、容量、已使用容量、數(shù)據(jù)恢復(fù)情況、硬盤介質(zhì)、IO利用率等。從屬關(guān)系包括從屬服務(wù)器視圖和從屬存儲(chǔ)池視圖。同時(shí)支持鼠標(biāo)hover時(shí)顯示硬盤詳細(xì)信息。磁盤定位:支持通過可視化界面點(diǎn)燈進(jìn)行硬盤定位的功能。事件通知:支持系統(tǒng)和用戶觸發(fā)產(chǎn)生的及關(guān)鍵事件日志,包括記錄重要的系統(tǒng)觸發(fā)、操作員行為觸發(fā)及系統(tǒng)關(guān)鍵事件等(系統(tǒng)觸發(fā)如服務(wù)器、硬盤離線上線、存儲(chǔ)池重平衡等,用戶行為觸發(fā)如創(chuàng)建、修改、刪除資源等),便于排錯(cuò)、審計(jì)和跟蹤,方便用戶全方面掌控存儲(chǔ)運(yùn)行情況。同時(shí)支持事件日志導(dǎo)出。告警管理:支持集群內(nèi)所有資源的告警,在存儲(chǔ)系統(tǒng)的各級(jí)軟硬件產(chǎn)生故障時(shí),由管理控制臺(tái)向管理員提示告警,有助于及時(shí)了解資源使用情況和處理突發(fā)事件。支持自定義告警通知,同時(shí)支持郵件告警。SNMP:支持SNMPV2,支持TRAP,GET,SET操作。自定義容量閾值:自定義集群中硬盤的容量閾值,該閾值是硬盤被安全寫滿的閾值。達(dá)到該閾值后該盤將不可再寫入數(shù)據(jù),但該閾值可以根據(jù)業(yè)務(wù)需求調(diào)整。卷和快照管理:支持卷管理操作,精簡配置,在線擴(kuò)容。支持秒級(jí)快照。支持鏈接克隆,支持獨(dú)立克隆。定時(shí)快照:支持按定時(shí)策略創(chuàng)建快照,達(dá)到定期對(duì)塊存儲(chǔ)卷進(jìn)行數(shù)據(jù)備份。卷QoS:支持卷Qos,支持在線調(diào)整Qos,實(shí)時(shí)生效。多協(xié)議支持:支持iSCSI,FC,LocalSCSI和KVM(RBD)原生訪問?!颲AAI:支持VMwareVAAI,并通過VmwareVAAI認(rèn)證。★熱卷緩存鎖定:對(duì)指定的卷實(shí)現(xiàn)專用緩存加速,避免性能瓶頸。★卷在線遷移:支持卷在線跨池遷移,比如,從SSD性能pool遷移至HDD容量池。實(shí)現(xiàn)了業(yè)務(wù)無感知的情況下完成業(yè)務(wù)遷移?!餆o損快照技術(shù):使用ROW(RedirectonWrite)快照技術(shù),在連續(xù)快照/克隆負(fù)載下,性能變化幅度小于5%?!飻?shù)據(jù)鏈路HA(MPIO):支持iSCSI和FC的冗余鏈路,最大支持4路徑MPIO,業(yè)務(wù)鏈路更安全。★iSCSIVIP漂移:在用戶無感知的情況下,將故障端口上的業(yè)務(wù),快速自動(dòng)地切換到其它可用端口上,保障業(yè)務(wù)不中斷,提高iSCSI路徑的可靠性?!锶萜髦С郑褐С諯ubernetesCSI接口驅(qū)動(dòng),并通過KubernetesCSI官方認(rèn)證。★一致性組快照:一致性組快照是指將同一業(yè)務(wù)場(chǎng)景中的多個(gè)塊存儲(chǔ)卷在同一個(gè)時(shí)間點(diǎn)創(chuàng)建的快照集合。首先需要將塊存儲(chǔ)卷分配到一致性組中,以確保在同一個(gè)時(shí)間點(diǎn)為改組中的所有卷創(chuàng)建快照,從而實(shí)現(xiàn)數(shù)據(jù)的一致性?!飳?duì)象存儲(chǔ):S3協(xié)議支持,支持AmazonS3標(biāo)準(zhǔn)接口,兼容S3生態(tài)體系?!飻?shù)據(jù)存儲(chǔ)分級(jí):可以根據(jù)數(shù)據(jù)性質(zhì)選擇數(shù)據(jù)持久化存儲(chǔ)級(jí)別,如:重要的數(shù)據(jù)用高安全級(jí)別的存儲(chǔ)類型,次生數(shù)據(jù)使用低安全級(jí)別的存儲(chǔ)類型;性能要求高的數(shù)據(jù)存高性能存儲(chǔ)池;需要提供存儲(chǔ)空間利用率時(shí)選擇EC存儲(chǔ)。同一個(gè)桶內(nèi)的數(shù)據(jù),可以根據(jù)數(shù)據(jù)特定定義存放到不同的資源池中:如大對(duì)象適合存EC數(shù)據(jù)池,小對(duì)象和索引數(shù)據(jù)適合存副本性能池。★數(shù)據(jù)生命周期管理:存儲(chǔ)桶數(shù)據(jù)生命周期管理支持,可以對(duì)存儲(chǔ)桶內(nèi)的數(shù)據(jù)通過數(shù)據(jù)前綴或整桶進(jìn)行刪除,支持延時(shí)刪除?!颯3用戶權(quán)限管理:定義不同用戶的權(quán)限和配額,不同的用戶擁有不同的操作權(quán)限,同時(shí)會(huì)限制不同用戶的總?cè)萘?、總存?chǔ)桶、總對(duì)象數(shù)配額。桶權(quán)限管理:Bucketpolicy可控制存儲(chǔ)系統(tǒng)中的桶、對(duì)象等底層資源的訪問權(quán)限,包括桶的訪問權(quán)限控制、桶內(nèi)對(duì)象訪問權(quán)限控制,至少從訪問來源、訪問目標(biāo)、操作類型、過濾條件幾個(gè)方面提供控制策略。桶策略管理:對(duì)不同類型的對(duì)象數(shù)據(jù)可以自定義存儲(chǔ)策略,設(shè)定元數(shù)據(jù)、數(shù)據(jù)存放的資源池,以及不同數(shù)據(jù)存放到不同的資源池,如大對(duì)象存EC池、小對(duì)象存副本池?!飳?duì)象壓縮:支持對(duì)象數(shù)據(jù)網(wǎng)關(guān)層進(jìn)行壓縮?!飳?duì)象加密:支持對(duì)象數(shù)據(jù)網(wǎng)關(guān)加密,避免數(shù)據(jù)通過其他非法途徑獲取,保證數(shù)據(jù)安全。★海量小文件管理(小文件聚合優(yōu)化):支持針對(duì)海量小文件存取優(yōu)化,同時(shí)聚合小對(duì)象為大數(shù)據(jù)塊整體操作,大大提升小文件下的空間利用率?!颪FS協(xié)議兼容:通過NFS提供文件系統(tǒng)功能接口,解決通過文件協(xié)議和對(duì)象存儲(chǔ)協(xié)議互操作功能。通過對(duì)象存儲(chǔ)協(xié)議寫入的數(shù)據(jù)可以通過NFS文件協(xié)議實(shí)現(xiàn)多客戶端數(shù)據(jù)共享的需求,同時(shí)滿足通過NFS文件協(xié)議寫入,通過對(duì)象存儲(chǔ)協(xié)議訪問的需求?!颳ORM:桶支持一次寫入,多次讀取模式,對(duì)關(guān)鍵數(shù)據(jù)實(shí)行寫保護(hù),杜絕病毒破壞,非法篡改?!飳?duì)象多版本支持:對(duì)象存儲(chǔ)桶支持多版本,開啟多版本后,桶中的對(duì)象都以多版本形式存儲(chǔ)?!飳?duì)象存儲(chǔ)SSL加密:對(duì)象存儲(chǔ)支持SSL訪問加密,通過購買受信任CA認(rèn)證中心頒發(fā)的數(shù)字證書,然后應(yīng)用在對(duì)象存儲(chǔ),可將HTTP訪問轉(zhuǎn)換成HTTPS,提供認(rèn)證加密功能。在客戶端和服務(wù)器端之間建立加密通道,保證數(shù)據(jù)在傳輸過程中不被竊取或篡改?!飳?duì)象存儲(chǔ)負(fù)載均衡:支持對(duì)象存儲(chǔ)負(fù)載均衡,在保證對(duì)象存儲(chǔ)高可用的同時(shí),實(shí)現(xiàn)負(fù)載均衡作用?!飳?duì)象存儲(chǔ)多站點(diǎn)數(shù)據(jù)同步:對(duì)象存儲(chǔ)多站點(diǎn)數(shù)據(jù)同步是指多個(gè)對(duì)象存儲(chǔ)集群全局共享統(tǒng)一的用戶和存儲(chǔ)桶信息,實(shí)現(xiàn)集群內(nèi)數(shù)據(jù)就近讀寫訪問,集群間數(shù)據(jù)異步復(fù)制容災(zāi),提供全局對(duì)象存儲(chǔ)訪問服務(wù)。接口支持:支持支持FTP、NFSV3.0/4.0和CIFS1.0/2.0氏0標(biāo)準(zhǔn)接口。文件快照:支持文件系統(tǒng)快照,可支持手動(dòng)和策略性快照?!镂募〞r(shí)快照:可以基于“時(shí)間段”和“時(shí)間點(diǎn)”創(chuàng)建ROW快照,可設(shè)置保留快照上限,上限小于256個(gè),當(dāng)超過上限后,自動(dòng)刪除最初快照。文件系統(tǒng)級(jí)克?。褐С治募到y(tǒng)級(jí)鏈接克隆及獨(dú)立克隆。文件系統(tǒng)回滾:支持文件系統(tǒng)通過快照進(jìn)行回滾?!锘厥照竟δ埽簩⒂脩魟h除的文件放到回收站中防止誤操作?!颯ession統(tǒng)計(jì):可實(shí)時(shí)查看訪問CIFS共享目錄的Session信息,并顯示CIFS共享路徑總的連接數(shù),Session信息至少包括:登錄的客戶端IP、登錄用戶、協(xié)議版本、登錄時(shí)間。文件目錄共享:支持同一命名空間多訪問協(xié)議支持?!镉脩魴?quán)限:支持本地用戶以及對(duì)接AD域和LDAP域,可按需設(shè)置root權(quán)限訪問控制,不允許客戶端以root用戶訪問,客戶端使用root用戶訪問時(shí)映射為匿名用戶。在線擴(kuò)容:支持文件系統(tǒng)在線擴(kuò)容。文件系統(tǒng)QoS:支持文件系統(tǒng)QoS設(shè)置,保證業(yè)務(wù)優(yōu)先級(jí),同時(shí)支持在線調(diào)整QoS設(shè)置。卷云端歸檔:支持將塊數(shù)據(jù)歸檔到amazon、阿里云、騰訊云、電信天翼云等公有云。卷跨集群備份:支持將塊數(shù)據(jù)備份到異地對(duì)象存儲(chǔ)集群或S3協(xié)議的其他存儲(chǔ)平臺(tái)。策略驅(qū)動(dòng)備份:通過豐富時(shí)間頻率,間隔策略,支持將保護(hù)資源備份到多個(gè)保護(hù)平臺(tái),通過跨數(shù)據(jù)中心或云端的存儲(chǔ)提供更高數(shù)據(jù)安全性。災(zāi)備恢復(fù):任意存儲(chǔ)集群只要可以認(rèn)證連接到任一保護(hù)平臺(tái)獲取災(zāi)備資源,都輕松恢復(fù)到本地?!锟煺諅浞荩捍鎯?chǔ)系統(tǒng)可與公有云對(duì)接,按需將數(shù)據(jù)快照備份到阿里云、AWS、騰訊云、天翼云中?!锎疟P漫游:使用磁盤漫游功能后,可不影響業(yè)務(wù)的情況下將硬盤更換到新設(shè)備上,重新恢復(fù)至原存儲(chǔ)池,且無數(shù)據(jù)重平衡開銷。傳輸加密:所有數(shù)據(jù)在不同平臺(tái)間傳輸全部加密進(jìn)行,保護(hù)數(shù)據(jù)在不可信環(huán)境的安全性?!锾摂M化平臺(tái)接入:支持OpenStack、VMWare接入?!锾摂M機(jī)存儲(chǔ)映射管理:支持對(duì)已接入虛擬化平臺(tái)的虛擬機(jī)和卷映射關(guān)系導(dǎo)入,作為獨(dú)立資源類型用以其他功能操作對(duì)象。虛擬機(jī)存儲(chǔ)性能監(jiān)控:支持以虛擬化為粒度的IOPS、帶寬和延遲統(tǒng)計(jì)?!飻?shù)據(jù)可靠:數(shù)據(jù)多副本;支持1~6副本?!镏С衷诰€修改副本數(shù)?!顴C糾刪碼:采用優(yōu)選的EC算法,以少量的冗余信息保證數(shù)據(jù)可靠性,以CPU計(jì)算時(shí)間換取空間,比多副本機(jī)制獲得更多的有效存儲(chǔ)容量。支持N+1、N+2、N+3、N+4等多種糾刪保護(hù)機(jī)制。同時(shí)支持塊、對(duì)象、文件存儲(chǔ)?!镉脖P維護(hù)模式:硬盤維護(hù)模式是輔助對(duì)硬盤進(jìn)行維護(hù)操作時(shí)數(shù)據(jù)不進(jìn)行重平衡,為保證系統(tǒng)可用性,建議維護(hù)時(shí)間不要過長。利用該模式可用于硬件設(shè)備下線維護(hù)場(chǎng)景?!锎疟P重建:在硬盤出現(xiàn)故障時(shí)一鍵完成新盤在線替換,不需要重新創(chuàng)建OSD,原OSD數(shù)據(jù)會(huì)自動(dòng)重建到新盤上。端到端校驗(yàn):所有存取請(qǐng)求攜帶校驗(yàn)并連同數(shù)據(jù)存儲(chǔ)到介質(zhì),保證數(shù)據(jù)端到端的正確性。拓?fù)湟?guī)劃及故障域隔離:支持自主規(guī)劃集群物理設(shè)備拓?fù)?使允許多級(jí)故障隔離,包含主機(jī)、機(jī)柜、機(jī)房三級(jí)故障隔離能力?!飻?shù)據(jù)恢復(fù)QoS控制:在數(shù)據(jù)較長時(shí)間處于降級(jí)狀態(tài)時(shí),例如節(jié)點(diǎn)丟失或副本丟失,系統(tǒng)會(huì)自動(dòng)觸發(fā)數(shù)據(jù)重建恢復(fù)。用戶可設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則,最小化對(duì)業(yè)務(wù)的影響。★同城雙活:通過分布式軟件定義存儲(chǔ)集群的方式支持同城雙活,自定義集群主副本位置,實(shí)現(xiàn)本地讀優(yōu)先。★全冗余架構(gòu):系統(tǒng)全冗余,控制器之間必須是高可用架構(gòu);元數(shù)據(jù)、數(shù)據(jù)采用集群方式部署,支持元數(shù)據(jù)和數(shù)據(jù)的分離部署(不需要獨(dú)立的元數(shù)據(jù)節(jié)點(diǎn),節(jié)省硬件成本)、也支持元數(shù)據(jù)和數(shù)據(jù)的融合部署(需要元數(shù)據(jù)節(jié)點(diǎn),二者獨(dú)立擴(kuò)展),任何一個(gè)控制器出現(xiàn)故障,不影響數(shù)據(jù)的正常訪問。數(shù)據(jù)安全:全面審計(jì)記錄,所有系統(tǒng)操作、維護(hù)、IP信息等記錄?;诮巧L問控制:通過權(quán)限角色劃分,保護(hù)系統(tǒng)訪問安全。雙向CHAP支持:支持iSCSI雙向CHAP認(rèn)證?!锎鎯?chǔ)系統(tǒng)控制臺(tái)SSL加密:存儲(chǔ)控制臺(tái)支持SSL訪問加密,通過購買受信任CA認(rèn)證中心頒發(fā)的數(shù)字證書,然后應(yīng)用在存儲(chǔ)集群控制臺(tái),可將HTTP訪問轉(zhuǎn)換成HTTPS,提供認(rèn)證加密功能。在客戶端和服務(wù)器端之間建立加密通道,保證數(shù)據(jù)在傳輸過程中不被竊取或篡改。訪問令牌:訪問令牌(accesstoken)是訪問系統(tǒng)API所需的認(rèn)證秘鑰,請(qǐng)妥善保存。如果懷疑訪問令牌泄露,請(qǐng)及時(shí)更換?!锷矸菡J(rèn)證(SSO單點(diǎn)登錄):身份認(rèn)證SSO(Singlesign-on)是指第三方平臺(tái)無需使用本存儲(chǔ)管理平臺(tái)的認(rèn)證信息,而是直接使用第三方平臺(tái)已有的認(rèn)證信息,即可登錄使用本平臺(tái)的功能?!飻?shù)據(jù)縮減:重復(fù)數(shù)據(jù)智能縮減。針對(duì)連續(xù)相同數(shù)據(jù)流進(jìn)行隨機(jī)采樣模式識(shí)別,在不影響性能的情況下實(shí)現(xiàn)對(duì)于重復(fù)數(shù)據(jù)流直接去除來標(biāo)記寫入,減少數(shù)據(jù)流寫入,大幅度提高順序?qū)懭胄阅?。精簡配置:使存?chǔ)空間能夠根據(jù)需要自動(dòng)擴(kuò)展,而不必像傳統(tǒng)方式那樣一次性將存儲(chǔ)空間全部分配出去,因此只需要配置少量硬盤即可開展業(yè)務(wù),后續(xù)再根據(jù)存儲(chǔ)空間使用情況新增硬盤,從而降低初次購買成本和TCO。★數(shù)據(jù)緩存:內(nèi)存讀緩存,通過流預(yù)測(cè)算法在內(nèi)存中提前獲取目標(biāo)數(shù)據(jù),大大提高讀性能。支持添加介質(zhì)時(shí)配置讀緩存大小。SSD讀寫緩存:通過熱點(diǎn)預(yù)測(cè),寫入合并等技術(shù)將高速設(shè)備與低速設(shè)備結(jié)合,大幅提升讀寫性能。支持給低速介質(zhì)配備50GB到幾百GB范圍持久高速緩存?!镘浻布嫒荩憾啻鎯?chǔ)介質(zhì)支持兼容SAS、近線SAS、SATAHDD、SATASSD、m.2SSD、u.2NVMe等接口?!锓?wù)器兼容性:支持工業(yè)標(biāo)準(zhǔn)的X86通用硬件,要求硬件不能限定品牌,不能限定硬件部件的型號(hào)及技術(shù)參數(shù)。升級(jí)、擴(kuò)容的過程中用戶可以選擇自行增加硬件部件。AIX支持:支持AIX系統(tǒng)文件NFS共享和塊FC接口對(duì)接?!镏С钟脖P異構(gòu):支持同一存儲(chǔ)資源池混插磁盤。★支持服務(wù)器異構(gòu):支持分布式軟件定義存儲(chǔ)資源池異構(gòu)服務(wù)器?!锊僮飨到y(tǒng)升級(jí):在不剔除節(jié)點(diǎn)配置的前提下完成操作系統(tǒng)的在線升級(jí)。支持多虛擬化平臺(tái):支持Vmware,KVM,Xen以及HyperV等主流虛擬化平臺(tái)。存儲(chǔ)系統(tǒng)兼容性:分布式軟件可以安裝在通用發(fā)行版Linux操作系統(tǒng)上,無需定制操作系統(tǒng)支持。線性擴(kuò)展:支持隨著系統(tǒng)規(guī)模(節(jié)點(diǎn)數(shù)量)的增加,系統(tǒng)性能和容量線性提升。卷在線擴(kuò)展:支持不中斷業(yè)務(wù)的情況下進(jìn)行卷級(jí)擴(kuò)容。多資源池:支持集群中不同存儲(chǔ)介質(zhì)分別建立資源池?!镎?cái)U(kuò)容:對(duì)象存儲(chǔ)支持整池?cái)U(kuò)容功能,避免大規(guī)模池內(nèi)擴(kuò)容導(dǎo)致海量數(shù)據(jù)重平衡?!锛阂?guī)模:最大支持4096節(jié)點(diǎn),容量240PB。★規(guī)格與性能:塊存儲(chǔ)單卷容量:±500TB。塊存儲(chǔ)IOPS:三節(jié)點(diǎn)(每節(jié)點(diǎn)2塊3610400GBSSD,兩副本)4KB隨機(jī)寫性能不低于5萬IOPS,同時(shí)10延時(shí)不高于10ms。對(duì)象存儲(chǔ)IO吞吐能力;單存儲(chǔ)結(jié)點(diǎn)IO吞吐能力21GB/S,可橫向擴(kuò)展至40GB/s以上。(數(shù)據(jù)存HDD盤)。對(duì)象存儲(chǔ)并發(fā)訪問:對(duì)象存儲(chǔ)并發(fā)訪問±2000線程。CPU:8顆IntelXeonSP4114處理單元或以上。內(nèi)存:±512GBDDR42400MHz內(nèi)存。硬盤:本次配置40塊12TB7.2KRPM3.5英寸熱插拔硬盤;本次配置8塊IntelDCS4510480GBSSD硬盤;本次配置28塊IntelDCS4610480GBSSD硬盤。網(wǎng)卡:本次配置八塊英特爾X520雙端口10GbDA/SFP+網(wǎng)絡(luò)子卡,配置16個(gè)萬兆多模模塊;支持故障切換和負(fù)載均衡功能。本次配置16條2MC13-C14電源線。電源:配置8個(gè)±1100W電源,支持可選熱插拔后備雙冗余電源,支持故障轉(zhuǎn)移。安裝:針對(duì)此次配置的軟件和硬件,必須提供原廠商現(xiàn)場(chǎng)軟硬件安裝調(diào)試服務(wù)。裸容量授權(quán):本次提供400TB。項(xiàng)目驗(yàn)收及質(zhì)保期合同簽訂后90個(gè)工作日內(nèi)交付所有功能并接受驗(yàn)收。項(xiàng)目驗(yàn)收須達(dá)到如下要求:(1) 校園網(wǎng)盤業(yè)務(wù)多活實(shí)現(xiàn)(2) 虛擬化平臺(tái)遷移并正常使用(3) 存儲(chǔ)流媒體非結(jié)構(gòu)化數(shù)據(jù)并正常使用(4) 分布式軟件定義存儲(chǔ)平臺(tái)的數(shù)據(jù)實(shí)現(xiàn)多活項(xiàng)目免費(fèi)質(zhì)保周期為3年7*24白金服務(wù)。所有投標(biāo)人須按照上述要求分項(xiàng)應(yīng)答,按照指定的日期和驗(yàn)收要求供貨,并承諾質(zhì)保周期。付款方式和條件1、簽訂正式合同后,支付合同額的70%預(yù)付款;2、項(xiàng)目驗(yàn)收完成后,支付合同額的25%;3、項(xiàng)目運(yùn)行1年后,支付合同額剩余5%尾款。售后維護(hù)要求所有投標(biāo)人須按照上述要求分項(xiàng)應(yīng)答,明確售后維護(hù)方案。版本及升級(jí)需求要求采用現(xiàn)階段最穩(wěn)定版本及以上,且與數(shù)據(jù)中心現(xiàn)存版本中已使用功能相適配。實(shí)施和運(yùn)維服務(wù)需求分布式軟件定義存儲(chǔ)版本升級(jí)服務(wù)廠商應(yīng)每年根據(jù)哈工大數(shù)據(jù)中心環(huán)境提供平臺(tái)版本升級(jí)建議和升級(jí)方案,經(jīng)哈工大數(shù)據(jù)中心評(píng)估確認(rèn)并認(rèn)為有需要時(shí)進(jìn)行升級(jí)。巡檢與健康檢查服務(wù)每季度協(xié)助哈工大數(shù)據(jù)中心對(duì)分布式軟件定義存儲(chǔ)系統(tǒng)進(jìn)行巡檢,收集錯(cuò)誤日志和異常告警日志,提供修復(fù)方案,對(duì)系統(tǒng)健康度進(jìn)行檢查提供運(yùn)維檢測(cè)報(bào)告和優(yōu)化維護(hù)建議。優(yōu)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 《五年級(jí)數(shù)學(xué)立體幾何公式定理記憶方法教學(xué)》
- 年度大型團(tuán)建活動(dòng)方案策劃書
- 地理環(huán)境課:《世界地理知識(shí)普及》
- 丙胺相關(guān)行業(yè)投資規(guī)劃報(bào)告范本
- 燈柱燈桿相關(guān)項(xiàng)目投資計(jì)劃書
- 中頻爐承包合同年
- 龜兔賽跑寓言故事分析
- 外教中介服務(wù)合同
- 企業(yè)內(nèi)部員工培訓(xùn)與發(fā)展計(jì)劃
- 2021年12月大學(xué)英語四級(jí)考試試題真題及答案
- 北京醫(yī)調(diào)委官網(wǎng)換方申請(qǐng)書
- 四川梓潼林江苧麻紡織有限責(zé)任公司 縣林江苧麻公司利用補(bǔ)償貿(mào)易技術(shù)改造(擴(kuò)大)生產(chǎn)能力環(huán)評(píng)報(bào)告
- 公路工程交工竣工驗(yàn)收課件
- 四年級(jí)下冊(cè)英語說課稿-Lesson 2 Is this your pencil?|冀教版
- 安裝幕墻用環(huán)形軌道施工方案
- 渣打銀行2023年線上招聘筆試歷年難、易錯(cuò)考點(diǎn)試題含答案附詳解
- 通用技術(shù)筆筒設(shè)計(jì)方案普通高中通用技術(shù)學(xué)生設(shè)計(jì)作品介紹之筆筒三篇
- 2023年06月上海市浦東新區(qū)臨港新片區(qū)文員招考聘用筆試題庫含答案詳解
- 《審計(jì)理論與實(shí)務(wù)》教學(xué)大綱、課程標(biāo)準(zhǔn)、授課計(jì)劃
- “四議兩公開”模板范文(精選6篇)
- 四川省建筑保溫節(jié)能工程材料、構(gòu)件及設(shè)備檢測(cè)服務(wù)收費(fèi)項(xiàng)目和標(biāo)準(zhǔn)-川發(fā)改價(jià)格【2012】369號(hào)
評(píng)論
0/150
提交評(píng)論