版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
教育云平臺(tái)建設(shè)方案編 制審核批 準(zhǔn)北京達(dá)沃時(shí)代科技2016 年04月29日目 錄11?工程背景1?\l“_TOC_250000“教育信息化進(jìn)展的總體特征 11。3面臨的問(wèn)題 21.4?31。5所解決的問(wèn)題 錯(cuò)誤!未定義書(shū)簽。第2章設(shè)計(jì)方案 5設(shè)計(jì)原則5?2.2總體架構(gòu) 錯(cuò)誤!未定義書(shū)簽。。1規(guī)律架構(gòu)5?技術(shù)架構(gòu)7?部署架構(gòu)9?2。2。4方案優(yōu)勢(shì) 9總體性能要求11?2。3.1?112.3.2計(jì)算資源要求 11第3章根底設(shè)施層 123。1總體方案拓?fù)?錯(cuò)誤!未定義書(shū)簽。3.1。1規(guī)律架構(gòu)1?2。2 組成?錯(cuò)誤!未定義書(shū)簽。虛擬化云平臺(tái)建設(shè)13?3.2.1?錯(cuò)誤!未定義書(shū)簽。19?3.3集群存儲(chǔ)系統(tǒng)建設(shè) 203。3。1系統(tǒng)組成 213.3.2系統(tǒng)特性 223.4云平臺(tái)網(wǎng)絡(luò)系統(tǒng)建設(shè)28??錯(cuò)誤!未定義書(shū)簽。I10第1章工程概況工程背景隨著教育信息化的不斷推動(dòng)和教育改革的不斷深化,近年中小學(xué)校園信息化建設(shè)成為國(guó)內(nèi)根底教育進(jìn)展的重點(diǎn)。20123月,化十年進(jìn)展規(guī)劃(2011-2020年)》,文中明確提出了“充分整合現(xiàn)有資源,承受云計(jì)算技術(shù),形成資源配置與效勞的集約化進(jìn)展途徑,構(gòu)建穩(wěn)定牢靠、低本錢(qián)的國(guó)家教育云效勞模式“.2015〔時(shí)任國(guó)務(wù)委員),在全國(guó)教育信息化:要以建設(shè)好“三通兩平臺(tái)”為抓手,也就是“寬帶網(wǎng)絡(luò)校校通、優(yōu)質(zhì)資源班班通、網(wǎng)絡(luò)學(xué)習(xí)空間人人通”,建設(shè)教育資源公共效勞平臺(tái)和教育治理公共效勞平臺(tái),為我國(guó)教育工作的進(jìn)一步進(jìn)展指明白方向。代化、創(chuàng)教學(xué)模式、提高教育質(zhì)量,迫切需要大力推動(dòng)教育信息化.教育信息化進(jìn)展的總體特征當(dāng)前,從全國(guó)根底教育信息化建設(shè)的進(jìn)展進(jìn)程來(lái)看,有以下一些根本趨勢(shì)。〔1)根底教育信息化建設(shè)正從普及期走向整合期,如何將日益廣泛存在的硬件設(shè)施、海量的數(shù)字化資源、各種有效的信息化教學(xué)模式整合和應(yīng)用到寬闊一線教師的例?;虒W(xué)行為中,推動(dòng)信息化教學(xué)方式,并深刻培育學(xué)生的信息化學(xué)習(xí)方式,使得信息技術(shù)的教育教學(xué)應(yīng)用向常規(guī)化方向進(jìn)展。2005年以來(lái),信息技術(shù)與教育整合的有效性已清楚地演化成兩個(gè)進(jìn)展重點(diǎn):一是高可用性的區(qū)域級(jí)信息化支撐根底平臺(tái)/設(shè)施/環(huán)境;二是寬闊教師及學(xué)生群體的個(gè)體化的信息化素養(yǎng)的提升,伴隨著信息化進(jìn)程的加深,上述環(huán)節(jié)的作用正日益凸現(xiàn)。從信息技術(shù)和教育系統(tǒng)耦合的整體要素來(lái)看,支持教師的有效教學(xué)和促進(jìn),而打造在線互動(dòng)的學(xué)習(xí)環(huán)境、培育學(xué)生的在線學(xué)習(xí)習(xí)慣、促進(jìn)學(xué)生的自主學(xué)習(xí)與自我進(jìn)展正成為信息技術(shù)教育應(yīng)用的路標(biāo)。面臨的問(wèn)題從信息化的角度來(lái)看,中小學(xué)教育工作在開(kāi)展過(guò)程中面臨以下的問(wèn)題。(1)校園網(wǎng)絡(luò)建設(shè)進(jìn)展不平衡學(xué)校校園網(wǎng)絡(luò)是信息時(shí)代教師與學(xué)生通過(guò)網(wǎng)絡(luò)獵取教育信息和學(xué)習(xí)資源的重要渠道,是衡量學(xué)校教育信息化的重要指標(biāo).雖然“校校通”工程使我國(guó)一局部的,擁有獨(dú)立的.大局部中小學(xué)都沒(méi)有自己獨(dú)立的網(wǎng)站及專(zhuān)職的網(wǎng)管人員。(2〕教育信息資源建設(shè)滯后信息資源建設(shè)是實(shí)現(xiàn)教育信息化的核心,內(nèi)容包括各科學(xué)習(xí)視頻、教學(xué)課件、電子教案、練習(xí)資料、試題樣卷、絡(luò)資料、課外資料及師生溝通社區(qū)等等。信息資源建設(shè)滯后在當(dāng)前中小學(xué)教育信息化建設(shè)當(dāng)中普遍存在,主要表現(xiàn);網(wǎng)站內(nèi)容陳舊,更不準(zhǔn)時(shí)等?!?〕教育信息資源共享程度低信息資源共享程度低,主要受到以下幾個(gè)因素影響:教育平臺(tái)標(biāo)準(zhǔn)的不同信息資源建設(shè)滯后局部名校不愿把優(yōu)秀的教育信息資源共享教師教育信息資源共享主動(dòng)性不高,或者沒(méi)有條件把教育資源放到網(wǎng)上共享。教育信息化軟硬件配置不均衡在學(xué)校的教育信息化建設(shè)中,目前普遍存在重硬件投入、輕軟件建設(shè)的問(wèn)題,,如:效勞器、路由器、交換機(jī)、網(wǎng)絡(luò)建設(shè)及電,專(zhuān)職治理人員少、兼職治理人員多,校園網(wǎng)絡(luò)的各項(xiàng)治理制度和標(biāo)準(zhǔn)建設(shè)不完備,網(wǎng)絡(luò)建設(shè)與應(yīng)用建設(shè)并未同步進(jìn)展等.網(wǎng)絡(luò)利用不高雖然建立了校園網(wǎng)絡(luò),但校園網(wǎng)絡(luò)處于閑置狀態(tài),網(wǎng)絡(luò)利用不高.學(xué)生缺乏網(wǎng)絡(luò)學(xué)習(xí)的主動(dòng)性,學(xué)生訪問(wèn)校園網(wǎng)受到限制(很多資源在校外網(wǎng)不能訪問(wèn)或訪問(wèn)的速度過(guò)慢〕,校園網(wǎng)里面的資源對(duì)學(xué)生的吸引力不大。建設(shè)目標(biāo)教育云效勞平臺(tái),是云計(jì)算在教育領(lǐng)域中的遷移,是利用教育信息化所需的一切硬件資源構(gòu)建根底設(shè)施,加載豐富的數(shù)據(jù)資源,供給應(yīng)教育機(jī)構(gòu)、教育治理機(jī)構(gòu)、教育從業(yè)人員、學(xué)生、家長(zhǎng)以及社會(huì)公眾所需效勞的云計(jì)算平臺(tái).〔1)建設(shè)根底云環(huán)境、,,為運(yùn)行于云之上的應(yīng)用和業(yè)務(wù)供給根底的運(yùn)行環(huán)境。(2)建立教育信息資源庫(kù)治理提升和進(jìn)一步開(kāi)發(fā)奠定根底,從而解決教學(xué)資源需求持續(xù)增長(zhǎng)與教育投入增長(zhǎng)缺乏、教學(xué)資源相對(duì)短缺的沖突,提高優(yōu)質(zhì)教學(xué)資源的利用率.〔3)構(gòu)建教育應(yīng)用平臺(tái),為家長(zhǎng)以及社會(huì)公眾供給所需的應(yīng)用效勞.(4〕適應(yīng)將來(lái)進(jìn)展為教育信息化的應(yīng)用奠定柔性擴(kuò)展的根底,優(yōu)化教育信息化建設(shè)與效勞模型,實(shí)現(xiàn)傳統(tǒng)模式向“三通兩平臺(tái)”下教育模式的平穩(wěn)過(guò)渡。所解決的問(wèn)題節(jié)約硬件設(shè)備的投入本錢(qián):云計(jì)算擴(kuò)展性格外強(qiáng),多個(gè)學(xué)??梢詫F(xiàn)有的“云”中,削減單個(gè)學(xué)校在資金和時(shí)間上的投入,并實(shí)現(xiàn)真正意義上的資源共享。云存儲(chǔ)中心更安全牢靠:由于對(duì)教育信息資源建設(shè)的投入不斷加大,各個(gè)學(xué)校都積存了大量的教育信息資源。數(shù)據(jù)存儲(chǔ)的安全性、牢靠性顯得越來(lái)越重要。學(xué)校使用云計(jì)算效勞時(shí),有技術(shù)先進(jìn)的數(shù)據(jù)中心來(lái)幫助保存數(shù)據(jù),有強(qiáng)大的技術(shù)治理團(tuán)隊(duì)來(lái)幫助治理提交的數(shù)據(jù)和程序,可為學(xué)校供給牢靠和安全的數(shù)據(jù)存儲(chǔ)中心。整合教育資源:云計(jì)算模式最小化了終端設(shè)備的需求,在一個(gè)云計(jì)算環(huán)境中,不僅是課堂個(gè)人電腦、試驗(yàn)室都可以從“云“中獲得,在“云”中存儲(chǔ),讓全部學(xué)生隨時(shí)隨地進(jìn)展學(xué)習(xí)??梢越鉀Q教學(xué)資源需求持續(xù)增長(zhǎng)與教育投入增長(zhǎng)缺乏、教學(xué)資源相對(duì)短缺的沖突,又可以提高優(yōu)質(zhì)教學(xué)資源的利用率,讓更多的學(xué)生獲得優(yōu)質(zhì)的受教育時(shí)機(jī).?第2章設(shè)計(jì)方案設(shè)計(jì)原則堅(jiān)持以需求為主導(dǎo)、以應(yīng)用為核心原則緊緊圍繞當(dāng)前教育工作的迫切需求,堅(jiān)持以校本效勞的指導(dǎo)方針,樂(lè)觀推動(dòng)教育信息資源的深入挖掘和綜合利用.堅(jiān)持平臺(tái)模塊化開(kāi)發(fā)、分布與集中相結(jié)合原則承受分層的靈敏架構(gòu),承受云計(jì)算、分布式存儲(chǔ)等最技術(shù),不斷提升工程效勞性能,通過(guò)將業(yè)務(wù)模型資源與工程實(shí)現(xiàn)技術(shù)相分別,從根本上提升治理系統(tǒng)的技術(shù)無(wú)關(guān)性.堅(jiān)持有用性、先進(jìn)性、可擴(kuò)展性相結(jié)合原則工程設(shè)計(jì)要有前瞻意識(shí),必需著眼長(zhǎng)遠(yuǎn),堅(jiān)持高起點(diǎn)規(guī)劃、高標(biāo)準(zhǔn)要求.設(shè)計(jì)必需承受成熟的技術(shù),同時(shí)依據(jù)信息系統(tǒng)的進(jìn)展趨勢(shì),在設(shè)計(jì)中充分考慮到將來(lái)可能的進(jìn)展。堅(jiān)持智能維護(hù)、擴(kuò)展原則需要具備完備的智能維護(hù)、擴(kuò)展功能,能符合教育信息化的整體趨勢(shì),為今后工程的功能擴(kuò)展、升級(jí)留有接口,并有利于系統(tǒng)的推廣應(yīng)用和再次開(kāi)發(fā)??傮w架構(gòu)規(guī)律架構(gòu)基于虛擬化及云計(jì)算治理技術(shù),實(shí)現(xiàn)區(qū)級(jí)網(wǎng)絡(luò)、技術(shù)、帶寬資源的統(tǒng)一治理已經(jīng)成為可能。這可以通過(guò)兩種方式實(shí)現(xiàn):一種是集中部署、統(tǒng)一安排、分散治理、分散使用、統(tǒng)一監(jiān)控;另一種是分散部署、分散治理、分散使用、統(tǒng)一監(jiān)控.前一種模式,硬件資源集中部署在縣教育云中心,統(tǒng)一對(duì)計(jì)算、帶寬、存儲(chǔ)資源進(jìn)展虛擬化,構(gòu)建成全縣整體的資源池。由縣教育云中心對(duì)資源依據(jù)需要進(jìn)展分割,安排給各級(jí)學(xué)校使用,各學(xué)??梢宰灾髦卫砼c使用由區(qū)安排的資源池,教育云中心可以集中監(jiān)控各種資源狀態(tài)與使用狀況。各學(xué)??梢砸罁?jù)需要向云中心申請(qǐng)更多的資源,而云中心依據(jù)需要隨時(shí)調(diào)整資源的安排。這種模式實(shí)際上是由區(qū)統(tǒng)一供給硬件、網(wǎng)絡(luò)資源,由學(xué)校來(lái)使用。這樣硬件、網(wǎng)絡(luò)的維護(hù)負(fù)擔(dān)由云中心統(tǒng)籌治理,每個(gè)學(xué)校則免去了這局部的工作負(fù)擔(dān),也增加了全區(qū)范圍內(nèi)資源安排的響應(yīng)性。但是,這種模式對(duì)網(wǎng)絡(luò)的帶寬與可用性要求比較高。后一種模式,保存現(xiàn)在的部署方式,每個(gè)學(xué)校建設(shè)自己的硬件與網(wǎng)絡(luò)資源,但是學(xué)校的硬件與網(wǎng)絡(luò)資源依據(jù)標(biāo)準(zhǔn)進(jìn)展統(tǒng)一的池化,并注冊(cè)到統(tǒng)一的云計(jì)算治理平臺(tái)。這種模式下,每個(gè)學(xué)??梢砸罁?jù)需要建設(shè)自己的資源池,校級(jí)資源池安排、治理與使用由學(xué)校本身負(fù)責(zé),云中心可以監(jiān)控校級(jí)資源的狀態(tài)與使用狀況.這種模式硬件資源重用在學(xué)校的粒度上發(fā)生,不利于全縣的資源調(diào)配,但可以使得云中心把握全區(qū)的資源狀況,保障全縣硬件資源在統(tǒng)一標(biāo)準(zhǔn)下進(jìn)展治理,對(duì)硬件資源建設(shè)進(jìn)展統(tǒng)一的規(guī)劃。鑒于以上分析,考慮到各校的IT維護(hù)力氣比較薄弱,建議在網(wǎng)絡(luò)條件允許的狀況下,進(jìn)展第一種模式的建設(shè).拓?fù)錁?gòu)造圖城東路小學(xué)相如一小 平頭小學(xué)光纖鏈路河舒初中諸家初中錦屏初中蓬安縣教育云效勞中心光纖鏈路河舒初中諸家初中錦屏初中蓬安縣教育云效勞中心如上圖所示,各學(xué)校通過(guò)光纖鏈路直接連接到教育云效勞中心,由云中心統(tǒng)一為各學(xué)校以及用戶(hù)供給效勞.技術(shù)架構(gòu)錯(cuò)誤不能識(shí)別的開(kāi)關(guān)參數(shù)。技術(shù)架構(gòu)圖資源層、效勞層、用戶(hù)層。接入層接入層主要實(shí)現(xiàn)信息資源的接入,包括:各學(xué)校監(jiān)控區(qū)域的實(shí)時(shí)監(jiān)控視頻;煙霧、溫度、濕度等環(huán)境監(jiān)測(cè)系統(tǒng);門(mén)磁、門(mén)禁、周界報(bào)警等安全防護(hù)系統(tǒng);教育示范課錄播平臺(tái).(2〕根底設(shè)施層根底設(shè)施層主要為教育云效勞平臺(tái)供給資源池化的硬件根底環(huán)境并配置治理調(diào)度和監(jiān)控功能.根底設(shè)施層建立在超融合效勞器集群、網(wǎng)絡(luò)設(shè)備和數(shù)據(jù)庫(kù)集群的根底上,統(tǒng)一為平臺(tái)供給虛擬化計(jì)算資源、統(tǒng)一文件存儲(chǔ)環(huán)境以及數(shù)據(jù)庫(kù)環(huán)境。(3〕資源層資源層是整個(gè)平臺(tái)的文件與數(shù)據(jù)庫(kù)資源,是云效勞平臺(tái)的核心數(shù)據(jù)的分類(lèi)題庫(kù)、課件等文件的集中存儲(chǔ),數(shù)據(jù)庫(kù)用于教師信息、教務(wù)信息、學(xué)校信息、教研信息等業(yè)務(wù)數(shù)據(jù)庫(kù)的存儲(chǔ)。(4〕效勞層臺(tái)組成.〔5)用戶(hù)層用戶(hù)等。(6〕教育云支撐技術(shù)相關(guān)標(biāo)準(zhǔn)教育云支撐技術(shù)相關(guān)標(biāo)準(zhǔn)包括教育云平臺(tái)治理標(biāo)準(zhǔn)、教育云開(kāi)放效勞接口標(biāo)準(zhǔn)、教育云數(shù)據(jù)存儲(chǔ)標(biāo)準(zhǔn)、教育云數(shù)據(jù)采集標(biāo)準(zhǔn)、教育云認(rèn)證與授權(quán)標(biāo)準(zhǔn)、云端教育資源權(quán)利描述標(biāo)準(zhǔn)。它是教育云效勞平臺(tái)中處理教育、教學(xué)、治理業(yè)務(wù)的核心技術(shù)支撐標(biāo)準(zhǔn)。在這個(gè)層面,云平臺(tái)在對(duì)平臺(tái)本身進(jìn)展治理的同時(shí),,確保數(shù)據(jù)在源頭上統(tǒng)一,為之后的數(shù)據(jù)利用、傳輸和互操作奠定根底.(7〕教育云應(yīng)用相關(guān)標(biāo)準(zhǔn)教育云應(yīng)用相關(guān)標(biāo)準(zhǔn)包括云端教育資源元數(shù)據(jù)標(biāo)準(zhǔn)、云端應(yīng)用和效勞接入促進(jìn)資源共享。云端應(yīng)用和效勞接入與使用標(biāo)準(zhǔn)主要在于標(biāo)準(zhǔn)外部應(yīng)用接入平臺(tái)的統(tǒng)一接口和接入要求,標(biāo)準(zhǔn)接入到云平臺(tái)的應(yīng)用和效勞。云端教育資源分類(lèi)和標(biāo)記標(biāo)準(zhǔn)旨在依據(jù)不同維度對(duì)云端教育資源進(jìn)展分類(lèi)并標(biāo)記,是資源統(tǒng)一管理的根底。云端教育資源推送效勞接口標(biāo)準(zhǔn)為不同學(xué)習(xí)者推送適合學(xué)生共性化學(xué)習(xí)資源標(biāo)準(zhǔn)統(tǒng)一的效勞接口.學(xué)習(xí)分析標(biāo)準(zhǔn)基于在平臺(tái)中產(chǎn)生的過(guò)程性和結(jié)果性數(shù)據(jù)對(duì)學(xué)習(xí)進(jìn)展多維度分析和評(píng)價(jià),為學(xué)生的共性化學(xué)習(xí)供給指導(dǎo)。資源權(quán),協(xié)調(diào)資源供給方和使用方的利益.教育云應(yīng)用相關(guān)標(biāo)準(zhǔn)是保證教育云應(yīng)用和效勞具備較高可利用部署架構(gòu)方案優(yōu)勢(shì),并提升全縣的應(yīng)用價(jià)值與治理水平。實(shí)現(xiàn)硬件資源的集約化治理,降低總體擁本錢(qián)〔TCO〕,實(shí)現(xiàn)全縣根底設(shè),實(shí)現(xiàn)硬件資源在云中心的集中部署與維護(hù),大大減輕了學(xué)校的維護(hù)本錢(qián)與人員負(fù)擔(dān)。云中心可以依據(jù)學(xué)校的需求,靈敏安排相應(yīng)容量的主機(jī)與存儲(chǔ)資源,并且可以時(shí)刻把握這些資源的使用狀況,并依據(jù)需要回收空閑資源,這些操作只要通過(guò)一個(gè)治理界面就輕松完成。建設(shè)過(guò)程中,可以充分利用陳舊的效勞器設(shè)備,提高效勞器資源的利用率。并且,實(shí)現(xiàn)硬件的整合,在支持同等數(shù)量的應(yīng)用及用戶(hù)時(shí),比傳統(tǒng)模式總體上削減效勞器硬件數(shù)量,從而總體上降低了硬件維護(hù)的本錢(qián)及網(wǎng)絡(luò)運(yùn)營(yíng)本錢(qián)。提升區(qū)域教育數(shù)字資源的整合力氣傳統(tǒng)模式中,各學(xué)校的各個(gè)應(yīng)用都是獨(dú)立建設(shè),這些應(yīng)用生成的數(shù)字資源形但是當(dāng)應(yīng)用數(shù)量不斷增加時(shí),帶來(lái)的交換簡(jiǎn)潔性會(huì)無(wú)法治理,對(duì)于全縣的資源整合,不適合完全依靠于交換技術(shù)來(lái)實(shí)現(xiàn).,基于應(yīng)用云構(gòu)建統(tǒng)一的數(shù)字資源處理層。構(gòu)建于平臺(tái)之上的教育應(yīng)用,在授權(quán)的根底上可以直.,應(yīng)用產(chǎn)生的資源統(tǒng)一存儲(chǔ)到平臺(tái)中,而應(yīng)用之間的數(shù)據(jù)共享變得直接透亮,這就大大提高了區(qū)教育數(shù)字資源的整合力氣。促進(jìn)區(qū)域信息技術(shù)與教育教學(xué)的融合,每往前走一步,都要依托與前人的才智與閱歷。在這個(gè)過(guò)程中,常常需要重用以往的數(shù)淀、應(yīng)用沉淀的成為可能,而且這種沉淀是以重用為目的的。平臺(tái)應(yīng)用的不斷建,從而加快技術(shù)與教育的融合.當(dāng)這種積存與沉淀的范圍打破學(xué)校的邊界,發(fā)生在整個(gè)區(qū)域時(shí),效果將更加明顯.成為學(xué)校信息化建設(shè)的催化劑存在大局部類(lèi)似的業(yè)務(wù)應(yīng)用,可以有區(qū)統(tǒng)一建設(shè),開(kāi)通給每個(gè)學(xué)校使用。另外,學(xué)的創(chuàng)應(yīng)用,從而借鑒其它學(xué)校的優(yōu)秀成果,加速本校的應(yīng)用建設(shè).實(shí)現(xiàn)區(qū)域教育信息化建設(shè)的效能累加模式云效勞平臺(tái)的建設(shè)會(huì)大大提高信息化建設(shè)的標(biāo)準(zhǔn)程度。為了實(shí)現(xiàn)數(shù)據(jù) 與功能的沉淀,平臺(tái)會(huì)建設(shè)相應(yīng)的標(biāo)準(zhǔn)接口,并公布平臺(tái)的數(shù)據(jù)描述、功能描述及業(yè)務(wù)描述標(biāo)準(zhǔn)。植入平臺(tái)的應(yīng)用必要遵循這些標(biāo)準(zhǔn),才能利用平臺(tái)供給的各種數(shù)據(jù)與功能。而一旦應(yīng)用遷移到平臺(tái)上,其生成的數(shù)據(jù)將沉淀到平臺(tái)中,其供給的為平臺(tái)效勞。這實(shí)際上構(gòu)成一個(gè)信息化系統(tǒng)建設(shè)的生態(tài)環(huán)境,構(gòu)成教育信息化建設(shè)的效能累加。大大提升區(qū)域教育信息系統(tǒng)的應(yīng)用價(jià)值與用戶(hù)體驗(yàn)與應(yīng)用融合。不同學(xué)校的人員通過(guò)平臺(tái)能夠隨時(shí)互動(dòng),發(fā)生數(shù)據(jù)共享與交換;不同學(xué)校產(chǎn)生的數(shù)據(jù),可以一起進(jìn)展分析與呈現(xiàn);不同的應(yīng)用可以隨時(shí)訪問(wèn)對(duì)方的數(shù)據(jù).應(yīng)用可以訪問(wèn)更豐富的關(guān)聯(lián)數(shù)據(jù),可以借助更多其它應(yīng)用功能完成自己的工作時(shí),就會(huì)為用戶(hù)供給更大的價(jià)值.而用戶(hù)在使用單一應(yīng)用時(shí),就能夠獵取到其它應(yīng)用產(chǎn)生的相關(guān)數(shù)據(jù)時(shí),則會(huì)大大提高應(yīng)用的用戶(hù)體驗(yàn)??傮w性能要求存儲(chǔ)容量要求視頻接入設(shè)計(jì)要求2Mbps,1星期,依據(jù)磁盤(pán)0%利用率,160TB,兩副本存儲(chǔ),320TB.其他設(shè)計(jì)網(wǎng)絡(luò)教程、媒體素材、題庫(kù)、課件等文件存儲(chǔ)量為50TB,兩副本存儲(chǔ),100TB.計(jì)算資源要求41CPU,2G以上內(nèi)存,100G以上存儲(chǔ)空間。第3總體方案拓?fù)湟?guī)律架構(gòu)3規(guī)律架構(gòu)圖本規(guī)劃的規(guī)律圖由存儲(chǔ)層、計(jì)算層、業(yè)務(wù)層三局部組成:層為計(jì)算層的計(jì)算供給存儲(chǔ)資源訪問(wèn)支撐。計(jì)算層以標(biāo)準(zhǔn)X86效勞器為硬件根底,以云治理、效勞器虛擬化為核心進(jìn)展建設(shè),為應(yīng)用系統(tǒng)供給靈敏的資源安排、快速應(yīng)用支撐環(huán)境構(gòu)建力氣。之上,并具備直接訪問(wèn)底層存儲(chǔ)層的力氣,以實(shí)現(xiàn)海量數(shù)據(jù)的高速存儲(chǔ)訪問(wèn)。組成圖錯(cuò)誤不能識(shí)別的開(kāi)關(guān)參數(shù)。云治理系統(tǒng)組成本節(jié)將描述各局部具體硬件構(gòu)成以及層級(jí)直接的連接系統(tǒng):存儲(chǔ)層基于標(biāo)準(zhǔn)X86效勞器為硬件根底,利用每臺(tái)效勞器的多塊SSD、SATA磁盤(pán)構(gòu)建具有高牢靠性、高IOPS力氣的集群存儲(chǔ)系統(tǒng)YeeStor。集群存儲(chǔ)系統(tǒng)承受標(biāo)準(zhǔn)的POSIX接口通過(guò)以太網(wǎng)為計(jì)算層供給虛擬機(jī)鏡像存儲(chǔ)支撐效勞,并為將來(lái)業(yè)務(wù)層供給海量數(shù)據(jù)存儲(chǔ)訪問(wèn)支持.X86效勞器構(gòu)建,利用高性能效勞器KVM技術(shù)支撐。對(duì)于應(yīng)用層則通過(guò)以太網(wǎng)構(gòu)建業(yè)務(wù)訪問(wèn)網(wǎng)絡(luò),保持各應(yīng)用系統(tǒng)原有使用模式。Linux、Win虛需調(diào)用,以保障其更加牢靠、高效的穩(wěn)定運(yùn)行。虛擬化云平臺(tái)建設(shè)計(jì)算池核心為效勞器虛擬化,設(shè)備數(shù)量隨著系統(tǒng)規(guī)模的增長(zhǎng)后期設(shè)備會(huì)越來(lái)越多,且需要針對(duì)不同的應(yīng)用系統(tǒng)供給差異化效勞,因此為了實(shí)現(xiàn)整體系統(tǒng)的有效治理,將承受統(tǒng)一治理平臺(tái)來(lái)實(shí)現(xiàn)對(duì)硬件資源的虛擬化以及虛擬化云治理。平,包括資源池治理,網(wǎng)絡(luò)治理,效勞產(chǎn)品治理,資源監(jiān)控。在此建議承受利用EasyCloud平臺(tái)進(jìn)展統(tǒng)一治理和效勞.圖 5EasyCloud平臺(tái)系統(tǒng)特性計(jì)算資源復(fù)用在將效勞器硬件資源虛擬化后,其CPU、內(nèi)存等資源為多臺(tái)虛擬機(jī)共享使用,在應(yīng)用系統(tǒng)虛擬機(jī)創(chuàng)立時(shí)需要指派定量的CPU和存儲(chǔ)資源,理論上多臺(tái)虛擬機(jī)的CPU和內(nèi)存安排資源綜合等于物理效勞器的資源配置.但在實(shí)際的運(yùn)行環(huán)境中,CPU100%,因此可能照舊存在確定的資源鋪張。為了解決此問(wèn)題,本方案的EasyCloud云治理系統(tǒng)供給CPU和內(nèi)存的超量配置功能,以物理效勞器的CPU、內(nèi)存配置為根底單位,在此根底上進(jìn)展倍率增,從而也就可以建立更多的虛擬機(jī).當(dāng)某臺(tái)虛擬機(jī)運(yùn)行所需實(shí)際資源缺乏時(shí)則可以利用本平臺(tái)的負(fù)載遷移功能進(jìn)展整體遷移.共性化網(wǎng)絡(luò)效勞,.在傳統(tǒng)IT系統(tǒng)中,應(yīng)用效勞器的網(wǎng)絡(luò)安全、集群負(fù)載處理等需要特地的設(shè)備來(lái)供給,而在虛擬環(huán)境假設(shè)沒(méi)有有效措施,則在虛擬化效勞器內(nèi)部的多臺(tái)虛擬機(jī)之間的網(wǎng)絡(luò)則成了完全透亮無(wú)保障的環(huán)境,為了解決此問(wèn)題需要在虛擬化效勞器系統(tǒng)內(nèi)部進(jìn)展適當(dāng)?shù)母綦x、策略定制。錯(cuò)誤未定義書(shū)簽。網(wǎng)絡(luò)治理云治理平臺(tái)為了解決以上問(wèn)題,供給了可針對(duì)把握不同資源的不同用戶(hù)的差異化網(wǎng)絡(luò)治理方案.,,并,這樣每個(gè)用戶(hù)就可以針對(duì)自己的環(huán)境進(jìn)展針對(duì)性配置,以保障應(yīng)用系統(tǒng)的訪問(wèn)安全、高效。多級(jí)別用戶(hù)治理在云計(jì)算環(huán)境中,使用少量的虛擬化效勞器取代了大量的物理機(jī),如何有效對(duì)資源進(jìn)展安排和治理將成為考驗(yàn)每位IT系統(tǒng)治理人員力氣的根底指標(biāo).而在超大規(guī)模環(huán)境下,IT治理人員往往只進(jìn)展設(shè)備治理,CPU、內(nèi)存、磁盤(pán)等資源的需求往往只是遵照前端業(yè)務(wù)人員供給的信息,而隨著業(yè)務(wù)數(shù)量、類(lèi)型的增加,治理工作會(huì)變的特別簡(jiǎn)潔、耗時(shí)。圖 錯(cuò)誤未定義書(shū)簽。用戶(hù)治理為了解決此問(wèn)題,云治理平臺(tái)提出了用戶(hù)分級(jí)治理模式,特權(quán)治理員可以治理全部的資源可以直接建立虛擬機(jī)直接安排給相關(guān)應(yīng)用。同時(shí)治理人員還可以將確定量的CPU、內(nèi)存、磁盤(pán)空間、vlan數(shù)量的可量化資源安排給某一個(gè)team的治理人員,最終到了最生疏應(yīng)用環(huán)境部署的人員手中,既減輕了特權(quán)治理員的工作量,同時(shí)也實(shí)現(xiàn)了對(duì)資源的最正確配置、最正確利用.最終到達(dá):云平臺(tái)由運(yùn)維中心治理,各應(yīng)用模塊及接入單位自己治理維護(hù)自己的小云〔虛擬機(jī)系統(tǒng))??焖俨渴饌鹘y(tǒng)數(shù)據(jù)中心中經(jīng)過(guò)多年的實(shí)踐,為了實(shí)現(xiàn)應(yīng)用系統(tǒng)的快速部署多承受鏡像分發(fā)模式,針對(duì)每個(gè)應(yīng)用供給一整套鏡像,每個(gè)應(yīng)用部署時(shí)需要經(jīng)過(guò)批量的分發(fā)網(wǎng)絡(luò)配置-鏡像分發(fā)-系統(tǒng)空間微調(diào)-網(wǎng)絡(luò)安排等一系列流程,雖然相比逐臺(tái)安裝、,但在大規(guī)模環(huán)境下的部署和變更照舊是一個(gè)很大的工作量。圖9快速部署為了解決此問(wèn)題,云治理平臺(tái)從多個(gè)角度入手,供給了整體系統(tǒng)快速部署的解決方案。首先承受系統(tǒng)模板技術(shù),為每個(gè)應(yīng)用制作了統(tǒng)一的操作系統(tǒng),一旦應(yīng)用需要部署直接選擇相應(yīng)模板即可.其次在系統(tǒng)部署過(guò)程中供給了友好的導(dǎo)航界面,只需點(diǎn)幾下鼠標(biāo),不同的CPU、內(nèi)存、數(shù)據(jù)磁盤(pán)、應(yīng)用網(wǎng)絡(luò)便快速的匹配到所要建立的虛擬機(jī)之上。另外,在系統(tǒng)內(nèi)部網(wǎng)絡(luò)無(wú)法連通狀況下,云治理平臺(tái)供給了終端顯示功,可以在排出網(wǎng)絡(luò)環(huán)境的條件下進(jìn)展系統(tǒng)調(diào)試、設(shè)置。資源監(jiān)控面對(duì)大規(guī)模系統(tǒng),如何有效治理需要多種途徑供給依據(jù),其中最重要的依據(jù),原有的監(jiān)控手段已經(jīng)無(wú)法準(zhǔn)確表達(dá)資源的使用狀況,因此本方案中的云治理平臺(tái)針對(duì)實(shí)際狀況開(kāi)發(fā)了自有的具有針對(duì)性的監(jiān)控模塊。圖3 資源監(jiān)控云治理平臺(tái)的資源監(jiān)控包括了CPU、內(nèi)存、網(wǎng)絡(luò)、存儲(chǔ)、IP等方方面面的監(jiān)控,一旦治理代理被部署到云計(jì)算效勞器上,便自動(dòng)收集效勞器的可用性及性能信息,準(zhǔn)時(shí)通知治理員潛在的問(wèn)題,使得治理員可以把握峰值,并靈敏的依據(jù)需要調(diào)整臨界值.業(yè)務(wù)可持續(xù)性保障業(yè)務(wù)持續(xù)性保障是數(shù)據(jù)中心建設(shè)需要供給的有效保障之一,特別是在利用云計(jì)算技術(shù)構(gòu)建根底平臺(tái)后,每臺(tái)虛擬化效勞器都承載著數(shù)臺(tái)虛擬機(jī)且會(huì)涉及到多個(gè)應(yīng)用,一旦系統(tǒng)發(fā)生負(fù)載力氣缺乏、硬件損壞等故障,將直接對(duì)大量的應(yīng)用造成影響,因此如何保障業(yè)務(wù)的可持續(xù)性將成為云計(jì)算平臺(tái)選型的根底考量指標(biāo)質(zhì)之一。虛擬化系統(tǒng)硬件構(gòu)建選型多路多核心CPU,對(duì)于虛擬化來(lái)說(shuō)將可以供給更多的虛擬機(jī)同時(shí)運(yùn)行,這樣就可以以更加低廉的本錢(qián)、獲得更高效的處理力氣。同時(shí)在一臺(tái)效勞器中承受多路處理器,則意味著可以在單位設(shè)備中供給更高的處理力氣,能為更多的虛擬機(jī)供給計(jì)算效勞。大容量?jī)?nèi)存的計(jì)算力氣外,內(nèi)存的大小也將是其性能保障的重要選項(xiàng)之一,應(yīng)用程序首先都要讀到內(nèi)存,CPU才能對(duì)內(nèi)存中的數(shù)據(jù)進(jìn)展操作,應(yīng)用效勞器在配置部署時(shí)對(duì)內(nèi)存都有著標(biāo)準(zhǔn)容量需求,在承受效勞器虛擬化技術(shù)后,一臺(tái)物理效勞器的內(nèi)存將同時(shí)支撐其上運(yùn)行的多臺(tái)虛擬機(jī)使用,更多的內(nèi)存則意味著可以支撐個(gè)更多數(shù)量的虛擬機(jī)運(yùn)行,也就意味著降低物理設(shè)備的數(shù)量,為節(jié)能、減排供給有效保障。因此在選擇效勞器時(shí),需要效勞器可以容納更多的物理內(nèi)存容量,盡量選擇具有多內(nèi)存插槽、支持高主頻、支持單條內(nèi)存容量可以到達(dá)8GB以上的產(chǎn)品。支持硬件虛擬化在選擇效勞器時(shí),處理器是否支持虛擬化將是必要的選項(xiàng)之一。目前流行的虛擬化平臺(tái)均需要CPU從底層支撐虛擬化技術(shù)。目前支持CPU虛擬化的技術(shù)包括:VT:IntelVT是一種硬件方案,支持VMM會(huì)很簡(jiǎn)潔提高性能,相比軟件的虛擬實(shí)現(xiàn)方式會(huì)很大程度上提高性能。〔2)AMD虛擬化技術(shù)AMD—V:AMD公司推出了支持虛擬化的硬件關(guān)心MD—V。具備AMD—V功能的處理器中,有一套指令用于幫助VMM進(jìn)展虛擬化,從而有效降低了虛擬化的開(kāi)銷(xiāo),提高性能。集群存儲(chǔ)系統(tǒng)建設(shè)YeeStor存儲(chǔ)池將作為虛擬機(jī)磁盤(pán)、應(yīng)用系統(tǒng)海量數(shù)據(jù)文件存儲(chǔ)的支持,它具有高牢靠性、高吞吐高IOPS力氣、在線擴(kuò)展以及基于標(biāo)準(zhǔn)X86構(gòu)建等個(gè)適用于云計(jì)算、虛擬化環(huán)境的優(yōu)秀特性.YeeStorX86架構(gòu)存儲(chǔ)效勞磁盤(pán)構(gòu)建,對(duì)上層云計(jì)算虛擬IOPS支持、高吞吐力氣支持。其目標(biāo)是“存得住——-——-——具有較高的性能;用得好——-—使用便利靈敏“,幫助用戶(hù)應(yīng)對(duì)IT系統(tǒng)存儲(chǔ)根底設(shè)施面臨的挑戰(zhàn)。YeeStor集群存儲(chǔ)系統(tǒng)有著與業(yè)內(nèi)最先進(jìn)規(guī)模最大的存儲(chǔ)系統(tǒng)Google-FS(GFS)相像的要求,比方性能,可擴(kuò)展性,牢靠性,以及可用性等。系統(tǒng)組成圖 錯(cuò)誤未定義書(shū)簽。系統(tǒng)組成分布式集群存儲(chǔ)系統(tǒng)由四局部構(gòu)成元數(shù)據(jù)效勞器集群(MDSCMetaDataServerCluster〕:存放整,治理整個(gè)文件系統(tǒng)的名字空間。供給單一的系統(tǒng)映像,部署X86PC效勞器上。對(duì)象存儲(chǔ)效勞器集群(OSSC ObjectStorage Server Cluster〕:存儲(chǔ)應(yīng)用系統(tǒng)的文件數(shù)據(jù),具有故障探測(cè)、自我修復(fù)功能,內(nèi)置獨(dú)特的文件存儲(chǔ),每個(gè)文件被系統(tǒng)分割成多塊后按確定規(guī)章存放在多個(gè)存儲(chǔ)效勞器中,1份備份(依據(jù)安全和性能需求可設(shè)定為多份〕,X86構(gòu)造的PC效勞器上。〔AP:AccessPoint〕POSIX語(yǔ)義的訪問(wèn)接口和統(tǒng)一的文件系統(tǒng)映像,響應(yīng)上層應(yīng)用對(duì)文件訪問(wèn)懇求并通過(guò)內(nèi)部私有協(xié)議高速訪問(wèn)后端集群存儲(chǔ)上的文件數(shù)據(jù)。訪問(wèn)客戶(hù)端軟件替換操作系統(tǒng)中原有的文件訪問(wèn)接口,可以安裝在應(yīng)用系統(tǒng)效勞器上,對(duì)應(yīng)用系統(tǒng)供給訪問(wèn)存儲(chǔ)的文件支NFS系統(tǒng)結(jié)合對(duì)外供給統(tǒng)一的虛擬存儲(chǔ)池。網(wǎng)絡(luò)支持,,支持千兆以太網(wǎng)、IPOIB連接模式。系統(tǒng)特性存儲(chǔ)空間復(fù)用力氣圖12 空間復(fù)用集群存儲(chǔ)系統(tǒng)具有支持空洞文件的特性,在建立虛擬機(jī)鏡像文件時(shí)不需要將實(shí)際空間占滿(mǎn),初始創(chuàng)立只需要?jiǎng)?chuàng)立頭尾標(biāo)記既可,隨著虛擬機(jī)磁盤(pán)中文件數(shù)量的增加空洞文件會(huì)漸漸被填滿(mǎn),真正做到了按需使用。基于此特性分布式集群存儲(chǔ)系統(tǒng)將可以為前端虛擬化效勞器子系統(tǒng)供給幾倍于自己實(shí)際存儲(chǔ)空間的可安排虛擬磁盤(pán)空間,到達(dá)存儲(chǔ)空間的復(fù)用效果。另外,隨著虛擬磁盤(pán)文件數(shù)量的不斷增長(zhǎng),分布式集群文件系統(tǒng)的空間也將逐步填滿(mǎn),而在系統(tǒng)配置時(shí)虛擬磁盤(pán)總規(guī)劃空間大幅度超過(guò)了分布式集群存儲(chǔ)實(shí)際空間,為此分布式集群存儲(chǔ)系統(tǒng)將承受空間預(yù)警信息,在存儲(chǔ)空間實(shí)際占80%即提示擴(kuò)容。IOPS支持在傳統(tǒng)模式中,應(yīng)用效勞器往往單獨(dú)使用存儲(chǔ),配置的存儲(chǔ)的IO力氣只需要支撐本身應(yīng)用即可,而當(dāng)此環(huán)境變?yōu)樵朴?jì)算虛擬化環(huán)境后,每臺(tái)物理效勞器將運(yùn)行多臺(tái)虛擬機(jī)將支撐多個(gè)應(yīng)用系統(tǒng),因此也就需要存儲(chǔ)系統(tǒng)可以同時(shí)應(yīng)對(duì)多個(gè)IO支撐方面,有兩個(gè)重要指標(biāo),一個(gè)是吞吐量、一是怎樣適配虛擬化環(huán)境供給良好支撐的。并發(fā)訪問(wèn)保障高吞吐力氣錯(cuò)誤未定義書(shū)簽。高吞吐力氣YeeStor集群存儲(chǔ)系統(tǒng)承受帶外架構(gòu),可擴(kuò)展的元數(shù)據(jù)效勞器組可以良,其吞吐力氣隨存儲(chǔ)設(shè)備數(shù)量的增多而呈近線性增長(zhǎng),完全可以滿(mǎn)足多應(yīng)用系統(tǒng)并發(fā)訪問(wèn)的吞吐力氣要求。同時(shí),YeeStor集群存儲(chǔ)系統(tǒng)承受多副本技術(shù),每一份數(shù)據(jù)副本都是可以被前端虛擬化效勞器和應(yīng)用程序所訪問(wèn)和使用的,因此集群存儲(chǔ)系統(tǒng)的多副本模式一方面保障了系統(tǒng)的穩(wěn)定性,同時(shí)也為應(yīng)用供給了更高的存儲(chǔ)訪問(wèn)效率.力氣圖錯(cuò)誤不能識(shí)別的開(kāi)關(guān)參數(shù)。IO力氣YeeStor集群存儲(chǔ)系統(tǒng)針對(duì)云計(jì)算虛擬化環(huán)境的大量并發(fā)訪問(wèn),供給了高效IOPS支撐力氣。利用特有的內(nèi)存優(yōu)化技術(shù)、磁盤(pán)緩存技術(shù)供給了大量小文并發(fā)寫(xiě)力氣〔配置的7200轉(zhuǎn)磁盤(pán)數(shù)量×1500 同時(shí)在文件寫(xiě)入時(shí)將數(shù)據(jù)復(fù)制到SSD磁盤(pán)并結(jié)合熱點(diǎn)文件緩存技術(shù),為每臺(tái)虛擬化效勞器支撐的上用訪問(wèn)40000IOPS(SSD磁盤(pán)為IntelDC S3700〕的極速讀取力氣。,Yee(cuò)Stor針對(duì)云計(jì)算虛擬化環(huán)境設(shè)計(jì)的讀寫(xiě)分別技術(shù),將可保障SSD的寫(xiě)操作將到最低,SSD磁盤(pán)的寫(xiě)放大問(wèn)題,SSD設(shè)備的整體效勞周期。更高的牢靠性YeeStor集群存儲(chǔ)系統(tǒng)在設(shè)計(jì)之初即把各種故障當(dāng)作常規(guī)現(xiàn)象考慮,針對(duì)各種故障均制定對(duì)應(yīng)的解決方案,相比傳統(tǒng)存儲(chǔ)在牢靠性方面要更有保障。圖15 高牢靠保障Yee(cuò)Stor集群存儲(chǔ)系統(tǒng)則拋棄了傳統(tǒng)RAID技術(shù)而承受創(chuàng)數(shù)據(jù)副本作為數(shù)據(jù)保護(hù)模式,依據(jù)數(shù)據(jù)副本的數(shù)量它將準(zhǔn)許整臺(tái)存儲(chǔ)設(shè)備的損壞,同時(shí)由于承受磁盤(pán)直連模式,存儲(chǔ)設(shè)備故障后只要磁盤(pán)不受到較大沖擊,其數(shù)據(jù)仍可保障其完整性。存儲(chǔ)空間免規(guī)劃錯(cuò)誤未定義書(shū)簽。存儲(chǔ)免規(guī)劃對(duì)于傳統(tǒng)磁盤(pán)陣列,往往需要依據(jù)應(yīng)用進(jìn)展存儲(chǔ)空間規(guī)劃,且為了實(shí)現(xiàn)多年,需要進(jìn)展充分調(diào)研、具體了解應(yīng)用類(lèi)型、文件大小、幾年內(nèi)的進(jìn)展?fàn)顩r。一旦規(guī)劃不好,將來(lái)將可能面臨某一應(yīng)用數(shù)據(jù)空間已滿(mǎn)而其它應(yīng)用存儲(chǔ)空間還大幅度剩余的問(wèn)題。而對(duì)于YeeStor集群存儲(chǔ)系統(tǒng)來(lái)說(shuō),其本身為共享型的文件系統(tǒng),全部應(yīng)用共享使用全部存儲(chǔ)空間,不用提前針對(duì)應(yīng)用進(jìn)展空間安排,隨著整體系統(tǒng)的存儲(chǔ)當(dāng)空間占80%會(huì)報(bào)警提示擴(kuò)容,且由于其獨(dú)特的架構(gòu)在擴(kuò)容時(shí)完全實(shí)現(xiàn)在線增加存儲(chǔ)空間而不對(duì)應(yīng)用造成任何影響。在線擴(kuò)容力氣圖5 在線擴(kuò)容YeeStor集群式文件存儲(chǔ)系統(tǒng)支持元數(shù)據(jù)效勞器、存儲(chǔ)效
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 《平衡記分卡的應(yīng)用》課件
- 《企業(yè)人力績(jī)效管理》課件
- 2024-2025學(xué)年天津市紅橋區(qū)高一上學(xué)期期中考試歷史試卷(解析版)
- 單位管理制度分享匯編人事管理
- 單位管理制度分享大全人力資源管理十篇
- 單位管理制度范例選集人力資源管理篇
- 《磺達(dá)肝癸鈉》課件
- 單位管理制度呈現(xiàn)大合集人力資源管理十篇
- 《市場(chǎng)營(yíng)銷(xiāo)學(xué)案例分》課件
- 《投資經(jīng)濟(jì)學(xué)》教學(xué)大綱
- 2021年新疆烏魯木齊市中考化學(xué)一模試卷(附答案詳解)
- 張家爺爺?shù)男』ü?
- 高中思想政治-高三一輪復(fù)習(xí)講評(píng)課教學(xué)課件設(shè)計(jì)
- 自動(dòng)噴水滅火系統(tǒng)的設(shè)計(jì)計(jì)算
- 教師評(píng)職稱(chēng)個(gè)人綜述
- LSI-陣列卡操作手冊(cè)
- 漢字文化解密(華中師范大學(xué))超星爾雅學(xué)習(xí)通網(wǎng)課章節(jié)測(cè)試答案
- 黑龍江省哈爾濱市八年級(jí)上學(xué)期物理期末考試試卷及答案
- 商業(yè)綜合體設(shè)計(jì)說(shuō)明書(shū)
- GB/T 19587-2017氣體吸附BET法測(cè)定固態(tài)物質(zhì)比表面積
- 比賽車(chē)門(mén)凹陷修復(fù)
評(píng)論
0/150
提交評(píng)論