ivce床的體系結(jié)構(gòu)-云計(jì)算

虛擬計(jì)算環(huán)境下的大數(shù)據(jù)處理實(shí)踐劉欣然2013-10-31

HPC2013

桂林目錄1網(wǎng)絡(luò)信息安全業(yè)務(wù)特點(diǎn)及計(jì)算需求2基于虛擬計(jì)算環(huán)境的計(jì)算模式3iVCE計(jì)算面臨的挑戰(zhàn)4目前運(yùn)行情況及典型案例可擴(kuò)展性、彈性、透明性、可靠性網(wǎng)絡(luò)信息安全業(yè)務(wù)的典型流程可擴(kuò)展性、彈性、透明性、可靠性業(yè)務(wù)的迅速增加對資源提出了很高需求·這對承載業(yè)務(wù)的基礎(chǔ)設(shè)施和系統(tǒng)都帶來了很大的壓力，無論是傳統(tǒng)的集群技術(shù)還是當(dāng)前的云計(jì)算技術(shù)均是如此可擴(kuò)展性、彈性、透明性、可靠性業(yè)務(wù)的迅速增加對資源提出了很高需求大規(guī)模數(shù)據(jù)中心因?yàn)閾碛兄笠?guī)模的計(jì)算、存儲和網(wǎng)絡(luò)資源，當(dāng)仁不讓地成為了云計(jì)算技術(shù)的重要載體，在解決類似問題方面已經(jīng)給出了很多成功的案例

但是，資源過度集中也產(chǎn)生了很多棘手的問題，如供電、制冷、場地、帶寬等成為制約很多IDC發(fā)展壯大的瓶頸可擴(kuò)展性、彈性、透明性、可靠性業(yè)務(wù)的迅速增加對資源提出了很高需求單一數(shù)據(jù)中心即使擁有再多的資源，在面向互聯(lián)網(wǎng)規(guī)模的問題求解時(shí)，仍然顯得微不足道同時(shí)

與此同時(shí)，互聯(lián)網(wǎng)上大量的零散資源無法得到充分利用而白白浪費(fèi)，傳統(tǒng)的集群系統(tǒng)尤其突出可擴(kuò)展性、彈性、透明性、可靠性一些特殊需求

除了計(jì)算、存儲、網(wǎng)絡(luò)資源外，不少網(wǎng)絡(luò)信息安全應(yīng)用(包括不少互聯(lián)網(wǎng)應(yīng)用)一些特殊需求很難由傳統(tǒng)的IDC滿足，如：對接入的運(yùn)營商的要求對接入地域的要求對IP地址動(dòng)態(tài)性的要求對移動(dòng)性的要求

如網(wǎng)速測量、互聯(lián)互通性測量、域名服務(wù)狀態(tài)監(jiān)測、互聯(lián)網(wǎng)狀態(tài)檢測(路由、拓?fù)?、移動(dòng)業(yè)務(wù)服務(wù)等級評價(jià)等可擴(kuò)展性、彈性、透明性、可靠性網(wǎng)絡(luò)信息安全業(yè)務(wù)特點(diǎn)思考？上述特點(diǎn)說明，完全可能“租用”海量的、分布于各地的、小的“不可靠”資源來解決大的應(yīng)用問題

如果能夠?qū)⒎稚⒂诙鄠€(gè)管理域中的海量閑散計(jì)算資源整合起來，構(gòu)造一個(gè)對用戶透明的“虛擬計(jì)算環(huán)境”，這樣一方面避免資源過度集中帶來了突出問題，使閑散資源得以充分利用，更重要的是這個(gè)虛擬計(jì)算環(huán)境在接入的運(yùn)營商、接入地域、帶寬、移動(dòng)性、IP分布等多個(gè)方面能夠最大程度地貼近互聯(lián)網(wǎng)的真實(shí)情況目錄1網(wǎng)絡(luò)信息安全業(yè)務(wù)特點(diǎn)及計(jì)算需求2基于虛擬計(jì)算環(huán)境的計(jì)算模式3iVCE計(jì)算面臨的挑戰(zhàn)4目前運(yùn)行情況及典型案例·

基于973項(xiàng)目“虛擬計(jì)算環(huán)境聚合與協(xié)同機(jī)理研究”(課題編號：2005CB321800)、“高效可信的虛擬計(jì)算環(huán)境基礎(chǔ)研究”(項(xiàng)目編號：2011CB302600)的成果iVCE實(shí)驗(yàn)床概況

利用分布于全國的計(jì)算資源，基于互聯(lián)網(wǎng)構(gòu)建了一個(gè)“虛擬計(jì)算環(huán)境實(shí)驗(yàn)床(簡稱iVCE實(shí)驗(yàn)床)”，在部署了一系列典型的網(wǎng)絡(luò)信息安全業(yè)務(wù)系統(tǒng)總節(jié)點(diǎn)數(shù)：物理節(jié)點(diǎn)數(shù)接近500個(gè)，虛擬節(jié)點(diǎn)數(shù)超過2000個(gè)，其中移動(dòng)節(jié)點(diǎn)40個(gè)，覆蓋當(dāng)前主流的計(jì)算平臺分布：全國31個(gè)省份接入運(yùn)營商：全國各省的電信、聯(lián)通，部分省份移動(dòng)、鐵通接入網(wǎng)絡(luò)類型：所有省份的電信、聯(lián)通固定互聯(lián)網(wǎng)(帶寬從

10M-50M不等）、絕大多數(shù)省份的電信/聯(lián)通ADSL撥號互聯(lián)網(wǎng)（100M接入)iVCE實(shí)驗(yàn)床設(shè)計(jì)理念與原則iVCE實(shí)驗(yàn)床面向第三方應(yīng)用，與特定的業(yè)務(wù)應(yīng)用嚴(yán)格無關(guān)

用“服務(wù)”取代“管理”，實(shí)驗(yàn)床的各個(gè)角色之間都是服務(wù)與被服務(wù)的關(guān)系，放棄了傳統(tǒng)的“管理”的實(shí)現(xiàn)方法

iVCE實(shí)驗(yàn)床要具備良好的可擴(kuò)展性（具備擴(kuò)展至1萬－10萬量級的潛力），形成標(biāo)準(zhǔn)的對外服務(wù)接口，對不同種類應(yīng)用提供統(tǒng)一的使用視圖

對用戶個(gè)性化設(shè)置/配置/需求能夠提供靈活的支持，最大程度地按照用戶意愿聚合資源承擔(dān)虛擬計(jì)算任務(wù)iVCE實(shí)驗(yàn)床的體系結(jié)構(gòu)本實(shí)驗(yàn)床由應(yīng)用層、任務(wù)代理層、應(yīng)用分發(fā)與結(jié)果回收層、資源代理層、虛擬資源層、以及運(yùn)行監(jiān)測層構(gòu)成。iVCE實(shí)驗(yàn)床的體系結(jié)構(gòu)說明iVCE實(shí)驗(yàn)床的體系結(jié)構(gòu)說明iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（1）

任務(wù)代理層：接收來自應(yīng)用層的任務(wù)并根據(jù)需求采取不同的資源聚合策略，實(shí)現(xiàn)任務(wù)到iVCE虛擬計(jì)算資源的映射，主要包括：按需聚合資源：根據(jù)海量、多樣化的任務(wù)需求，聚合與之相適應(yīng)的虛擬資源上，實(shí)現(xiàn)任務(wù)到虛擬資源的調(diào)度突發(fā)情況下用戶服務(wù)質(zhì)量保障：解決在業(yè)務(wù)突發(fā)情況下，對特定用戶提供有保障的QoS服務(wù)高可靠調(diào)度：在不穩(wěn)定、不可靠的虛擬計(jì)算環(huán)境下實(shí)現(xiàn)對高可靠運(yùn)行要求的業(yè)務(wù)支撐iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（2） 提出了統(tǒng)一的任務(wù)屬性和資源屬性描述接口規(guī)范（正在完善中）定義了任務(wù)描述文件（JDF）：對任務(wù)在優(yōu)先級、完成時(shí)間、可靠性、運(yùn)營商網(wǎng)絡(luò)、計(jì)算存儲開銷等方面的需求進(jìn)行了明確定義定義了資源描述文件（RDF）：對資源在硬件性能、軟件環(huán)境、接入網(wǎng)絡(luò)、計(jì)算存儲能力、網(wǎng)絡(luò)延遲、運(yùn)行負(fù)載等方面進(jìn)行了詳細(xì)定義JDF與RDF的使用，大大提高了任務(wù)代理層的資源聚合、任務(wù)調(diào)度效率iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（3）

提出基于滑動(dòng)窗口的資源池管理算法，為重要任務(wù)提供更好的QoS保障可根據(jù)重要任務(wù)負(fù)荷的大小自適應(yīng)地動(dòng)態(tài)調(diào)整窗口的尺寸，在重要任務(wù)增加時(shí)擴(kuò)大窗口大小以保證重要任務(wù)調(diào)度，重要任務(wù)減少時(shí)縮小窗口以減少資源浪費(fèi)支持窗口的動(dòng)態(tài)滑動(dòng)，即根據(jù)窗口中資源現(xiàn)狀動(dòng)態(tài)刷新，不斷地淘汰差的資源，引入新的優(yōu)秀資源，以保證窗口中資源的“優(yōu)質(zhì)率”初步測試結(jié)果：在每天幾十萬任務(wù)的真實(shí)虛擬計(jì)算環(huán)境中，滑動(dòng)窗口算法保證重要任務(wù)的平均下發(fā)時(shí)間為1.76秒，明顯小于普通任務(wù)（15.2秒）iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（4）·

提出了多副本冗余調(diào)度管理算法（正在完善中）·根據(jù)應(yīng)用對可靠性的不同等級要求，基于虛擬節(jié)點(diǎn)可靠性概率的歷史記錄，通過副本冗余技術(shù)，為同一任務(wù)生成不同數(shù)量副本下發(fā)到多個(gè)資源上同時(shí)并發(fā)執(zhí)行，以保證任務(wù)執(zhí)行的可靠性和響應(yīng)及時(shí)性iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（5）應(yīng)用分發(fā)與結(jié)果回收層（正在完善中）與應(yīng)用無關(guān)的業(yè)務(wù)應(yīng)用向虛擬計(jì)算平臺的快速分發(fā)部署：在傳統(tǒng)的內(nèi)容分發(fā)網(wǎng)絡(luò)思想的基礎(chǔ)上，提出了預(yù)先推送的概念。即在數(shù)據(jù)上傳之后、被請求之前，根據(jù)歷史經(jīng)驗(yàn)，預(yù)先將數(shù)據(jù)推送到多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，從而縮短分發(fā)時(shí)間與應(yīng)用無關(guān)的計(jì)算結(jié)果回收管理：第三方的計(jì)算結(jié)果回收與管理，面向不同應(yīng)用提供服務(wù)iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（6）

資源代理層：對虛擬計(jì)算資源的狀態(tài)進(jìn)行及時(shí)采集、分析和可信性評價(jià)，為資源的按需聚合提供依據(jù)，主要包括：對海量、異構(gòu)資源狀態(tài)采集：針對不同的資源狀態(tài)信息通過主動(dòng)、被動(dòng)兩種方式及定制化的頻率進(jìn)行合理采集，并對資源標(biāo)識與狀態(tài)判斷進(jìn)行了研究，實(shí)現(xiàn)了對資源狀態(tài)信息的動(dòng)態(tài)、實(shí)時(shí)監(jiān)測與采集大規(guī)模資源狀態(tài)信息的分析與評價(jià)：提出了資源的多維度信譽(yù)評價(jià)模型及資源可信性的評價(jià)機(jī)制，解決海量、多樣化任

務(wù)調(diào)度與海量、異構(gòu)資源之間的映射與匹配問題iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（7）·

虛擬資源層：接收來自任務(wù)代理層下發(fā)的任務(wù)，執(zhí)行任務(wù)并按照要求反饋結(jié)果；發(fā)布自身資源狀態(tài)信息，支持資源代理層、運(yùn)行監(jiān)測層各信息采集方按需進(jìn)行采集，主要包括：·海量、異構(gòu)資源為多樣化應(yīng)用提供統(tǒng)一服務(wù)模式：研究虛擬化技術(shù)來屏蔽異構(gòu)資源的差異性，從而為上層應(yīng)用提供統(tǒng)一

的服務(wù)接口與模式iVCE實(shí)驗(yàn)床的關(guān)鍵技術(shù)（8）

大規(guī)模資源狀態(tài)信息及時(shí)發(fā)布：研究多維度的資源發(fā)布機(jī)制實(shí)現(xiàn)對大規(guī)模資源狀態(tài)信息的及時(shí)發(fā)布技術(shù)，供各信息采集方按需進(jìn)行采集，為大規(guī)模資源和用戶行為的統(tǒng)計(jì)分析、虛擬計(jì)算環(huán)境的性能測量、故障檢測和行為分析、實(shí)驗(yàn)床的狀態(tài)監(jiān)控與維護(hù)管理等提供基礎(chǔ)數(shù)據(jù)系統(tǒng)資源類信息：如資源的CPU、內(nèi)存、磁盤、操作系統(tǒng)、網(wǎng)絡(luò)帶寬、I/O速率等應(yīng)用級信息：應(yīng)用服務(wù)種類、信譽(yù)等級、已經(jīng)完成及正在處理的任務(wù)信息等應(yīng)用級信息目錄1網(wǎng)絡(luò)信息安全業(yè)務(wù)特點(diǎn)及計(jì)算需求2基于虛擬計(jì)算環(huán)境的計(jì)算模式3iVCE計(jì)算面臨的挑戰(zhàn)4目前運(yùn)行情況及典型案例iVCE計(jì)算與云計(jì)算的本質(zhì)差異·

資源高度分布vs資源高度集中·

低速網(wǎng)絡(luò)互連vs高速網(wǎng)絡(luò)互連

iVCE計(jì)算模式與目前廣泛采用的云計(jì)算模式有著顯著的不同，具體表現(xiàn)在資源從屬于多管理域

vs

資源從屬于單一管理域可靠性完全無法保證vs能夠保持較高的可靠性數(shù)據(jù)無共享/極低共享

vs

數(shù)據(jù)高度共享迭代高延遲

vs

迭代低延遲……

上述差異決定著iVCE計(jì)算效能的評價(jià)比云計(jì)算效能評價(jià)更為復(fù)雜，影響的因素更多、更難以預(yù)料·

挑戰(zhàn)一：任務(wù)調(diào)度效率與iVCE資源利用率評價(jià)問題在iVCE計(jì)算中,大量的應(yīng)用系統(tǒng)共享各種資源，如何使這些應(yīng)用獲得最好的性能,并使整個(gè)虛擬計(jì)算平臺的資源利用率達(dá)到最高,需要研究對調(diào)度機(jī)制的有效性和效率的評價(jià)方法需求多樣化的任務(wù)在屬性多樣化的虛擬資源上的高效調(diào)度評價(jià)·

挑戰(zhàn)二：計(jì)算可靠性評價(jià)問題·

如何用不可靠的計(jì)算資源來滿足不同可靠性等級應(yīng)用的運(yùn)行需要·

挑戰(zhàn)三：任務(wù)分發(fā)/結(jié)果回收效率評價(jià)問題·隨著業(yè)務(wù)規(guī)模和計(jì)算強(qiáng)度的增長，大規(guī)模的任務(wù)分發(fā)/結(jié)果回收將成為系統(tǒng)運(yùn)行的瓶頸

挑戰(zhàn)四：跨多管理域的資源彈性、動(dòng)態(tài)擴(kuò)展與可信性計(jì)算問題跨多個(gè)管理域的資源彈性、動(dòng)態(tài)擴(kuò)展跨多個(gè)管理域和角色的可信性評價(jià)問題·

挑戰(zhàn)五：業(yè)務(wù)建模問題公共功能組件難以共享，存在重復(fù)開發(fā)問題，無法為上層新業(yè)務(wù)提供快速靈活的構(gòu)建方式每個(gè)業(yè)務(wù)獨(dú)立運(yùn)行，從任務(wù)下發(fā)到回傳數(shù)據(jù)都是獨(dú)享，是種“管狀”的結(jié)構(gòu)，服務(wù)與數(shù)據(jù)沒有得到合理復(fù)用調(diào)度算法，將有向無環(huán)圖中節(jié)點(diǎn)按照一定邏輯對應(yīng)到資源層中具體執(zhí)行的元資源調(diào)度：資源層中的元件，找