基于雙層體系結(jié)構(gòu)的分布式虛擬集群升級版

基于雙層體系結(jié)構(gòu)的分布式虛擬集群升級版

0網(wǎng)際染染技術(shù)研究隨著數(shù)字媒體技術(shù)的快速發(fā)展，三維動畫技術(shù)尤其是高速的發(fā)展。三維動畫集群渲染技術(shù)為解決“渲染瓶頸”提供了一種有效的方法，但傳統(tǒng)的集中渲染不能滿足當(dāng)前的應(yīng)用需求。分布式矩陣渲染系統(tǒng)應(yīng)該發(fā)揮更多的作用。當(dāng)前,三維動畫渲染的研究已經(jīng)涉及很多方面,在網(wǎng)絡(luò)集群渲染方面,李樹聲提出網(wǎng)絡(luò)集群渲染在3D動畫制作中的應(yīng)用并闡述其技術(shù)優(yōu)勢。并行渲染方面,如基于Sort-middle架構(gòu)的InfiniteRealityEngine、采用Sort-last架構(gòu)構(gòu)建的PixelFlow、基于Sort-first架構(gòu)的WireGL和“可擴(kuò)展顯示墻”,以及綜合采用Sort-first和Sort-last兩種架構(gòu)的AnyGL等。在協(xié)同渲染方面,文獻(xiàn)介紹了一個(gè)基于圖形與圖像混合建模和繪制技術(shù)構(gòu)造的多用戶分布式虛擬環(huán)境系統(tǒng)。文獻(xiàn)則利用DirectX的渲染引擎和CORBA等技術(shù),實(shí)現(xiàn)了分布式虛擬樣機(jī)可視化框架的構(gòu)建。文獻(xiàn)在基于特征的3D建模技術(shù)和Java技術(shù)基礎(chǔ)上提出了一種客戶端/服務(wù)器端的協(xié)同設(shè)計(jì)環(huán)境。其它方面,文獻(xiàn)提出基于WebService的分布式三維渲染,文獻(xiàn)則對協(xié)同計(jì)算環(huán)境下的渲染技術(shù)進(jìn)行了研究。筆者結(jié)合企業(yè)集群和虛擬社區(qū)的概念提出虛擬渲染集群,以傳統(tǒng)集群(塔式、機(jī)架式、刀片式)為主體,以企業(yè)內(nèi)PC機(jī)為補(bǔ)充,建立統(tǒng)一的資源管理策略,對外映射為單一映像,允許渲染節(jié)點(diǎn)動態(tài)地進(jìn)入和離開以實(shí)現(xiàn)“按需部署”。分布式虛擬集群渲染系統(tǒng)的雙層體系結(jié)構(gòu),不僅可以解決集群內(nèi)部動畫渲染的需要,也為網(wǎng)際渲染提供了有效的途徑。另一方面,分布式渲染及分布式環(huán)境下渲染資源的發(fā)現(xiàn)研究較少,目前集中在發(fā)現(xiàn)算法方面,比如Sycara等提出的五種服務(wù)資源發(fā)現(xiàn)策略;Raman等提出的多資源和多需求之間的匹配算法以及管在林等提出采用Agent進(jìn)行制造服務(wù)的定義和描述,并采用集中式和分布式中介進(jìn)行資源和服務(wù)的查詢方法。1虛擬集群染化系統(tǒng)結(jié)構(gòu)本文針對三維動畫渲染和分布式系統(tǒng)的特點(diǎn),設(shè)計(jì)并開發(fā)了分布式虛擬集群渲染系統(tǒng),采用由資源搜索網(wǎng)、虛擬集群網(wǎng)共同組成的雙層體系結(jié)構(gòu)(圖1)。資源搜索層由大量虛擬集群所對應(yīng)的資源路由器(R-Router)組成,系統(tǒng)建立以資源搜索為主體的上層信息網(wǎng)絡(luò),為各個(gè)不同的虛擬渲染集群提供統(tǒng)一的接口和協(xié)議,以此來解決跨組織、跨平臺的信息共享、資源共享和合作問題。在資源搜索層,資源路由器向資源搜索層中其它的結(jié)點(diǎn)查找符合要求的資源信息,如果找到則將其所在的地址返回給資源請求結(jié)點(diǎn)。資源路由器完成的功能相當(dāng)于網(wǎng)絡(luò)路由器對IP地址的查找,只不過這里所關(guān)心的是資源的匹配而已。虛擬集群層由大量虛擬集群實(shí)體組成,分布式協(xié)作的方式必須建立在體系結(jié)構(gòu)的自治機(jī)制上,允許節(jié)點(diǎn)的動態(tài)進(jìn)入和離開,系統(tǒng)以虛擬集群為管理單位,即允許系統(tǒng)內(nèi)虛擬集群的動態(tài)進(jìn)入和離開,也允許虛擬集群內(nèi)工作結(jié)點(diǎn)的動態(tài)進(jìn)入和離開。虛擬集群渲染系統(tǒng)以管理節(jié)點(diǎn)為核心,分發(fā)節(jié)點(diǎn)為補(bǔ)充,渲染節(jié)點(diǎn)為主體,虛擬集群渲染系統(tǒng)體系結(jié)構(gòu)如圖2所示。虛擬集群渲染系統(tǒng)最上層為管理層,包括總控節(jié)點(diǎn)(Master)、源文件服務(wù)器(SourceServer)、目標(biāo)文件服務(wù)器(TargetServer)、域管理服務(wù)器、流量監(jiān)測器以及郵件服務(wù)器,用于對本地虛擬集群的管理。用戶通過訪問系統(tǒng)頁面來完成任務(wù)提交、查看和管理。系統(tǒng)對接收到的任務(wù)進(jìn)行合法性檢查,并解釋任務(wù)參數(shù),根據(jù)任務(wù)優(yōu)先級對任務(wù)進(jìn)行排序,分解任務(wù)所需資源請求,并向資源管理器(R-Manager)請求任務(wù)所需資源。作為整個(gè)虛擬集群的核心,它還負(fù)責(zé)對整個(gè)系統(tǒng)的運(yùn)行情況進(jìn)行監(jiān)控,包括機(jī)器監(jiān)控、任務(wù)監(jiān)控以及用戶監(jiān)控。系統(tǒng)管理員可以查詢到所有的用戶及其任務(wù)的運(yùn)行情況,系統(tǒng)自動監(jiān)控渲染任務(wù)執(zhí)行情況并實(shí)時(shí)地將渲染狀態(tài)反饋給系統(tǒng)管理員。虛擬集群中間為虛擬分發(fā)層,由大量的虛擬分發(fā)節(jié)點(diǎn)(VirtualDispatcher,VD)組成,一臺物理機(jī)器對應(yīng)多個(gè)虛擬分發(fā)節(jié)點(diǎn)。虛擬分發(fā)層位于虛擬集群的中間,向上聯(lián)接管理層,向下聯(lián)接渲染層。虛擬分發(fā)層受管理層的監(jiān)控,接受來自管理層的命令完成對本機(jī)的操作,同時(shí)又對渲染層結(jié)點(diǎn)進(jìn)行監(jiān)控,確保渲染任務(wù)的順利完成。每一個(gè)虛擬分發(fā)節(jié)點(diǎn)負(fù)責(zé)一個(gè)任務(wù)的管理和監(jiān)控,隨著任務(wù)的存在而存在,任務(wù)一旦完成,VD資源也隨之被收回。虛擬集群的最下層由大量的渲染節(jié)點(diǎn)(Render)組成,在渲染系統(tǒng)中每個(gè)渲染節(jié)點(diǎn)都是對等的,渲染節(jié)點(diǎn)“按需部署”,允許渲染服務(wù)器或PC動態(tài)加入系統(tǒng)。渲染層中的每個(gè)渲染節(jié)點(diǎn)由狀態(tài)監(jiān)聽器、消息接收器、渲染啟動器、資源掃描器和資源注冊器五個(gè)部分組成。渲染層監(jiān)聽并處理來自管理層和分發(fā)層的消息,啟動渲染器完成任務(wù)渲染,同時(shí)對渲染結(jié)點(diǎn)進(jìn)行資源掃描及更新。2分布式環(huán)境的選擇在企業(yè)內(nèi)部的應(yīng)用環(huán)境下,渲染資源發(fā)現(xiàn)可以采用類型檢索、關(guān)鍵字檢索等直接方式實(shí)現(xiàn),但這些方法并不適用于資源類型多樣化、數(shù)量巨大且狀態(tài)動態(tài)變化的分布式渲染環(huán)境。渲染資源搜索需要以渲染任務(wù)的功能需求為核心,通過對渲染功能需求的分解和分析,依據(jù)需求因素的重要程度,劃分為不同的參數(shù)集合,并在這些參數(shù)集合的基礎(chǔ)上與資源提供方所定義的資源參數(shù)并行匹配驗(yàn)證,從而獲得所需渲染資源對象。2.1資源描述和資源參數(shù)網(wǎng)絡(luò)環(huán)境下資源分散性、信息模糊性以及渲染過程的復(fù)雜性使得渲染資源的獲取和評價(jià)成為資源集成和優(yōu)化配置的關(guān)鍵。分布式虛擬集群渲染的資源搜索過程主要包括三個(gè)部分,即任務(wù)描述、資源描述以及資源匹配。任務(wù)描述是資源請求方通過對任務(wù)的分解和約束檢驗(yàn),形成資源請求描述,并以XML形式存儲在R-Manager當(dāng)中。資源描述是資源提供方通過對其擁有的資源進(jìn)行分類、提取,生成以XML形式表達(dá)的資源描述文件并發(fā)布在R-Router當(dāng)中。任務(wù)描述和資源描述是資源匹配的基礎(chǔ),采用XML描述可消除資源請求方和資源提供方在表述方法和理解方法上的差異,并提供資源定義的擴(kuò)展能力。拋棄所有與渲染無關(guān)的資源特性,抽取那些代表渲染要求,且可以被簡單量化和統(tǒng)一表示的部分來描述渲染資源,被提取出的資源信息稱為資源參數(shù)。資源參數(shù)由若干系統(tǒng)參數(shù)和渲染能力參數(shù)組成。系統(tǒng)參數(shù)主要是一些靜態(tài)參數(shù),包括渲染資源的網(wǎng)絡(luò)地址、集群處理器數(shù)目、地理位置等。渲染能力參數(shù)主要是一些動態(tài)參數(shù),描述資源的渲染能力,這些參數(shù)往往會隨時(shí)間的變化而變化。虛擬集群渲染能力的影響因素繁多,包括集群計(jì)算能力、網(wǎng)絡(luò)帶寬、渲染器類型、內(nèi)存大小、存儲容量等。提取其中影響最大,最為主要的三個(gè)因素:渲染器類型、可用處理器數(shù)目和處理器主頻來評價(jià)虛擬集群的渲染能力。2.2染整型的可恢復(fù)資源助制函數(shù)已有的相關(guān)或類似資源搜索技術(shù)都無法滿足三維動畫集群渲染領(lǐng)域的特殊要求,很難有效地描述資源的渲染能力。分布式虛擬集群渲染系統(tǒng)的資源搜索主要是指集群渲染能力的計(jì)算和排序,在進(jìn)行資源搜索時(shí),首先分別計(jì)算對渲染能力影響最大的幾個(gè)參數(shù),然后計(jì)算集群的整體渲染能力,最后對集群渲染能力排序找出能力最強(qiáng)的虛擬結(jié)點(diǎn)。渲染能力參數(shù)的計(jì)算是集群渲染能力計(jì)算和排序的前提,計(jì)算的結(jié)果作為集群渲染能力計(jì)算的輸入。系統(tǒng)采用三個(gè)參數(shù)計(jì)算函數(shù):渲染器函數(shù)θ(x1,x2)、信度函數(shù)ω以及計(jì)算能力函數(shù)μ。渲染器函數(shù)確定渲染資源是否可用,如果渲染器類型不匹配,即使渲染能力再強(qiáng),也是不可用的。θ值為1表示渲染器類型匹配成功,0則表示資源提供方不能提供資源請求方任務(wù)所需的渲染器。θ(x1,x2)={1?x1∈x20,x1?x2式中x1為任務(wù)定義所需的渲染器類型,x2為資源定義所提供的渲染器類型。信度函數(shù)體現(xiàn)了資源提供方完成資源請求方任務(wù)的歷史情況。在每一個(gè)虛擬集群內(nèi)都有一個(gè)配置文件記錄所有分布式虛擬結(jié)點(diǎn)的信度值,每成功完成一次遠(yuǎn)程任務(wù)作業(yè),對應(yīng)的虛擬結(jié)點(diǎn)信度加0.1,失敗則信度減0.1,ω初始值為1。ω={ω+0.1,finishedtasksuccessfulω?0.1,finishedtaskunsuccessful集群計(jì)算能力函數(shù)反映了集群的計(jì)算能力,一般來講,計(jì)算能力越強(qiáng),渲染能力也就相應(yīng)越強(qiáng)。本文以資源提供方當(dāng)前可提供的可用CPU數(shù)目和CPU的主頻的乘積來表示。μ=Ncpu*Fcpu式中Ncpu為資源定義所提供的CPU數(shù)目,Fcpu為資源定義所提供的CPU主頻。渲染能力主要是綜合考慮資源信度和計(jì)算能力,對資源提供方的整體能力進(jìn)行評價(jià)。采用一個(gè)簡單評價(jià)函數(shù)φ來計(jì)算資源的渲染能力。φ=θ*ω*μ顯然,當(dāng)渲染器類型不匹配時(shí),φ的值為0,是不滿足要求的。在計(jì)算出每一個(gè)結(jié)點(diǎn)的φ后,即可選擇渲染能力最強(qiáng)的結(jié)點(diǎn)進(jìn)行遠(yuǎn)程任務(wù)提交。2.3各等的、任意連接分布式虛擬集群渲染系統(tǒng)的資源搜索首先要求滿足“本地優(yōu)先”原則,在本地資源無法滿足要求的前提下進(jìn)行分布式資源搜索。通過資源評價(jià)選擇最佳資源以減少不必要的任務(wù)遷移,從而盡可能地減少多次調(diào)度以防止系統(tǒng)抖動。分布式虛擬集群渲染系統(tǒng)的資源搜索層由大量高度動態(tài)的節(jié)點(diǎn)所組成,節(jié)點(diǎn)之間是對等的、任意連接的。每個(gè)節(jié)點(diǎn)只知道與其直接通信的鄰居節(jié)點(diǎn)相關(guān)信息,當(dāng)一個(gè)節(jié)點(diǎn)要求加入網(wǎng)絡(luò)的時(shí)候先通過一定的方法獲取它的鄰居節(jié)點(diǎn),然后該節(jié)點(diǎn)根據(jù)自己的能力及意愿維護(hù)一定數(shù)量的鄰居節(jié)點(diǎn)。當(dāng)已有的鄰居節(jié)點(diǎn)下線的時(shí)候,該節(jié)點(diǎn)還可以通過再次獲取來補(bǔ)充鄰居節(jié)點(diǎn)。本文采用渲染資源評價(jià)搜索算法(RenderResourceEvaluateSearchArithmetic,RRESA)來進(jìn)行資源搜索,當(dāng)虛擬節(jié)點(diǎn)發(fā)起一次資源請求時(shí),R-Router先生成資源請求消息,依據(jù)廣度優(yōu)先遍歷算法搜索資源網(wǎng)內(nèi)的每一個(gè)R-Router,依次計(jì)算每個(gè)虛擬結(jié)點(diǎn)的渲染能力,渲染能力評價(jià)最高的結(jié)點(diǎn)即為此次任務(wù)的資源提供方。由于分布式虛擬集群渲染系統(tǒng)屬于特殊行業(yè)的企業(yè)聯(lián)盟,區(qū)別于通常意義上的P2P網(wǎng)絡(luò),資源搜索層的結(jié)點(diǎn)數(shù)量和規(guī)模是相對有限的,所以一般的廣度優(yōu)先遍歷算法已經(jīng)可以滿足系統(tǒng)要求,其關(guān)鍵是渲染資源的匹配和結(jié)點(diǎn)渲染能力的計(jì)算。3文創(chuàng)資源搜索效果分析筆者對分布式虛擬集群系統(tǒng)中的資源搜索算法進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)采用自己編寫的程序自動生成了100個(gè)虛擬結(jié)點(diǎn)以及相應(yīng)的渲染資源信息,系統(tǒng)每隔10分鐘對每個(gè)虛擬結(jié)點(diǎn)的可用CPU數(shù)目進(jìn)行一次擾動,每次擾動控制在30%以內(nèi)。實(shí)驗(yàn)分別對RRESA和FMSSA(首次匹配成功搜索算法(FirstMatchSuccessfulSearchArithmetic))進(jìn)行了比較,測試數(shù)據(jù)如下:從表1中可以看出FMSSA平均搜索的結(jié)點(diǎn)數(shù)僅為7.82個(gè),搜索時(shí)間比較少,效率較高。FMSSA首次搜索成功率為91.38%,但隨著時(shí)間的推移,由于分布式資源的不可確定性,10分鐘后搜索資源的有效率就下降了近8%,30分鐘后下降了27%。RRESA需要遍歷整個(gè)資源搜索層,搜索時(shí)間較多,效率并不高。RRESA的首次搜索成功率和FMSSA是一樣的,但隨著時(shí)間的推移,資源失效率很低,30分鐘后的資源有效率僅下降了5.64%。渲染資源有效率下降的速度過快會導(dǎo)致遠(yuǎn)程提交的渲染任務(wù)還未完成的情況下,由于資源提供方的渲染資源缺乏,以至無法滿足遠(yuǎn)程渲染任務(wù)的要求,從而出現(xiàn)二次資源請求,帶來分布式系統(tǒng)的抖動的整體效率