基于wccs技術(shù)的動(dòng)漫染料庫構(gòu)建

基于wccs技術(shù)的動(dòng)漫染料庫構(gòu)建

1當(dāng)前c夸張應(yīng)用1.1mputingghsic算法近年來，日本是最迷人的朝陽市業(yè)之一。目前最為流行的三維動(dòng)畫設(shè)計(jì)是依賴CG(ComputingGraphic)技術(shù)通過電腦強(qiáng)大的運(yùn)算能力來模擬現(xiàn)實(shí),建模、效果和渲染是制造三維動(dòng)畫的基本步驟。其中,建模是設(shè)計(jì)人員按照要求設(shè)計(jì)場景擺放物體;效果是給場景加上燈光、攝像機(jī)、材質(zhì)和貼圖等;渲染是用渲染器把場景文件轉(zhuǎn)化成圖像文件。1.2普通pc機(jī)染化工程中的i/o問題渲染是CG制作的最后一步,也是最耗費(fèi)資源的一步。渲染的過程其實(shí)就是一個(gè)三維圖像處理工程,需要進(jìn)行大量的浮點(diǎn)運(yùn)算和整數(shù)運(yùn)算,用普通PC機(jī)渲染所需時(shí)間往往讓人難以忍受。其次,必須考慮解決渲染過程中的I/O瓶頸問題。隨著設(shè)計(jì)人員對(duì)場景設(shè)置的復(fù)雜化加劇,文件和素材庫也不斷增大。龐大的數(shù)據(jù)處理使得32位的架構(gòu)在計(jì)算和數(shù)據(jù)處理上成為瓶頸。另外,市場上存在著很多三維制圖軟件,他們各自針對(duì)不同的領(lǐng)域,支持不同的渲染器,如何簡單有效地整合種類繁多的渲染器也成為了影響CG發(fā)展的瓶頸之一。1.3多節(jié)點(diǎn)集群系統(tǒng)目前,渲染主要分兩個(gè)方向發(fā)展:①通過增強(qiáng)單機(jī)配置來提高渲染能力,這種能力的提升是很有限的,性價(jià)比并不高;②組合多臺(tái)計(jì)算機(jī)同時(shí)對(duì)同一任務(wù)進(jìn)行渲染,即渲染集群,也叫渲染農(nóng)場。由于渲染在做并行計(jì)算時(shí),不用交互很多信息,同時(shí)多節(jié)點(diǎn)集群系統(tǒng)可以通過分組方式,解決多渲染器問題。所以,目前解決渲染瓶頸的最好方法是渲染農(nóng)場模式:使用多臺(tái)計(jì)算機(jī)分擔(dān)渲染任務(wù),渲染管理軟件負(fù)責(zé)管理多臺(tái)使用網(wǎng)絡(luò)設(shè)備連接的裝有渲染器的計(jì)算機(jī),并監(jiān)控渲染任務(wù)。集群渲染系統(tǒng)通過集群強(qiáng)大的數(shù)據(jù)處理能力,大大提高了工作效率。渲染農(nóng)場的渲染能力的強(qiáng)弱和集群中的計(jì)算機(jī)軟硬件配置都有關(guān)系,本文通過對(duì)WCCS操作系統(tǒng)的深入研究,選擇在WCCS上部署渲染農(nóng)場,并自主開發(fā)了一套渲染管理軟件來適應(yīng)渲染的現(xiàn)實(shí)需求。2wccs的特點(diǎn)WCCS(WindowsComputeClusterServer2003)是集x64計(jì)算機(jī)的巨大威力、AD(ActiveDirectory)的易用性與安全性于一身的Windows集群操作系統(tǒng)。它使用標(biāo)準(zhǔn)的Windows部署技術(shù),可輕松快捷地部署WindowsComputeClusterServer2003,通過插入和連接集群,可在計(jì)算集群中自動(dòng)添加計(jì)算節(jié)點(diǎn)。Microsoft消息傳遞接口(MSMPI)實(shí)現(xiàn)與參考MPICH2完全兼容,并在所有作業(yè)上實(shí)現(xiàn)了端到端的安全性。與ActiveDirectory的集成為管理和用戶提供了基于角色的安全性。針對(duì)渲染農(nóng)場的具體應(yīng)用,WCCS的特點(diǎn)如下:1)兼容性和易用性?；旧纤械匿秩酒鞫继峁￤indows版本,而且使用WCCS部署機(jī)群也相當(dāng)簡單方便,類似應(yīng)用軟件的安裝體驗(yàn),極大地降低了部署的門檻。2)純64位操作系統(tǒng)?？紤]到渲染器發(fā)展的I/O瓶頸,64位計(jì)算機(jī)無疑是最好的選擇,WCCS就是基于WindowsServer2003Standardx64Edition開發(fā)的。3)豐富的管理命令和應(yīng)用接口函數(shù)。可以方便地獲取整個(gè)渲染集群中每個(gè)節(jié)點(diǎn)的軟硬件信息,渲染管理軟件能夠利用這些信息,控制和管理集群中的渲染節(jié)點(diǎn)和調(diào)度渲染作業(yè)。4)安全性。WCCS與AD集成,可使集群管理員及用戶根據(jù)他們的用戶角色輕松管理和使用渲染集群。5)負(fù)載平衡功能。WCCS帶有負(fù)載平衡功能,能夠根據(jù)節(jié)點(diǎn)的動(dòng)態(tài)負(fù)載,自動(dòng)調(diào)整任務(wù)分配。3夸大農(nóng)場建設(shè)3.1本地客戶端的網(wǎng)絡(luò)設(shè)計(jì)整個(gè)渲染系統(tǒng)有兩種工作模式:遠(yuǎn)程運(yùn)行模式和本地運(yùn)行模式。遠(yuǎn)程工作模式是在本地模式的基礎(chǔ)上,用戶通過Internet將渲染作業(yè)提交到本地,完成渲染后再通過Internet得到渲染結(jié)果。在此只討論本地運(yùn)行模式。本地運(yùn)行模式包含三類計(jì)算機(jī):本地客戶端,集群管理節(jié)點(diǎn)(主節(jié)點(diǎn))機(jī)和渲染節(jié)點(diǎn)機(jī)。另外還包括三條網(wǎng)絡(luò):外部網(wǎng)絡(luò),計(jì)算網(wǎng)絡(luò),管理網(wǎng)絡(luò)。一個(gè)標(biāo)準(zhǔn)渲染農(nóng)場的硬件結(jié)構(gòu)如圖1所示。本地客戶端首先通過外部網(wǎng)絡(luò)提交渲染作業(yè)到管理節(jié)點(diǎn),管理節(jié)點(diǎn)把渲染作業(yè)劃分為多個(gè)任務(wù),然后根據(jù)計(jì)算節(jié)點(diǎn)的負(fù)載把這些任務(wù)通過渲染網(wǎng)絡(luò)分配給下屬渲染節(jié)點(diǎn),下屬計(jì)算節(jié)點(diǎn)由WCCS實(shí)現(xiàn)自動(dòng)的負(fù)載平衡功能。當(dāng)渲染節(jié)點(diǎn)渲染好所分配的任務(wù)后,再次通過渲染網(wǎng)絡(luò)把渲染好的圖片提交給管理節(jié)點(diǎn),如果用戶要使用這些圖片,可以通過外部網(wǎng)絡(luò)把圖片傳回至本地客戶端。當(dāng)然本地客戶端還應(yīng)具備通過外部網(wǎng)絡(luò)來獲得有關(guān)渲染集群和提交作業(yè)的詳細(xì)信息,以及監(jiān)控每個(gè)作業(yè)工作狀態(tài)的功能。由于渲染農(nóng)場需要存儲(chǔ)大量的用戶場景數(shù)據(jù)和輸出結(jié)果,數(shù)據(jù)存儲(chǔ)系統(tǒng)需要選擇具有較高傳輸速度、大容量和易擴(kuò)展的系統(tǒng)。一般可以選擇磁盤陣列(基于SATA串行接口)、NAS(NetworkAttachedStorage)或SATABeast企業(yè)級(jí)磁盤庫。嚴(yán)格地說本地客戶端不屬于渲染集群,因?yàn)樗粎⑴c集群計(jì)算。還要注意的是由于在渲染集群執(zhí)行渲染任務(wù)時(shí),各計(jì)算機(jī)之間的通信量并不大,所以大多數(shù)時(shí)候可以把渲染網(wǎng)絡(luò)和管理網(wǎng)絡(luò)合并成一個(gè)網(wǎng)絡(luò),使它同時(shí)傳遞管理和渲染信息。3.2管理節(jié)點(diǎn)及功能一般情況下,在WCCS集群節(jié)點(diǎn)上安裝CCP(ComputeClusterPack)后,可以直接利用WCCS集群提供的客戶端,進(jìn)行簡單渲染任務(wù)提交和監(jiān)視工作,WCCS自帶客戶端管理軟件只提供基本的任務(wù)和集群信息。使用WCCS提供的WMI模塊和CCP-API接口函數(shù)編寫了針對(duì)渲染的客戶端,它可以提供更為豐富的信息,并與渲染節(jié)點(diǎn)的服務(wù)器端相連,可以控制渲染任務(wù)的工作,監(jiān)測渲染節(jié)點(diǎn)的健康狀況等。渲染農(nóng)場的軟件框架圖如圖2所示。根據(jù)需要,管理節(jié)點(diǎn)主要包括以下4種功能:1)軟硬件信息查詢。查詢集群中任意一臺(tái)計(jì)算機(jī)的硬件健康和軟件運(yùn)行情況,主要包括計(jì)算機(jī)的CPU利用情況、內(nèi)存利用情況、本機(jī)所有進(jìn)程情況和網(wǎng)絡(luò)情況。2)提交任務(wù)。完成渲染任務(wù)的提交,把所有渲染器命令整合成統(tǒng)一的形式,按統(tǒng)一格式提交不同的任務(wù)給不同的渲染器。3)任務(wù)列表。對(duì)于提交到集群的渲染任務(wù)進(jìn)行列表顯示,包括任務(wù)完成進(jìn)度、執(zhí)行狀態(tài)、所設(shè)置的優(yōu)先級(jí)等,并提供任務(wù)的詳細(xì)列表查詢功能。4)管理命令。給渲染集群發(fā)送簡單的命令,包括集群節(jié)點(diǎn)的開啟、關(guān)閉、節(jié)點(diǎn)機(jī)的添加刪除及對(duì)文件的操作等。以上4組功能基本能滿足渲染集群正常工作的要求。另外提供渲染日志文件。日志文件對(duì)于客戶進(jìn)一步修改完善所提交作業(yè),對(duì)管理員分析渲染過程所發(fā)生錯(cuò)誤的原因都有著極其重要的作用。從以上功能分析可見最核心部分為各節(jié)點(diǎn)的信息查詢和管理命令發(fā)布,本軟件主要是運(yùn)用WCCS提供的WMI(WindowsManagementInstrumentation)模塊實(shí)現(xiàn)。WMI建立一個(gè)到目標(biāo)計(jì)算機(jī)上的Windows管理服務(wù)的連接,把命令傳給目標(biāo)機(jī),目標(biāo)機(jī)WMI執(zhí)行完后返回?cái)?shù)據(jù)或結(jié)果。在此只用到4個(gè)類:ConnectionOptions類為WMI連接目標(biāo)機(jī)提供所需的設(shè)置;ObjectQuery類或其派生類用于在ManagementObjectSearcher中指定查詢;ManagementObjectSearcher主要是根據(jù)指定的查詢檢索WMI對(duì)象的集合;ManagementObject類為單個(gè)管理對(duì)象或類。圖3是軟件工作流程圖。4染整過程中的效率分析測試渲染集群由6個(gè)渲染節(jié)點(diǎn)和1個(gè)渲染管理節(jié)點(diǎn)組成,渲染器采用mentalraystandalone。為了對(duì)比效果,測試還利用單臺(tái)機(jī)器對(duì)相同的場景文件進(jìn)行渲染,節(jié)點(diǎn)配置和結(jié)果對(duì)照見表1。由表1可知,使用集群渲染,并沒有對(duì)圖像質(zhì)量造成影響,但渲染時(shí)間大大減小,因?yàn)樗?個(gè)渲染節(jié)點(diǎn)完成了原來一臺(tái)計(jì)算機(jī)要完成的所有任務(wù)。通過減少計(jì)算節(jié)點(diǎn)來尋找渲染時(shí)間和CPU數(shù)量之間的關(guān)系。如圖4所示,渲染時(shí)間和CPU的數(shù)量(以1臺(tái)計(jì)算機(jī)所用的時(shí)間來度量,假設(shè)1臺(tái)計(jì)算機(jī)所用時(shí)間為100%)并非成線性反比關(guān)系。當(dāng)CPU達(dá)到一定數(shù)量后,系統(tǒng)計(jì)算效率的提高越來越慢。如圖5所示,對(duì)于相同的任務(wù),在相同的硬件配置,相同的渲染器條件下,使用WCCS的渲染集群