圖形并行繪制與多屏顯示技術(shù)

1、圖形并行繪制與多屏顯示技術(shù)繪制 對于真實感圖形繪制而言，指用數(shù)學(xué)模型模擬客觀世界中物體與可見光的相互作用生成真實感圖象的過程。對于非真實感圖形繪制而言，指用數(shù)學(xué)模型或算法生成具有藝術(shù)風(fēng)格的圖象的過程。 數(shù)學(xué)模型算法集合軟件包驅(qū)動程序硬件產(chǎn)生調(diào)用應(yīng)用圖形繪制的工業(yè)化過程圖形繪制的工業(yè)化過程高端應(yīng)用n需要高分辨率的場合，例如使用一個44的屏幕拼接實現(xiàn)4096 * 4096分辨率的大屏幕；n巨型幾何場景，如場景數(shù)據(jù)規(guī)模超過10M數(shù)量級以上的三角形面片n反走樣，例如33 走樣，計算量增加9倍之多n大紋理數(shù)據(jù)量，利用并行/分布圖形繪制可以滿足紋理數(shù)據(jù)過大的問題，例如地球數(shù)據(jù)模型等n科學(xué)計算領(lǐng)域，例如有限

2、元計算，計算量非常大，一般使用大規(guī)模并行計算或者大規(guī)模分布計算環(huán)境，希望能夠集中顯示高端應(yīng)用：超高分辨率科學(xué)計算可視化孤立系統(tǒng)性能的限制ncompute-limited：產(chǎn)生幾何數(shù)據(jù)的能力ngraphics-limited：圖形計算能力ninterface-limited：幾何指令發(fā)射能力nresolution-limited：顯示分辨率追求高性能繪制n利用某些CPU的SIMD擴(kuò)展指令集能使幾何變換速度提高2030nAGP總線規(guī)范n不斷進(jìn)步的ASIC硬件技術(shù)等n繪制流水線技術(shù)n多條流水線并行技術(shù)非并行手段并行手段經(jīng)典的繪制流水線ModelingTransformationsBackfaceCu

3、llingLightingCalculationsViewingTransformationClippingRasterizationZ-bufferCompare &StoreGeometry PhaseRasterization Phase多條流水線并行繪制及其分類方式預(yù)變換和分布圖元分布屏幕坐標(biāo)圖元圖像合成GRGRGRGGGGGRRRGRGRGRGSort-firstSort-middleSort-last 按照圖形對象的分布方式可分為sort-first、sort-middle、sort-last三種。Sort-first 輸出圖像被劃分為一些不相交的區(qū)域，如小矩形或連續(xù)的掃描

4、線，每條繪制流水線負(fù)責(zé)一個或多個區(qū)域 圖元在進(jìn)入流水線之前，先進(jìn)行必要的計算以確定其覆蓋的區(qū)域，這種計算被稱為“預(yù)變換” 通常方法為算出圖元在屏幕上的外包圍盒（bounding box）并進(jìn)行比較 一個圖元有可能覆蓋多個區(qū)域而進(jìn)入多條流水線 子圖像（subimage）拼接為最終圖像GGGG預(yù)變換和分布圖元RRRRSort-first優(yōu)缺點 各條流水線完整而獨立，且相對sort-middle和sort-last需要的通訊帶寬較小 有利于構(gòu)建集群式或異構(gòu)的并行繪制系統(tǒng)，如WireGL 預(yù)變換與部分幾何變換單元的計算重復(fù)，是一個不可避免的開銷 對負(fù)載平衡敏感Sort-middle 輸出圖像被劃分成一

5、系列區(qū)域，并由多個子圖像拼接而成 ,同sort-first 不同的是圖元不考慮視點關(guān)系、任意地（比如按輪轉(zhuǎn)序）進(jìn)入各個幾何變換單元 幾何變換之后，圖元被轉(zhuǎn)換成了2D屏幕座標(biāo)，再根據(jù)屏幕座標(biāo)被傳送到正確的光柵化單元GGRRGRGR分布屏幕圖元亂序進(jìn)入Sort-middle優(yōu)缺點 幾何轉(zhuǎn)換和光柵化一般總是由不同的處理單元來處理，sort-middle在G、R之間打斷流水線的方式是最“自然”的 直觀和常用，有利模塊化地實現(xiàn) G與R的兩兩之間都需通訊，隨著處理單元的數(shù)目增多，通訊開銷將呈幾何級數(shù)增長 對負(fù)載平衡敏感 Sort-last 圖元任意地進(jìn)入各條流水線，并獨立完成幾何變換和掃描轉(zhuǎn)換 一直計算到

6、光柵化的最后一步：可見性判斷（visibility） 每條流水線都產(chǎn)生了包含部分圖元的完整分辨率的象素（樣本） 在合成單元（compositing processor）進(jìn)行深度合成或alpha混合，輸出最終圖像 GGGGRRRR圖像深度合成亂序進(jìn)入Sort-last優(yōu)缺點 簡明 ，易于利用已有的系統(tǒng)模塊（尤其是硬件）實現(xiàn) 其性能不受圖元分布的影響，對負(fù)載平衡不敏感 圖像合成步驟易成為系統(tǒng)瓶頸 并行圖形繪制的三種實現(xiàn)方式n基于ASIC技術(shù)的硬件實現(xiàn)nsort-middle的InfiniteRealitynsort-last的Pixel-Flown基于并行計算機(jī)的實現(xiàn)n基于共享內(nèi)存并行機(jī)的sort

7、-last系統(tǒng)Parallel-Mesan基于分布式內(nèi)存消息傳遞并行機(jī)的sort-middle系統(tǒng)PGLn基于集群機(jī)的實現(xiàn)nsort-first的WireGLnsort-last的Sepiansort-first/sort-last混合型的AnyGLWireGLnSiggraph 2001 by Stanford University n解決了分布并行圖形系統(tǒng)系統(tǒng)關(guān)鍵問題：指令編碼傳輸和狀態(tài)跟蹤 n第一個基于sort-first體系結(jié)構(gòu)并且獨立于硬件平臺的圖形集群繪制系統(tǒng) n第一次對所有關(guān)鍵技術(shù)問題提出了完整、實際的解決方案 WireGL系統(tǒng)WireGL的后續(xù)：ChromiumnSiggrap

8、h 2002n明確地提出了“流處理” 的概念，圖形繪制過程被看作數(shù)據(jù)流在SPU（Stream Process Unit）間流動的過程 n各種類型SPU的連接組合可以生成各種結(jié)構(gòu)的并行繪制系統(tǒng) Chromium：繪制指令分布多屏幕拼接輸出的SPU組合 ApplicationTile sortChromium ServerRenderChromium ServerChromium ServerRenderChromium ServerRenderRender. . .應(yīng)用程序GNodeRNodeCNodeDNode應(yīng)用程序GNodeRNode應(yīng)用程序GNodeRNode應(yīng)用程序GNodeRNode

9、CNodeDNode網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)立即模式并行繪制系統(tǒng)AnyGL立即模式并行繪制系統(tǒng)AnyGLnAnyGL實現(xiàn)了大規(guī)?；旌戏植紙D形體系結(jié)構(gòu)，實現(xiàn)了sort-first與sort-last的混合分布圖形體系結(jié)構(gòu)，解決了分布圖形計算的可擴(kuò)展性問題，系統(tǒng)節(jié)點數(shù)目不受限制 nAnyGL實現(xiàn)了一個分布的虛擬并行圖形流水線，可劃分為四類邏輯節(jié)點：幾何數(shù)據(jù)分配節(jié)點，幾何圖形繪制節(jié)點，深度圖像合成節(jié)點和圖形顯示節(jié)點。AnyGL允許一個物理節(jié)點支持多個多種類型的邏輯節(jié)點，能夠利用SMP系統(tǒng)的多圖形加速卡實現(xiàn)并行計算。 并行圖形繪制方法分類的新思路:兩種API應(yīng)用程序應(yīng)用程序立即模式繪制器立即模式繪制器應(yīng)用程序應(yīng)用

10、程序保留模式繪制器保留模式繪制器進(jìn)程A進(jìn)程A進(jìn)程B進(jìn)程B(a) 立即模式API(b) 保留模式API模型數(shù)據(jù)模型數(shù)據(jù)并行圖形繪制方法分類的新思路：兩種并行繪制體系結(jié)構(gòu)進(jìn)程D進(jìn)程D進(jìn)程C進(jìn)程C應(yīng)用程序應(yīng)用程序立即模式繪制器立即模式繪制器應(yīng)用程序應(yīng)用程序保留模式繪制器保留模式繪制器進(jìn)程A進(jìn)程A進(jìn)程B進(jìn)程B局域網(wǎng)局域網(wǎng)(a) 立即模式并行繪制(b) 保留模式并行繪制模型數(shù)據(jù)模型數(shù)據(jù)并行圖形繪制方法分類的新思路n傳統(tǒng)上圖形繪制API分為立即模式和保留模式兩種 n立即模式系統(tǒng)數(shù)據(jù)存儲于客戶端，保留模式系統(tǒng)數(shù)據(jù)存儲于服務(wù)器端n并行繪制系統(tǒng)可分為立即模式并行繪制系統(tǒng)和保留模式并行繪制系統(tǒng) 客戶節(jié)點繪制節(jié)點幾

11、何數(shù)據(jù)歸屬判斷數(shù)據(jù)調(diào)整負(fù)載平衡顯示設(shè)備對象分布策略拼接輸出幾何數(shù)據(jù)幾何數(shù)據(jù)幾何數(shù)據(jù)繪制節(jié)點繪制節(jié)點繪制節(jié)點保留模式并行繪制系統(tǒng)的構(gòu)架保留模式系統(tǒng)的數(shù)據(jù)分布存儲立即模式并行繪制系統(tǒng)： 數(shù)據(jù)集中幾何指令分布，對網(wǎng)絡(luò)帶寬高度依賴，網(wǎng)絡(luò)帶寬和歸屬計算易成為系統(tǒng)瓶頸 數(shù)據(jù)都在客戶端，每繪制一幀，所有幾何數(shù)據(jù)就作為指令的參數(shù)分布到服務(wù)器上，服務(wù)器繪制完畢，即將數(shù)據(jù)丟棄，繪制下一幀時重復(fù)同樣的過程 結(jié)構(gòu)缺乏彈性，無法有效利用圖形應(yīng)用程序的幀間相似性 對策n交互式圖形應(yīng)用程序普遍存在幀間相似性（frame-to-frame coherence），完全突兀的幀是少的，理論上兩幀之間只需進(jìn)行少量的數(shù)據(jù)調(diào)整 n保留

12、模式系統(tǒng)中幾何數(shù)據(jù)分布于繪制節(jié)點n只要能實現(xiàn)一種數(shù)據(jù)分布幀間調(diào)整的系統(tǒng)構(gòu)架，就可能降低網(wǎng)絡(luò)數(shù)據(jù)流量，避免帶寬瓶頸系統(tǒng)流程n客戶端讀入幾何數(shù)據(jù)集G，對G進(jìn)行剖分并構(gòu)造Cell結(jié)構(gòu) n在繪制第一幀之前，客戶端以Cell為單位作歸屬判斷，并根據(jù)歸屬關(guān)系將Cells分布到各個繪制節(jié)點 n繪制第一幀 n如用戶改變視角，客戶端計算新的幾何變換矩陣并發(fā)指令到各個繪制節(jié)點，不重發(fā)G 5.繪制節(jié)點根據(jù)新的變換矩陣對本機(jī)所擁有的圖元作歸屬判斷。若某一圖元歸屬于另一繪制節(jié)點，則將此圖元發(fā)送到該繪制節(jié)點。若某一圖元不再歸屬于本繪制節(jié)點，則將其刪除。多個繪制節(jié)點之間發(fā)送和接收圖元的過程稱為調(diào)整（adjust）。調(diào)整之后

13、，每個繪制節(jié)點都擁有且只擁有歸屬于它的圖元 6.繪制新的幀 ApplicationAFServerAFServerAFServerAFServerAF ProtocolAF ClientAPI callingimage outputAF Protocol communication原型系統(tǒng)結(jié)構(gòu)多機(jī)加速和調(diào)整率調(diào)整率c：通過網(wǎng)絡(luò)的數(shù)據(jù)量和全部數(shù)據(jù)量之比保留模式并行繪制系統(tǒng)受控的歸屬判斷n立即模式并行繪制通過傳送幾何指令包分布繪制任務(wù)n由于立即模式并行繪制系統(tǒng)不擁有數(shù)據(jù)，幾何數(shù)據(jù)發(fā)射的順序完全由應(yīng)用程序決定，而后者的行為是不可預(yù)測的n如果應(yīng)用程序發(fā)射的幾何數(shù)據(jù)在空間排列上是混亂的，可能使外包圍盒過

14、大，導(dǎo)致不必要的傳輸和繪制開銷 123456123465(a) 理想情況(b) 不利情況對策n保留摸索并行繪制系統(tǒng)擁有特殊的優(yōu)勢：對數(shù)據(jù)的控制能力n對模型數(shù)據(jù)進(jìn)行預(yù)處理，對模型進(jìn)行剖分，生成緊湊的外包圍盒n按合理的順序發(fā)射數(shù)據(jù)n可降低圖元歸屬于多個繪制服務(wù)器的概率。 Dragon模型的box剖分Ball：比Box更進(jìn)一步nBall = (Pcenter, R, Geometry) nPcenter為中心點，R為半徑，Geometry為Ball內(nèi)的幾何圖元數(shù)據(jù) n一個Ball包含了空間上相近的一組幾何元素 n與立方體外包圍盒相比，Ball定義了一個球，能更快的進(jìn)行歸屬判斷 Dragon模型的ba

15、ll剖分負(fù)載不平衡的情況實用有效的并行繪制負(fù)載平衡算法負(fù)載平衡的情況實用有效的并行繪制負(fù)載平衡算法靜態(tài)并行繪制負(fù)載平衡算法1111222233334444問題n屏幕配置一旦完成，系統(tǒng)就處于被動等待的狀態(tài) n依據(jù)“圖元更易出現(xiàn)在屏幕中央”這一統(tǒng)計規(guī)律，因此其有效性也是統(tǒng)計意義上的 n針對具體的圖形應(yīng)用的適應(yīng)性差，不能滿足高性能圖形并行繪制的需要 動態(tài)并行繪制負(fù)載平衡算法1234567812345678（b） Whelan算法(c)Whitman算法125(d)MADH算法346784241234(a) Roble 算法13動態(tài)方法特點 利用所有圖元的頂點位置、幾何變換矩陣等幾何數(shù)據(jù)作為輸入計算負(fù)

16、載平衡狀態(tài)最佳的屏幕剖分，因此可以將統(tǒng)稱為“基于幾何數(shù)據(jù)分析”的方法。這些方法能根據(jù)應(yīng)用程序的實際行為動態(tài)調(diào)整繪制負(fù)載的分配，具有較高的智能性。 基于幾何數(shù)據(jù)分析的動態(tài)方法的不足 n負(fù)載估算的精確度不足 n計算開銷過大 n實施難度較大 基于時空轉(zhuǎn)換的并行繪制負(fù)載平衡算法的原理1s2s3s(a)(b)(c)基于時空轉(zhuǎn)換的并行繪制負(fù)載平衡算法的原理 n以繪制服務(wù)器的工作時間作為其負(fù)載的度量n通過適當(dāng)?shù)乃惴▽r間值轉(zhuǎn)換為空間值n空間值控制對繪制服務(wù)器的任務(wù)分配n放棄了龐大的幾何數(shù)據(jù)n一種相對 “輕量”的算法 流程n客戶端發(fā)送幾何變換矩陣和屏幕區(qū)域Aik到繪制節(jié)點Si，啟動第k幀繪制，并通知負(fù)載平衡模

17、塊；nSi完成Aik像素的繪制，通知客戶端；n客戶端主程序通知負(fù)載平衡模塊，后者記錄繪制時間tik；n所有Si繪制結(jié)束，拼接圖像并輸出；n負(fù)載平衡模塊進(jìn)行計算，得出屏幕剖分方式Aik+1，用做下一幀繪制任務(wù)分配。 (a)(b)(c)(d)32145678t1wihit2t3t4t5t6t7t8屏幕剖分的三種方式校區(qū)漫游程序?qū)嶋H效果橫軸為繪制幀數(shù)，縱軸為時間（秒），藍(lán)線不使用負(fù)載平衡控制（固定分割屏幕），紅線使用負(fù)載平衡控制。 橫軸為繪制幀數(shù)，縱軸為最短繪制時間和最長繪制時間之比，藍(lán)線不使用負(fù)載平衡控制（固定分割屏幕），紅線使用負(fù)載平衡控制 實用的多屏并行繪制系統(tǒng)MSPRn保留模式的分布并行繪制系統(tǒng) n類OpenGL的保留模式編程APIn對應(yīng)用程序透明的圖形對象分布策略，包括圖形對象定義、刪除、遠(yuǎn)程調(diào)用、繪制同步等機(jī)制n多屏高分