基于多攝像機(jī)視角插值的足球競(jìng)賽虛擬視角回放

1、基于多攝像機(jī)視角插值的足球比賽虛擬視角回放摘要：本文提出一種新穎的方法來(lái)合成虛擬視角,通過(guò)在一個(gè)體育場(chǎng)安裝多個(gè)攝像頭進(jìn)行采集圖像，使得觀眾可以觀看整個(gè)真實(shí)的足球場(chǎng)景。本文所提出的方法，是通過(guò)被選的視角旁的實(shí)際攝像機(jī)查看插值，從而生成任意視角的圖像。在這種方法中，不需要太強(qiáng)調(diào)相機(jī)的校準(zhǔn)，因?yàn)槲覀儗z像機(jī)投影幾何學(xué)運(yùn)用于插值覆蓋。為了避免復(fù)雜和不可靠的3D恢復(fù)過(guò)程，根據(jù)場(chǎng)景的幾何屬性，對(duì)象場(chǎng)景被分割成幾個(gè)區(qū)域。考慮到真實(shí)視角之間存在對(duì)應(yīng)關(guān)系，因此生成中間視角十分有必要，這個(gè)過(guò)程是將投影幾何學(xué)運(yùn)用到每個(gè)區(qū)域自動(dòng)生成的。通過(guò)疊加所有區(qū)域的中間圖像，可以生成整個(gè)足球場(chǎng)景的虛擬視角。該方法可以不必強(qiáng)調(diào)校準(zhǔn)

2、攝像機(jī)，也不需要手動(dòng)調(diào)整使其對(duì)應(yīng)匹配。因此，可以很容易地將該方法應(yīng)用到在一個(gè)大范圍的動(dòng)態(tài)事件。其中一種應(yīng)用就是，通過(guò)視角合成的算法處理實(shí)驗(yàn)結(jié)果來(lái)觀察一場(chǎng)正常足球比賽的回放。這為通過(guò)任意一個(gè)視角查看整個(gè)動(dòng)態(tài)事件提供了一種新方法。關(guān)鍵詞：動(dòng)態(tài)事件多相機(jī)投影幾何足球比賽視覺(jué)插值虛擬視角合成1引言信息和通信技術(shù)的發(fā)展使我們能夠欣賞來(lái)自世界各地的體育和娛樂(lè)活動(dòng)，除了轉(zhuǎn)播事件外，現(xiàn)今的電視廣播也提供了多種視覺(jué)效果的娛樂(lè)。舉個(gè)與這些影響相關(guān)的例子，視覺(jué)系統(tǒng)被CBS用于直播第三十五屆超級(jí)碗。在這個(gè)系統(tǒng)中，使用超過(guò)30個(gè)攝像頭采集多個(gè)視頻流。然后，用不同視角的視頻圖像序列來(lái)創(chuàng)建一個(gè)3D的視覺(jué)效果，使得視角在某一

3、暫時(shí)固定的時(shí)刻可以圍繞在對(duì)象事件周?chē)Ｔ撓到y(tǒng)采用簡(jiǎn)單的視頻圖像切換的視覺(jué)效果，并且計(jì)算機(jī)基礎(chǔ)視覺(jué)技術(shù)可以提供更具吸引力的視覺(jué)效果，如合成任意視角圖像的虛擬視角。虛擬現(xiàn)實(shí)1，這是一個(gè)開(kāi)創(chuàng)性的項(xiàng)目。在這一領(lǐng)域，要實(shí)現(xiàn)這樣的虛擬運(yùn)動(dòng)的動(dòng)態(tài)場(chǎng)景，需要利用計(jì)算機(jī)視覺(jué)技術(shù)，從多個(gè)視角重建目標(biāo)場(chǎng)景中對(duì)象的三維模型，隨后，將真實(shí)圖像中的色彩用于合成3D模型的紋理；并且使用傳統(tǒng)的渲染技術(shù)，將會(huì)生成帶有顏色紋理3D模型視覺(jué)圖像。在一個(gè)大的空間中，為動(dòng)態(tài)事件提供視覺(jué)效果的技術(shù)最近已被提出2、網(wǎng)，它們使球員能夠從球員周?chē)囊暯遣榭茨硞€(gè)特定領(lǐng)域的球員。在2中，三維物體的形狀由一組平面描述，以便有效地合成物體的一種新的視

4、角。在3,一個(gè)特殊的3D坐標(biāo)系統(tǒng)，建立在相機(jī)的極線幾何，用于無(wú)需攝像機(jī)標(biāo)定的3D模型的重建。在這些方法中，目標(biāo)區(qū)域是在一個(gè)大的空間，其中一些球員存在某一局部區(qū)域。另外，在足球比賽中的任意視角運(yùn)動(dòng)的方法已被提出4o在這種方法中，球員所代表的簡(jiǎn)化3D模型，重建使用多個(gè)視角，然后虛擬視角圖像的球員被呈現(xiàn)在一個(gè)虛擬的體育場(chǎng)。雖然觀眾可以從任意的角度來(lái)觀看整個(gè)足球場(chǎng)景，但所呈現(xiàn)的體育場(chǎng)并不是一個(gè)真正的體育場(chǎng)，而是一個(gè)計(jì)算機(jī)生成的虛擬模型。我們的目標(biāo)是實(shí)現(xiàn)對(duì)于一整個(gè)體育場(chǎng)的實(shí)際體育賽事的虛擬視角合成。整個(gè)場(chǎng)景，包括球員、球場(chǎng)和體育場(chǎng)都是一個(gè)重建的目標(biāo)，即對(duì)象面積大于以前的方法中描述的1、3。止匕外，在虛擬

5、視角中體育場(chǎng)也應(yīng)該使用采集的場(chǎng)景合成，而不是計(jì)算機(jī)生成的模型。在本文中，對(duì)整個(gè)足球的場(chǎng)景的虛擬視角生成，我們提出了一種新奇的方法，在真實(shí)的球場(chǎng)使用多個(gè)未校準(zhǔn)相機(jī)。如果不使用3D模型，只有相鄰相機(jī)之間的投影幾何是用來(lái)合成新的視角圖像5-7。視覺(jué)插值8可以通過(guò)實(shí)際的攝像頭來(lái)從任何中間的視角重建整個(gè)足球場(chǎng)景。首先，相鄰的相機(jī)之間的射影幾何從圖像序列獲得。通過(guò)疊加所有區(qū)域的中間圖像，虛擬視角中整個(gè)足球場(chǎng)景的整體外觀可以更加容易地以一種逼真的方式合成呈現(xiàn)。止匕外，我們引入了“看足球比賽錄像點(diǎn)播系統(tǒng)”?，F(xiàn)有的電視廣播只提供預(yù)先制作的內(nèi)容，在生產(chǎn)中手動(dòng)選擇視頻攝像機(jī)轉(zhuǎn)播體育賽事，這本質(zhì)上是單向通信。另一方面

6、，互聯(lián)網(wǎng)有利于廣播電臺(tái)和觀眾之間的互動(dòng)交流，內(nèi)容可以根據(jù)觀眾的需求進(jìn)行交互修改。如果觀眾可以選擇自己喜歡的視角，他們將從觀看這些激動(dòng)人心的場(chǎng)面中獲得極大的樂(lè)趣。我們證明了需求系統(tǒng)的視角可以作為互動(dòng)通信媒體的一個(gè)例子。使用所提出的系統(tǒng)，用戶可以在觀看比賽的同時(shí)，自由選擇自己的首選視角。他們可以專(zhuān)注于一個(gè)特定的球員在特寫(xiě)鏡頭或可以使用變焦虛擬相機(jī)跟蹤球運(yùn)動(dòng)。本文的結(jié)構(gòu)如下，在第二節(jié)中，相關(guān)工作的虛擬視角合成，在三種方法中引入了代表性方法。概述所提出的方法是在第三節(jié)。第四節(jié)解釋了如何評(píng)估投影幾何用于視角插值。隨后，在第五節(jié)提出將視覺(jué)插值技術(shù)運(yùn)用于大型活動(dòng)的整個(gè)場(chǎng)景。第六節(jié)展示實(shí)驗(yàn)結(jié)果，然后在第七節(jié)提

7、出關(guān)于需求系統(tǒng)的觀點(diǎn)。在第八節(jié)提出的討論之后，我們最終在第九節(jié)中總結(jié)了我們的工作。2相關(guān)工作在計(jì)算機(jī)視覺(jué)領(lǐng)域，從一些實(shí)際相機(jī)圖像合成的虛擬視角圖像的技術(shù)自20世紀(jì)90年代就已經(jīng)開(kāi)始研究9-11。這些技術(shù)，稱為基于圖像的繪制（舊R）,可以分為三類(lèi)，基于模型的方法、基于轉(zhuǎn)換的方法、和采用全光函數(shù)的方法。通過(guò)使用基于模型的方法，它是能夠構(gòu)建3D模型的對(duì)象，以生成所需的視角。如前文所述，美國(guó)的虛擬現(xiàn)實(shí)1項(xiàng)目，例如電影中采用在任意視角合成以及重建帶有彩色紋理的三維模型等。惠勒等12提出了一種利用多視角圖像進(jìn)行三維重建的方法。由這些方法生成的虛擬視角圖像的質(zhì)量取決于3D模型的準(zhǔn)確性。對(duì)象周?chē)拇罅繑z像機(jī)或

8、范圍內(nèi)的掃描儀被用來(lái)構(gòu)建一個(gè)精確的模型。此外，攝像機(jī)標(biāo)定13通常需要將圖像中的二維坐標(biāo)與物體空間中相應(yīng)的三維坐標(biāo)相關(guān)聯(lián)。由于它是必不可少的測(cè)量對(duì)象空間中的幾個(gè)點(diǎn)的3D的位置，變準(zhǔn)變得困難，特別是在一個(gè)大的空間。由于這些原因，這種方法的對(duì)象區(qū)域一般僅限于幾立方米。另一方面，通過(guò)使用基于傳輸?shù)姆椒?，它是能夠合成任意的視角圖像沒(méi)有一個(gè)明確的3D模型。塞茨和戴爾14使用變形技術(shù)15合成靜態(tài)場(chǎng)景之間的一對(duì)圖像的新觀點(diǎn)。陳和威廉姆斯8也提出了一種方法，在中間變量的中間視角的變形率的方法。Avidan和Shashua16采用三焦張量圖像傳輸。在這些方法中，密集的原始圖像之間的對(duì)應(yīng)關(guān)系，需要產(chǎn)生中間視角，對(duì)應(yīng)

9、的往往是根產(chǎn)生的手動(dòng)或通過(guò)光流；因此，目標(biāo)幾乎都是靜態(tài)圖像或稍有不同的圖像，如面部表情。最近，Manning和Dyer已經(jīng)擴(kuò)展視角變形14剛性物體的平移，即動(dòng)態(tài)視角變形17。Wexler和Shashua提出了一種方法，讓運(yùn)動(dòng)物體從三個(gè)視角沿著直線路徑來(lái)變換動(dòng)態(tài)視角18。而以上兩種方法只涉及轉(zhuǎn)換過(guò)程，肖等人已經(jīng)把變形技術(shù)擴(kuò)展到旋轉(zhuǎn)的情況下，并將其應(yīng)用于非剛性物體的復(fù)雜運(yùn)動(dòng)19o所有這些方法計(jì)算的運(yùn)動(dòng)參數(shù)的對(duì)象，以插值的移動(dòng)物體的外觀。將這些方法應(yīng)用到包含復(fù)雜運(yùn)動(dòng)（例如體育比賽）的多個(gè)物體的場(chǎng)景中是不實(shí)際的。至于采用全視函數(shù)，它描述了所有的輻射能量，通過(guò)在空間和時(shí)間中的任何點(diǎn)的觀察員認(rèn)為，這可能是

10、從一組樣本圖像創(chuàng)建新視角o這允許用戶任意平移和傾斜的虛擬攝像頭，并交互地探索他/她的環(huán)境。在其最一般的形式，全視函數(shù)是一種七維函數(shù)。由于它的高維性，數(shù)據(jù)壓縮或壓縮的全視函數(shù)是必不可少的。最近，Shum人22提出了一種新的基于圖像的繪制技術(shù)稱為同心馬賽克虛擬現(xiàn)實(shí)應(yīng)用。他們提出的3D全視函數(shù)和同心馬賽克的壓縮算法。這種方法提供了更好的圖像質(zhì)量和較低的計(jì)算需求渲染比基于模型的方法。然而,它是不適合大型事件，因?yàn)樗遣豢赡艿拿枋鏊械妮椛淠芰俊Ｔ谙嚓P(guān)的方法，康納等提出了一種利用分層表示方法實(shí)現(xiàn)對(duì)圖像之間動(dòng)態(tài)合成的方法23o前景對(duì)象被表示為具有一個(gè)背景的多個(gè)層。隨后，通過(guò)估計(jì)的分層模型的參數(shù)，生成新的視

11、角圖像。在該方法中，在初始幀中的相應(yīng)區(qū)域的近似選擇是必要的層表示。層的數(shù)目不隨時(shí)間變化，因此，它不能被施加到一個(gè)長(zhǎng)的圖像序列。另一方面，通過(guò)應(yīng)用所提出的方法，我們可以自動(dòng)合成的動(dòng)態(tài)區(qū)域的虛擬視角圖像，并表示在每個(gè)幀中的整個(gè)足球場(chǎng)景。我們將方法應(yīng)用于長(zhǎng)達(dá)幾分鐘的圖像序列。止匕外，本文采用的視角為內(nèi)插三視角。3方法概述圖像的任意視角由實(shí)時(shí)攝像機(jī)圖像之間的視覺(jué)插值所產(chǎn)生。由多個(gè)攝像機(jī)選擇由用戶選擇的虛擬視角附近的兩個(gè)或三個(gè)攝像機(jī)。虛擬視角圖像是通過(guò)性選擇的相機(jī)之間的響應(yīng)。由于我們的目標(biāo)是在一個(gè)大的空間中的動(dòng)態(tài)事件，我們的對(duì)象場(chǎng)景分割成動(dòng)態(tài)區(qū)域和靜態(tài)區(qū)域，然后在每個(gè)區(qū)域獨(dú)立執(zhí)行視角插值Mutirpic

12、: VjcwiEtliniffltMMi ofPim用I mm”IEhckipvi1md SubfradieinBionnzBfi-Dffi, Lji*h“ SiJhMj#lfte MMehinf%w SyntbeHt forjFidbrVmw專(zhuān)戶i雜IbrLabeled Ln.esiMjErwdaair lisiges cFEM翼tff柚田_LnJrrni&fiale linages oFfnwinfrK/umPkudM皿bi.*Me邙hiD&HlEtlln1g1311向出版口|45麗城閾皿了、CmociM業(yè)Imi初4門(mén)SaporimpaqiiMiiCTlrffig-fnailiaEcEni

13、Ite04-圖1處理方法圖1描述了所提出的方法的概述。我們的做法如下：首先，多個(gè)視角之間的投影幾何，這是基本的單應(yīng)矩陣矩陣24和24,被用于估計(jì)選擇某一幀的圖像序列。足球場(chǎng)景通過(guò)背景減法分為動(dòng)態(tài)和靜態(tài)區(qū)域進(jìn)行視角插值。根據(jù)足球場(chǎng)景的屬性，靜態(tài)區(qū)域也可以被劃分成幾個(gè)平面區(qū)域。一個(gè)是背景區(qū)域，它可以近似為一個(gè)無(wú)限遠(yuǎn)的平面。其他的區(qū)域，如地平面和目標(biāo)，它可以近似為一組平面。中間的圖像是通過(guò)每個(gè)平面區(qū)域?qū)?yīng)變換合成。由于背景區(qū)域和字段區(qū)域被認(rèn)為是穩(wěn)定的，它們可以通過(guò)人工檢測(cè)，并且虛擬視覺(jué)圖像可以預(yù)先通過(guò)一個(gè)中間視角生成。雖然可能無(wú)法采集所有的觀眾的動(dòng)作，我們并不認(rèn)為這是一個(gè)問(wèn)題，因?yàn)橛^眾的運(yùn)動(dòng)不是必要

14、的足球場(chǎng)景表示。如果拍攝的場(chǎng)景光線變化，背景圖像可以由每一光照條件下采集的序列產(chǎn)生，這在第V-B章節(jié)有解釋。至于動(dòng)態(tài)區(qū)域，視角插值在每一幀都是必要的，因?yàn)橐粋€(gè)物體的形狀或位置是隨時(shí)間變化的。然而,我們的方法，結(jié)合在線和脫機(jī)流程為了有效地渲染場(chǎng)景。在脫機(jī)過(guò)程中，每名球員區(qū)域分割和自動(dòng)標(biāo)記。標(biāo)記區(qū)域相同的球員在相鄰的視角中通過(guò)對(duì)應(yīng)變換通信。在線過(guò)程，應(yīng)用基本矩陣獲得稠密對(duì)應(yīng)每一個(gè)標(biāo)記的區(qū)域以及球形區(qū)域。變形技術(shù)通過(guò)參考攝像機(jī)圖像生成中間視角圖像。如果捕獲的場(chǎng)景中球員和球有陰影，中間圖像也生成陰影。最后，通過(guò)疊加中間圖像背景區(qū)域和動(dòng)態(tài)區(qū)域，我們就完成由用戶選擇的整個(gè)足球場(chǎng)景的虛擬視角。4投影幾何的估

15、計(jì)A.基本矩陣兩攝像機(jī)之間的對(duì)極幾何的基本矩陣表示(表示為矩陣的下方)F,這是一個(gè)3X3矩陣。如果點(diǎn)P在三維空間投影到在第一點(diǎn)P1和P2的第二點(diǎn)，對(duì)應(yīng)的圖像點(diǎn)滿足如下方程：成丁電=0(1)P1和P2分別為P1和P2的均勻坐標(biāo)。F是一個(gè)有7個(gè)自由度的秩為2的均勻矩陣，因此，它可以由至少兩個(gè)視角中7路通信進(jìn)行非線性計(jì)算?？紤]到在立體匹配中對(duì)應(yīng)點(diǎn)的搜索，可以減少搜索面積。假設(shè)一個(gè)點(diǎn)在第一個(gè)視角中是已知的，那么第二個(gè)視角中的對(duì)應(yīng)點(diǎn)必須位于：lFX(2)其中L和x分別表示L和x的齊次坐標(biāo)。因此，搜索不需要覆蓋整個(gè)圖像平面，并可以限制到極線。在所提出的方法中，采用矩陣獲得稠密對(duì)應(yīng)的動(dòng)態(tài)區(qū)域。B.單應(yīng)在第一

16、個(gè)視角中平面圖像點(diǎn)與其對(duì)應(yīng)的第二視角中使用單應(yīng)矩陣H的圖像點(diǎn)相關(guān)，如sp?2Hp?(3)其中P1和P2是對(duì)應(yīng)圖像點(diǎn)的均勻坐標(biāo)，是尺度因子。H是一個(gè)帶有8個(gè)自由度的3*3的矩陣，因此，它可以計(jì)算由至少兩個(gè)對(duì)應(yīng)的兩個(gè)視角。通過(guò)同一圖形變換，一個(gè)視角中的點(diǎn)決定了另一個(gè)視角中的一個(gè)點(diǎn)。該方法采用跨層應(yīng)在靜態(tài)重新獲得致密的對(duì)應(yīng)區(qū)域。5視覺(jué)插值A(chǔ).靜態(tài)區(qū)域在每個(gè)區(qū)域中的視角插值的方法描述如下。為了簡(jiǎn)單起見(jiàn)，我們考慮插值兩個(gè)視角的情況。此方法也可應(yīng)用于三視角(見(jiàn)第六節(jié))。由于靜態(tài)區(qū)域被認(rèn)為是很少或根本沒(méi)有變化隨著時(shí)間的推移，視角插值實(shí)現(xiàn)只有一次在選定的幀中，既不存在球員也不存在球。如果在捕獲的圖像序列中不包

17、含這樣的圖像，則可以通過(guò)將圖像序列的模式值設(shè)置為每個(gè)像素來(lái)構(gòu)造。因此，不包括動(dòng)態(tài)對(duì)象的圖像，從而產(chǎn)生每個(gè)攝像機(jī)。如果捕獲的場(chǎng)景有變化的照明，背景圖像需要生成的序列中的每一個(gè)照明條件。在我們的實(shí)驗(yàn)中，我們預(yù)先合成的背景圖像的圖像序列的每150幀。1)場(chǎng)域：在足球場(chǎng)景中，地面和球門(mén)可以被視為一個(gè)平面和一組平面。然后運(yùn)用到平面單應(yīng)獲得的中間視角生成所需的對(duì)應(yīng)關(guān)系。方程(3)產(chǎn)生兩個(gè)平面視角的像素明智對(duì)應(yīng)。表示地面目標(biāo)提供密集的通信在這些區(qū)域的平面單應(yīng)矩陣。我們首先生成兩個(gè)插值圖像在相同的虛擬視角使用兩個(gè)定向?qū)?yīng)，從視角1到視角2和從視角2到視角1,分別。然后，兩個(gè)扭曲的圖像被混合到一個(gè)單一的圖像。為

18、了扭曲圖像，圖像的位置和值由圖像變形轉(zhuǎn)移，由下列方程描述：p1arap2(4)AndIp1aIP1alP2(5)其中P1和P2是圖像中的I1和I2,分別對(duì)應(yīng)點(diǎn)的坐標(biāo)，和I(P1)和I(P2)圖像中的I1和I2,分別對(duì)應(yīng)點(diǎn)的像素值。P代表插值坐標(biāo)和I(P)代表的插值像素值。定義了分配給各個(gè)實(shí)際視角的插值權(quán)重，如圖2所示。兩個(gè)扭曲的圖像生成使用上述過(guò)程中，它們被混合成一個(gè)單一的圖像，這是在中間視角的目標(biāo)圖像。在混合這兩個(gè)圖像，如果一個(gè)像素的顏色不同于這些圖像，在虛擬視角中的相應(yīng)的像素呈現(xiàn)的顏色的平均值，否則，所呈現(xiàn)的顏色是提取任一實(shí)際圖像。圖3給出了實(shí)例產(chǎn)生中間圖像的場(chǎng)區(qū)。圖3(a)和(d)顯示真

19、正的攝像機(jī)圖像，和(b)和(c)顯示從(a)和(d)的內(nèi)插圖像。的虛擬視角的插值權(quán)重的真實(shí)視角是4至6(b)和6到4(C)。圖2圖像變形的對(duì)應(yīng)傳輸tc)IntrniKdiafc1Vmw(Weight6:4)(d)FieldRegenofView2圖3足球場(chǎng)區(qū)域?qū)崟r(shí)圖像例子2）背景區(qū)域：背景被放置在與攝像機(jī)的視角位置成距離的區(qū)域，這樣它可以被看作是一個(gè)單一的、無(wú)限遠(yuǎn)的平面。我們從每?jī)蓚€(gè)實(shí)際的視角合成圖像，以便產(chǎn)生馬賽克，這是各自的全景圖像的背景。在這里，我們假設(shè)的背景相鄰的觀點(diǎn)有重疊的區(qū)域。從這些全景圖像中提取中間視角圖像。我們開(kāi)始通過(guò)單應(yīng)矩陣組合兩個(gè)視角的坐標(biāo)系統(tǒng)，它代表從第一視角到第二視角關(guān)

20、于背景的變換。接下來(lái)，我們混合的重疊的像素值是這樣的，在交界處的像素顏色可以順利地連接兩個(gè)背景。拼接圖像中的像素值由以下方程給出：(6)xx2xx1 HYPERLINK l bookmark0 o Current Document x2xiV1和V2的I1和I2的像素值，和X1和X2是左邊和右邊的重疊區(qū)域的坐標(biāo)，分別為（如圖4所示）。然后從全景圖像中提取每個(gè)虛擬視角所需的局部區(qū)域。以下的單應(yīng)矩陣Hb然后用于坐標(biāo)變換來(lái)完成背景區(qū)域的中間視角。1K=(1一口/+aHb,其中a為插值權(quán)重，E為3X3單位矩陣。圖5（a）和（b）舉個(gè)例子說(shuō)明真實(shí)相機(jī)圖像中背景區(qū)域，以及（c）顯示（a）和（b）組成的合成

21、圖像。圖5（d）和（e）當(dāng)前背景圖像的中間圖像，其內(nèi)插權(quán)重對(duì)d中的圖6為4,對(duì)e中的圖4為6。X2圖4圖像合成(dJnlcrmcdialirVic*(Weigfii4;6)w)InleTrncdiMt:Vic*(Wtnht6:4)圖5背景區(qū)域?qū)崟r(shí)圖像例子B.動(dòng)態(tài)區(qū)域動(dòng)態(tài)區(qū)域的視角插值方法如下。在這些區(qū)域中，隨著形狀或位置的變化隨著時(shí)間的推移，視角插值實(shí)現(xiàn)為每個(gè)幀。該過(guò)程分為脫機(jī)和在線過(guò)程的有效性。在脫機(jī)過(guò)程中，所有幀的動(dòng)態(tài)區(qū)域中提取的減去從原始圖像的背面。既不是球員也不是球存在的圖像被用作每個(gè)相機(jī)的背景。如果視角插值被施加到序列中有變化的照明，我們選擇一個(gè)背景相同的光照條件。動(dòng)態(tài)區(qū)域和靜態(tài)區(qū)域

22、的分割有時(shí)是困難的。因此，我們提取動(dòng)態(tài)區(qū)域的背景減法,不僅使用強(qiáng)度，但也有顏色矢量，它有三個(gè)組成部分：紅，綠，藍(lán)。它們被認(rèn)為是相同的像素分配到當(dāng)前幀圖像和背景圖像之間的靜態(tài)區(qū)域，而它們?cè)趧?dòng)態(tài)區(qū)域的像素變化。圖6動(dòng)態(tài)區(qū)域提取圖6顯示了背景減法的結(jié)果。動(dòng)態(tài)重新為用上述方法大大提。雖然這種分割是必要的應(yīng)用視角插值，我們不直接解決這個(gè)問(wèn)題。這是因?yàn)橹饕^察本文目的是產(chǎn)生虛擬視角視頻效果點(diǎn)重播在動(dòng)態(tài)區(qū)域正確提取條件。由于提取的區(qū)域通常包含幾個(gè)球員和一個(gè)球，可能還有陰影部分，我們分別處理這些動(dòng)態(tài)對(duì)象。如果陰影包含在對(duì)象場(chǎng)景中，我們首先分割陰影區(qū)域和球員/球區(qū)域。幾何信息和顏色信息都被用于這種分割。據(jù)推測(cè)，

23、陰影通常投射在地面上的足球場(chǎng)景。我們發(fā)現(xiàn)一個(gè)陰影區(qū)域的候選人通過(guò)接地平面的所有提取的動(dòng)態(tài)區(qū)域相鄰的兩視角矩陣。這種檢測(cè)基于單應(yīng)經(jīng)常包括球員的腳的一部分。因此，我們還使用像素顏色的陰影提取，通過(guò)HSI變換的候選人在每個(gè)視角圖像。在當(dāng)前幀圖像和背景圖像之間的陰影區(qū)域的像素的色調(diào)幾乎是相同的，而它是不同的播放器/球區(qū)域。圖7顯示的分割結(jié)果，在上面的方法，這是組合方法的幾何變換；矩陣變換和顏色變換；HSI變換，比較的方法只使用單應(yīng)變換或HSI變換。很明顯，合并的方法在動(dòng)態(tài)區(qū)域中對(duì)陰影部分和球員/球的處理好于獨(dú)立處理的方法。分割后，視角插值被分別施加到陰影和球員/球區(qū)域。在經(jīng)典的處理方法中，它是可以通過(guò)

24、在一個(gè)環(huán)境中估計(jì)光源，從而在另一個(gè)視角中合成的陰影；但是，這需要大量的計(jì)算成本。另外，在該方法中，我們可以使用投影幾何從參考圖像轉(zhuǎn)移主體陰影中間視角圖像的陰影區(qū)域。因?yàn)榭紤]到陰影被投射在地面上，將單應(yīng)變換應(yīng)用到陰影區(qū)以及其他區(qū)域。陰影區(qū)域的中間視角使用的接地平面的單應(yīng)變換，這在第V-A節(jié)中有解釋。(aiOfigmal(h)HmiDjTaphyTranxl-arm(CjHSITransfkirm,(d)CturihmcdMethod圖7動(dòng)態(tài)區(qū)域分割結(jié)果的比較接下來(lái)，我們生成的球員/球區(qū)域的虛擬視角圖像。標(biāo)記過(guò)程被用來(lái)分割每個(gè)球員和球。隨后，利用地平面如圖8所示的單應(yīng)得到相應(yīng)的剪影。這是基于這樣的

25、假設(shè)，一個(gè)球員的腳總是與地面接觸。即使玩家的跳躍，在跳躍引起的誤差很?。灰虼?，表示地平面的單應(yīng)矩陣仍然可以找到對(duì)應(yīng)的剪影。然而，由于封閉，有些球員可能沒(méi)有一一對(duì)應(yīng)。在這種情況下，使用前一幀的分割輪廓來(lái)處理球員的分離。如圖9所示，在封閉的球員的腳的位置是由相鄰地平面的單應(yīng)矩陣計(jì)算的觀點(diǎn)。然后從邊界框(矩形周?chē)姆指钋騿T)的上一幀投射到當(dāng)前幀。因此，封閉的球員也可以有一個(gè)正確的對(duì)應(yīng)。如果在兩個(gè)視角中檢測(cè)到封閉，則將球員視為一個(gè)大目標(biāo)。對(duì)于在線過(guò)程，無(wú)論是標(biāo)記的圖像和剪影對(duì)應(yīng)存儲(chǔ)在每?jī)蓚€(gè)相鄰的觀點(diǎn)。這就是脫機(jī)完成過(guò)程。圖8動(dòng)態(tài)區(qū)域?qū)?yīng)Bounding Box j, Foot Posrtion圖9覆蓋

26、區(qū)域?qū)?yīng)在線過(guò)程使用存儲(chǔ)信息，例如，關(guān)于選擇虛擬視角附近的兩個(gè)參考視角，標(biāo)記的圖像和對(duì)應(yīng)的輪廓。通過(guò)繪制在兩個(gè)不同的視角，例如視角1和視角2的極線，使用一個(gè)矩陣，我們得到的像素對(duì)應(yīng)的輪廓。在每一個(gè)極線，交叉口與邊界，如A1和A2,B1和B2圖8,首先獲得輪廓內(nèi)的對(duì)應(yīng)關(guān)系，該對(duì)應(yīng)關(guān)系是通過(guò)以下方式獲得交點(diǎn)的線性插值。在獲得整個(gè)輪廓的稠密對(duì)應(yīng)之后，將像素位置和值從視角1的源圖像中轉(zhuǎn)移，并以相同的方式在圖像區(qū)域中以圖像的方式查看目標(biāo)圖像的2。然而，視角插值只產(chǎn)生中間視角的圖像，其中真正的相機(jī)的縮放比是相同的。為了提供自由視角觀察的縮放效果，它是必要的控制的3D的位置的虛擬相機(jī)或它的焦距。由于所提出的

27、方法，它是基于視角插值，不能直接處理的外在和內(nèi)在的參數(shù)，我們處理一個(gè)縮放功能擴(kuò)展或收縮圖像。視角插值修改如下方程給出的，而不是（4）:ff（8）P1aPiCiGap2c2-C2f1f2其中Ci和C2圖像I1和I2,分別對(duì)應(yīng)主點(diǎn)坐標(biāo)，和F1、F21和2相機(jī)的焦距，分別。f表示虛擬攝像機(jī)的焦距。這個(gè)方程可以通過(guò)實(shí)際相機(jī)的焦距和虛擬相機(jī)的焦距的焦距比的擴(kuò)展和收縮，進(jìn)行大概的放大或縮小。使用（5）傳輸像素值。通過(guò)混合兩個(gè)扭曲的圖像生成虛擬視角。上述算法適用于每一對(duì)輪廓。根據(jù)視角的距離合成它們后，所有的球員球區(qū)域被覆蓋到陰影區(qū)域上。這總結(jié)了動(dòng)態(tài)區(qū)域的視角插值。最后，在背景區(qū)域中、其他區(qū)域和動(dòng)態(tài)區(qū)域進(jìn)行圖

28、像疊加的排序，完成所選擇的視角的整個(gè)場(chǎng)景的虛擬視角圖像。Camera 1Camera 1Camera 2Camera 4Camera 3Camera 3“Camera 2I Camera 4(a)OitaStadium/EdogawaAthleticStadium(b)KashimaStadium圖10體育場(chǎng)攝像機(jī)布局6實(shí)驗(yàn)結(jié)果在三個(gè)足球場(chǎng)中，我們將所提出的方法應(yīng)用到了實(shí)際足球比賽，通過(guò)多個(gè)攝像機(jī)采集多個(gè)圖像序列；在日本東京的江戶川田徑體育場(chǎng)、千葉體育場(chǎng)和鹿島大分的大分體育場(chǎng)。如圖10所示，在所有的三個(gè)體育場(chǎng)的一個(gè)側(cè)面放置了一組四個(gè)固定攝像機(jī)以拍攝罰球區(qū)。相鄰的相機(jī)需要重疊區(qū)域的背景圖像拼接。

29、采集的視頻被轉(zhuǎn)換為BMP&式的圖像序列，由720個(gè)480像素，24位的RG形色圖像，然后用于虛擬視角合成。在這個(gè)實(shí)驗(yàn)中，我們手動(dòng)選擇50對(duì)應(yīng)點(diǎn)的三維位置。圖11給出了在江戶川競(jìng)技體育場(chǎng)中足球場(chǎng)景生成的中間圖像的一些結(jié)果。圖11（a）-（d）展示使用真實(shí)相機(jī)拍攝的圖像和其他方法提出的虛擬視角圖像。球員的位置和背景的位置逐漸改變?nèi)Q于虛擬視角的角度，這是由兩個(gè)真正的相機(jī)視角之間的插值權(quán)重決定的。例如，虛擬視角（E）是位于一個(gè)相對(duì)重量的攝像機(jī)之間的1和2位8。雖然我們的方法涉及到渲染的分離區(qū)域，合成的圖像出現(xiàn)非常逼真的，由于該區(qū)域之間的邊界是不可見(jiàn)的。圖12介紹了從不同角度重建球員。不僅整個(gè)場(chǎng)景的全

30、局外觀，而且該球員的本身外觀可以在很大程度上展示出來(lái)。我們也有實(shí)驗(yàn)結(jié)果的評(píng)價(jià)。如圖13可見(jiàn)，該方法適用于計(jì)算機(jī)生成兩視角圖像繪制的OpenGL那里的四個(gè)長(zhǎng)方體放置在一個(gè)平面上。圖13（c）顯示由（a）和（b）內(nèi)插權(quán)重值為的方法所生成的合成圖像。這個(gè)結(jié)果是通過(guò)疊加虛擬視角圖像是平面區(qū)域上的虛擬視角圖像合成的立方區(qū)域。圖13（d）顯示由OpenG繪制的圖彳象,與（C）相同的觀點(diǎn)。（c）和（d）之間的色差呈現(xiàn)在（e）。盡管在物體的邊緣可以看到誤差，但合成圖像的大部分區(qū)域在外觀上幾乎相同。這一結(jié)果表明，該方法表示的對(duì)象在正確的位置在中間視角圖像具有一定的色差。像素對(duì)應(yīng)錯(cuò)誤是導(dǎo)致顏色差異的重要部分。圖1

31、4比較了足球場(chǎng)景的虛擬和真實(shí)攝像機(jī)拍攝的圖像在江戶川競(jìng)技體育場(chǎng)使用相機(jī)。圖14(a)和(c)顯示了從使用相機(jī)2拍攝的真實(shí)視角圖像生成的虛擬視角圖像4。圖14(b)和(d)顯示使用相機(jī)3拍攝的真實(shí)視角圖像。虛擬攝像機(jī)被放置在插值權(quán)重為5至5之間的位置的相機(jī)2和4,這是接近但不符合相機(jī)的位置3。通過(guò)比較虛擬和真實(shí)的圖像，我們看到，現(xiàn)實(shí)的圖像沒(méi)有失真。在虛擬視角圖像中正確地重建了由兩個(gè)真實(shí)攝像機(jī)捕獲的播放器區(qū)域和字段區(qū)域。球員的位置略有差異導(dǎo)致虛擬相機(jī)和真正的相機(jī)產(chǎn)生的視角位置的差異。接下來(lái)，我們所提出的方法在鹿島體育場(chǎng)應(yīng)用于三視角拍攝。在三個(gè)視角均存在視角插值的情況下，視角的位置是由重量a和重量B

32、決定，如圖15所示。從三個(gè)真實(shí)視角圖像合成的虛擬視角圖像變形的情況下，兩個(gè)視角。使用下列方程代替(4)和(5):p1a1P1a1P2P3(9)AndIp1a1IP1a1IP2IP3(10)其中P1,P2,P3,是坐標(biāo)的對(duì)應(yīng)點(diǎn)在圖像I1、I2、I3,分別，I(P1),I(P2),I(P3)的像素值的又t應(yīng)點(diǎn)在圖像I1,I2,I3,分別。當(dāng)參考相機(jī)的數(shù)目為三，混合的參考圖像的顏色為所有點(diǎn)可能會(huì)模糊的虛擬視角圖像。然后，我們使用的像素值的最近的相機(jī)的邊緣點(diǎn)。圖15給出了合成的圖像從三視角圖像的結(jié)果。足球場(chǎng)景，包括從真正的三個(gè)視角的陰影是從虛擬視角。我們還得到其他的場(chǎng)景包括在大球場(chǎng)拍攝的陰影效果，在視

33、角插信函數(shù)的兩個(gè)視角之間進(jìn)行(見(jiàn)圖16)。圖16(c)顯示了當(dāng)圖像插值被應(yīng)用到陰影和球員/球區(qū)域分割后得到的圖像，而(d)顯示沒(méi)有分割的結(jié)果。雖然圖16(D)缺乏部分或整個(gè)陰影中的球員，但所有的陰影預(yù)計(jì)正確(C)o這表明，通過(guò)變形的陰影區(qū)域，我們可以成功地重現(xiàn)另一個(gè)視角里的他們。gCam.-2WtigblH2U)Cm.23Wn汽3(p)Fann,3TWri中心圖11在江戶川競(jìng)技體育場(chǎng)中從采集一幀來(lái)合成整個(gè)虛擬視角的足球場(chǎng)景圖12從不同角度重建球員圖17給出了一個(gè)虛擬視角重放的圖像序列的例子。自由視角觀察是通過(guò)選擇參考攝像機(jī)和插值重量為每幀。幀1462和1468包含一些封閉，但對(duì)封閉的球員不斷跟

34、蹤，他們的外觀很好地利用相鄰的攝像頭信息和以前的幀信息進(jìn)行合成。最后，我們通過(guò)改變視角的位置以及球的運(yùn)動(dòng)制作了一個(gè)視頻1,以便觀眾觀看整個(gè)足球場(chǎng)的足球比賽。另一個(gè)例子是一個(gè)視頻，創(chuàng)造了一個(gè)3D的效果走動(dòng)的動(dòng)作場(chǎng)景的電影“矩陣”，我們已經(jīng)創(chuàng)建了兩個(gè)視頻來(lái)比較所提出的系統(tǒng)和“視覺(jué)”系統(tǒng)。這種比較表明,旋轉(zhuǎn)的虛擬攝像機(jī)通過(guò)視覺(jué)插值，使虛擬攝像機(jī)的視頻比起真正的攝像機(jī)可以得到更有效的切換。7需求觀點(diǎn)作為該方法的一個(gè)應(yīng)用，我們已經(jīng)開(kāi)發(fā)了一個(gè)系統(tǒng)，稱為“視角需求系統(tǒng)“，觀眾可以從自己喜愛(ài)的觀點(diǎn)看足球比賽回放。圖18給出了系統(tǒng)的接口。根據(jù)虛擬攝像機(jī)的位置和縮放比例，將生成的虛擬視角圖像顯示在窗口的中心。由（

35、8）內(nèi)插權(quán)重a所給出的虛擬攝像機(jī)的位置由窗口底部的水平滑動(dòng)桿決定?？s放比例，這是由f和F1和F/F2在（8）,是由右側(cè)的窗口的水平滑桿決定。一旦用戶選擇他們喜歡的場(chǎng)景，渲染的虛擬視角，其位置和縮放比例已初步定義。在觀看視頻時(shí)，用戶可以隨時(shí)使用兩個(gè)滑動(dòng)條來(lái)改變視角。我們成功地完成了從頭到尾的幾個(gè)完整序列的觀測(cè)。圖19給出了系統(tǒng)窗口上顯示的圖像的例子。我們幾乎同時(shí)從右到左移動(dòng)相機(jī)并實(shí)現(xiàn)放大。例如，圖19（a）顯示了幀數(shù)322的場(chǎng)景，其中虛擬視角被放置在插值權(quán)重在4到6的攝像機(jī)3和4之間，并且虛擬攝像機(jī)與真實(shí)相機(jī)的縮放比例是。圖13評(píng)估所提出的方法圖14比較江戶川體育館中同一個(gè)足球場(chǎng)景虛擬視覺(jué)圖像和

36、真實(shí)視覺(jué)圖像為了評(píng)估系統(tǒng)的性能，處理時(shí)間用臺(tái)式電腦（CPU奔騰4,3.2GHz,內(nèi)存：2GB,顯卡：ATIRadeon9800）。該系統(tǒng)平均運(yùn)行速度在3.7fps。通過(guò)大量動(dòng)態(tài)輸出圖像表明，處理時(shí)間被證明是線性的。這是因?yàn)閷?duì)每個(gè)球員和足球的虛擬視角合成處理是被不斷執(zhí)行的。使用一個(gè)PC集群來(lái)并行處理可以提高處理速度，因此計(jì)算成本可以不依賴于場(chǎng)景的復(fù)雜性。該系統(tǒng)提供了一個(gè)觀察足球比賽的直觀界面，即使是第一次使用的人也可以很輕易地通過(guò)兩個(gè)滾動(dòng)條來(lái)控制他/她的視角，因?yàn)橐暯堑目刂婆c電腦滾動(dòng)屏幕顯示的方式十分相似。這個(gè)應(yīng)用程序提出了展現(xiàn)體育賽事需求的一種新的結(jié)構(gòu)。隨著廣播的數(shù)字化以及通信、廣播的融合，視

37、頻點(diǎn)播系統(tǒng)會(huì)越來(lái)越有吸引力。一個(gè)實(shí)用視覺(jué)交互的體育廣播系統(tǒng)可以由需求系統(tǒng)推薦的視角組成。8討論由于所提出的方法包含一些人工工作，我們?cè)诒竟?jié)中整理了這些工作。其中一個(gè)是給出相應(yīng)的點(diǎn)，用于估計(jì)攝像機(jī)之間的投影幾何，即基本矩陣和同形矩陣。只需單擊GUI上的特征點(diǎn)即可輕松實(shí)現(xiàn)。另一個(gè)是在每個(gè)攝像機(jī)中采集的圖像上指定背景區(qū)域和其他區(qū)域?？梢酝ㄟ^(guò)生成遮罩圖像更容易地執(zhí)行該處理。上述人工工作僅需要一次，因?yàn)閿z像機(jī)是固定的。之后，其他脫機(jī)進(jìn)程將自動(dòng)實(shí)現(xiàn)。在大分體育場(chǎng)的實(shí)驗(yàn)中，我們成功地在圖像采集的第二天展示了需求系統(tǒng)的觀點(diǎn)。在四個(gè)攝像機(jī)的情況下，手動(dòng)工作花了大約一個(gè)小時(shí)?？紤]通過(guò)利用提出的方法制作特效影片，適

38、用于現(xiàn)場(chǎng)直播和后期制作。上半場(chǎng)比賽的激動(dòng)人心的場(chǎng)景可以在半場(chǎng)或第二天重新開(kāi)始比賽中向觀眾提供。如果計(jì)算性能得到提高，則特殊效果的呈現(xiàn)在后期播放中成為可能。隨后，我們繼續(xù)相機(jī)配置。我們假設(shè)所有的攝像機(jī)都捕獲相同的目標(biāo)區(qū)域，并且相機(jī)中的照明和尺寸變化很小。另外，相鄰的相機(jī)需要背景的重疊區(qū)域。在本文提出的實(shí)驗(yàn)中，我們手動(dòng)調(diào)整了多臺(tái)攝像機(jī)的亮度和焦距，使得攝像機(jī)的播放器尺寸和整體顏色幾乎可以相同。我們應(yīng)用的方法，幾個(gè)長(zhǎng)達(dá)幾分鐘的圖像序列如圖10(a)所示，四個(gè)攝像機(jī)的距離約為10米。這個(gè)設(shè)置似乎足以覆蓋罰球區(qū)域。如果使用更多的相機(jī)，則可以提高合成圖像的質(zhì)量。所提出的方法在玩家制服的顏色上沒(méi)有很大的局限

39、性。唯一的限制條件是制服和球的顏色不同于地面的顏色。因?yàn)樽闱虮荣愅ǔM足這個(gè)條件，這種方法可以應(yīng)用于其他體育場(chǎng)館的其他足球比賽。接下來(lái)，考慮所提出的方法的關(guān)鍵情況。在當(dāng)前的方法中已經(jīng)觀察到某些錯(cuò)誤。球員從圖像序列中突然消失，因?yàn)榍騿T沒(méi)有在兩個(gè)參考相機(jī)圖像中被捕捉到。當(dāng)參考攝像機(jī)從兩個(gè)捕捉球員的攝像機(jī)切換到兩個(gè)攝像機(jī)(其中一個(gè)攝像機(jī)不捕獲球員)時(shí)，會(huì)發(fā)生此錯(cuò)誤。止匕外，當(dāng)四個(gè)或五個(gè)球員重疊時(shí)，分割/通信失?。灰虼?，集合可能是視角合成的比較困難的情況。改進(jìn)這種情況是至關(guān)重要的。圖15鹿島體育館中足球場(chǎng)景的三視圖之間的視角插值(a) kctbrcnDe Camera 1(b) JicjbtTicc

40、Camera 2(i) With ScmmlalK)n of Shadow RcgiDns. (d) Ulthout Stjexnenialiori圖16比較大分體育館中對(duì)一個(gè)場(chǎng)景包括陰影部分的合成圖像圖17在大分體育館中關(guān)于包含陰影區(qū)域的自由視角視頻序列例子9結(jié)論本文提出了一種用于觀察足球比賽的虛擬視角合成方法。在該方法中，基于由用戶選擇的虛擬視角附近的兩個(gè)或三個(gè)真實(shí)相機(jī)圖像的視角插值來(lái)生成虛擬視角圖像。足球場(chǎng)景根據(jù)場(chǎng)景屬性分為三四個(gè)區(qū)域。采用適當(dāng)?shù)耐队皫缀蝸?lái)進(jìn)行每個(gè)區(qū)域的視角插值。在虛擬視角中陰影以及球員/球都可以被很好地表示。通過(guò)將脫機(jī)過(guò)程與在線過(guò)程分離，我們可以有效地呈現(xiàn)整個(gè)足球場(chǎng)景。

41、攝像機(jī)之間的投影幾何使我們能夠減少這種大規(guī)模事件的相機(jī)校準(zhǔn)的困難，而無(wú)需重建3D模型。這實(shí)現(xiàn)了在諸如足球場(chǎng)之類(lèi)的大空間中針對(duì)整個(gè)動(dòng)態(tài)事件的自由視角合成(Camera 4(Rt由)圖18 ”需求觀點(diǎn)系統(tǒng)”界面Camera i(Uft)(c) Fraine 335 t.ain 2-3 We博n 1.9 Zjoan 1.5圖19“需求視點(diǎn)系統(tǒng)”的圖像窗口實(shí)例除了視角合成技術(shù)之外，還引入了足球比賽虛擬視角重播的應(yīng)用?！耙暯屈c(diǎn)播系統(tǒng)”使觀眾能夠以喜歡的角度觀看足球比賽，并具有首選縮放比例，并允許他們?cè)谌魏螘r(shí)候更改這些設(shè)置。這個(gè)結(jié)構(gòu)將會(huì)創(chuàng)造一種全新而愉快的方式來(lái)呈現(xiàn)或觀看包括足球比賽在內(nèi)的娛樂(lè)和體育活動(dòng)。

42、REFERENCEST.Kanade,P.W.Rander,andP.J.Narayanan,“Virtualizedreality:Constructingvirtualworldsfromrealscenes,IEEEMultimedia,vol.4,no.1,pp.3437,Jan.1997.I.KitaharaandY.Ohta,“Scalable3Drepresentationfor3Dvideodis-playinalarge-scalespace,inProc.IEEEVirtualReality2003,Mar.2003,pp.45-52.S.YaguchiandH.Saito

43、,aArbitraryviewpointvideosynthesisfrommultipleuncalibratedcameras,IEEETrans.Syst.,Man,Cybern.B,Cybern.,vol.34,no.1,pp.430-439,Feb.2004.T.Koyama,I.Kitahara,andY.Ohta,“Livemixed-reality3Dvideoinsoccerstadium,”inProc.Int.Symp.MixedandAugmentedReality(ISMAR2003),Oct.2003,pp.178-187.N.InamotoandH.Saito,“

44、Flythroughviewvideogenerationofsoccerscene,“inInt.WorkshoponEntertainmentComputing(IWEC2002),May2002,pp.94-101.N.InamotoandH.Saito,aIntermediateviewgenerationofsoccerscenefrommultiplevideos,inProc.Int.Conf.PatternRecognition(ICPR2002),Aug.2002,vol.2,pp.713-716.N.InamotoandH.Saito,Fly-throughviewpoin

45、tvideosystemformulti-viewsoccermovieusingviewpointinterpolation,inProc.SPIE,Jul.2003,vol.5150,VisualCommunicationsandImageProcessing2003,pp.1143-1151.S.E.ChenandL.Williams,“Viewinterpolationforimagesynthesis,inProc.SIGGRAPH93,1993,pp.279-288.S.Pollard,M.Pilu,S.Hayes,andA.Lorusso,“Viewsynthesisbytrin

46、ocularedgematchingandtransfer,ImageVis.Comput.,vol.18,pp.749-757,2000.H.Saito,S.Baba,andT.Kanade,aAppearance-basedvirtualviewgenerationfrommulticameravideoscapturedinthe3Droom,“IEEETrans.Multimedia,vol.5,no.3,pp.303-316,Sep.2003.S.M.SeitzandC.R.Dyer,“Photorealisticscenereconstructionbyvoxelcoloring,“inProc.ComputerVisionandPatternRecognition(CVPR1997),1997,pp.1067-1073.M.D.Wheeler,Y.Sato,andK.I