基于流模型的三維點云生成方法

1、基于流模型的三維點云生成方法作者：楊天宇譚臺哲王俊鍇來源：電腦知識與技術2021年第30期高斯分布從而實現(xiàn)圖像的生成，優(yōu)化了數(shù)據(jù)對數(shù)似然的下界,VAE在圖像牛.成上是可并行的，但是VAE存在著牛成圖像模糊的問題。VAE的優(yōu)勢在于小樣本學習，他專注于從給定集合中生成新的樣本3。2.3生成對抗網絡(GAN)GAN拋棄具體的密度分布模型，只要樣本的特征。通過博弈來訓練一個分布函數(shù)得到符合的很好的樣本特征。GAN在圖像生成任務中比較有優(yōu)勢，在很多GAN的拓展T.作中也取得了很大的提高。但是GAN生成的樣本多樣性不足以及訓練過程不穩(wěn)定是GAN普遍存在的問題，同時CAN沒有潛在空間編碼器，從而缺乏對數(shù)據(jù)的

2、全面支持。2.4流模型流生成模型是一種出簡單的分布Pz)(例如高斯分布倒復雜數(shù)據(jù)分布如(町的可逆映射。分布P,Z)的一個隨機變量z經過一個可逆的映射f后，就將z的分布轉換成了關于樣本x的分布如CO,即他們滿足如下關系:X=f(z)(1)通過變量變換定理(change-of-variablestheorem)n以得到X準確的概率密度函數(shù)PxW,PxW=%Cie(2)現(xiàn)實中，要將一個簡單分布轉換成高度復雜的分布是非常閑難的，往往需要多個可逆映射f才可以很好的擬合。設是尸到2的可逆映射,并且令z=z,zn=x(i=0,-,n)o則他們的關系如公式和公式(4),其中運算符號表示一系列嵌套函數(shù)。實際上，

3、辦，L，九通常被實例化為具有易于計算雅可比行列式I血”黑7.)1的體系結構的神經網絡。af.(JWJPjfU)離J*曲帶圖2點云生成過程數(shù)拡母圖3網絡訓練過程圖4點云生成過程圖5生成樣本表1模型評估結果類別l-NNACDEVD飛機r-GAN93.55%99.51%75.6H%75.06%我們73.94%71.57%汽車r-GAN97.S799.86%PoinlFkw60.65%62.36%找們6L98%63.57%椅子r-GAN71.75%9.47%PoirilFlnvt60,S8%59,89%血9邂6357%摘要：隨著三維點云數(shù)據(jù)在計算機視覺任務的逐漸流行，合成或重建高分辨率、高保真點云的能

4、力變得至關重要。雖然深度學習模型最近在點云識別和點云分類任務中取得了成功，但點云生成任務還困難重重。本文提出了一種基于流模型的點云生成模型，使用深度學習技術訓練好該模型之后，只需要從簡單的高斯分布隨機采樣數(shù)據(jù)，然后通過我們的模型就可以產生全新的高質量的點云形狀。基于我們模型生成的點云的質量比大多數(shù)現(xiàn)存的模型都要好，可以為其他一些任務提供很好的先驗點云，比如三維重建、點云補全任務。關鍵詞：點云;生成模型;流模型;深度學習;先驗點云中圖分類號：TP18文獻標識碼：A文章編號：1009-3044（2021）30-0033-04開放科學（資源服務）標識碼（OSID）：3DPointCloudGener

5、ationMethodBasedonFlowModelTANTai-zhe,YANGTian-yu,WangJun-kaiSchoolofcomputersscience，GuangdongUniversityofTechnology，Guangzhou510006，China)Abstract：Withthegradualpopularityof3Dpointcloudincomputervisiontasks，theabilityofhigh-fidelitypointcloudtobesynthesizedorreconstructedgradually.Althoughthedeepl

6、earningmodelhasrecentlyproposedastreammodel-basedpointcloudgenerationmodelinpointcloudrecognitionandpointcloudclassificationtasks，aftertrainingthemodelusingdeeplearningtechnology，itonlyneedstorandomlysampledatafromasimpleGaussiandistribution.Thenwecangenerateanewestimatedpointcloudshapethroughourmod

7、el.Thequalityofthepointcloudgeneratedbasedonourmodelisbetterthanmostexistingmodels.Itcanprovideagoodpriorpointcloudforsomeothertasks，suchas3Dreconstruction，andpointcloudcompletiontasks.Keywords：pointcloud;generativemodel;flowbasedmodel;deeplearning;priorpointcloud1引言隨著點云在自動駕駛、三維建模，考古與文物保護等任務的流行，研究點云

8、成為了一種趨勢。目前點云分類任務和點云目標檢測任務已經取得了不錯的成績，然而，點云生成任務還比較少的研究。Diego等人在2019年提出了tree-GAN模型，運用GAN來做點云生成，但是訓練起來非常困難，不能生成指定的點云。PMandikal在2019年的WACV通過編碼器-解碼器結構的網絡生成稀疏的點云，但是其在密集點云的生成任務表現(xiàn)不佳。自從基于流模型的GLOW提出后，研究人員們視線再一次關注到流生成模型。來自康奈爾大學和英偉達的研究人員在2019ICCV提出了三維點云生成模型PointFlow，使得更多的研究人員關注到基于流模型三維點云的生成任務。2生成模型所謂生成模型，就是給定訓練數(shù)

9、據(jù)，我們要生成與該數(shù)據(jù)分布相同的新樣本。假設訓練數(shù)據(jù)服從分布，生成樣本服從分布，生成模型的作用就是使得這兩個分布和盡可能的相似。所以生成模型的本質就是希望用一個我們知道的概率模型來擬合給定的訓練樣本，即我們能夠寫出一個帶參數(shù)0的分布。深度神經網絡作為萬能的函數(shù)擬合器，卻不能夠隨意擬合一個概率分布，因為概率分布有“非負”和“歸一化”的要求。為了解決這個問題，研究學者們提出了四種生成模型：自回歸模型、變分編碼器、對抗生成網絡、流模型。自回歸模型自回歸模型在PixelCNN和PixelRNN上展示了很不錯的實驗效果，但是由于是按照像素點去生成圖像導致計算成本高，在可并行性上受限，在處理大型數(shù)據(jù)如大型

10、圖像或視頻是具有一定麻煩的。2.2變分自編碼器（VAE）VAE是在自編碼器的基礎上讓圖像編碼的潛在向量服從高斯分布從而實現(xiàn)圖像的生成，優(yōu)化了數(shù)據(jù)對數(shù)似然的下界，VAE在圖像生成上是可并行的，但是VAE存在著生成圖像模糊的問題。VAE的優(yōu)勢在于小樣本學習，他專注于從給定集合中生成新的樣本3。2.3生成對抗網絡（GAN）GAN拋棄具體的密度分布模型，只要樣本的特征。通過博弈來訓練一個分布函數(shù)得到符合的很好的樣本特征。GAN在圖像生成任務中比較有優(yōu)勢，在很多GAN的拓展工作中也取得了很大的提高。但是GAN生成的樣本多樣性不足以及訓練過程不穩(wěn)定是GAN普遍存在的問題，同時GAN沒有潛在空間編碼器，從而

11、缺乏對數(shù)據(jù)的全面支持。2.4流模型在使用深度學習訓練網絡的時候，似然對數(shù)函數(shù)E：2021知網文件28-303001xs202130Imageimagel7_l.png就作為損失函數(shù)，而黑盒常微分方程（ODE）求解器可用于估計連續(xù)歸一化流的輸出和輸入梯度2?；诹鞯纳赡Ｐ涂偨Y一下具有以下優(yōu)點：a）精確的潛在變量推斷和對數(shù)似然評估，在VAE中編碼后只能推理出對應于數(shù)據(jù)點的潛在變量的近似值。在像Glow這樣的可逆生成模型中，可以在沒有近似的情況下實現(xiàn)潛在變量的精確的推理，還可以優(yōu)化數(shù)據(jù)的精確對數(shù)似然，而不是其下限5。b）高效的推理和合成，自回歸模型如PixelCNN，也是可逆的，然而這樣的模型合成

12、難以實現(xiàn)并行化，并且通常在并行硬件上效率低下。而基于流的生成模型如Glow和RealNVP都能有效實現(xiàn)推理與合成的并行化。c）自回歸模型的隱藏層有未知的邊際分布，使其執(zhí)行有效的數(shù)據(jù)操作上很困難由于GAN沒有編碼器，所以很難表征完整的數(shù)據(jù)分布?；诹鞯哪Ｐ湍軌驅W習高維數(shù)據(jù)中的復雜依賴關系，并學習語義上有意義的潛在空間，實時生成大量合成樣本。3流模型在點云生成的應用流模型現(xiàn)在已經很成熟的應用在圖像生成任務上，并且效果也還不錯比如OpenAI在2018的NeurIPS提出的GLOW模型5。而將流模型運用在點云生成任務上的研究相對比較少。來自康奈爾大學和英偉達的研究人員在2019ICCV提出了一種基于

13、流模型的三維點云生成模型PointFlow，這是流模型第一次應用在點云生成任務3。PointFlow通過為分布的分布建模，分別建立物體形狀的分布和給定物體的點云的分布，以此來完成對于物體點云的生成任務。為了生成點云，作者對分布的分布進行建模，也就是說不僅需要為形狀分布進行建模，同時需要對特定形狀下的點云進行建模。研究人員通過先驗分布點的可逆參數(shù)化變換代替了直接對點云分布的建模。這意味著在給定模型的情況下，首先從通用的高斯先驗中進行采樣，而后基于參數(shù)變換將他們移動到與目標形狀對應的新位置，使得參數(shù)化的變化和變量的分布都可以利用這一模型進行描述。更重要的是，這種模型還帶來了更強大的表達能力。在可以

14、估計概率密度、提升變分下限的同時，還可以避免由GANs帶來的復雜訓練。但是PointFlow有著它的缺點，一是訓練時間非常久;二是對于稀疏的點云，生成效果不是很好?；赑ointFlow的不足，我們提出了一種改進的模型。我們同樣使用連續(xù)歸一化流來為給定形狀下點的分布進行建模。連續(xù)歸一化流可以視為三維歐式空間中的向量場，它可以通過對某一通用的先驗分布進行轉換（例如高斯分布）推導出點云的分布。連續(xù)歸一化流是一系列可逆的映射，可以將已知的初始化分布映射到更為復雜的分布上去。點云生成過程我們的目標是生成點云，根據(jù)圖1將我們的模型網絡結構設計如圖2。首先，從高斯分布里面隨機采樣M個數(shù)據(jù)y1,y2，yM。

15、每個數(shù)據(jù)表示一個點云，并且他們各自包含有對應點云的x軸、y軸和z軸坐標。然后將這M個點云通過可逆的網絡g,網絡g就會移動這些點云位置，從而獲得新的點云。因為同一個類別的點云會有不同的形狀，比如飛機這個類別就有客機,戰(zhàn)斗機等等,所以為了使我們的模型產生不同形狀的點云,我們使用一個高維度的隱變量S來控制生成點云的形狀。我們從高斯分布里面隨機采樣數(shù)據(jù)（采樣的數(shù)據(jù)維度和S相同），然后將采樣的數(shù)據(jù)送入可逆的網絡f,這樣就可以獲得一個S。接著將S送入網絡g就可以生成不同形狀的點云。網絡訓練過程根據(jù)圖2可知訓練的過程和點云生成的過程是逆向的。我們想要從熟知的高斯分布生成點云,而點云所處的分布非常復雜且我們還

16、不知道表達式。這時,我們借助于數(shù)據(jù)集的點云,從點云采樣數(shù)據(jù)，然后逆向通過可逆網絡g和可逆網絡f,只要這樣產生的分布和高斯分布一樣，則可逆網絡g和可逆網絡f訓練完成。如圖3,訓練過程我們分成2個分支，分支1（圖2的上部分）：首先把從數(shù)據(jù)集獲得的點云數(shù)據(jù)采樣M個點。將這M個點通過一個編碼器獲得隱變量S,然后將S喂入可逆網絡f-1產生S，f-1訓練目標是使得S和從高斯分布采樣得到的高維向量盡量接近。分支2（圖3的下部分）：可逆網絡g-1的訓練目標是將之前從數(shù)據(jù)集點云數(shù)據(jù)采樣的M個點移動到新的位置，使得他們和從高斯分布采樣的點的位置盡可能的接近。受到圖像分類任務的啟示，我們對從數(shù)據(jù)集點云數(shù)據(jù)采樣的M個

17、點進行數(shù)據(jù)增強，具體來說就是對每個采樣到的點隨機加一下噪聲擾動。得益于流模型的可逆性帶來的似然計算,我們的網絡可以端到端穩(wěn)定地訓練。訓練結束后，我們就可以獲得編碼器、可逆網絡f-1和可逆網絡g-1的參數(shù)。4實驗與大多數(shù)做點云生成的任務一樣，我們使用ShapeNet核心數(shù)據(jù)集中的三種不同類別（飛機、椅子和汽車）進行實驗，每個類別分別訓練。在模型訓練階段，我們隨機從點云形狀采樣2048個點作為訓練樣本，使用2張2080tiGPU進行訓練。一共訓練了15000個輪次。實驗結果圖4展示了基于我們模型的點云生成的大致過程。最左邊是從高斯分布隨機采樣的點云，最右邊是我們模型最終生成的點云。從左往右展示了點

18、云的生成過程。上面的是汽車，中間是椅子，下面的是飛機。圖5展示的是從我們模型生成的一些新樣本。第一行飛機，第二行汽車，第三行椅子。從圖中我們知道，模型可以生成不同形狀的點云，比如飛機類別，可以生成客機或者戰(zhàn)斗機，機翼的大小和方向也不同，尾翼形狀也各異。再看椅子類別，或是生成靠背的椅子，或是生成沙發(fā)，或是不帶扶手，或是帶扶手的。椅子的凳腳也是各種樣式。模型評估我們使用由Lopez-Paz和Oquab7提出的1-NNA來評估我們的模型性能。1-NNA的理想分數(shù)為50%。為了計算1-NNA，可以使用兩種不同的距離度量，倒角距離（CD）和運土距離（EMD）來測量點云之間的相似度。1-NNA的生成結果如

19、表1所示。2.4流模型在使用深度學習訓練網絡的時候，似然對數(shù)函數(shù)E：2021知網文件28-303001xs202130Imageimage17_1.png就作為損失函數(shù)，而黑盒常微分方程（ODE）求解器可用于估計連續(xù)歸一化流的輸出和輸入梯度2?；诹鞯纳赡Ｐ涂偨Y一下具有以下優(yōu)點：a）精確的潛在變量推斷和對數(shù)似然評估，在VAE中編碼后只能推理出對應于數(shù)據(jù)點的潛在變量的近似值。在像Glow這樣的可逆生成模型中，可以在沒有近似的情況下實現(xiàn)潛在變量的精確的推理，還可以優(yōu)化數(shù)據(jù)的精確對數(shù)似然，而不是其下限5。b）高效的推理和合成，自回歸模型如PixelCNN,也是可逆的，然而這樣的模型合成難以實現(xiàn)并行

20、化，并且通常在并行硬件上效率低下。而基于流的生成模型如Glow和RealNVP都能有效實現(xiàn)推理與合成的并行化。c）自回歸模型的隱藏層有未知的邊際分布，使其執(zhí)行有效的數(shù)據(jù)操作上很困難由于GAN沒有編碼器，所以很難表征完整的數(shù)據(jù)分布?；诹鞯哪Ｐ湍軌驅W習高維數(shù)據(jù)中的復雜依賴關系，并學習語義上有意義的潛在空間，實時生成大量合成樣本。3流模型在點云生成的應用流模型現(xiàn)在已經很成熟的應用在圖像生成任務上，并且效果也還不錯比如OpenAI在2018的NeurlPS提出的GLOW模型5。而將流模型運用在點云生成任務上的研究相對比較少。來自康奈爾大學和英偉達的研究人員在2019ICCV提出了一種基于流模型的三維

21、點云生成模型PointFlow,這是流模型第一次應用在點云生成任務3。PointFlow通過為分布的分布建模，分別建立物體形狀的分布和給定物體的點云的分布，以此來完成對于物體點云的生成任務。為了生成點云，作者對分布的分布進行建模，也就是說不僅需要為形狀分布進行建模，同時需要對特定形狀下的點云進行建模。研究人員通過先驗分布點的可逆參數(shù)化變換代替了直接對點云分布的建模。這意味著在給定模型的情況下，首先從通用的高斯先驗中進行采樣，而后基于參數(shù)變換將他們移動到與目標形狀對應的新位置，使得參數(shù)化的變化和變量的分布都可以利用這一模型進行描述。更重要的是，這種模型還帶來了更強大的表達能力。在可以估計概率密度

22、、提升變分下限的同時，還可以避免由GANs帶來的復雜訓練。但是PointFlow有著它的缺點，一是訓練時間非常久;二是對于稀疏的點云，生成效果不是很好?；赑ointFlow的不足，我們提出了一種改進的模型。我們同樣使用連續(xù)歸一化流來為給定形狀下點的分布進行建模。連續(xù)歸一化流可以視為三維歐式空間中的向量場，它可以通過對某一通用的先驗分布進行轉換（例如高斯分布）推導出點云的分布。連續(xù)歸一化流是一系列可逆的映射，可以將已知的初始化分布映射到更為復雜的分布上去。點云生成過程我們的目標是生成點云，根據(jù)圖1將我們的模型網絡結構設計如圖2。首先，從高斯分布里面隨機采樣M個數(shù)據(jù)y1，y2，yM。每個數(shù)據(jù)表示

23、一個點云，并且他們各自包含有對應點云的x軸、y軸和z軸坐標。然后將這M個點云通過可逆的網絡g，網絡g就會移動這些點云位置，從而獲得新的點云。因為同一個類別的點云會有不同的形狀，比如飛機這個類別就有客機，戰(zhàn)斗機等等，所以為了使我們的模型產生不同形狀的點云，我們使用一個高維度的隱變量S來控制生成點云的形狀。我們從高斯分布里面隨機采樣數(shù)據(jù)（采樣的數(shù)據(jù)維度和S相同），然后將采樣的數(shù)據(jù)送入可逆的網絡f這樣就可以獲得一個S。接著將S送入網絡g就可以生成不同形狀的點云。網絡訓練過程根據(jù)圖2可知訓練的過程和點云生成的過程是逆向的。我們想要從熟知的高斯分布生成點云，而點云所處的分布非常復雜且我們還不知道表達式。這時，我們借助于數(shù)據(jù)集的點云，從點云采樣數(shù)據(jù)，然后逆向通過可逆網絡g和可逆網絡f,只要這樣產生的分布和高斯分布一樣，則可逆網絡g和可逆網絡f訓練完成。如圖3,訓練過程我們分成2個分支，分支1（圖2的上部分）：首先把從數(shù)據(jù)集獲得的點云數(shù)據(jù)采