數(shù)據(jù)驅(qū)動的湍流標(biāo)量混合非閉合深度學(xué)習(xí)模型

1、數(shù)據(jù)驅(qū)動的湍流標(biāo)量混合非閉合深度學(xué)習(xí)模型摘要：借鑒物理信息深度學(xué)習(xí)和深隱藏物理模型，提出一個從噪聲的時空概率密度函數(shù)測算中辨識湍流模型的框架。該模型適用于由 運(yùn)積單點(diǎn)概率密度函數(shù)方程描述的條件Fickian標(biāo)量期望擴(kuò)散或耗散。采用均勻湍流二元標(biāo)量混合的振幅映射閉包/Johnsohn-Edgeworth 變換模型獲得精確解，對所構(gòu)建的模型進(jìn)行了測評。關(guān)鍵詞：概率密度函數(shù)模型；湍流混合；模型辨識；深度學(xué)習(xí)（3）湍流標(biāo)量混合問題在近幾十年得到學(xué)術(shù)界廣泛研究和應(yīng)用U-3】。 在 Reynolds-averaged Navier-Stokes（ RANS）模擬中，湍流的輸運(yùn)概 率密度函數(shù)（PDF）明確地

2、描述了這一問題。對于單點(diǎn)PDF描述子， Fickian標(biāo)量的混合作用表現(xiàn)為：條件期望耗散項和/或條件期望擴(kuò)散 項為非閉合的2。通過概率濾波密度函數(shù)（FDF）在大渦流模擬（LES） 中也遇到了類似的非閉合問題4。相關(guān)非閉合項的閉包開發(fā)已成為熱 點(diǎn)研究問題。湍流模型的首要目標(biāo)是為PDF/FDF輸運(yùn)方程中出現(xiàn)的 未閉合項找到精確的閉包。在湍流建模中，常采用封閉項表達(dá)非封閉 項。這種閉包的形式是基于對已有問題的物理檢查，它本身就容易出 錯。這是湍流閉合過程中建模不確定性的主要來源。本文介紹了一種新的湍流標(biāo)量混合閉包方法，即從高保真度觀 測中學(xué)習(xí)非閉合項。這種觀察可能來自直接數(shù)值模擬（DNS）,如文 獻(xiàn)

3、5-7;或時空分辨實(shí)驗(yàn)測量，如文獻(xiàn)8-9。顯然，在DNS中，未 閉合項可以直接從模擬結(jié)果中提取出來。然而實(shí)際應(yīng)用中執(zhí)行DNS 成本過高。另一方面，從實(shí)驗(yàn)數(shù)據(jù)中尋找閉包涉及從實(shí)驗(yàn)數(shù)據(jù)中獲取 時空和分解空間的導(dǎo)數(shù)（在某些情況下是高階導(dǎo)數(shù)），難度較大，且 易因時空測量的分辨率引入新的閉包不確定性。本研究的最終目標(biāo)是 開發(fā)一個閉包發(fā)現(xiàn)框架，從稀疏的高保真數(shù)據(jù)（如實(shí)驗(yàn)測量）中學(xué)習(xí) 閉包。上文中所提出的框架用一種數(shù)據(jù)驅(qū)動的方法取代了常用的“猜 測”方法。該方法以系統(tǒng)的方式從數(shù)據(jù)中揭示出封閉性。本研究方法 以偏微分方程深度學(xué)習(xí)10和數(shù)據(jù)驅(qū)動建模策略11，特別是基于物理 學(xué)的深度學(xué)習(xí)12和深層隱藏物理模型13

4、為理論基礎(chǔ)。二進(jìn)制標(biāo)量混合常用在PDF閉包開發(fā)中14-15，本研究中以它為 演算實(shí)例。該問題通常出現(xiàn)在設(shè)置空間均勻流研究中，其亦考慮標(biāo)量 PDF的時間傳輸。在這種情況下，亟須開發(fā)一個能夠準(zhǔn)確預(yù)測PDF 的演化的閉包框架。這個問題相對簡單，適合DNS和實(shí)測實(shí)驗(yàn)。文 獻(xiàn)中有大量通過這些方法獲得的數(shù)據(jù)5-7，16-23，測評結(jié)果表明：本文提 出的計算模型學(xué)習(xí)獲得的條件期望耗散和擴(kuò)散可靠性高誤差小。1二元標(biāo)量混合已在此考慮Fickian被動標(biāo)量甲（t, x）（ /為時間，x為位置向量）， 初始對稱二元態(tài)的擴(kuò)散系數(shù)r在-匕W+1范圍內(nèi)。因此，在初始時 刻的單點(diǎn)PDF為P（0,們= 0.5S（q 1） +

5、 g + 1），其中表示 饑t,x）的合成樣本空間。因此，（t=0）=0, 2（0）= 1，其中“” 表示概率平均值（平均值），犯表示方差。在均勻湍流中，P取決于 下式：(1)其中表示標(biāo)量耗散的期望值& =rv w甲，以標(biāo)量值為條件 =（& 甲）= （2）其中豎線表示條件值。式（1）也可表示為：空+迎=0dtdtp其中D表示條件期望擴(kuò)散：D = D（瑚）=（ 4 ）PDF傳輸中的閉合問題與未知的條件期望耗散（E）和/或條件期 望擴(kuò)散（D）有關(guān)。在單點(diǎn)水平上，這些條件平均值都不已知；它們的 無條件（總）平均值（e（t）也非已知：e（t） = P（t,饑-（t,= 一 甲P（t,饑-D（t,甲）d

6、甲（5 ）2深度學(xué)習(xí)解決方案設(shè)概率密度函數(shù)P（t,甲）的數(shù)據(jù)范圍為任,P- %，分別利用 式（1 ）和（3）來推斷未知量耗散s（t,們和擴(kuò)散D（t,饑,進(jìn)而解決閉 包問題。原始數(shù)據(jù)從DNS或?qū)嶒?yàn)測量中獲得。2.1條件期望擴(kuò)散基于近期物理學(xué)信息深度學(xué)習(xí)12和深隱藏物理模型13研究成果， 在此提出近似函數(shù)仕,饑t （P, D）將t和作為深層神經(jīng)網(wǎng)絡(luò)的輸入 量，輸出P和D。此方法基于現(xiàn)代解決偏微分方程正問題和反問題的 技術(shù)，其中未知解由高斯過程網(wǎng)或神經(jīng)網(wǎng)絡(luò)12-13近似。從上述設(shè)定及公式（3 ）可獲得以下物理信息神經(jīng)網(wǎng)絡(luò)（見圖1 ）。R：=空 + 冬（6）dt 。中如圖1所以，根據(jù)一個普通的密集連接

7、（物理未知）神經(jīng)網(wǎng)絡(luò)， 每個輸出變量有10個隱藏層、每個隱藏層含50個神經(jīng)元，輸入變量 為t和s輸出P和D。使用b（x） = x - sigmoid（x）激活函數(shù)。例如： 圖中所示的網(wǎng)絡(luò)示例由2個隱藏層組成，每個隱藏層有5個神經(jīng)元。 使用自動微分法獲得所需的導(dǎo)數(shù)來計算剩余（物理信息）網(wǎng)絡(luò)Ro總 損失函數(shù)由概率密度函數(shù)P的回歸損失和偏微分方程R疊加的損失 組成。這里，身份運(yùn)算符沂和微分算子。見使用自動微分計算。此外， 利用Adam優(yōu)化器將損失函數(shù)的梯度反向傳播到整個網(wǎng)絡(luò)中，以訓(xùn)練 神經(jīng)網(wǎng)絡(luò)參數(shù)。通過應(yīng)用自動微分的鏈規(guī)則來微分函數(shù)的組合，得到了計算剩余 網(wǎng)絡(luò)R（t,們所需的導(dǎo)數(shù)25。自動微分基于一

8、個先驗(yàn)性假設(shè)：所有的數(shù) 值計算最終都是一組導(dǎo)數(shù)已知的有限的初等運(yùn)算的組合。通過鏈?zhǔn)椒?則把組成運(yùn)算的導(dǎo)數(shù)組合起來，得到整體構(gòu)圖的導(dǎo)數(shù)。這樣就可以在 機(jī)器精度下精確地評估導(dǎo)數(shù)。算法具有理想的漸近效率，只需要一個 很小的常量開銷因子。特別地，使用Tensorflow計算所需的導(dǎo)數(shù)，它是一個流行的、文檔相對完善的用于自動微分和深度學(xué)習(xí)計算的開 源軟件庫。圖1條件期望擴(kuò)散的物理信息神經(jīng)網(wǎng)絡(luò)示例神經(jīng)網(wǎng)絡(luò)的參數(shù)P（t,肥）和D（t,肥）可以通過最小化下面的損失函 數(shù)來學(xué)習(xí)：（已鏟）p，2 +（已 ）|2（7）第一個求和項對應(yīng)于概率密度函數(shù)P（t,肥）上的訓(xùn)練數(shù)據(jù)，第二 個求和項在一組有限的測量點(diǎn)上實(shí)施了公

9、式（3）所施加的架構(gòu)，這 些測量點(diǎn)的數(shù)量和位置都與訓(xùn)練數(shù)據(jù)相同。概率密度函數(shù)P（t,肥）的 數(shù)據(jù)取值于已仃P(guān)n %】。2.2條件期望耗散基于近似函數(shù)（,中）（P, ），通過一個深層神經(jīng)網(wǎng)絡(luò)將t和作 為輸入，輸出P和。此先驗(yàn)假設(shè)和公式（1）將使我們獲得以下物理 信息神經(jīng)網(wǎng)絡(luò)（見圖2）：dPd2 (eP)1dtdw2圖2條件期望耗散的物理信息神經(jīng)網(wǎng)絡(luò)示例一個普通的稠密連接（物理未知）神經(jīng)網(wǎng)絡(luò)，每輸出變量有10 個隱層和每個隱層50個神經(jīng)元，在輸出P和卻寸取輸入變量t和p。 使用b（x） = x - sigmoid（x）做激活函數(shù)。圖中所示的示例網(wǎng)絡(luò)由2個 隱藏層和每個隱藏層5個神經(jīng)元組成。使用自動

10、微分法來獲得所需 的導(dǎo)數(shù)，以計算殘差網(wǎng)絡(luò)S。全損失函數(shù)由概率密度函數(shù)P的回歸損 失和微分方程S的損失組成，這里I表示單位算子，微分算子tdPd2 (eP)1dtdw2圖2條件期望耗散的物理信息神經(jīng)網(wǎng)絡(luò)示例使用自動微分法60 獲得計算殘差網(wǎng)絡(luò)S（t,肥）所需的導(dǎo)數(shù)。神經(jīng) 網(wǎng)絡(luò)的參數(shù)P（t,和E（t,肥）可以通過最小化以下?lián)p失函數(shù)來學(xué)習(xí)SUP（t”, 0”） P |2 + Z；U|S（t”,肥”）|2,（9）第一個求和項對應(yīng)于概率密度函數(shù)P（t,肥）上的訓(xùn)練數(shù)據(jù)，第二 個求和項在一組有限的測量點(diǎn)上實(shí)施了公式（1）所施加的架構(gòu)，這 些測量點(diǎn)的數(shù)量和位置都與訓(xùn)練數(shù)據(jù)相同。概率密度函數(shù)P（t,肥）的 數(shù)

11、據(jù)取值于t, p, P *=3測試評估采用旋轉(zhuǎn)振幅映射閉包（AMC）評估本文深度學(xué)習(xí)算法的性能 27期。AMC以隱式方式為PDF傳輸提供外部閉包。通過變換= Z（o, t）將隨機(jī)興趣域中映射到靜態(tài)高斯參考域代。這樣使隨機(jī)興趣 變量、P（?）的PDF與高斯分布關(guān)聯(lián)起來。在上下界固定的域中， 平均值為零的對稱場的解用未知時間量t表示：GP（t,甲）=2exp（l G2）erfT（時2,G（t） = Jexp（2.） 1（ 10）AMC方法中，當(dāng)方差為零（或G一s）時，PDF在復(fù)合域中從 一個雙A分布逆向擴(kuò)散到一個以0 為中心的漸近近似高斯分布。 還有其他物理方法將PDF主動轉(zhuǎn)換到高斯分布（或任何其

12、他分布）。 Johnson-Edgeworth變換（JET） 30使用隨機(jī)物理場的轉(zhuǎn)換方式轉(zhuǎn)換 為固定的標(biāo)準(zhǔn)高斯（或任何其他）參考域，其使用如下的轉(zhuǎn)換模式:甲=端，Y（t= 0）e0,y（t T8）（ 11）函數(shù)y（t）在此起著類似于AMC中G的作用。通過適當(dāng)形式的Z 函數(shù)，確定標(biāo)量PDF。這種方法可產(chǎn)生多種頻率。例如，AMC通過 轉(zhuǎn)換式Z=erf（中o）恢復(fù)，即標(biāo)記為erf-1正態(tài)分布。因此c和物 理時間t之間的關(guān)系可以通過高階統(tǒng)計量的知識來確定。例如，標(biāo)準(zhǔn) 化方差： TOC o 1-5 h z =-arctan-=）（ 12）,2（0）兀GG2+2J通過賦值總平均耗散e（t）=-嗜的來確定

13、t。有了這個耗散的知 識，所有的條件統(tǒng)計量都可確定。=(exP2g_(/)2(13)exper/-1()2er/-1()（S） _四（S） _四,中）=（卡 l1+sin市=后(14)本節(jié)采用AMC（ erf-1正態(tài)分布）評估本文深度學(xué)習(xí)框架的效果。 圖3 （ac）給出第一組精確概率密度函數(shù)及其深度學(xué)習(xí)結(jié)果值的分 布情況；圖3 （ df）為相應(yīng)精確條件期望擴(kuò)散及其深度學(xué)習(xí)結(jié)果值的 分布情況。圖中的P（t,肥）和D（t, 值由10個隱藏層組成的深層神經(jīng) 網(wǎng)絡(luò)來近似獲得,每個隱藏層有50個神經(jīng)元（該方法的策略見圖1 ）。使用文獻(xiàn)31中的x - sigmoid（x）作為Swish激活函數(shù)，同時使用物

14、 理信息的神經(jīng)網(wǎng)絡(luò)13。在本文中，選擇一致的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將每個 輸出變量的隱藏層數(shù)設(shè)置為10個，將神經(jīng)元數(shù)設(shè)置為50個。(a)精確P(t, 0);(b)學(xué)習(xí)所獲P(t,(a)精確P(t, 0);(b)學(xué)習(xí)所獲P(t, 0);（c）差值（e）學(xué)習(xí)所獲D（t,中）;差值圖 3 第一組概率密度函數(shù)、條件期望擴(kuò)散函數(shù)及其深度學(xué)習(xí)結(jié)果值 的分布情況（a）為精確概率密度函數(shù)P（t,肥），（b）為精確概率密度 函數(shù)P（t,肥）的深度學(xué)習(xí)結(jié)果，（c）為二者的差值；（d）為條件期望擴(kuò) 散D（t,肥），（e）為條件期望擴(kuò)散D（t,肥）的深度學(xué)習(xí)結(jié)果，（f）為二 者的差值訓(xùn)練過程簡述如下:測試結(jié)果是在Adam優(yōu)化

15、器的105.2x105. 3x105和4x105的連續(xù)時間段之后獲得的，相應(yīng)的學(xué)習(xí)率分別為10- 3、10-4、10-5和10-6。每個時間段均對整個數(shù)據(jù)集完整計算一次。因此，Adam優(yōu)化器的總迭代次數(shù)是數(shù)據(jù)個數(shù)除以最小批量值的106 倍。本文使用的小批量大小是20000,數(shù)據(jù)點(diǎn)的數(shù)量是20000。此算法能夠重建概率密度函數(shù)P（t,甲），通過深度學(xué)習(xí)方法獲得條 件期望擴(kuò)散D（t,饑,它們的相對L2誤差分別為1.27x10-4和1.73x10- 2。圖4給出了空間相對L2誤差，橫坐標(biāo)為時間。在時間t較小時誤 差值很大，這是由于P（t,肥）在t=0時的奇異性造成的。然而，隨著時 間t增大，誤差隨著

16、初始奇異性的減弱而減小。圖4條件期望擴(kuò)散模型學(xué)習(xí)所得數(shù)據(jù)的誤差。左圖為精確概率密度 函數(shù)P（t,肥）及其深度學(xué)習(xí)結(jié)果的相對L2誤差（Rel. L2 Error），右圖 為精確和學(xué)習(xí)的條件期望擴(kuò)散D（t,甲）的相對L2誤差（Rel. L2 Error）圖5（ac）給出第二組精確概率密度函數(shù)及其深度學(xué)習(xí)測試值 的分布情況；圖5（ df）為相應(yīng)精確和深度學(xué)習(xí)獲得的條件期望耗散 （t,肥）測試值的分布情況。圖中的P（t,肥）和（t,勿值由10個隱藏層 組成的深層神經(jīng)網(wǎng)絡(luò)來近似獲得，每個隱藏層有100個神經(jīng)元（該方 法的策略框架見圖2）。（a）精確P（t,饑；（b）學(xué)習(xí)所獲P（t,p） ；（c）差值（d

17、）精確s（t,甲）；（e）學(xué)習(xí)所獲汜,甲）;差值圖5第二組精確概率密度函數(shù)、條件期望耗散函數(shù)及其深度學(xué)習(xí)測試值的分布情況。（a）精確概率密度函數(shù)P（t, ），（b）精確概率密度 函數(shù)P（t,肥）的深度學(xué)習(xí)結(jié)果，（c）二者的差值；（d）條件期望耗散 對 （e）條件期望耗散油肥）的深度學(xué)習(xí)結(jié)果，（f）二者的差值 仍激使用活函數(shù)x sigmoid（x）。訓(xùn)練過程與前一組測試相同。該 算法能夠重建概率密度函數(shù)P（t,甲），通過深度學(xué)習(xí)方法獲得條件期望 耗散（t,勿，二者相對L2誤差分別為3.84x10-4和1.75x10-2。圖6 給出了空間相對L2誤差，橫坐標(biāo)為時間。圖6條件期望耗散模型學(xué)習(xí)所得數(shù)據(jù)的誤差。頂部面