拉格朗日回歸分析中的對(duì)偶型-逐次尋優(yōu)方法

拉格朗日回歸分析中的對(duì)偶型-逐次尋優(yōu)方法

可靠性設(shè)計(jì)通常需要規(guī)定適當(dāng)?shù)目煽啃砸蜃?。一般來說，預(yù)測性概率分布的類型，然后進(jìn)行預(yù)測性檢驗(yàn)，參數(shù)估計(jì)，然后得到分位值函數(shù)。在解決概率問題時(shí)，最大熵原理是避免概率分布，并精確規(guī)定分位值函數(shù)。這是解決這些問題的有力工具。文獻(xiàn)針對(duì)上述問題,本文提出了對(duì)偶型-逐次尋優(yōu)方法確定拉格朗日系數(shù),并在此基礎(chǔ)上提出了精度更高的改進(jìn)對(duì)偶型最大熵分位值估計(jì),算例表明,與經(jīng)典最大熵分位值估計(jì)方法比較,本文提出的方法計(jì)算精度高,優(yōu)化迭代的收斂性好.文中將由非線性最小二乘法確定拉格朗日系數(shù)的最大熵分位值估計(jì)稱為經(jīng)典型最大熵分位值估計(jì);由對(duì)偶原理確定拉格朗日系數(shù)的最大熵分位值估計(jì)稱為對(duì)偶型最大熵分位值估計(jì).1概率分布函數(shù)1979年Greenwood提出了概率加權(quán)矩,與經(jīng)典矩的統(tǒng)計(jì)相比,概率加權(quán)矩克服了小樣本經(jīng)典矩估計(jì)出現(xiàn)的大偏差問題.該方法已經(jīng)在氣象、水文、機(jī)械工程領(lǐng)域中得到了應(yīng)用.設(shè)隨機(jī)變量X和概率分布函數(shù)u(x)=P(X≤x),則X的概率加權(quán)矩如下其中i,j,k為任意實(shí)數(shù).為了取得較好的統(tǒng)計(jì)特性,避免觀測值的高次方造成的較大抽樣誤差,一般取i=1;為了計(jì)算方便,令j=0或k=0,概率加權(quán)矩可表示為其中M樣本觀測系列x其中x其中(i=1,2,…,n;j=0,1,…,n;k=0,1,…,n),對(duì)于小樣本概率加權(quán)矩具有良好的無偏性.因此,利用樣本的概率加權(quán)矩來估計(jì)概率統(tǒng)計(jì)量精度較高.2單元型最大熵的估計(jì)2.1對(duì)偶型最大熵分位值的求解設(shè)x(u)為隨機(jī)變量X在概率累積值為u的分位值(u(x)=P(X≤x)).其不及概率分位值最大熵定義為其中b現(xiàn)有文獻(xiàn)不及概率最大熵分位值函數(shù)的解析形式為其中λ其中目前普遍采用牛頓迭代尋優(yōu)求解上式.但是,采用牛頓迭代尋優(yōu)求解存在如下不足,即初值點(diǎn)對(duì)尋優(yōu)結(jié)果比較敏感.其一,初值點(diǎn)選取不合理,尋優(yōu)結(jié)果就不理想.其二,上述殘差e是關(guān)于λ2)對(duì)偶型不及概率最大熵分位值估計(jì)根據(jù)式(8),本文重新構(gòu)造拉格朗日函數(shù)T,且λ由駐值條件為了確定λ將式(14)代入式(13),得到拉格朗日對(duì)偶形式的尋優(yōu)函數(shù)P為對(duì)式(16)進(jìn)行尋優(yōu)即可得到拉格朗日系數(shù)λ2.2對(duì)偶型超越概率最大熵分位值估計(jì)設(shè)x(q)為隨機(jī)變量X超越概率值為q的分位值(q=P(X≥x(q))).x(u)為隨機(jī)變量X在不及概率為u的分位值(u=P(X≤x(u))),且滿足q=1-u,由概率權(quán)重矩可得則超越概率最大熵定義為其中a與不及概率分位值函數(shù)相似,超越概率最大熵分位值函數(shù)的解析形式為在確定分位值函數(shù)γ2)對(duì)偶型超越概率最大熵分位值估計(jì)根據(jù)式(18),本文重新構(gòu)造拉格朗日函數(shù)R,且γ由駐值條件為了確定γ將式(22)代入式(21),得到拉格朗日對(duì)偶形式的尋優(yōu)函數(shù)W為對(duì)式(24)進(jìn)行尋優(yōu)即可得到拉格朗日系數(shù)γ2.3改進(jìn)的分位值函數(shù)最大熵解析法不及概率最大熵分位值估計(jì)在擬合百分位值函數(shù)時(shí),其低概率累積分位點(diǎn)相對(duì)其他分位點(diǎn)誤差大,而超越概率最大熵分位值函數(shù)估計(jì)在擬合百分位值函數(shù)時(shí),其高概率累積分位點(diǎn)相對(duì)其他分位點(diǎn)誤差大.將兩者進(jìn)行線性組合可以提高分位值函數(shù)的估計(jì)精度.設(shè)x(u)為隨機(jī)變量X在概率累積值為u的分位值(u=P(X≤x(u))),由式(14)和式(22),則改進(jìn)的分位值函數(shù)最大熵解析式為3優(yōu)化算法及其實(shí)現(xiàn)為了進(jìn)一步解決經(jīng)典最大熵、對(duì)偶型最大熵以及改進(jìn)的最大熵等分位值函數(shù)(即式(9)、式(14)、式(19)、式(22)和式(25))的求解過程中尋優(yōu)計(jì)算拉格朗日乘子的初始點(diǎn)敏感性問題,即尋優(yōu)結(jié)果精確不高、尋優(yōu)不收斂和求解效率低等問題.本文提出采用逐次尋優(yōu)的優(yōu)化算法求解拉格朗日乘子.由于在Bayes分析及數(shù)據(jù)處理中,各階樣本矩b下面以不及概率最大熵分位值函數(shù)的計(jì)算實(shí)現(xiàn)過程為例,闡述本文提出的逐次尋優(yōu)算法的步驟設(shè)拉格朗日乘子的總數(shù)為M,n=1,2,3,…,M-1,那么1)當(dāng)n=1時(shí),優(yōu)化變量為V2)當(dāng)n=2時(shí),優(yōu)化變量為V3)增加n值,如此往復(fù),直至n=M-1步,得到最終的最優(yōu)變量V4)由最終的拉格朗日系數(shù)λ4計(jì)算與評(píng)論4.1對(duì)偶型最大熵逐次尋優(yōu)估計(jì)法u應(yīng)用本文方法對(duì)常見的正態(tài)分布、對(duì)數(shù)正態(tài)分布,威布爾分布、指數(shù)分布等4種分布類型的不同概率分布分位值計(jì)算,以顯示本文方法處理不同概率分布分位值的適應(yīng)性.假設(shè)隨機(jī)樣本分別服從威布爾分布W(2,2,0.5)(形狀參數(shù)為2,位置參數(shù)為2,尺度參數(shù)為0.5),正態(tài)分布N(1,0.2)(期望為1,標(biāo)準(zhǔn)差為0.2),對(duì)數(shù)正態(tài)分布lnN(對(duì)數(shù)期望為0,對(duì)數(shù)標(biāo)準(zhǔn)差為0.3),指數(shù)分布E(率參數(shù)為4).通過MonteCarlo方法生成1000個(gè)樣本,采用本文的對(duì)偶型不及概率最大熵分位值估計(jì)法、超越概率最大熵分位值估計(jì)法以及改進(jìn)最大熵分位值估計(jì)法分別對(duì)該4種分布類型的分位值進(jìn)行計(jì)算,并取所計(jì)算樣本的前10階概率權(quán)重矩進(jìn)行約束,得到對(duì)偶型最大熵分位值函數(shù)曲線與理論累積函數(shù)曲線的對(duì)比見圖1.從圖1可以看出,在大樣本條件下,對(duì)偶型不及概率最大熵分位值估計(jì)法、超越概率最大熵分位值估計(jì)法以及改進(jìn)對(duì)偶型最大熵分位值估計(jì)法的計(jì)算結(jié)果與理論概率累積函數(shù)結(jié)果均十分吻合,表明本文提出的對(duì)偶型最大熵分位值逐次尋優(yōu)方法能夠很好地模擬常見類型的概率分布;且公式表達(dá)形式統(tǒng)一、簡單.4.2對(duì)偶型最大熵與經(jīng)典最大熵分位值計(jì)算方法的對(duì)比通過MonteCarlo方法生成1000個(gè)樣本,分別服從威布爾分布W(2,2,0.5)(形狀參數(shù)為2,位置參數(shù)為2,尺度參數(shù)為0.5),正態(tài)分布N(1,0.2)(期望為1,標(biāo)準(zhǔn)差為0.2),對(duì)數(shù)正態(tài)分布lnN(0,0.3)(對(duì)數(shù)期望為0,對(duì)數(shù)標(biāo)準(zhǔn)差為0.3),指數(shù)分布E(4)(率參數(shù)為4).將本文的對(duì)偶型超越概率分位值最大熵估計(jì)、和經(jīng)典超越概率分位值最大熵估計(jì)分別采用本文的逐次尋優(yōu)算法和經(jīng)典的擬牛頓算法計(jì)算分位值(不及概率分位值計(jì)算類同).取所計(jì)算樣本的前10階概率權(quán)重矩進(jìn)行約束,得到最大熵分位值函數(shù)曲線與理論概率累積函數(shù)曲線的對(duì)比見圖2,不同分位值函數(shù)估計(jì)方法產(chǎn)生的方均根誤差(RMSE)見表1.從圖2及表1的結(jié)果可以看到擬合曲線的精確程度從高到低的排序?yàn)?對(duì)偶型-逐次尋優(yōu)法、對(duì)偶型-擬牛頓法、經(jīng)典型-逐次尋優(yōu)法、經(jīng)典型-擬牛頓法.分析其原因?yàn)?經(jīng)典型-擬牛頓法得出的擬合曲線與理論曲線相差很大,由于優(yōu)化函數(shù)的高度非線性存在尋優(yōu)困難,同時(shí)擬牛頓法的初始點(diǎn)選取十分重要.本算例中由于初始點(diǎn)的選取不合適,導(dǎo)致優(yōu)化不收斂.而逐次尋優(yōu)法避免初始點(diǎn)的選取不當(dāng)造成的優(yōu)化不收斂問題,使經(jīng)典型-逐次尋優(yōu)法比經(jīng)典型-擬牛頓法有更高的計(jì)算精度.對(duì)偶型分位值函數(shù)簡化優(yōu)化函數(shù),使其不再高度非線性,得到的計(jì)算曲線較經(jīng)典型具有更高的精度.4.3改進(jìn)的最大熵逐次尋優(yōu)方法通過MonteCarlo方法生成1000個(gè)服從正態(tài)分布N(10,1)的樣本,應(yīng)用對(duì)偶型不及概率最大熵分位值估計(jì)法、超越概率最大熵分位值估計(jì)法以及改進(jìn)的最大熵分位值估計(jì)法等3種,對(duì)概率累積函數(shù)進(jìn)行計(jì)算,給出累積概率在[0,0.2],[0.8,1],[0,1]曲線結(jié)果進(jìn)行對(duì)比見圖3~圖5,及各概率區(qū)間的分位值估計(jì)方均根方差RMSE見表2~表4(其他分布如對(duì)數(shù)正態(tài)分布,威布爾分布,指數(shù)分布等概率累積函數(shù)計(jì)算精度也有類似的結(jié)果).從圖3~圖5及表2~表4可以看出1)3種最大熵估計(jì)法都能很好地計(jì)算常見分布類型的累積函數(shù)曲線,隨著約束條件階數(shù)的增加(n階約束對(duì)應(yīng)的最大熵稱為n階最大熵估計(jì)),計(jì)算的曲線更加逼近理論概率累積函數(shù)曲線.2)從圖3(a)和圖3(b)及表2可以看出,超越概率最大熵分位值估計(jì)法得到的累積函數(shù)曲線在低可靠度的部分隨著階數(shù)增大其精度提高變化不大,在高可靠度的部分隨著階數(shù)增大其精度提高變化明顯.從圖4(a)和圖4(b)及表3可以看出,不及概率最大熵分位值估計(jì)法得到的累積函數(shù)曲線在低可靠度的部分隨著階數(shù)增大其精度提高變化明顯,在高可靠度的部分隨著階數(shù)增大其精度提高變化不大.3)從圖5及表4可以看出,由于改進(jìn)的最大熵分位值函數(shù)估計(jì)法是不及概率最大熵分位值估計(jì)法與超越概率最大熵分位值估計(jì)法上的線性組合,綜合了兩者的優(yōu)點(diǎn),并且避開了兩者的不足,估計(jì)出的概率累積曲線較前兩者方法精確.4.4隨機(jī)變量x的估計(jì)最大熵分位值估計(jì)法不僅能方便地應(yīng)用在常見的單峰隨機(jī)變量,且對(duì)于多峰的復(fù)雜隨機(jī)變量也能很好的適用.利用改進(jìn)對(duì)偶型最大熵分位值估計(jì)法及經(jīng)典最大熵分位值估計(jì)法對(duì)隨機(jī)變量X進(jìn)行積累函數(shù)估計(jì),隨機(jī)變量X的理論概率密度為從圖6及表5可以看到,在一定的樣本條件下,經(jīng)典的最大熵分位值函數(shù)曲線與理論曲線相差較大.其原因在于經(jīng)典最大熵法優(yōu)化函數(shù)高度非線性且優(yōu)化結(jié)果受初始點(diǎn)影響較大;而改進(jìn)對(duì)偶型最大熵分位值逐次尋優(yōu)方法得到的累積函數(shù)曲線與理論累積函數(shù)曲線吻合較好,精度達(dá)到工程的使用要求.5對(duì)偶型-逐次尋優(yōu)算法1)基于拉格朗日乘子對(duì)偶法,推導(dǎo)建立了含有拉格朗日系數(shù)優(yōu)化函數(shù)的對(duì)偶表達(dá)式,與經(jīng)典的非線性最小二乘法相比,函數(shù)形式簡單,非線性程度低,不論采用本文