半?yún)?shù)估計(jì)方法在測(cè)繪數(shù)據(jù)處理中的應(yīng)用研究進(jìn)展

1、東華理工大學(xué) 實(shí)用測(cè)量數(shù)據(jù)處理方法 實(shí)用測(cè)量數(shù)據(jù)處理方法結(jié)課題目：半?yún)?shù)估計(jì)在測(cè)繪數(shù)據(jù)處理中的應(yīng)用研究進(jìn)展 學(xué) 號(hào)： * 姓 名： * 專 業(yè)： 測(cè)繪工程 授課教師： *博士 2015.12摘要半?yún)?shù)回歸模型,又稱為部分線性回歸模型,是由Engle eta1(1986)在研究天氣變化與供電需求之間的關(guān)系時(shí)引入的,是20世紀(jì)80年代以來發(fā)展起來的一種重要的統(tǒng)計(jì)模型。在實(shí)際的回歸分析中,由于存在不可避免的系統(tǒng)誤差,獨(dú)立變量便不能被直接觀測(cè)到,而是由帶有誤差的值所代替。由于系統(tǒng)誤差的問題,普通最小二乘便不再有效,所以研究半?yún)?shù)回歸模型比一般回歸模型更具有挑戰(zhàn)性和實(shí)際意義。本文首先介紹了半?yún)?shù)回歸模型

2、的兩種不同類型的回歸模型:線性半?yún)?shù)回歸模型和非線性半?yún)?shù)回歸模型;研究了目前半?yún)?shù)回歸模型常見的估計(jì)方法(補(bǔ)償最小二乘估計(jì)、核光滑估計(jì)、擬似然估計(jì)、虛擬觀測(cè)法)并得到了一些滿意的結(jié)果。另外本文主要是分析討論以上各種方法以及存在的問題，并對(duì)補(bǔ)償最小二乘加以研究，對(duì)方法優(yōu)缺點(diǎn)進(jìn)行分析，最后對(duì)半?yún)?shù)方法進(jìn)行展望。關(guān)鍵詞：半?yún)?shù)回歸模型，補(bǔ)償最小二乘估計(jì)，正則化矩陣目錄1.緒論12.半?yún)?shù)模型介紹62.1線性半?yún)?shù)回歸模型62.2非線性半?yún)?shù)回歸模型62.3解法介紹72.3.1自然樣條函數(shù)法NCS(Natural Cubic Spline)72.3.2補(bǔ)償最小二乘估計(jì)PLSE(Penalized L

3、east Square Estimation)72.3.3核光滑估計(jì)法KSE(Kernel Smoothing Estimation)92.3.4擬似然估計(jì)法QLE(Quasi-Likelihood Estimation)103.半?yún)?shù)模型的補(bǔ)償最小二乘法123.1經(jīng)典模型的解算方法123.2確定正則化矩陣的方法163.2.1時(shí)間序列法163.2.2距離法184.進(jìn)一步工作與展望20參考文獻(xiàn)211.緒論 現(xiàn)代科學(xué)研究和工業(yè)技術(shù)中,為得到某些未知數(shù),常常要通過一系列測(cè)量手段得到相關(guān)觀測(cè)值,但由于測(cè)量的局限性,任何觀測(cè)數(shù)據(jù)或?qū)崪y(cè)信號(hào)總是不可避免地包含除了信息之外的干(誤差)部分,而采集數(shù)據(jù)就是為了

4、獲取有用的信息,因此要設(shè)法將誤差予以排除或減弱其對(duì)所需信息的影響,但有些誤差可以從中分離出來進(jìn)行其他方面的研究與應(yīng)用,例如利用GPS進(jìn)行氣象研究中,定位測(cè)量中分離出的電離層延遲誤差在此就可以提供大氣水汽含量及溫度信息,從而進(jìn)行天氣預(yù)報(bào),成為非常有用的觀測(cè)量,因此隨著空間技術(shù)不斷得到應(yīng)用,對(duì)觀測(cè)誤差的處理變的越來越重要。根據(jù)觀測(cè)誤差對(duì)測(cè)量結(jié)果的影響性質(zhì),可將其分為偶然誤差、系統(tǒng)誤差和粗差三類"在傳統(tǒng)的測(cè)量數(shù)據(jù)處理中,通常假定數(shù)據(jù)中只含有偶然誤差,用經(jīng)典平差進(jìn)行處理,這主要是因?yàn)閭鹘y(tǒng)測(cè)量中,對(duì)于系統(tǒng)誤差的處理方面,常規(guī)儀器本身有完整的校驗(yàn)辦法和觀測(cè)方程式,可以通過重復(fù)實(shí)驗(yàn)對(duì)干擾因素對(duì)測(cè)量

5、結(jié)果的影響的規(guī)律性有較為明確的了解,然后通過附加常數(shù)項(xiàng)將其減弱或消除,另外,還可以規(guī)范操作流程、差分處理技術(shù)、對(duì)系統(tǒng)誤差建立數(shù)學(xué)模型、盡量避開或改善引起系統(tǒng)誤差的觀測(cè)環(huán)境等手段減弱或消除系統(tǒng)誤差的影響"剔除了觀測(cè)值中的系統(tǒng)誤差和粗差之后,觀測(cè)誤差中偶然誤差占主導(dǎo)地位,此時(shí)完全可以用經(jīng)典最小二乘平差理論進(jìn)行處理,德國數(shù)學(xué)家C.F.Gauss于1794年提出的最小二乘法為此理論奠定了基礎(chǔ),隨后經(jīng)過200多年的發(fā)展,經(jīng)典平差理論已經(jīng)發(fā)展成為最完善、最成熟的測(cè)量平差處理理論。關(guān)于測(cè)量中出現(xiàn)的粗差,國內(nèi)外學(xué)者提出了較為深入、系統(tǒng)的處理理論,從粗差的可靠性和可區(qū)分性,到粗差的探測(cè)和定位技術(shù)以及抗

6、差估計(jì)(穩(wěn)健估計(jì))理論;然而隨著空間測(cè)量技術(shù)的應(yīng)用和測(cè)量新技術(shù)的不斷發(fā)展,短時(shí)間獲得海量的觀測(cè)數(shù)據(jù)己經(jīng)成為事實(shí),這些觀測(cè)值受外部環(huán)境影響較大,影響因素較多,函數(shù)關(guān)系也較為復(fù)雜且對(duì)其認(rèn)識(shí)較少,若采用常規(guī)的系統(tǒng)誤差處理方法對(duì)觀測(cè)數(shù)據(jù)進(jìn)行處理,殘余的系統(tǒng)誤差與偶然誤差相比達(dá)到了不容忽視的程度,已不能滿足空間測(cè)量中對(duì)誤差處理精度越來越高的要求。因此,空間科學(xué)技術(shù)的發(fā)展推動(dòng)了系統(tǒng)誤差處理理論研究的不斷深入,目前已有處理系統(tǒng)誤差的理論和方法主要有以下幾種:最小二乘配置，附加系統(tǒng)參數(shù)和系統(tǒng)權(quán)的方法，部分延續(xù)模式，回歸模型殘差檢驗(yàn)法，小波濾波，碩士學(xué)位論一章緒論基于自適應(yīng)擬合的卡爾曼濾波，經(jīng)驗(yàn)?zāi)Ｊ椒纸獾?但是

7、由于測(cè)量過程中觀測(cè)值受到多種因素的影響,一般認(rèn)為模型誤差或系統(tǒng)誤差的形態(tài)很復(fù)雜,系統(tǒng)誤差在一定程度上存在隨機(jī)性和非隨機(jī)性,無法用少數(shù)參數(shù)進(jìn)行表示,得到精確的參數(shù)模型,而這些方法大多是基于線性或非線性的參數(shù)回歸模型,經(jīng)典參數(shù)回歸模型并不能很好地和測(cè)量中的實(shí)際問題相吻合,此時(shí)可以在每個(gè)觀測(cè)方程中增加一個(gè)非參數(shù)分量,這樣以來方程中既有參數(shù)分量又有非參數(shù)分量,結(jié)合了參數(shù)回歸模型和非參數(shù)回歸模型兩種模型的優(yōu)勢(shì),描述函數(shù)關(guān)系明確的參數(shù)分量部分可以將結(jié)果外延,而描述函數(shù)關(guān)系不明確的非參數(shù)分量部分可以提高擬合結(jié)果的準(zhǔn)確性,這種既含有參數(shù)分量又含有非參數(shù)分量的函數(shù)模型即為半?yún)?shù)回歸模型。一般情況下,半?yún)?shù)平差模

8、型的解算準(zhǔn)則采用補(bǔ)償最小二乘準(zhǔn)則,該準(zhǔn)則既顧及到了擬合程度又顧及到了光滑程度,因此得到了廣泛應(yīng)用"該準(zhǔn)則中的關(guān)鍵問題是正則化參數(shù)和正則化矩陣的確定,目前確定兩者的方法均有多種,但各種方法得到的結(jié)果并不統(tǒng)一,且沒有很好的評(píng)定各種方法好壞的標(biāo)準(zhǔn);另外,對(duì)于非參數(shù)部分函數(shù)光滑性的描述仍然不夠明確"為了滿足現(xiàn)代測(cè)繪技術(shù)對(duì)測(cè)量精度提出的高要求,本文將以解決以上問題為出發(fā)點(diǎn),探索分析影響正則化參數(shù)選取的因素及其對(duì)數(shù)據(jù)處理結(jié)果產(chǎn)生的影響,正則化矩陣與非參數(shù)部分的光滑性之間的關(guān)系"這些問題的解決將為完善半?yún)?shù)模型數(shù)據(jù)處理方法提供理論依據(jù),有利于提高數(shù)據(jù)處理結(jié)果的精度,因此具有重要

9、的理論意義和實(shí)用價(jià)值"國內(nèi)外研究現(xiàn)狀眾所周知,測(cè)量平差中的數(shù)學(xué)模型具有根本的重要性,測(cè)量平差是測(cè)繪類專業(yè)中一門重要的技術(shù)基礎(chǔ)課,是用于觀測(cè)數(shù)據(jù)處理的一門應(yīng)用數(shù)學(xué)，數(shù)學(xué)領(lǐng)域的理論發(fā)展為測(cè)量數(shù)據(jù)處理理論提供了極大的便利,數(shù)理統(tǒng)計(jì)中的古典參數(shù)回歸模型為經(jīng)典平差中的數(shù)學(xué)模型奠定了基礎(chǔ)"從應(yīng)用初期到目前的傳統(tǒng)測(cè)量中,人們通常對(duì)回歸函數(shù)做出較強(qiáng)的基本假設(shè),因而可以得到高精度的推斷結(jié)果,使得參數(shù)回歸模型在測(cè)量平差尤其是經(jīng)典測(cè)量平差中得到廣泛應(yīng)用,包括間接平差、條件平差、附有未知數(shù)的條件平差、附有限制條件的條件平差四種經(jīng)典平差模型,然而,實(shí)際測(cè)量中對(duì)函數(shù)模型的假設(shè)并不都成立,并且觀測(cè)值的影

10、響因素并不一定都能夠完全參數(shù)化,因此參數(shù)回歸模型存在一定的缺陷。為了讓函數(shù)模型與實(shí)際問題能更好地吻合,人們進(jìn)行了對(duì)非參數(shù)回歸模型的研究,該模型并沒有對(duì)回歸函數(shù)提供大量額外信息,不假設(shè)固定的函數(shù)形式,對(duì)實(shí)際問題具有較大的適應(yīng)性。Stone于1977年提出了非參數(shù)估計(jì)的權(quán)函數(shù)估計(jì)法碩士學(xué)位論一章緒論后,該方法得到了廣泛關(guān)注,相繼出現(xiàn)了局部多項(xiàng)式估計(jì)、補(bǔ)償最小二乘估計(jì)等方法,這些方法的提出使非參數(shù)回歸模型得以更快速更完善的發(fā)展,同時(shí)有力地推動(dòng)了測(cè)量數(shù)據(jù)處理理論的發(fā)展。但美中不足的是單純地用非參數(shù)回歸模型來解決問題時(shí),不能夠充分利用先驗(yàn)信息提供影響因素的顯著性,降低了模型對(duì)實(shí)際問題的解釋能力,為了更好

11、地解決上述參數(shù)回歸模型和非參數(shù)回歸模型的不足,RobertF.Engle等人于1986年研究天氣狀況與供電量的關(guān)系這一實(shí)際問題時(shí),結(jié)合了兩種模型的優(yōu)勢(shì),提出了既含參數(shù)分量又含非參數(shù)分量的半?yún)?shù)回歸模型。近年來,對(duì)半?yún)?shù)回歸模型的研究成果已大量涌現(xiàn),主要表現(xiàn)在:在數(shù)理統(tǒng)計(jì)領(lǐng)域,很多學(xué)者對(duì)半?yún)?shù)模型的回歸性質(zhì)做了大量研究,主要有半?yún)?shù)回歸模型的大樣本性質(zhì)在參數(shù)與非參數(shù)是否具有隨機(jī)性以及兩者是否相關(guān)等條件下,基于核估計(jì)和最小二乘法等不同的方法,研究了參數(shù)的偏樣條估計(jì)是相合估計(jì)、參數(shù)估計(jì)的收斂速度以及參數(shù)估計(jì)的漸近有效性等問題;Green和silverman等研究了半?yún)?shù)回歸模型的懲罰似然估計(jì)方法、樣

12、條估計(jì)、平滑因子的選擇、偏樣條估計(jì)、薄板樣條估計(jì)等一系列相關(guān)問題,為半?yún)?shù)回歸模型的基本理論奠定了基礎(chǔ);在國內(nèi)關(guān)于半?yún)?shù)回歸模型的研究,高集體、圣洪巖等學(xué)者開創(chuàng)了先河。他們主要的研究成果有:基于核估計(jì)或近鄰估計(jì)方法,參數(shù)估計(jì)的加權(quán)最小二乘估計(jì)的漸近正態(tài)性以及參數(shù)和非參數(shù)估計(jì)的強(qiáng)弱收斂速度;柴根象、圣洪巖、施云馳、錢偉民等在總結(jié)前人研究的基礎(chǔ)上,著重研究了半?yún)?shù)回歸模型的估計(jì)方法,根據(jù)模型的可加性首次提出了兩階段估計(jì),并研究了參數(shù)估計(jì)的相合性,漸近正態(tài)性以及漸近最小方差,重新討論了參數(shù)和非參數(shù)的大樣本性質(zhì);施沛德、薛留根等從構(gòu)造相關(guān)統(tǒng)計(jì)量,利用隨機(jī)加權(quán)法系統(tǒng)地研究了參數(shù)分量和非參數(shù)分量的M估計(jì)的

13、漸進(jìn)性質(zhì),極大地豐富了半?yún)?shù)回歸模型的理論研究;朱忠義、韋博成等對(duì)半?yún)?shù)非線性模型進(jìn)行了系統(tǒng)地研究,同時(shí)也為半?yún)?shù)非線性模型在測(cè)量領(lǐng)域的應(yīng)用打下了基礎(chǔ)"結(jié)合參數(shù)模型估計(jì)和非參數(shù)模型估計(jì)方法,經(jīng)過大量的理論研究,歸納總結(jié)半?yún)?shù)回歸模型的估計(jì)方法,可分為參數(shù)化估計(jì)法:主要是對(duì)函數(shù)空間施加一定的限制,這里主要是針對(duì)光滑性,用有限和對(duì)其逼近,將非參數(shù)分量參數(shù)化,利用最小二乘法或其他估計(jì)方法進(jìn)行求解,主要包括偏核光滑樣條估計(jì)、偏殘差估計(jì)、分段多項(xiàng)式估計(jì)等;兩階段估計(jì):首先假設(shè)參數(shù)已知,用非參數(shù)回歸方法估計(jì)非參數(shù)分量,然后將估計(jì)量代入用最小二乘法對(duì)參數(shù)分量進(jìn)行估計(jì);補(bǔ)償最小二乘估計(jì):主要是在普通

14、最小二乘的基礎(chǔ)上增加補(bǔ)償項(xiàng),不僅顧及到了擬合程度還顧及到非參數(shù)分量的光滑程度,因此成為了目前應(yīng)用最廣泛的估計(jì)方法,主要包括直接解法、迭代法等;穩(wěn)健估計(jì):鑒于最小二乘法缺乏穩(wěn)健性,學(xué)者針對(duì)半?yún)?shù)回歸模型的最小二乘法提出了M估計(jì),并相繼發(fā)展.另外,還有半?yún)?shù)模型的Bayes估計(jì)、差分估計(jì)、泛補(bǔ)償最小二乘估計(jì)等,這些估計(jì)方法的提出和對(duì)各種方法的完善為半?yún)?shù)回歸模型在各領(lǐng)域的應(yīng)用提供了極大的便利。在測(cè)繪領(lǐng)域,由于半?yún)?shù)模型既含有參數(shù)分量又含有非參數(shù)分量,可以將觀測(cè)誤差中的偶然誤差和系統(tǒng)誤差分離,因此半?yún)?shù)模型的應(yīng)用也越來越廣泛。在國際方面:最早在1978年,奧地利著名大地測(cè)量學(xué)家MorizH.在地球重

15、力場(chǎng)研究中用到了最小二乘配置理論,而在后續(xù)研究中發(fā)現(xiàn)最小二乘配置是半?yún)?shù)模型的一種特殊形式;Fische:B.于1999年研究了非參數(shù)模型中的數(shù)據(jù)光滑方法并將其應(yīng)用到半?yún)?shù)模型的平滑因子的確定中,并結(jié)合大地測(cè)量中實(shí)際算例進(jìn)行了驗(yàn)證和說明;在GPS數(shù)據(jù)處理中,JiaMinghai首次將半?yún)?shù)平差模型應(yīng)用到基線解算、靜態(tài)定位等的系統(tǒng)誤差處理中,取得了較好的效果。在國內(nèi),關(guān)于半?yún)?shù)平差模型的研究也取得了較大發(fā)展,主要集中在兩大方面:理論上,對(duì)半?yún)?shù)模型的估計(jì)方法、估計(jì)量的統(tǒng)計(jì)性質(zhì)以及相應(yīng)算法進(jìn)行了研究,并用測(cè)量語言介紹半?yún)?shù)模型的處理系統(tǒng)誤差的能力,主要有潘雄、孫海燕、陶本藻、丁士俊等首次將半?yún)?shù)平

16、差模型引入測(cè)量數(shù)據(jù)處理中,進(jìn)行了有關(guān)估計(jì)量的統(tǒng)計(jì)診斷方面的研究,對(duì)系統(tǒng)誤差和粗差的可區(qū)分性、粗差的檢驗(yàn)等方面進(jìn)行了研究;彭軍還、王振杰、孫海燕等對(duì)半?yún)?shù)模型本身進(jìn)行了研究,并將半?yún)?shù)平差模型與傳統(tǒng)的平差模型進(jìn)行了對(duì)比分析,為測(cè)量工作者對(duì)該模型的理解提供了很好的幫助,有力地推動(dòng)了半?yún)?shù)模型在測(cè)量領(lǐng)域的應(yīng)用發(fā)展;胡宏昌、孫海燕、潘雄、陶本藻等對(duì)半?yún)?shù)平差模型的估計(jì)方法做了進(jìn)一步的擴(kuò)充和發(fā)展,提出了兩階段估計(jì)、兩步估計(jì)、累計(jì)估計(jì)、小波估計(jì)等,并對(duì)估計(jì)量的精度評(píng)定做了研究;朱建軍、周曉衛(wèi)、樂科軍等提出了半?yún)?shù)平差模型的基于虛擬觀測(cè)的Helmert方差分量估計(jì)的解法,用純測(cè)量語言解釋了半?yún)?shù)模型,并在此

17、基礎(chǔ)上發(fā)展豐富了相關(guān)理論"學(xué)者們?cè)诎雲(yún)?shù)模型的理論研究中很快認(rèn)識(shí)到用補(bǔ)償最小二乘解算半?yún)?shù)回歸模型時(shí),正則化參數(shù)和正則化矩陣的確定,是提高解算精度的關(guān)鍵問題,王振杰、歐吉坤、胡宏昌、孫海燕等在這方面進(jìn)行了大量研究,結(jié)合測(cè)量實(shí)際問題,提出了各種不同的確定方法,確定正則化參數(shù)的方法主要有L曲線法,廣義交叉核實(shí)法,基于虛擬觀測(cè)的Helmert方差分量估計(jì)法、均方誤差最小法、信噪比值法、效率法、控制法、自適應(yīng)算法等,確定正則化矩陣的方法主要有自然樣條函數(shù)法、距離法、時(shí)間序列法等,他們還對(duì)原有方法進(jìn)行綜合整理和改進(jìn),豐富了半?yún)?shù)模型本身的理論研究。由于在解算半?yún)?shù)模型時(shí),采用的是補(bǔ)償最小二乘準(zhǔn)

18、則,正則化參數(shù)和正則化矩陣是該準(zhǔn)則中最關(guān)鍵的兩個(gè)待定量,需先固定兩者的其中之一,然后確定另一個(gè),最終達(dá)到解算半?yún)?shù)模型的目的。雖然目前對(duì)于兩者的確定方法均有多種,但仍存在一些問題:在同一模型中,固定正則化矩陣的情況下,用各種正則化參數(shù)確定的方法確定正則化參數(shù),得到的結(jié)果不統(tǒng)一,并且缺少對(duì)數(shù)據(jù)處理結(jié)果評(píng)價(jià)的標(biāo)準(zhǔn);此外,對(duì)于正則化矩陣如何反映非參數(shù)部分的光滑性,正則化矩陣和非參數(shù)部分的光滑性之間的關(guān)系缺乏合理的解釋,即光滑性的描述并不明確。 應(yīng)用上,由于測(cè)量領(lǐng)域中,系統(tǒng)誤差總是客觀存在的,并且按照傳統(tǒng)方法處理后的系統(tǒng)誤差不能滿足現(xiàn)代測(cè)量精度的要求,而半?yún)?shù)模型的引入為此提供了很好的出路,主要是用非

19、參數(shù)分量部分來解決測(cè)量中碰到的有關(guān)系統(tǒng)誤差不能用簡(jiǎn)單公式表達(dá)的問題,從而更好地符合實(shí)際情況,解決實(shí)際問題。丁士俊、陶本藻、孫海燕、王振杰、胡宏昌、潘雄等做了大量研究,主要是半?yún)?shù)模型在測(cè)量數(shù)據(jù)處理中的應(yīng)用,范圍涉及到地球重力場(chǎng)中板塊運(yùn)動(dòng)參數(shù)的求解、變形監(jiān)測(cè)、高精度GPS基線解算、衛(wèi)星定軌、高程擬合與推估、單點(diǎn)定位等方面的系統(tǒng)誤差處理等。另外,張松林、王新洲等還進(jìn)行了非線性半?yún)?shù)模型的研究,極大地豐富了測(cè)量數(shù)據(jù)處理理論,使實(shí)際測(cè)量中出現(xiàn)的非線性問題得到了很好地解決。2.半?yún)?shù)模型介紹2.1線性半?yún)?shù)回歸模型半?yún)?shù)回歸模型( Semiparetric regression model)又稱為部分線

20、性模型(Partial linear regression model)是Engle et al(1986)在研究天氣變化與供電需求之間的關(guān)系時(shí)引入的,具體形式如下: i=1,2.,n (2-1)上述模型的向量形式為: (2-2)其中Y表示n維觀測(cè)向量,Y=();X為n*p維列滿秩設(shè)計(jì)矩陣,X=,rank(X)=p;為p維參數(shù)向量,;為n維偶然誤差向量,N(0,),:=;S表示描述系統(tǒng)誤差的n維非參數(shù)向量,S=。(值得注意的是半?yún)?shù)模型的目的在于估計(jì)參數(shù),非參數(shù)S的引入主要是為了更加準(zhǔn)確的估計(jì)參數(shù),S本身的大小和精度并不重要)由于參數(shù)部分X為線性的,所以此時(shí)模型也稱為線性半?yún)?shù)模型。2.2非線

21、性半?yún)?shù)回歸模型在常規(guī)半?yún)?shù)模型(線性半?yún)?shù)模型)基礎(chǔ)上將參數(shù)部分加以拓展便可得更加一般的半?yún)?shù)模型一非線性半?yún)?shù)回歸模型,形式如下: （2-3） 其中是己知的二次可微函數(shù),其它的量與線性的半?yún)?shù)回歸模型相同。很明顯,不論是線性半?yún)?shù)回歸模型還是非線性的半?yún)?shù)回歸模型中的S，如果簡(jiǎn)單的把其看作參數(shù),則上述問題變?yōu)榫哂衝+p個(gè)未知量,只有n個(gè)觀測(cè)值的不定問題,如果不增加其它的信息,則不可求解。目前半?yún)?shù)模型的解法具有兩種思路:一是對(duì)非參數(shù)S的函數(shù)施加光滑性限制,使用合理的參數(shù)逼近,將非參數(shù)部分參數(shù)化;二是分別對(duì)參數(shù)部分和非參數(shù)部分進(jìn)行估計(jì)的兩階段估計(jì)方法。例如可以先假定參數(shù)已知,使用標(biāo)準(zhǔn)非參數(shù)方

22、法估計(jì)非參數(shù)部分,然后去掉非參數(shù)部分,再使用標(biāo)準(zhǔn)的參數(shù)方法估計(jì)參數(shù)部分。2.3解法介紹2.3.1自然樣條函數(shù)法NCS(Natural Cubic Spline) 自然樣條函數(shù)法屬于無窮維函數(shù)空間的光滑曲線,用來描述連續(xù)變化的模型誤差有其獨(dú)特的靈活性和簡(jiǎn)潔性。 若用自然樣條函數(shù)來表示隨時(shí)間連續(xù)變化的系統(tǒng)誤差,即用參數(shù)在表示測(cè)量值中可線性化部分的基礎(chǔ)上,增加用自然樣條函數(shù)表示隨時(shí)間連續(xù)變化的系統(tǒng)誤差部分,也就是非參數(shù)分量部分,從而構(gòu)成半?yún)?shù)模型的方法,稱為半?yún)?shù)估計(jì)的自然樣條函數(shù)法。設(shè)S（t）為區(qū)間上的自然樣條插值函數(shù),為節(jié)點(diǎn),且,S(t)滿足如下插值條件: i=1,2,.n (2-4)可以找到唯

23、一滿足上述條件的自然樣條插值函數(shù),因此可以將觀測(cè)方程寫為: i=1,2,.,n (2-5)可以發(fā)現(xiàn)(2-5)式與(2-1)式完全相同。2.3.2補(bǔ)償最小二乘估計(jì)PLSE(Penalized Least Square Estimation) 首先對(duì)最小二乘法加以說明討論 最小二乘法在線性模型參數(shù)估計(jì)理論與方法中,占有中心的基礎(chǔ)地位.它開始于19世紀(jì)中葉,是由著名的數(shù)學(xué)家Legendre和Gauss分別于1805年和1809年獨(dú)立提出的,接著在1900年Markov證明了最小二乘估計(jì)的一種優(yōu)良性,即Gauss一Markov定理,可估函數(shù)的最小二乘估計(jì)為此函數(shù)的惟一的最佳線性無偏估計(jì)。 對(duì)于線性模型

24、Y=X+ E()=0 Cov()= (2-6)Y為n維觀測(cè)向量,X為n*p列滿秩的設(shè)計(jì)矩陣,為p維參數(shù)向量,為n維隨機(jī)誤差。運(yùn)用最小二乘法獲得參數(shù)向量的估計(jì),其思想是的真值應(yīng)該使誤差向量=Y-X達(dá)最小,也即達(dá)最小。因此,應(yīng)通過求Q()的最小值來求的估計(jì)值。 令其等于0,得到正則方程 (2-7)由于rank(X)=p,則可逆,則上述正則方程的解為 (2-8)根據(jù)函數(shù)極值理論,只是函數(shù)Q()腳的駐點(diǎn),還需證明它確實(shí)使Q()達(dá)到最小。事實(shí)上,對(duì)由于P滿足正則方程(1-7),從而上式中為O,而是非負(fù)的,從而 (2-9)由上式表明刀確使Q(）達(dá)到最小。下面進(jìn)一步證明,使Q(）達(dá)到最小的必是，事實(shí)上,(2

25、-9)式中等式成立,當(dāng)且僅當(dāng)上式的右邊等式兩邊同乘以有 這就證明了,使Q()達(dá)到最小的點(diǎn)必為正則方程(2-7)的解綜上,若rank(X)=p,則可逆,這時(shí)，且有即是的無偏估計(jì),這時(shí)我們稱為的最小二乘估計(jì)。2.3.3核光滑估計(jì)法KSE(Kernel Smoothing Estimation) 核光滑估計(jì)法是由Silverman在解決非參數(shù)模型求解的過程中于1986年提出的,Hardle、Bowman & Azzalini、Simonoff、Pagan & Ullah對(duì)此方法均有詳盡的描述。Scott和Wand&Jones將此方法用于處理多元變量的情況,而對(duì)此方法的漸近性質(zhì)

26、則由Collomb和Gasser & Muller加以描述證明。 核光滑估計(jì)法是在考慮非參數(shù)模型求解的過程中提出的,將非參數(shù)模型中的非參數(shù)部分用核權(quán)函數(shù)加以表達(dá),使最終的估計(jì)用核權(quán)函數(shù)表示。為了討論半?yún)?shù)模型的核估計(jì)問題,首先考慮非參數(shù)模型情況,即模型Y=S(t)+ （2-10）設(shè)權(quán)函數(shù)的生成僅與有關(guān),而且可能與全體或部分有關(guān),則回歸函數(shù)S(t)的估計(jì)可以表示為下面的形式: （2-11）在一般實(shí)際問題中,權(quán)函數(shù)滿足下述條件: （2-12）滿足上述條件的權(quán)函數(shù)為概率權(quán)"不同的權(quán)函數(shù)形式產(chǎn)生了不同的估計(jì)方法,較為常用的兩種權(quán)函數(shù)為核權(quán)函數(shù)和最近的鄰權(quán)函數(shù),由此產(chǎn)生的非參數(shù)估計(jì)為核

27、估計(jì)和近鄰估計(jì)。由于處理實(shí)際問題時(shí)一般采用前者,所以下面著重介紹核權(quán)估計(jì)。 核權(quán)函數(shù)是一種最重要的權(quán)函數(shù),有關(guān)文獻(xiàn)提出了一種適合模型(2-10)的核函數(shù),即選定空間上的核函數(shù)(一般為概率密度),定義核權(quán)函數(shù)為: i=1,2,.,n (2-13)由此回歸函數(shù)為 (2-14)其中窗寬h為光滑參數(shù),當(dāng)d=1,K(.)以-1,1為其支撐,K為對(duì)稱,單峰時(shí),是集中在t附近一個(gè)鄰域的加權(quán)平均值,而h正好是該鄰域的寬度。當(dāng)h較大時(shí)，參加平均的樣本較多,這樣會(huì)提高估計(jì)的精度,但有可能會(huì)增大偏差,當(dāng)h較小時(shí),正好相反,因此與密度估計(jì)一樣,要合適的選擇h,一般采用的方法為交叉核實(shí)法。對(duì)于核函數(shù)K(.)而言,假定為

28、上的核函數(shù),若有支撐-1,1且滿足 i=1,2,.m-1 (2-15)其中C為非零常數(shù),則稱K(.)為一維m階核函數(shù)。較為常用的核函數(shù)有: 2.3.4擬似然估計(jì)法QLE(Quasi-Likelihood Estimation) 擬似然估計(jì)是由Godambe和Durbin于1960年提出的固定樣本的最優(yōu)性理論發(fā)展而來的,后來Godambe又將此理論用于隨機(jī)過程而不再僅僅局限于固定樣本。Heyde于1986年證明了此理論的優(yōu)良性,于是擬似然由Godambe和Heyde于1987年共同提出。Wedderburn等人加以發(fā)展,Liang、zeger、Prentice和James W.Hardin基于此

29、方法發(fā)展了廣義估計(jì)等式方法。 擬似然估計(jì)是從誤差矩出發(fā),利用估計(jì)函數(shù)對(duì)待估參數(shù)進(jìn)行估計(jì),而不是局限于從誤差的分布出發(fā),并且擬似然估計(jì)具有優(yōu)良的統(tǒng)計(jì)性質(zhì),是廣義擬似然估計(jì)類(極大似然估計(jì)、最小二乘估計(jì)、約束最小二乘估計(jì)、極小卡方估計(jì))中的最優(yōu)估計(jì)。 設(shè)Y是n維觀測(cè)向量,為n維未知向量,由方程 (2-16)確定的稱為的擬似然估計(jì)。擬似然估計(jì)已經(jīng)得到廣泛的應(yīng)用,Liang和Zeger證明了擬似然估計(jì)具有優(yōu)良的統(tǒng)計(jì)性質(zhì)。 由最小二乘原理知得到方程 (2-17)的解稱為最小二乘估計(jì).顯然,的擬似然估計(jì)不是最小二乘估計(jì),只有當(dāng)是與無關(guān)的常數(shù)矩陣時(shí),擬似然估計(jì)才與最小二乘估計(jì)是一致的。一般由式(2-17)確

30、定的最小二乘估計(jì)是無偏估計(jì)和相合估計(jì),因此,擬似然估計(jì)優(yōu)于最小二乘估計(jì)。3.半?yún)?shù)模型的補(bǔ)償最小二乘法3.1經(jīng)典模型的解算方法 經(jīng)典最小二乘平差模型為： (3-1)式中，L為n維觀測(cè)向量，為n維誤差向量，B為列滿秩設(shè)計(jì)矩陣，X為t維參數(shù)向量，t為必要觀測(cè)數(shù)。 若模型（3-1）中含有系統(tǒng)誤差，則，為了削弱或消除系統(tǒng)誤差對(duì)參數(shù)估計(jì)的影響，可以將系統(tǒng)誤差與偶然誤差分開，在上述模型中引入非參數(shù)分量S，從而將經(jīng)典最小二乘平差模型改寫為如下形式： (3-2)其中為偶然誤差，,為一個(gè)描述模型誤差或觀測(cè)值系統(tǒng)誤差的n維未知非隨機(jī)向量，表示第i個(gè)觀測(cè)值中的系統(tǒng)誤差（），通常稱之為非參數(shù)分量。P為對(duì)稱正定矩陣，是

31、觀測(cè)值L的權(quán)。 對(duì)于模型（3-1），對(duì)應(yīng)的誤差方程 (3-3)在測(cè)量平差問題中，如果控制網(wǎng)中具有足夠的起算數(shù)據(jù)，可以將其他的待定點(diǎn)坐標(biāo)作為參數(shù)，此時(shí)誤差方程中的系數(shù)陣為列滿秩，在最小二乘準(zhǔn)則 下組成法方程 得到X的估計(jì)值和協(xié)因素陣如下： (3-4)這就是經(jīng)典的間接平差情形。由（3-4）得： 從（3-3）、（3-4）式可以看出，是X的有偏估計(jì)，即當(dāng)時(shí)，最小二乘估計(jì)不具有無偏性。模型（3-2）對(duì)應(yīng)的誤差方程變?yōu)椋?(3-5) 再利用（3-2）式可得 (3-6)協(xié)方差陣為 (3-7)其中為冪等陣，事實(shí)上(3-8)為冪等陣。對(duì)于模型（3-2），根據(jù)最小二乘原理 （3-9）可知，未知量為參數(shù)估計(jì)量和非參

32、數(shù)估計(jì)量，共有n+t個(gè)，而方程只有t個(gè)，從而得不到估計(jì)量的唯一解，因此，需修改平差準(zhǔn)則。根據(jù)（3-7）式，要使模型方差達(dá)到最小，由知，為了與（3-3）式區(qū)別，即為,我們可以采用如下規(guī)則： (3-10)對(duì)于模型（3-2），根據(jù)（3-10）中采用的規(guī)則，利用拉格朗日乘數(shù)法，構(gòu)造如下函數(shù)： 分別令,可得如下方程： (3-11) (3-12) (3 -13)在（3-11）兩邊左乘，將（3-5）、（3-13）代入得 (3-14)由（3-11）、（3-12）及（3-5）可得 (3-15)由于為冪等陣，事實(shí)上， 因此，由（3-14）、（3-15）不能求得未知參數(shù)的唯一解，事實(shí)上，缺乏S所需要的外部配置條件，

33、所以問題可歸結(jié)為秩虧網(wǎng)平差，仿秩虧網(wǎng)平差，為方便起見，采用秩虧網(wǎng)平差的術(shù)語，對(duì)S給定d個(gè)基準(zhǔn)約束條件。一般情況下，為了獲得未知參數(shù)的唯一解，采用如下基準(zhǔn)約束條件： （3-16）式中,而且 (3-17)G是矩陣的d個(gè)零特征值所對(duì)應(yīng)的d個(gè)互不相關(guān)的特征向量所構(gòu)成的矩陣，可由的特征方程求出。稱為基準(zhǔn)權(quán)，不同的取值反應(yīng)了所取得基準(zhǔn)約束不同，即對(duì)應(yīng)了所選的基準(zhǔn)。按照最小二乘原理，重新構(gòu)造如下拉格朗日函數(shù) 分別令,可以得到如下法方程： (3-18) (3-19) (3-20)由（3-18）得 即 (3-21)將（3-21）代入（3-19）式，并簡(jiǎn)化得， (3-22)對(duì)（3-22）兩邊左乘,顧及（3-16）

34、得 (3-23)因二次型不能為零，故必有 K=0 （3-24）于是拉格朗日函數(shù)變?yōu)椋?可見，半?yún)?shù)模型下自由網(wǎng)平差的最小二乘原則與未知參數(shù)附加的基準(zhǔn)約束無關(guān)，亦即是個(gè)不變量，平差所得的改正數(shù)不因所取基準(zhǔn)約束不同而異。將（3-20）左乘后與（3-19）相加，顧及K=0，可得 (3-25)為了計(jì)算的方便，不妨設(shè),由于系數(shù)列滿秩，則得非參數(shù)分量的估計(jì)值為 (3-26)將（3-26）代入（3-18）得：3.2確定正則化矩陣的方法 正則化矩陣是在描述光滑性的基礎(chǔ)上得出,是對(duì)補(bǔ)償項(xiàng)光滑性的直接表達(dá),最初是將系統(tǒng)誤差隨時(shí)間的變化趨勢(shì)擬合成三次自然樣條函數(shù)曲線,從而經(jīng)過推導(dǎo)得到的,描述了函數(shù)曲線的光滑性,但在

35、后來的發(fā)展中,許多學(xué)者從離散化的碩士學(xué)位論文第四章補(bǔ)償最小二乘準(zhǔn)則中補(bǔ)償項(xiàng)的光滑性分析角度運(yùn)用時(shí)間序列法確定正則化矩陣,并根據(jù)一定的實(shí)際情況,來具體確定正則化矩陣的形式,以下是對(duì)各種方法的總結(jié)歸納。3.2.1時(shí)間序列法 該方法是將觀測(cè)值看成一個(gè)時(shí)間序列,由于信號(hào)是隨時(shí)間連續(xù)變化的,因此認(rèn)為相鄰時(shí)刻的信號(hào)相差不大,由此來構(gòu)建正則化矩陣:令 (3-27)該方法可以用一階差分方程進(jìn)行證明，此時(shí)將正則化矩陣看成信號(hào)的權(quán)陣：如果信號(hào)（此處為系統(tǒng)誤差）是在時(shí)刻得到的時(shí)間序列。則可以用一階差分方程將信號(hào)表示為： （3-28）式中為第i時(shí)刻的信號(hào)；為動(dòng)態(tài)乘數(shù)；為隨機(jī)噪聲，由式（3-27）可得： （3-29）

36、（3-30）因此。期望值為： （3-31） （3-32） （3-33）由式（3-32）和（3-33）可以得到相應(yīng)的協(xié)方差矩陣D為： （3-34）此時(shí)可得信號(hào)權(quán)陣（即正則化矩陣）為： (3-35) 由于不能等于1，因?yàn)闊o限接近于1時(shí)，可由式（3-35）得到正則化矩陣為： （3-36）此即為用時(shí)間序列法確定的正則化矩陣表達(dá)式。 同樣，當(dāng)采用二階差分計(jì)算時(shí)，正則化矩陣為： （3-37）此時(shí)矩陣為：3.2.2距離法MoritzH.于1989年在進(jìn)行物理大地水準(zhǔn)測(cè)量的研究時(shí),考慮了系統(tǒng)誤差的隨機(jī)性,在解算中為了評(píng)定其精度,必須考慮其自協(xié)方差矩陣,而自協(xié)方差矩陣是由單位權(quán)方差與相關(guān)矩陣相乘得到的,即 （3

37、-38）其中在計(jì)算時(shí)用影響到相關(guān)函數(shù)的距離d來代替相關(guān)長(zhǎng)度r，因此在確定正則化矩陣時(shí)，若考慮系統(tǒng)誤差的隨機(jī)性，且協(xié)方差矩陣已知或可求時(shí)，則正則化矩陣可取為：。一下的各種方法均為不考慮系統(tǒng)誤差的隨機(jī)性的情況，即將系統(tǒng)誤差看成非隨機(jī)參數(shù)：基于以上思想介紹了確定正則化矩陣的方法，令 （3-39） 其中b=b(r),滿足下述條件以確保函數(shù)b(r)可以看成相關(guān)函數(shù)： (3-40)此時(shí)將非參數(shù)分量（系統(tǒng)誤差）表示成分量的形式為： （3-41）上式可以看成S在各點(diǎn)處的估值是由函數(shù)b(r)的線性組合，并可以通過下式來計(jì)算在任意一點(diǎn)處的非參數(shù)分量（系統(tǒng)誤差）的估值 （3-42）因此可以看出表示非參量分量部分的函

38、數(shù)的光滑性由函數(shù)b(r)來決定，當(dāng)函數(shù)b(r)為k階可導(dǎo)時(shí)，得到的非參數(shù)分量的插值函數(shù)也k階可導(dǎo)。 經(jīng)過驗(yàn)證可以得出，函數(shù)b(r)可以取三次B樣條B樣條函數(shù)，即1.5為選定系數(shù)，在區(qū)間-d,d上非零，并具有二階連續(xù)導(dǎo)數(shù)，因此插值函數(shù)也是二階可導(dǎo)的。 其中一個(gè)可行的選擇是,d=1.5,式中r表示任意兩點(diǎn)的距離，此時(shí)正則化矩陣表示為： （3-43）另外，在文獻(xiàn)12中取函數(shù)b(r)為薄板樣條，在一維空間的基礎(chǔ)上研究了多維空間的問題，最終得到正則化矩陣可表示為成： (3-44)式中該文獻(xiàn)中還介紹了另外一種用距離來確定正則化矩陣的方法，將該方法表示為非參數(shù)分量和時(shí)間兩者的函數(shù)，其形式為：，其中為與的某種

39、距離。如。 4.進(jìn)一步工作與展望基于半?yún)?shù)回歸模型的各種優(yōu)勢(shì),對(duì)其理論研究的完善將極大地促使其在測(cè)繪領(lǐng)域中得到更好地應(yīng)用,除了本文中的研究與分析,仍有以下幾個(gè)方面工作需進(jìn)一步研究與完善:1.用自適應(yīng)算法確定正則化參數(shù)的方法有待進(jìn)一步研究與證明,各種影響正則化參數(shù)確定的因素是如何從量上對(duì)其產(chǎn)生影響的,綜合考慮這些影響因素能否得到一種統(tǒng)一的確定正則化參數(shù)的方法,對(duì)其評(píng)價(jià)的指標(biāo)與相對(duì)精度的具體關(guān)系是怎樣的,該如何建立其評(píng)價(jià)體系。2.關(guān)于補(bǔ)償最小二乘準(zhǔn)則中的補(bǔ)償項(xiàng)的光滑性怎么具體定義,怎么根據(jù)實(shí)際問題選擇離散化表示還是連續(xù)性表示,從而得出更明確的表述光滑性的正則化矩陣。3.在補(bǔ)償最小二乘估計(jì)及泛最小二

40、乘估計(jì)中，平衡參數(shù)及正規(guī)矩陣的選取仍是一個(gè)值得探討的問題。4.將半?yún)?shù)模型的泛最小二乘法及抗差估計(jì)理論化和系統(tǒng)化，將有寬廣的發(fā)展空間。參考文獻(xiàn)1 Wolfgang Hardle. Partially Linear Models. New York:Physiea-VerlagHerdelberg,2000,55-752 王志忠、郭興翠、周玉娜.非線性半?yún)?shù)模型的虛擬觀測(cè)法.數(shù)學(xué)理論與應(yīng)用,2007,27(2):60-633 You jinhong and Zhou Yong. Empirical likelihood for semiparametricVarying-coefficient

41、Partially linear regression models. Statisties And Probability letters,2006,76:412-4224 Wolfgang Hardle, Junlene Muller. NonParametric andSemiParametricModels. Germany: Springer-Verlag Berlin Herdelberg, 2004.,102-1045 Wang,Q.H.and Jing,B.Y. Empirical likelihood for linear models.Ann.Inst. Statist.

42、Math,2003,55:585-5956 MaJun-ling . Empirical likelihood for error-in-variablespartially 1inear models. Math. Appl.(Wuhan)2005,18(no.1):136-1437 陶肖靜.半?yún)?shù)平差模型的平差準(zhǔn)則研究.碩士學(xué)位論文. 湖南：中南大學(xué)，20118 Schaffrin B, Wieser A. On weighted total least-squares adjustment for linear regression J.Journey ofGeodest.2008，82：415-4219 曾文憲.系數(shù)矩陣誤差對(duì)EIV 模型平差結(jié)果的影響研究.博士學(xué)位文.武漢：武漢大學(xué)，201310 丁士俊,姜衛(wèi)平.補(bǔ)償最小二乘半?yún)?shù)模型解及估計(jì)量的統(tǒng)計(jì)性質(zhì).大地測(cè)量與地球動(dòng)力學(xué),2010,30(