第7講 有偏估計(jì)

1、Introduction（thequestion）

2、RidgeEstimation3、GeneralizedRidgeEstimation第七講有偏估計(jì)（BiasedEstimationofParameters）

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）LS估計(jì)最優(yōu)的條件：觀測(cè)值服從正態(tài)分布；觀測(cè)方程系數(shù)陣滿秩；無(wú)病態(tài)病態(tài)：由于復(fù)共線性造成的矩陣行列式的值很小接近于零（奇異）

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）引起的后果：法方程的解很不穩(wěn)定表現(xiàn)為：法方程中，系數(shù)或常數(shù)項(xiàng)存在舍入誤差而產(chǎn)生微小變化時(shí)，會(huì)引起解的差異很大可能的原因：（1）過(guò)度參數(shù)化（2）空間圖形變化小Ifillcondition

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）例：（GPS動(dòng)態(tài)定位仿真計(jì)算），歷元間隔為2秒，觀測(cè)衛(wèi)星數(shù)為5顆，用4個(gè)歷元解算整周模糊度，誤差方程為系數(shù)陣A＝

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）設(shè)參數(shù)真值為以模擬真值反算觀測(cè)值Li，設(shè)設(shè)計(jì)矩陣無(wú)誤差，Li即為觀測(cè)值的真值。實(shí)際觀測(cè)中，觀測(cè)值總是含有誤差，于是我們?cè)谒愕玫挠^測(cè)值真值上加入小誤差，使其接近真實(shí)情況真值、真誤差、仿真觀測(cè)值12345678161514131211109-4.8586-4.850.008612.230912.21-0.006112.205212.220.0048-4.8581-4.840.0181

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）組成法方程，以有誤差觀測(cè)值求取自由項(xiàng)解得參數(shù)真值

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）解決問(wèn)題的方法：有偏估計(jì)嶺估計(jì)（RidgeEstimation）廣義嶺估計(jì)（GeneralizedRidgeEstimation）主成分估計(jì)（PrincipleComponentEstimation）

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）關(guān)于均方誤差定義方差均方誤差均方誤差表明了估值偏離真值的大?。x散度），稱之為精確度

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）均方差和方差的關(guān)系

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）均方差和方差的關(guān)系方差和偏差平方和1)DefinitionofPrecisionThedegreeofclosenessofrepeatedmeasurementsmadeundersimilarconditionsaregroupedtogether.2)DefinitionofExactnessThedegreeofclosenessofameasurement’sexpectationtotruevalue.3)DefinitionofAccuracyThedegreeofclosenessofameasurementtothetruevalue.1、What’smeanaboutthefollowedfigures?

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）均方差和方差的關(guān)系方差和偏差平方和只有等式右邊兩項(xiàng)都小時(shí)，估計(jì)量性質(zhì)才好最小二乘估計(jì)中無(wú)偏

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）于是設(shè)求跡矩陣的特征根有

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）如果系數(shù)陣病態(tài)，即其行列式接近于零，就一定至少有一個(gè)特征值就近于零，于是估值的均方差很大，此時(shí)，估值也不再是一個(gè)性質(zhì)良好的估值

一、概述

第七講有偏估計(jì)（BiasedEstimationofParameters）作有偏估計(jì)方差和偏差平方和這時(shí)，雖然均方差中增加了后一項(xiàng)，但前一項(xiàng)的值會(huì)大幅度減小，從而達(dá)到優(yōu)化估計(jì)量性質(zhì)的目的

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）1、基本思想

利用原來(lái)最小二乘估計(jì)的數(shù)學(xué)模型，在其法方程系數(shù)陣的對(duì)角線上加上一個(gè)適當(dāng)?shù)暮苄≌龜?shù)，以便減少系數(shù)陣列向量之間的相關(guān)程度，改善系數(shù)陣的狀態(tài)，從而提高所估參數(shù)的精度和穩(wěn)定性。

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）2、嶺估計(jì)解的形式誤差方程參數(shù)嶺估計(jì)的解定義為嶺估計(jì)的解滿足

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）2、嶺估計(jì)解的形式說(shuō)明1、k稱為嶺參數(shù)（RidgeParameter）2、估值有偏3、估值精確度有提高

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）3、嶺估計(jì)解的性質(zhì)1、參數(shù)的嶺估計(jì)是最小二乘估計(jì)的線性變換矩陣反演

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）3、嶺估計(jì)解的性質(zhì)2、參數(shù)的嶺估計(jì)是有偏估計(jì)只要就有

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）3、嶺估計(jì)解的性質(zhì)3、如果N的特征根為：那么：N－1的特征根N＋kI的特征根（N＋kI）－1的特征根（I＋kN－1）的特征根

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）3、嶺估計(jì)解的性質(zhì)4、一定存在k>0，使得證明：將式中第一項(xiàng)表示成最小二乘解的形式式中于是將式中第二項(xiàng)也表示成真值的形式式中對(duì)稱矩陣做正交分解令均方差表達(dá)式對(duì)k求導(dǎo)當(dāng)k＝0時(shí)表明均方差是k的遞減函數(shù)，并且所以一定存在k>0，使得

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）4、嶺參數(shù)的選擇方法很多：嶺跡法，方差擴(kuò)大因子法，雙h公式，特征根法。MSE準(zhǔn)則下的嶺參數(shù)k的最優(yōu)值依賴于未知參數(shù)，而且這種依賴關(guān)系沒(méi)有顯式表示，使得k的確定變得很困難。但沒(méi)有一種方法一致優(yōu)于其它各種方法！

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）4、嶺參數(shù)的選擇嶺跡法：以嶺估計(jì)值各個(gè)分量作為k的函數(shù)，將t條嶺跡畫(huà)出函數(shù)圖象。K值選取的方法是使得t條嶺跡都處于大體穩(wěn)定狀態(tài)的那個(gè)k值，這種選擇方法具有隨意性，但應(yīng)用方便

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）4、嶺參數(shù)的選擇例：平差問(wèn)題中，有偏估計(jì)k值從0.1到2.0取值，對(duì)應(yīng)的7個(gè)未知參數(shù)各自取值都不同，可作7條嶺跡圖

二、嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）4、嶺參數(shù)的選擇kK＝0.7

三、廣義嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）1、線性模型的典則形式在線性模型設(shè)G為正交陣，使得引入?yún)?shù)并設(shè)，B＝AG，則有稱其為典則形式，a為典則參數(shù)

三、廣義嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）1、線性模型的典則形式參數(shù)a的最小二乘和嶺估計(jì)分別為

三、廣義嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）2、廣義嶺估計(jì)定義或者證明兩種定義方式的等價(jià)性！

三、廣義嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）3、廣義嶺估計(jì)的性質(zhì)1、嶺估計(jì)是廣義嶺估計(jì)的特殊形式2、廣義嶺估計(jì)是最小二乘估計(jì)的線性組合3、廣義嶺估計(jì)有偏4、存在ki>0，使得

三、廣義嶺估計(jì)

第七講有偏估計(jì)（BiasedEstimationofParameters）3、廣義嶺估