對比分析最小二乘法及回歸分析

1、-. z.比照分析最小二乘法與回歸分析摘要最小二乘法是在模型確定的情況下對未知參數(shù)由觀測數(shù)據(jù)來進展估計，而回歸分析則是研究變量間相關關系的統(tǒng)計分析方法。關鍵詞：最小二乘法回歸分析數(shù)據(jù)估計目錄 TOC o 1-3 h z u HYPERLINK l _Toc464675730摘要 PAGEREF _Toc464675730 h 2HYPERLINK l _Toc464675731目錄 PAGEREF _Toc464675731 h 2HYPERLINK l _Toc464675732一：最小二乘法 PAGEREF _Toc464675732 h 2HYPERLINK l _Toc46467573

2、3主要容 PAGEREF _Toc464675733 h 2HYPERLINK l _Toc464675734根本原理 PAGEREF _Toc464675734 h 2HYPERLINK l _Toc464675735二：回歸分析法 PAGEREF _Toc464675735 h 2HYPERLINK l _Toc464675736回歸分析的主要容 PAGEREF _Toc464675736 h 2HYPERLINK l _Toc464675737回歸分析原理 PAGEREF _Toc464675737 h 2HYPERLINK l _Toc464675738三：分析與總結 PAGEREF

3、_Toc464675738 h 2一：最小二乘法主要容最小二乘法又稱最小平方法是一種數(shù)學優(yōu)化技術。它通過定義殘差平方和的方式，最小化殘差的平方和以求尋找數(shù)據(jù)的最正確函數(shù)匹配，可以從一組測定的數(shù)據(jù)中尋求變量之間的依賴關系, 這種函數(shù)關系稱為經(jīng)歷公式.利用最小二乘法可以十分簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優(yōu)化問題也可通過最小化能量或最大化熵用最小二乘法來表達。根本原理考慮超定方程組超定指未知數(shù)大于方程個數(shù)：其中m代表有m個等式，n代表有n個未知數(shù)mn；將其進展向量化后為：，顯然該方程組一般而言沒有解，所以為了選取最適宜

4、的讓該等式盡量成立，引入殘差平方和函數(shù)S在統(tǒng)計學中，殘差平方和函數(shù)可以看成n倍的均方誤差當時，取最小值，記作：通過對進展微分求最值，可以得到：如果矩陣非奇異則有唯一解：二：回歸分析法回歸分析是確定兩種或兩種以上變量間相互依賴的相關關系的一種統(tǒng)計分析方法。回歸分析是應用極其廣泛的數(shù)據(jù)分析方法之一。它基于觀測數(shù)據(jù)建立變量間適當?shù)囊蕾囮P系，建立不同的回歸模型，確立不同的未知參數(shù)，之后使用最小二乘法等方法來估計模型中的未知參數(shù)，以分析數(shù)據(jù)間的在聯(lián)系。當自變量的個數(shù)等于一時稱為一元回歸，大于1時稱為多元回歸，當因變量個數(shù)大于1時稱為多重回歸，其次按自變量與因變量之間是否呈線性關系分為線性回歸與非線性回歸

5、。最簡單的情形是一個自變量和一個因變量，且它們大體上有線性關系，叫一元線性回歸?；貧w分析的主要容從一組數(shù)據(jù)出發(fā)，確定*些變量之間的定量關系式，即建立數(shù)學模型并估計其中的未知參數(shù)。估計參數(shù)的常用方法是最小二乘法。對這些關系式的可信程度進展檢驗。在許多自變量共同影響著一個因變量的關系中，判斷哪個或哪些自變量的影響是顯著的，哪些自變量的影響是不顯著的，將影響顯著的自變量參加模型中，而剔除影響不顯著的變量，通常用逐步回歸、向前回歸和向后回歸等方法。利用所求的關系式對*一生產(chǎn)過程進展預測或控制?；貧w分析原理 eq oac(,1)在回歸分析中自變量是影響因變量的主要因素，是人們能控制或能觀察的，而還受到隨

6、機因素的干擾，可以合理地假設這種干擾服從零均值的正態(tài)分布，于是模型記作其中未知。現(xiàn)得到個獨立觀測數(shù)據(jù)，由上式得記，表為 eq oac(,2)參數(shù)估計用最小二乘法估計模型中的參數(shù)。由這組數(shù)據(jù)的誤差平方和為求使最小，得到的最小二乘估計，記作，可以推出將代回原模型得到的估計值而這組數(shù)據(jù)的擬合值為，擬合誤差稱為殘差，可作為隨機誤差的估計，而為殘差平方和或剩余平方和，即。 eq oac(,3)統(tǒng)計分析不加證明地給出以下結果： = 1 * roman i是的線性無偏最小方差估計。指的是是的線性函數(shù)；的期望等于；在的線性無偏估計中，的方差最小。 = 2 * roman ii服從正態(tài)分布 = 3 * roma

7、n iii對殘差平方和，且由此得到的無偏估計是剩余方差殘差的方差，稱為剩余標準差。 = 4 * roman iv對的樣本方差進展分解，有，其中殘差平方和，反映隨機誤差對的影響，稱為回歸平方和，反映自變量對的影響。 eq oac(,4)回歸模型的假設檢驗因變量與自變量之間是否存在如模型所示的線性關系是需要檢驗的，顯然，如果所有的都很小，與的線性關系就不明顯，所以可令原假設為當成立時由分解式定義的滿足在顯著性水平下有分位數(shù)，假設，承受；否則，拒絕。三：分析與總結最小二乘法是基于既定模型對未知參數(shù)的一種估計方法，以函數(shù)殘差和最小的條件對未知參數(shù)進展估計?；貧w分析包括：建立帶有參數(shù)的函數(shù)模型即經(jīng)歷公式，通過最小二乘法、最大似然估計