對最小二乘法的研究報告論文

1、-. z.編號2009011121畢 業(yè) 論 文 (設 計)2013屆本科 論文題目: 對最小二乘法的探究 學 院: 數(shù)學與統(tǒng)計學院專 業(yè): 數(shù)學與應用數(shù)學 班 級: 2009級本科1班作者*: 凱指導教師: 史 存 琴 職稱：講 師完成日期: 2013 年 5 月 10 日目 錄TOC o 1-3 h u 隴東學院本科畢 HYPERLINK l _Toc27297 業(yè)論文設計誠信說明 PAGEREF _Toc27297 1 HYPERLINK l _Toc7605 摘 要 PAGEREF _Toc7605 2 HYPERLINK l _Toc15970 關鍵詞 PAGEREF _Toc159

2、70 2 HYPERLINK l _Toc21459 1 最小二乘法的歷史簡介 PAGEREF _Toc21459 2 HYPERLINK l _Toc32132 2 探究最小二乘法的意義 PAGEREF _Toc32132 2 HYPERLINK l _Toc4373 3 最小二乘法的定義 PAGEREF _Toc4373 3 HYPERLINK l _Toc30821 4 最小二乘法的原理 PAGEREF _Toc30821 4 HYPERLINK l _Toc8348 5 應用最小二乘法解決實際問題 PAGEREF _Toc8348 5 HYPERLINK l _Toc245 5.1多項

3、式擬合實例 PAGEREF _Toc245 5 HYPERLINK l _Toc15009 5.2一元線性擬合實例 PAGEREF _Toc15009 5 HYPERLINK l _Toc3175 5.3非線性擬合實例 PAGEREF _Toc3175 6 HYPERLINK l _Toc11747 6 加權最小二乘法 PAGEREF _Toc11747 7 HYPERLINK l _Toc2931 6.1加權最小二乘法的定義 PAGEREF _Toc2931 7 HYPERLINK l _Toc22890 6.2加權最小二乘法的原理 PAGEREF _Toc22890 8 HYPERLINK

4、 l _Toc30084 7 結論 PAGEREF _Toc30084 9 HYPERLINK l _Toc8554 參考文獻9 HYPERLINK l _Toc9869 英文摘要10 HYPERLINK l _Toc8276 致謝11-. z.隴東學院本科畢業(yè)論文設計誠信說明本人*重聲明：本人所呈交的畢業(yè)論文設計，是在導師的指導下獨立進展研究所完成.畢業(yè)論文設計中凡引用他人已經(jīng)發(fā)表或未發(fā)表的成果、數(shù)據(jù)、觀點等，均已明確注明出處.特此聲明.論文設計作者簽名：日 期：對最小二乘法的探究*凱(隴東學院 數(shù)學與統(tǒng)計學院 *慶陽 745000)摘 要：最小二乘法(又稱最小平方法是一種數(shù)學優(yōu)化技術，是從

5、誤差擬合角度對回歸模型進展參數(shù)估計或系統(tǒng)辨識，并在參數(shù)估計、系統(tǒng)辨識、以及預測預報等眾多領域中得到極為廣泛的應用.它通過最小誤差的平方和尋找數(shù)據(jù)的最正確函數(shù)匹配.利用最小二乘法可以簡便地求知數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和最小.本文就是對最小二乘法的開展歷史、原理、及其簡單的應用進展歸納和總結.關鍵詞：最小二乘法；歷史；應用；簡單原理1 最小二乘法的歷史簡介1801年，意大利天文學家朱塞普.皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星.經(jīng)過40多天的跟蹤觀測后，由于谷神星運行至太陽背后，使得皮亞齊失去了谷神星的位置.隨后全世界的科學家利用皮亞齊的觀測數(shù)據(jù)開場尋找谷神星，但是根據(jù)大多數(shù)人計

6、算的結果來尋找谷神星都沒有結果，時年24歲的高斯利用最小二乘法的方法計算了谷神星的軌道，奧地利天文學家海因里希.奧爾伯斯根據(jù)高斯計算出來的軌跡重新發(fā)現(xiàn)了谷神星.高斯使用的最小二乘法發(fā)表于1809年他的著名作品天體運動論中.其實，早在1806年，法國科學家勒讓德便獨立地發(fā)現(xiàn)了最小二乘法但因不為世人所知而默默無聞.在此后，法國科學家勒讓德曾屢次與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭執(zhí). 但最終，1829年，高斯提供的最小二乘法的證明方法強于其他各界學者的證明方法.因此最小二乘法也被稱為高斯馬爾可夫定理.于是最小二乘法便被高斯這樣的數(shù)學天才帶入了數(shù)學的世界，并為人們所探索、發(fā)現(xiàn)、理解與應用. 2 探

7、究最小二乘法的意義 目前，最小二乘法在參數(shù)估計、系統(tǒng)辨識、以及預測預報等眾多領域中都得到了極為廣泛的應用.尤其是在近代統(tǒng)計估計理論的概念、矩陣符號表示法和近代線性代數(shù)的概念及大型快速數(shù)字計算機的應用三個領域，更是得到了越來越廣泛地應用和開展.而在這眾多領域的廣泛應用與開展也給最小二乘法的估計理論和實用都帶來了深刻的影響. 在每個領域中，對于最小二乘法的應用，其觀測數(shù)值不可能完整無誤，而觀測精度總是存在一個極限值，假設超過這個極限值，就會導致不是計算量的數(shù)學模型失效，就是測量儀器的分辨力失效，或者兩者都失效，且超過這個精度極限值，重復觀測結果之間不會相互符合. 處理不一致的數(shù)據(jù)的方法叫做統(tǒng)計學，

8、確定唯一估值以及其優(yōu)度的方法叫做統(tǒng)計估值法，最小二乘法是使不符值的平方和為最小的一種統(tǒng)計估計法.應當指出的是，還有其他方法也能得到唯一的估值.例如：使不符值的絕對值的和為最小的估值法，或使最大的不符值為最小的估值法.但與最小二乘法相比，這些方法都存在著許多缺乏和缺陷.因此，最小二乘法幾乎成為獲得唯一估值的標準方法.并在如今普遍運用于天文、運輸、預測、物理等各個領域.所以，對最小二乘法的探究對各個領域的開展和應用都有著極為重要的意義.3 最小二乘法的定義定義1殘差：，希望盡可能小，常見方法有： (1)選取，使偏差最大絕對值之和最小，即最小. (2)選取，使偏差最大絕對值最小，即最小. (3)選取

9、，使偏差平方和最小，即最小. 我們稱(3)為最小二乘法原則.定義2最小二乘法：根據(jù)數(shù)據(jù)組選取一個近似函數(shù)，使得最小. 這種求近似函數(shù)的方法稱為曲線擬合的最小二乘法，函數(shù)稱為這組數(shù)據(jù)的最小二乘函數(shù).4 最小二乘法的原理在實際應用中，我們經(jīng)常需要觀測兩個函數(shù)關系的變量，根據(jù)兩個量的許多組觀測數(shù)據(jù)來確定他們的函數(shù)曲線.這類問題通常有兩種處理方法：一種是兩個觀測量*與y之間的函數(shù)形式，但一些參數(shù)未知，需確定位置參數(shù)的最正確估計值；另一種是*與y之間的函數(shù)關系未知，需要找出它們之間的未知參數(shù)，后一種情況通常假設*與y之間的關系是一個待定的多項式，多項式系數(shù)就是待定的未知參數(shù)，從而可采取類似于前一種情況的

10、處理方法. 在兩個觀測量中，往往總有一個量準確度比另一個高得多，為簡單起見把準確量較高的觀測量看做沒有誤差，并把這個觀測量選作*，而把所有誤差只認為是y的誤差，設*和y的函數(shù)關系由理論公式： *；c1. c2 .c3 . 001 給出，其中c1. c2 .c3 . 是m個需要通過試驗確定的參數(shù)，對于每組觀測數(shù)據(jù) i=1.2.3.N.都對應于平面上的一個點，假設不存在測量誤差，則這些數(shù)據(jù)點都準確落在理論曲線上，只要選取m組測量值帶入001中便得到方程組 *i ；c1. c2 .c3 . 002 其中i=1.2.3.m，求m個方程的聯(lián)立解即可得m個參數(shù)的數(shù)值，顯然Nm的情況下，式002)成為矛盾方

11、程組，不能直接用解方程的方法求得m個參數(shù)值，只能用曲線擬合的方法來處理.5 應用最小二乘法解決實際問題5.1多項式擬合實例實驗數(shù)據(jù)如表所示：01234567813456789101054211234試用最小二乘法求它的二次擬合多項式 解：設；擬合曲線方程為 列表如下：01101111010135927811545244166425616643522512562510504613621612966365714934324017496826451240961612853323813017253171471025得正規(guī)方程組： 解得：故擬合多項式為：5.2一元線性擬合實例測得銅導線在溫度時的電阻如表

12、，用最小二乘法求電阻R與溫度T的近似函數(shù)關系.012345619.125.030.136.040.045.150.076.3077.8079.2588.8082.3583.9085.10解：畫出散點圖，可見測得的數(shù)據(jù)接近一條直線，故取n=1，擬合函數(shù)為列表如下019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.001908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.0

13、00245.3565.59325.8320029.445正規(guī)方程組為=解方程組得：故與的擬合直線為：利用上述關系，可以預測不同溫度時銅導線的電阻值.5.3非線性擬合實例 一組數(shù)據(jù)如下表，在中求其擬合函數(shù).00.10.20.30.40.50.622.202542.407152.615922.830963.054483.28876解 設擬合函數(shù)為 ： 即代入得：= ， =所以：=， =解正規(guī)方程組得故所求擬合曲線為：6 加權最小二乘法 如今，最小二乘法出現(xiàn)了越來越的的形式，我們將給出加權最小二乘法的定義和原理，將最小二乘法用模糊數(shù)學思想進展計算，使計算精度更加準確.6.1加權最小二乘法的定義 此法

14、是應用于實驗測量值非等精度的情況下的擬合方法。它不同程度的消除誤差因素，結果更加準確可靠。 設擬合函數(shù)為，當取值時的實測值為，取，加權偏差平方和 式中為i個實驗點的權重因子，選取適宜的權重因子可獲得高精度的擬合參數(shù)。6.2加權最小二乘法的原理 根據(jù)實際需要，往往對于精度較高或地位較重要的數(shù)據(jù)，應當給予較大的權。 用最小二乘法進展曲線擬合的要求與原則是： 對于給定的一組實驗數(shù)據(jù),要求在中，尋找一個函數(shù)，使其中為中任一函數(shù)是正數(shù)，稱為權，大小反響的地位強弱，顯然：求可歸結為求多元函數(shù)的極小點同理可求。但其中：特例：如果選擇的擬合曲線為則，相應的方法方程組為：=。7 結論 本文介紹了最小二乘法的背景

15、及其優(yōu)點，意義及其原理，及最小二乘法的簡單應用.通過實例說明了最小二乘法在實際中的應用，并列舉在物理學中的簡單應用，具有很強的實用性. 最后，最小二乘法是一種比擬古老的方法.早在十八世紀，便已經(jīng)用于天文觀測和大地測量中.此后300多年，已廣泛應用于科學實驗與工程技術中.最小二乘法將一大堆看似雜亂無章的點，擬合成一條曲線來反映所給數(shù)據(jù)的總體趨勢，以消除局部波動，它為科研工作者提供了一種非常方便和有效的處理方法.隨著現(xiàn)代電子計算機的普及與開展，這個古老的方法將更加顯示出強大的生命力.參考文獻：1 鄒樂強.最小二乘法原理及其簡單應用M.*工程技術學院 20102 陸健.最小二乘法及其應用. M中共*

16、市委黨校20073 最小二乘法的研究. M期刊,百渡文庫20094 施光燕,龐麗萍.最優(yōu)方法論(第二版)M.:高等教育 2007.5肖悠南.現(xiàn)代數(shù)值計算方法M.:大學,2010.6 李慶揚,易大義.數(shù)值分析(第四版)M.:清華大學,2001.7 徐成賢,陳志平,李乃成.近代優(yōu)化方法M.:中南工業(yè)大學, 1987.8 里德(美).數(shù)值分析與科學計算M.:清華大學,2008.9 約翰遜美.數(shù)學分析與科學計算M.：科學，201210 高富德.最小二乘法原理的初等證明J,*師專學報,1989,04.Research on the method of least squares Zhang Kai(Co

17、llege of mathematics and statistics in Long dong university, Gansu Qingyang 745000) Abstract: the least squares method (also called the least square method) is a kind of mathematical optimization techniques, from the angle of error fitting regression model parameter estimation and system identificat

18、ion, and the parameter estimation, system identification, as well as the prediction of many fields forecast are very widely used. The minimum mean square error function and find the best data matching. You can easily learn data by using the least square method, and the minimum error between the calculated and the data a