ch6 數(shù)據(jù)的收集與整理.ppt

1、6.1 數(shù)據(jù)的收集與整理,建立數(shù)學模型是為了利用它有效地分析、 解決現(xiàn)實問題, 真實世界的背景不容忽視.,通過觀察、測量等手段收集的數(shù)據(jù)來自于 現(xiàn)實世界, 帶有關注的研究對象的大量信息.,數(shù)據(jù)作用于模型的形式：,建立數(shù)學模型的初始研究階段,對數(shù)據(jù)的 分析有助于尋求變量間的關系；,部分模型完全建立 在數(shù)據(jù)的基礎上.,如數(shù)據(jù)擬合 以及經(jīng)驗模型,2.利用數(shù)據(jù)來估計模型中出現(xiàn)的參數(shù)值, 稱 為模型參數(shù)估計.,3.利用數(shù)據(jù)進行模型檢驗，通常用實際數(shù)據(jù) 與模型運算出的相應理論值進行比較.,數(shù)據(jù)是建立數(shù)學模型的重要依據(jù)！,各種類型的數(shù)據(jù)為我們認識事物的內(nèi)在規(guī)律、研 究事物之間的關系、預測事物今后的可能 發(fā)展

2、等一 系列問題, 提供了豐富的材料和科學依據(jù).,如何收集、整理和分析數(shù)據(jù)， 挖掘有用結果？,著手建立模型時, 關于數(shù)據(jù)需考慮以下問題：,1. 需要哪些以及何種形式的數(shù)據(jù)？,2.如何去獲得數(shù)據(jù)？ 怎樣表達數(shù)據(jù)？,3. 如何對數(shù)據(jù)進行整理、分析？,獲取方式,圖書館文件檢索,網(wǎng)上資料檢索,詢問相關部門人員,試驗、觀察并記錄,例6.1.1開水房擁擠成因分析數(shù)據(jù)采集 有人想分析出一所大學開水房擁擠的原因, 并提出解決方案.,在連續(xù)一周的中午11:4012:20進行實地觀 測,得到開水房人到達情況的數(shù)據(jù),表6.1 每10秒到達人數(shù)及相應頻數(shù),猜測可能是管道阻塞造成擁擠,記錄下兩組 數(shù)據(jù),用于比較分析.,表

3、6.2 管道通暢時顧客打水時間及相應頻數(shù),表6.2 管道阻塞時顧客打水時間及相應頻數(shù),*需要什么形式的數(shù)據(jù), 與建模目的和所選擇 的模型的特點有關.,分析數(shù)據(jù)就初步可找到開水房擁擠的原因.,例6.1.2 渡口模型數(shù)據(jù)性質(zhì),船主收集到的有一組數(shù)據(jù)是:需要擺渡的車 輛中“平均40的車為轎車,55的車為卡車, 5的車為摩托車.”,其中“平均”兩字至關重要,因一次擺渡 各類車所占百分比是無意義的.,需做較多次數(shù)的觀察得到一大批數(shù)據(jù),并求 相應的平均值得到上述數(shù)據(jù).,*收集數(shù)據(jù)并非多多益善 ,要善于剔除冗余數(shù)據(jù).,平均值更具有代表性,更如實地反映了渡口 的實際情況,用數(shù)學模型描述現(xiàn)實問題,模型中參數(shù)的估

4、 計、模型的求解以及模型的合理性很大程度 取決于數(shù)據(jù)的準確可信.,實驗數(shù)據(jù)中總存在實驗誤差,在建模工作的各個環(huán)節(jié),實驗數(shù)據(jù)誤差都可 能造成失之毫厘, 謬之千里的失誤.,實 驗 誤 差,隨機誤差,系統(tǒng)誤差,過失誤差,由一系列偶然因素引起的 一類不易控制的測量誤差.,實驗觀察過程中服從確定性 規(guī)律的誤差.,明顯歪曲實驗結果的誤差.,無法避免, 可增加試驗次數(shù), 取算術平均 來減小.,不能通過增加實驗次數(shù)求算術平均值來消除. 可用一定方法識別、消除.,可以識別、并加以處理.,* 在實驗數(shù)據(jù)中, 三類實驗誤差常常同時 錯綜復雜的存在著.,控制實驗數(shù)據(jù)的質(zhì)量,整理實驗數(shù)據(jù),消除實驗誤差,重要工作,方法：

5、,1. 用統(tǒng)計檢驗方法檢驗出異常數(shù)據(jù)；,2. 盡可能尋找產(chǎn)生異常點的技術上或物理 上的 原因, 作為處理異常值的依據(jù).,3. 根據(jù)經(jīng)驗和實際背景知識做出實驗數(shù)據(jù) 的檢查修正, 異常數(shù)據(jù)的舍棄處理.,例6.1.3 施肥效果分析,某地區(qū)作物生長所需的營養(yǎng)素主要是氮(N)、鉀(K)、磷(P).某作物研究所在某地區(qū)對土豆與生菜做了一定數(shù)量的實驗,實驗數(shù)據(jù)如下列表所示, 其中ha表示公頃,t表示噸，kg表示公斤.當一個營養(yǎng)素的施肥量變化時,總將另兩個營養(yǎng)素的施肥量保持在第七個水平上,如對土豆產(chǎn)量關于 N的施肥量做實驗時,P與 K的施肥量分別取為 196kgha與372kgha.,試分析施肥量與產(chǎn)量之間關

6、系,并對所得 結果從應用價值與如何改進等方面做出估 價.,N P K,經(jīng)查閱農(nóng)業(yè)資料可知： 1)氮（N）的施肥量在一定范圍內(nèi),土豆產(chǎn)量 隨施肥量的增加而增長,施肥量超過一定范圍 后，土豆產(chǎn)量反而會降低.對氮施肥量一土豆 產(chǎn)量的實驗數(shù)據(jù)進行分析,可認為其中沒有明 顯的異常點.,2)在一定范圍的磷施肥量可以促使土豆產(chǎn)量 增長,過多的施磷肥對土豆產(chǎn)量不起作用.,記 x為磷施肥量,y(x)為土豆產(chǎn)量,磷施 肥量土豆產(chǎn)量實驗數(shù)據(jù)中有,可以認為y(0)、y(24)是病態(tài)數(shù)據(jù),并可取y(0) 與y(49)的一次線性插值,來取代.,6.2 經(jīng) 驗 模 型,一.基于數(shù)據(jù)分析的建模方法,* 在建立數(shù)學模型的過程中

7、,經(jīng)常需要建立 變量之間的關系.,*由于對研究對象的內(nèi)部機理不甚了解,不 能通過合理的假設,或根據(jù)物理定律、原理, 經(jīng)過機理分析法而得到.,問題,解決思路,*選擇適當?shù)臄?shù)學式對變量間的關系進行擬合.,*通過對數(shù)據(jù)充分觀察和分析, 獲得數(shù)據(jù)所含 信息;,*揭示變量間的內(nèi)在聯(lián)系;,x,o,y,* 借助于由實驗或測量得到的一批離散數(shù)據(jù).,兩類變量關系,確定性關系 確定的函數(shù)關系,相關關系 存在相依關系,但未達到相互確定的程度.,兩類數(shù)據(jù),已知規(guī)律(函數(shù))的測試數(shù)據(jù)(在特定時間點或距離上的數(shù)據(jù)),呈現(xiàn)隨機性的數(shù)據(jù),可看成具有某種概率分布的隨機樣本值.,針對兩種不同類型的數(shù)據(jù), 有不同的建立模型方法:,

8、1. 數(shù)據(jù)擬合法(適用于第一類數(shù)據(jù)),基本思想 已知函數(shù) y= f(x) 的一組測試數(shù)據(jù) (xi , yi)， (i=1，2，n)，,尋求一個函數(shù)(x)，使(x)對上述測試數(shù)據(jù) 的誤差較小，即(xi)yi,于是可以用(x) 來近似替代f (x).,常用的數(shù)據(jù)擬合方法：一般插值法、最小二乘法、樣條函數(shù)光順法等.,插值法的基本思想 尋找 f(x)的近似替代函數(shù) (x), 在插值節(jié)點xi 上滿足 ( xi )=yi， (i=1,2,，n)，,其余點用(x)近似替代f (x ), 稱(x)為f (x)的 插值函數(shù).,最小二乘法基本思想 尋找 f (x)的近似替代 函數(shù)(x), 使,2. 隨機分析方法,

9、對于隨機數(shù)據(jù)進行擬合,可用統(tǒng)計學中的 回歸分析方法或時間序列分析方法.,二經(jīng)驗模型的建立,以上兩種建模方法都是建立在對數(shù)據(jù)進行充 分分析的基礎上.,尋找或選擇適當?shù)暮瘮?shù)擬合變量之間的關系 (函數(shù)關系或回歸關系)是重要的環(huán)節(jié).,一般步驟,1）繪制數(shù)據(jù)散布圖；,2）分析數(shù)據(jù)散布圖；,3）選擇函數(shù)關系形式.,1) 通過分析數(shù)據(jù)散布圖可以獲得對變量間 關系的感性認識, 形成初步的看法, 以便于對 問題做進一步的分析.,見p156,2）分析數(shù)據(jù)散布圖；,對數(shù)據(jù)散布圖進行分析,可以分析出變量的 關系是：,1）線性的還是非線性的？,2）有無周期性？,3）呈現(xiàn)何種變化趨勢？變化率如何？,，等等有用的初步結論.

10、,例6.2.1 建立一個簡潔的函數(shù)關系式來描述 某個地區(qū)人的身高和體重的對應關系, 數(shù)據(jù)見 表7.4(p156).,曲線特征是體重W 隨身高H 的增長而單調(diào)增 長，但可以觀察到是非線性增長.,練習,試分析以下問題,1. 氮施肥量N、磷施肥量 P 關于土豆產(chǎn)量的 數(shù)據(jù)散布圖(P153例7.1.1). 2. 海浪潮高度x 隨時間t 的數(shù)據(jù)散布圖.,3）選擇函數(shù)關系形式,1. 形式盡可能簡潔, 盡可能線性化；,原則,2. 依據(jù)實際問題的精度要求,合乎實際規(guī)律.,續(xù)例6.2.1 選擇冪函數(shù) W= , 描述身高體重關系.,優(yōu)點 此函數(shù)可以線性化.,兩邊取對數(shù), 有,變換為線性函數(shù),例6.2.2 可選二次

11、函數(shù),注：其中 b0= y(0) = 15.18.,關于磷肥施肥量和土豆產(chǎn)量的變量關系可 選擇威布爾模型：,描述氮肥施肥量與土豆產(chǎn)量間的變量關系.,合理性?,3. y 是單調(diào)升函數(shù).,也可以選擇S 函數(shù)：,S函數(shù)也滿足：,3. y 是單調(diào)升函數(shù)；,哪個模型更好？,分析：S 模型所含參數(shù)更少, 另外若令,可得線性模型,重要定律(維爾斯脫拉斯 ) 若函數(shù)f(x)在有限 閉區(qū)間上連續(xù), 則存在一個多項式序列Pn(x) 在有限閉區(qū)間a , b上一致收斂于f(x).,稱 f(x) 在 a ,b 上可由多項式函數(shù)逼近.,例6.2.3 估計供水塔的水流量,試用以下數(shù)據(jù)估計任意時刻(包括水泵正在 輸水的時間內(nèi)

12、)從水塔流出的流量f(t),并估計 一天的總用水量.,某小鎮(zhèn)某天水塔水位,時間(秒) 水位(0.01英尺) 時間(秒) 水位(英尺) 0 3175 46636 3350 3316 3110 49953 3260 6635 3054 53936 3167 10619 2994 57254 3087 13937 2947 60574 3012 17921 2892 64554 2927 21240 2850 68535 2842 25223 2795 71854 2767 28543 2752 75021 2697 32284 2697 79254 水泵開動 35932 水泵開動 82649 水泵

13、開動 39332 水泵開動 85968 3475 39435 3550 89953 3397 43318 3445 92370 3340,思考 為什么考慮用多項式函數(shù)？有什么優(yōu)點？,假設 水位高度（或水塔的水容量）是連續(xù)變化的.,可以選擇n 次多項式Pn(x),來近似描述水位隨時間的變化規(guī)律.,問題歸結為選擇足夠大的n 及估計各個系數(shù)值.,6.3 模型的參數(shù)估計,數(shù)學建模的一個重要工作是建立變量間的 數(shù)學關系式, 但公式中幾乎總是涉及一些參數(shù).,如用下面三個數(shù)學式描述肥素的施肥水平對 土豆產(chǎn)量的影響：,要得到最終可應用于實際的經(jīng)驗模型， 必須確定公式中的各個參數(shù),求模型中參數(shù)的估計值有三種常用

14、方法： 圖解法、統(tǒng)計法、機理分析法。,對經(jīng)驗模型的精度要求不高, 只需對參數(shù)做出粗略估計時可采用圖解法.,例6.3.1 磷施肥量與土豆產(chǎn)量的關系式,需估計三個參數(shù)A、B、C, 觀察圖7.3，數(shù)據(jù) 點都位于直線 y=43的下方，并且數(shù)據(jù)點越來越靠近這條直線，可以估計A=43 .,1圖解法,例6.2.2(見P158例7.2.1)表中給出了12月1日 (星期二)和12月2日(星期三)兩天內(nèi)的海浪潮 高度值(相對于海堤上的零標尺記號,以米為 單位),能依據(jù)此表來預測12月5日(星期六)下 午1:00的海浪高度值嗎？,分析 根據(jù)對數(shù)據(jù)散布圖的分析, 采用函數(shù),需估計振幅 a 和 頻率b.,解決方法：直接

15、量出高低浪之間的高度差為6.6米，,量出海浪變化周期約為12.3小時,得經(jīng)驗模型,將頻率的估計代入(2)式, 有,代入x(0)=c=2.4 及 x(23)=3.6,得關于海浪潮隨時間變化的另一經(jīng)驗模型,模型應用,預測12月5日下午1:00的海浪潮高度為,x(109) = 2.4cos(5.11109) 2.7sin(5.11109),=2.4cos(55.7)2.7sin(55.7),=2.4cos(5.4302.7sin(55.7)3.6(米).,誤差分析 這一時刻潮位的實際觀察值為4.1米,相對誤差大約是12%, 請考慮一下成因.,仔細分析圖5.5, 可發(fā)覺圖中,(1 ) x=0似乎不是海

16、浪高低潮位的中值;,(2) 振幅隨時間的延續(xù)似乎在輕微地增大.,思考 怎樣考慮這些細節(jié)來修改模型,以獲得更準確的預報呢？,2. 統(tǒng)計法,參數(shù)估計的統(tǒng)計處理, 往往運用最小二乘法估計.,設有一組樣本值:,對選定的一元回歸函數(shù) ,回歸模型為,N(0,2),為模型的殘差平方和.,應選取(x)中的未知參數(shù), 使S達最小值,當回歸函數(shù)為(x)=a +bx，回歸模型,N(0,2),稱為一元線性回歸模型, 其殘差平方和為,對S 分別求關于 a, b 的偏導數(shù), 并令其等于零,得線性方程組如下：,整理得正規(guī)方程(組)如下：,求得解,其中,一元線性回歸模型參數(shù)估計公式,部分非線性回歸函數(shù)經(jīng)變量代換可化為線性 函

17、數(shù),利用線性參數(shù)估計公式進行估計,如,例6.3.1 磷施肥量和土豆產(chǎn)量 的回歸函數(shù)選為,對數(shù)據(jù)進行相應變換, 可估計出,得到磷施肥量和土豆產(chǎn)量的經(jīng)驗公式,分析 有,例6.3.2 若用威布爾函數(shù)作為磷施肥量和土豆產(chǎn)量的回歸函數(shù),與目測法的結論 驚人一致.,相對于新變量x，lnz , 這是一元線性函數(shù).,特點：統(tǒng)計分析法應用于變量間存在相關關系的情形, 并且需要較多數(shù)據(jù)為基礎.,3. 機理分析法,通過對問題的內(nèi)部機理進行分析,找出變量間 的因果關系,從而確定出參數(shù).,兩邊取對數(shù),有,例6.3.3 錄像機磁帶計數(shù)器模型,在一臺錄像機上有一個四位數(shù)字的記數(shù)器. 1.在磁帶開始運行時設置為“0000”，

18、“180分 鐘”結束時顯示讀數(shù)為“1849”,實際所花的 時間為185分20秒.,2.記數(shù)器從“0084”轉(zhuǎn)到“0147”時用了3分21 秒的時間.,現(xiàn)在記數(shù)器上顯示為“1428”,問余下的磁帶 是否足夠再記錄60分鐘長的節(jié)目？,已建立經(jīng)驗公式,其中 w 錄象帶的厚度；r 轉(zhuǎn)動軸半徑； v轉(zhuǎn)動速度；k顯示讀數(shù)和旋轉(zhuǎn)周 數(shù)的比例系數(shù).,通過進一步分析簡化模型,使所含的未知參 數(shù)盡可量少,用很少的幾個數(shù)據(jù)求得參數(shù)的 估計值.,上式化為,可利用的數(shù)據(jù)如下,t=0，n=0是模型的初始條件,將后三組數(shù)據(jù) 代入 得關于t1,與的三元方程組,注,1.由于數(shù)據(jù)個數(shù)太少,不能用統(tǒng)計法估計參數(shù)；,2. 這里采用機

19、理分析法求參數(shù)的估計值,可 利用的數(shù)據(jù)個數(shù)已是允許的最少個數(shù)了.,6.4 模型誤差分析,希望建立的模型盡善盡美：,能“逼真”地模擬現(xiàn)實系統(tǒng)；,能“精確”地預測系統(tǒng)的未來情況；,能“準確”地控制系統(tǒng)；,得到問題的“最優(yōu)”解 ；,逼真、精確、準確、最優(yōu)、,良好愿望,數(shù)學模型是對現(xiàn)實世界的理想化， 不可能是真實世界的再現(xiàn),任何數(shù)學模型在建立和使用的過程中， 不可避免的產(chǎn)生模型誤差.,如：附加進數(shù)據(jù)測量誤差,舍入誤差和截斷誤差等.,有必要對模型誤差進行分析，并給出估計.,常用“絕對誤差”和“相對誤差”來衡量誤差的 大小程度：,絕對誤差=測量值近似值,相對誤差=絕對誤差/測量值,與數(shù)量級有關,例6.4.

20、1 用經(jīng)驗公式,作為土豆產(chǎn)量的近似估計公式, 其誤差數(shù)值 列表如下（參見p168表7.6）,問題 如何評價誤差數(shù)據(jù),？,二誤差分析,各類誤差,數(shù)據(jù)測量誤差,截斷誤差,模型假設誤差,1數(shù)據(jù)測量誤差,* 在建立模型之前應該盡量控制實驗數(shù)據(jù)的 質(zhì)量, 使之測量準確可靠.,* 數(shù)據(jù)帶有無法消除的測量誤差時, 應分析 它對模型造成的影響, 并對模型誤差進行估計.,例6.4.2 有高為100厘米的半球形容器中裝滿 了水。從某一時刻開始，水從底部一個橫截 面積為1平方厘米的小孔流出，可以隨時測出 水面高度h。由水力學知，水從孔口流出的流 量（即通過孔口橫截面的水的體積V對時間t 的變化率)Q，有關系式,其中

21、0.62為流量系數(shù), S 是小孔口橫截面積， g 為重力加速度.,由測出的水面高度h,可算得水流量, 由于儀 器所限，測出的高度值有 0.1厘米的誤差, 這 會引起水流量Q的多大誤差？,100,h,水面高度h有誤差h,分析 水面高度誤差為h ，水流量誤差則為,在 h=50厘米處,代入h=0.1厘米,可算得絕對 誤差為,相對誤差為,在h=50 厘米處的相對誤差為,約為1 .,截斷誤差的來源：,1. 用數(shù)值方法近似求解會產(chǎn)生截斷誤差；,2. 函數(shù)近似產(chǎn)生截斷誤差；,3. 計算機運算的精度誤差；,應分析截斷誤差對模型的影響,例6.4.3 廣義生日問題,一個班有30名學生, 他們中至少有兩名同一 天生

22、日的概率 p=?,他們生日均不同日的概率為,則 p =1q.,2. 截斷誤差,一般化后,考慮下問題：,求最小的整數(shù) n，使 f(n)q (給定),對于給定的 x, f(n)是單調(diào)下降函數(shù)(序列),解：可采用求根方法對分法,q,當q=0.5時, 對不同的x, 可以算出n 的最小值n*，見表(P170表7.7)的前兩列.,建立滿足f(n)q 的最小值 n* 與x 之間的關系式.,方法一（最小二乘法）建立經(jīng)驗公式為,方法二 泰勒近似,將,改寫為,因,利用近似式,令g(n)=q，解出,n2n+2x lnq=0,方程的正根為,當 q=0.5，建立泰勒 近似公式為,n=0.5+,練習 對兩種近似求解方法, 計算各個近似值的 絕對誤差和相對誤差.,泰勒 近似式的誤差控制函數(shù),因,其中,注意到f(n)和g(n)都是單調(diào)下降函數(shù), 選擇n*使 g(n*) q g(n*+1) f(n*+1)， 又若f(n*)q，則n*或n*1就是整數(shù)n滿足