第二章 實驗數(shù)據(jù)的處理-2

1、計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 1/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除 錯誤值（過失誤差）的處理錯誤值（過失誤差）的處理 測量數(shù)據(jù)在其采集、傳輸與記錄過程中，有可能造測量數(shù)據(jù)在其采集、傳輸與記錄過程中，有可能造成數(shù)據(jù)丟失或個別數(shù)據(jù)產(chǎn)生不切合實際的偏差，這種數(shù)成數(shù)據(jù)丟失或個別數(shù)據(jù)產(chǎn)生不切合實際的偏差，這種數(shù)據(jù)稱為據(jù)稱為錯誤值，或稱為奇異項或壞值錯誤值，或稱為奇異項或壞值。1.人為因素（讀錯、記錄錯、操作錯）人為因素（讀錯、記錄錯、操作錯）2.不符合實驗條件的環(huán)境突變（突然振動、電磁干擾等）不符合實驗條件

2、的環(huán)境突變（突然振動、電磁干擾等）024681012141618200.00.51.01.52.02.53.03.5024681012141618200.00.51.01.52.02.53.03.5 Y X 計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 2/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除剔除錯誤值的目的：剔除錯誤值的目的： 主要是恢復(fù)數(shù)據(jù)的客觀真實性，而不是為了主要是恢復(fù)數(shù)據(jù)的客觀真實性，而不是為了提高精度提高精度。 剔除錯誤值基本思想：剔除錯誤值基本思想： 規(guī)定一個置信水平，確定一個規(guī)定一個置信水平，確定一個

3、置信限度置信限度，凡是超過這，凡是超過這個限度的誤差，就認(rèn)為它不屬于隨機誤差的范圍，是錯誤個限度的誤差，就認(rèn)為它不屬于隨機誤差的范圍，是錯誤值，從而予以剔除。值，從而予以剔除。 由于置信限度與統(tǒng)計量的分布及測量次數(shù)有關(guān)，剔除由于置信限度與統(tǒng)計量的分布及測量次數(shù)有關(guān)，剔除了一次壞值后，還需對留下的數(shù)據(jù)重新檢驗，直到滿足置了一次壞值后，還需對留下的數(shù)據(jù)重新檢驗，直到滿足置信限度。信限度。 計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 3/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除剔除錯誤值的常用方法剔除錯誤值的常用方法1.拉依

4、達(dá)方法：拉依達(dá)方法：非等置信概率非等置信概率2.肖維勒方法：肖維勒方法：等置信概率等置信概率3.一階差分法：一階差分法：預(yù)估比較法預(yù)估比較法計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 4/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除1 拉依達(dá)方法拉依達(dá)方法 如果某測量值與如果某測量值與平均值平均值之差大于標(biāo)準(zhǔn)偏差的三倍，之差大于標(biāo)準(zhǔn)偏差的三倍，則予以剔除。則予以剔除。 這種方法用于正態(tài)分布的數(shù)據(jù)，當(dāng)這種方法用于正態(tài)分布的數(shù)據(jù)，當(dāng)n時，其置信時，其置信概率為概率為99.7%。實際中，即使是在正態(tài)分布的條件下，。實際中，即使是

5、在正態(tài)分布的條件下，由于測量次數(shù)不同，其置信概率就不同，可見拉依達(dá)方由于測量次數(shù)不同，其置信概率就不同，可見拉依達(dá)方法是一種法是一種非等置信概率非等置信概率方法。方法。計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 5/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除2 肖維勒方法肖維勒方法 對于遵從正態(tài)分布的情況，在對于遵從正態(tài)分布的情況，在 n 次測量結(jié)果中，如次測量結(jié)果中，如果某誤差可能出現(xiàn)的次數(shù)小于半次時，就予以剔除。果某誤差可能出現(xiàn)的次數(shù)小于半次時，就予以剔除。 這實質(zhì)上是規(guī)定了置信概率為這實質(zhì)上是規(guī)定了置信概率為1-1

6、/2n，根據(jù)這一置信，根據(jù)這一置信概率，可計算出肖維勒系數(shù)概率，可計算出肖維勒系數(shù) ，也可從表中查出，當(dāng)要求，也可從表中查出，當(dāng)要求 不很嚴(yán)格時，還可按下列近似公式計算。不很嚴(yán)格時，還可按下列近似公式計算。1 0.4 ( )nln n 計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 6/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除肖維勒系數(shù)表肖維勒系數(shù)表nnnn31.38132.0741.53142.1051.65152.1361.73202.2471.80302.3981.86402.4991.92502.58101.961

7、002.81112.002003.02122.035003.20計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 7/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除 如果某測量值與平均值如果某測量值與平均值 之差的絕對值大于標(biāo)準(zhǔn)偏差之差的絕對值大于標(biāo)準(zhǔn)偏差與肖維勒系數(shù)之積，則該測量值與肖維勒系數(shù)之積，則該測量值xi被剔除。被剔除。 肖維勒方法是一種肖維勒方法是一種等置信概率等置信概率方法。方法。xnisxx計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 8/372.2 實

8、驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除3 一階差分法一階差分法 一階差分法是一種一階差分法是一種預(yù)估比較法預(yù)估比較法，是用前兩個測量，是用前兩個測量值來外推即預(yù)估新的測量值，然后用預(yù)估值與實際測量值來外推即預(yù)估新的測量值，然后用預(yù)估值與實際測量值比較，并事先給定其允差限值，稱作誤差窗，以此來值比較，并事先給定其允差限值，稱作誤差窗，以此來決定該測量值的取舍。決定該測量值的取舍。預(yù)估值：預(yù)估值：xxxxnnnn112()比較判別：比較判別：xxWnn計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 9/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗

9、數(shù)據(jù)錯誤值的剔除3 一階差分法一階差分法 一階差分法特點：一階差分法特點：1.適合于實時數(shù)據(jù)采集與處理過程適合于實時數(shù)據(jù)采集與處理過程2.精度除了與誤差窗的大小有關(guān)外，還與前兩點測精度除了與誤差窗的大小有關(guān)外，還與前兩點測量值的精確度有關(guān)量值的精確度有關(guān)3.如果被測物理量的變化規(guī)律不是如果被測物理量的變化規(guī)律不是單調(diào)遞增或單單調(diào)遞增或單調(diào)遞減調(diào)遞減函數(shù)，這一方法將在函數(shù)的拐點處產(chǎn)生函數(shù)，這一方法將在函數(shù)的拐點處產(chǎn)生較大的誤差，嚴(yán)重時將無法使用較大的誤差，嚴(yán)重時將無法使用計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 10/372.2

10、實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除例例2.2.1 利用利用肖維勒方法肖維勒方法對下列數(shù)據(jù)的錯誤值進行剔除對下列數(shù)據(jù)的錯誤值進行剔除 1.5034 1.5062 1.5034 1.5024 1.4985 2.5000 1.5007 1.5067 1.4993 1.4969inxxxS211niixxxSn上列數(shù)據(jù)保存于文件上列數(shù)據(jù)保存于文件erro.datnn n 104 .( )計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 11/372.2 實驗數(shù)據(jù)錯誤值的剔除實驗數(shù)據(jù)錯誤值的剔除012345678910110.511.522

11、.533.5原 始 數(shù) 據(jù)012345678910110.511.522.533.5錯 誤 值 剔 除 后 數(shù) 據(jù)std.m計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 12/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波 在物理實驗中，不論是人工觀測的數(shù)據(jù)還是由數(shù)據(jù)在物理實驗中，不論是人工觀測的數(shù)據(jù)還是由數(shù)據(jù)采集系統(tǒng)獲取的數(shù)據(jù)，都不可避免疊加上噪聲信號。為了采集系統(tǒng)獲取的數(shù)據(jù)，都不可避免疊加上噪聲信號。為了提高數(shù)據(jù)的質(zhì)量，必須去除噪聲。提高數(shù)據(jù)的質(zhì)量，必須去除噪聲。計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute

12、of Technology Yangkun 13/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波錯誤值剔除：錯誤值剔除：0.00.20.40.60.81.01.20.81.01.21.41.61.82.02.22.4Y X 計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 14/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波數(shù)字濾波數(shù)字濾波時域濾波時域濾波頻域濾波頻域濾波平滑濾波平滑濾波 對一個按某種對一個按某種等間隔規(guī)律等間隔規(guī)律（如等時測量，等（如等時測量，等電壓間隔測量等）測得的數(shù)據(jù)序列，對某一位置電壓間隔測量等）測得的數(shù)據(jù)序

13、列，對某一位置處的數(shù)據(jù)，利用其前后的數(shù)據(jù)經(jīng)某種運算后，得處的數(shù)據(jù)，利用其前后的數(shù)據(jù)經(jīng)某種運算后，得到一個新的平滑數(shù)據(jù)，從而得到一個新的平滑后到一個新的平滑數(shù)據(jù)，從而得到一個新的平滑后的數(shù)據(jù)序列。的數(shù)據(jù)序列。 平滑濾波是依據(jù)隨機噪聲的概率統(tǒng)計性質(zhì)，平滑濾波是依據(jù)隨機噪聲的概率統(tǒng)計性質(zhì)，通過適當(dāng)運算，使噪聲抑制到滿意的程度。通過適當(dāng)運算，使噪聲抑制到滿意的程度。 計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 15/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波2.3.1 單純移動平均單純移動平均 單純移動平均法是在時域序列中，某一數(shù)據(jù)

14、單純移動平均法是在時域序列中，某一數(shù)據(jù)點前后對稱地取出點前后對稱地取出2n+12n+1個數(shù)據(jù)（個數(shù)據(jù)（平滑寬度或平滑平滑寬度或平滑窗口窗口），求其平均值作為結(jié)果序列中的數(shù)據(jù)，而），求其平均值作為結(jié)果序列中的數(shù)據(jù)，而取代原始數(shù)據(jù)。取代原始數(shù)據(jù)。1211:i niiii niNyy yyyyyynny yynnkkiiyny121), 2, 1(nNnni計計計算算算物物物理理理學(xué)學(xué)學(xué)2.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波例例2.3.1 分別利用分別利用3、9、15點單純移動平均對下列數(shù)據(jù)進點單純移動平均對下列數(shù)據(jù)進行平滑。行平滑。計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institut

15、e of Technology Yangkun 17/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波nnkkiiyny121), 2, 1(nNnni計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 18/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 19/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波優(yōu)點：優(yōu)點： 方法簡單，計算方便。方法簡單，計算方便。缺點：缺點： 方法誤差：信號失真。方法誤差：信號失真。 數(shù)據(jù)丟失：前后

16、各數(shù)據(jù)丟失：前后各n n個數(shù)據(jù)無法平滑。個數(shù)據(jù)無法平滑。適用性：適用性： 適用于變化緩慢的數(shù)據(jù)。適用于變化緩慢的數(shù)據(jù)。平滑窗口越大，平滑效果越好，但失真也越大。平滑窗口越大，平滑效果越好，但失真也越大。單純移動平均小結(jié)單純移動平均小結(jié)計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 20/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波2.3.2 加權(quán)移動平均加權(quán)移動平均加權(quán)的基本思想：加權(quán)的基本思想： 平均區(qū)間內(nèi)中心處數(shù)據(jù)的權(quán)值最大，愈偏離平均區(qū)間內(nèi)中心處數(shù)據(jù)的權(quán)值最大，愈偏離中心處的數(shù)據(jù)權(quán)值愈小。這樣就減小了對真實信中心處的數(shù)據(jù)權(quán)值

17、愈小。這樣就減小了對真實信號本身的平滑作用。號本身的平滑作用。 權(quán)重系數(shù)權(quán)重系數(shù)可以采用可以采用最小二乘原理最小二乘原理，即使平滑后，即使平滑后的數(shù)據(jù)以最小均方差逼近原始數(shù)據(jù)。的數(shù)據(jù)以最小均方差逼近原始數(shù)據(jù)。2mini ti ttyy單純移動平均采用算術(shù)平均，存在信號失真的方法誤差。單純移動平均采用算術(shù)平均，存在信號失真的方法誤差。計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 21/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波設(shè)自變量設(shè)自變量x x以步長以步長h h作等距觀測的數(shù)據(jù)作等距觀測的數(shù)據(jù)y yxix0 x1 xi-1

18、xi xi+1 xN yiy0 y1 yi-1 yi yi+1 yN 0ixxihixxth作變換作變換計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 22/3700000():()():iiNxxxxihxtihhxxxNhxihxtNihh 2.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波數(shù)據(jù)數(shù)據(jù)變?yōu)樽優(yōu)閠i+t-i 1-i -1 0 1 N-i 0 1 i-1 i i+1 Nyi+ty0 y1 yi-1 yi yi+1 yN 構(gòu)造平滑公式：構(gòu)造平滑公式：2012mi tmyAAtA tA t平滑多項式的系數(shù)由最小二乘原理確定平滑多項

19、式的系數(shù)由最小二乘原理確定 2minmini ti ttyy計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 23/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波即即20122mini ttmmAAtA tA ty t 取最靠近取最靠近i 的的k=2n+1個整數(shù)值（平滑點的數(shù)個整數(shù)值（平滑點的數(shù)目），且應(yīng)保證目），且應(yīng)保證 mkN，t=-n,-n+1,0n-1,n計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 24/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波線性平滑：線

20、性平滑：m=1m=1平滑公式為平滑公式為系數(shù)由下式確定：系數(shù)由下式確定：01i tyAAt 021minmini ttAAty0100AA01012()0()0i tti ttAAtyAAtyt計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 25/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波三點線性平滑三點線性平滑 k=2n+1=3, n=1k=2n+1=3, n=1，t=-1,0,1t=-1,0,1解得系數(shù)：解得系數(shù)：10111011()0()0i tti ttAAtyAAtyt0111111()31() 2iiiiiAyyyA

21、yy計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 26/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波平滑公式為：平滑公式為：0101111611131111601(52) () (25)iiiiiiiiiiiiyyyyAAyyyyyAyAyAy簡記為：簡記為：)52()()25(101611101310101611yyyyyyyyyyyy01i tyAAt0111111()31() 2iiiiiAyyyAyy計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 27/372.

22、3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波三點線性平滑權(quán)重系數(shù)表三點線性平滑權(quán)重系數(shù)表歸一系數(shù)歸一系數(shù)y-1y0y1y-1652-1y03111y16-125計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 28/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波五點線性平滑權(quán)重系數(shù)表五點線性平滑權(quán)重系數(shù)表歸一系數(shù)歸一系數(shù)y-2y-1y0y1y2y-253210-1y-11043210y0511111y11001234y25-10123計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun

23、 29/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波二次平滑：二次平滑：m=2m=2平滑公式為平滑公式為系數(shù)由下式確定：系數(shù)由下式確定：2012i tyAAtA t20122mini ttAAtA ty計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 30/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波五點二次平滑五點二次平滑 k=2n+1=5, k=2n+1=5, n=2n=2， t=-2,-1,0,1,2t=-2,-1,0,1,22201222201222220122()0()0()0i tti tti ttyAAtA tyA

24、AtA ttyAAtA tt計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 31/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波五點二次平滑權(quán)重系數(shù)表五點二次平滑權(quán)重系數(shù)表歸一系數(shù)歸一系數(shù)y-2y-1y0y1y2y-235319-3-53y-135913126-53y135-5612139y2353-5-3931計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 32/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波計計計算算算物物物理理理學(xué)學(xué)學(xué)Har

25、bin Institute of Technology Yangkun 33/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波歸一系數(shù)歸一系數(shù)y-3y-2y1y0y1y2y3y-342398-4-414-2y-242819166-4-74y-142-41619122-41y021-236763-2y1421-42121916-4y2424-7-4616198y342-241-4-4839七點三次平滑權(quán)重系數(shù)表七點三次平滑權(quán)重系數(shù)表計計計算算算物物物理理理學(xué)學(xué)學(xué)Harbin Institute of Technology Yangkun 34/372.3 實驗數(shù)據(jù)的平滑濾波實驗數(shù)據(jù)的平滑濾波2.3.3 matlab平滑函數(shù)平滑函數(shù)格式：格式： Z = smooth(Y, span, method)說明：說明：1.Z： 平滑后的數(shù)據(jù)向量平滑后的數(shù)據(jù)向量2.Y： 被平滑的數(shù)據(jù)向量被平滑的數(shù)據(jù)向量3.span： 平滑點