數(shù)據(jù)探測法在測量數(shù)據(jù)處理中的應(yīng)用

1、數(shù)據(jù)探測法在測量數(shù)據(jù)處理中的應(yīng)用鄭維悅1，梁嘉玲2，鄧德標(biāo)3(1.廣州市市政工程設(shè)計(jì)研究院, 廣東 廣州 510000;2.中山市建宙測繪工程有限公司, 廣東 中山 528441;3.廣東南方數(shù)碼科技有限公司, 廣東 廣州 510665)摘要：本文首先介紹數(shù)據(jù)探測法的原理和計(jì)算步驟，然后闡述幾種測量數(shù)據(jù)處理的方法，最后結(jié)合水準(zhǔn)網(wǎng)平差、直線擬合、圓曲線擬合3個(gè)實(shí)例計(jì)算與分析，證明該方法能有效地發(fā)現(xiàn)并剔除粗差，可廣泛應(yīng)用于工程測量的數(shù)據(jù)處理中。關(guān)鍵詞：數(shù)據(jù)探測法；粗差探測；水準(zhǔn)網(wǎng)平差；直線擬合；圓曲線擬合中圖分類碼：P207 文獻(xiàn)標(biāo)識碼：AThe Application of Data Snoop

2、ing in Survey Data ProcessingZheng WeiYue 1，Liang JiaLing2，Deng DeBiao3(1.Guangzhou Municipal Engineering Design & Research Institute, Guangzhou 510000, China;2. Zhongshan Jianzhou Surveying and Mapping Engineering Co. Ltd., Zhongshan 528441, China;3. South Digital Technology Co., Ltd, Guangzhou 510

3、665, China)Abstract： Firstly, this paper introduces the principles and calculation steps of data snooping. Secondly, describes several methods of measurement data processing. Finally, by using the analysis of level adjustment, linear fitting and circular curve fitting, this method can find out and e

4、liminate the gross errors effectively, and could be widely used in data processing engineering survey.Key words: data snooping; gross error detection; level adjustment; linear fitting; circular curve fitting1引言在常規(guī)測量工作中，粗差的存在有時(shí)是不可避免的，因工程測量中的測量數(shù)據(jù)經(jīng)常存在粗差，對后續(xù)計(jì)算造成很嚴(yán)重的影響，既嚴(yán)重影響了數(shù)據(jù)處理的精度，又大大降低結(jié)果的可靠性。因此必須想辦法剔除

5、粗差。目前，按照不同學(xué)科，粗差探測方法大致可分4類：數(shù)理統(tǒng)計(jì)粗差探測法、基于多元統(tǒng)計(jì)分析粗差探測法、線性代數(shù)粗差探測法和人工智能粗差探測法1，測繪學(xué)中，廣泛使用數(shù)理統(tǒng)計(jì)粗差探測法，如應(yīng)用粗差檢測與抗差估計(jì)相結(jié)合的方法來剔除動(dòng)態(tài)相對定位中的粗差2，也有學(xué)者研究粗差探測方法在數(shù)字高程模型3、坐標(biāo)轉(zhuǎn)換4、控制網(wǎng)平差5中的應(yīng)用。下面先論述粗差探測法的原理，再結(jié)合3個(gè)實(shí)際算例說明粗差的影響及數(shù)據(jù)探測法的作用。2數(shù)據(jù)探測法粗差會(huì)導(dǎo)致驗(yàn)后單位權(quán)中誤差比正常值大得多，各個(gè)觀測值的殘差均受到影響，即使是有粗差的觀測值，其殘差通常會(huì)比沒有粗差的殘差大，但一般不超過，故殘差檢驗(yàn)法并不能很好地剔除粗差。經(jīng)眾多學(xué)者的研

6、究和實(shí)踐證明，巴爾達(dá)教授提出的數(shù)據(jù)探測法能有效地探測粗差，并已經(jīng)被廣泛應(yīng)用到測量平差中。間接平差的誤差方程為 或 ，將 ， 代入上式后得（1）（2）協(xié)因數(shù)矩陣是（3）將（3）式改寫成（4）值由系數(shù)陣和權(quán)陣來決定，與觀測值無關(guān)。與式（1）是研究粗差探測和可靠性理論的一個(gè)重要關(guān)系式。（5）將（1）式改成顯式為（6）因，故（6）式的個(gè)改正數(shù)不能解出個(gè)。對式（1）兩邊取數(shù)學(xué)期望。（7）當(dāng)只是偶然誤差且沒有粗差時(shí)，故，兩者的概率分布相同。數(shù)據(jù)探測法的原假設(shè)是，即觀測值不存在粗差，考慮，作標(biāo)準(zhǔn)正態(tài)分布統(tǒng)計(jì)量（8）進(jìn)行檢驗(yàn)，若，則否定，亦即，可能存在粗差。假設(shè)一個(gè)平差系統(tǒng)只存在一個(gè)粗差是數(shù)據(jù)探測法的前提，一

7、次探測只能找到一個(gè)粗差，若要探測另一個(gè)粗差時(shí)，必須先剔除之前發(fā)現(xiàn)的粗差，再重新進(jìn)行平差和檢驗(yàn)。3實(shí)例計(jì)算與分析由于數(shù)據(jù)探測法計(jì)算量大，為了驗(yàn)證其有效性，并在常規(guī)測量平差計(jì)算中使用，筆者根據(jù)上述的理論基礎(chǔ)，以C+語言開發(fā)了相關(guān)的平差程序，通過下面3個(gè)例子闡述粗差的影響及數(shù)據(jù)探測法的應(yīng)用。3.1水準(zhǔn)網(wǎng)觀測數(shù)據(jù)的粗差探測分析水準(zhǔn)測量的觀測值為兩點(diǎn)之間的高差，設(shè)、為兩個(gè)高程未知的水準(zhǔn)點(diǎn)，為從到的高差，取兩點(diǎn)的高程平差值和作為待定參數(shù)，則誤差方程為（9）若高差起點(diǎn)為已知高程點(diǎn)而終點(diǎn)為待定點(diǎn)，則有（10）若高差終點(diǎn)為已知高程點(diǎn)而起點(diǎn)為待定點(diǎn)，則有為（11）下面對如圖1所示的水準(zhǔn)網(wǎng)進(jìn)行平差計(jì)算，其中G201

8、、G202、G203為已知點(diǎn)，其高程分別是米、米、米，各測段的高差觀測值和距離列于表1中。圖1 水準(zhǔn)網(wǎng)路線 水準(zhǔn)網(wǎng)高差觀測值 表1序號起點(diǎn)終點(diǎn)h/mS/km1G201G20630.3373.32G206G202-40.5055.83G202G2059.2534.04G205G203-11.6232.75G201G204-4.9461.46G204G203-7.5544.07G207G201-11.6263.08G207G202-21.7446.69G207G203-24.1253.810G207G204-16.5653.011G207G205-12.4984.812G207G20618.772

9、.7注：h高差值，S為路線長度。表2分別列出了是否進(jìn)行粗差檢驗(yàn)的觀測值改正數(shù)，在存在粗差的情況下，個(gè)別觀測值的改正數(shù)很大，如序號為2、7、12的高差，光憑改正數(shù)大小不能準(zhǔn)確地判斷哪些觀測值存在粗差。而利用數(shù)據(jù)探測法發(fā)現(xiàn)第2個(gè)高差存在粗差，將其剔除后重新進(jìn)行平差計(jì)算，則沒發(fā)現(xiàn)有新的粗差存在。圖2對比了是否進(jìn)行粗差檢查的平差結(jié)果，可見數(shù)據(jù)探測法剔除粗差后，各高程值的精度都有很大的提高。 水準(zhǔn)網(wǎng)高差改正數(shù) 表2序號起點(diǎn)終點(diǎn)沒檢查粗差粗差檢驗(yàn)V /mmMv/mmV/mmMv/mm1G201G204-4.56.3-3.43.52G201G20626.58.0-3G202G205-6.27.8-5.14.

10、44G204G203-8.56.3-9.63.55G205G203-3.87.8-4.94.46G206G2028.58.0-9.15.87G207G20115.06.010.73.58G207G2020.06.0-4.33.59G207G2031.06.0-3.33.510G207G2043.57.60.34.311G207G2050.88.9-2.55.012G207G206-17.58.3-4.25.4圖2 高程平差值的中誤差3.2直線擬合數(shù)據(jù)的粗差探測分析設(shè)直線方程為，誤差方程為（12）按最小二乘準(zhǔn)則來解算進(jìn)而求出直線方程的兩個(gè)參數(shù)，在實(shí)際計(jì)算過程中，坐標(biāo)值通常都比較大，使得法方程系數(shù)

11、陣是病態(tài)矩陣，對和的精度影響很大。為解決這一問題，在求誤差方程之前先對所有采集點(diǎn)的坐標(biāo)進(jìn)行歸一化處理，即將所有采集點(diǎn)平移至坐標(biāo)系原點(diǎn)附近，用平移后的數(shù)據(jù)進(jìn)行解算。對表3的數(shù)據(jù)進(jìn)行擬合，表4列出了各個(gè)擬合點(diǎn)的改正數(shù)，在沒有檢查粗差的結(jié)果中，單位權(quán)中誤差為39.1mm，對應(yīng)的改正數(shù)及其中誤差都比較大，故推測擬合點(diǎn)的坐標(biāo)數(shù)據(jù)存在粗差。用數(shù)據(jù)探測法檢驗(yàn)后發(fā)現(xiàn)第5、7兩個(gè)點(diǎn)有粗差，排除后從新計(jì)算，平差結(jié)果的單位權(quán)中誤差降為9.2mm，改正數(shù)和中誤差較之前有明顯的好轉(zhuǎn)。 直線擬合點(diǎn) 表3點(diǎn)號X/mY/m11456.305336.99821465.214354.90631469.670363.8634147

12、4.125372.81651487.548399.67161491.953408.62571500.893426.52381505.325435.474 直線擬合改正數(shù) 表4點(diǎn)號沒檢查粗差粗差檢驗(yàn)V/mmMv/mmV/mmMv/mm111.425.111.36.02-6.919.30.04.63-16.016.9-5.64.14-23.115.1-9.33.8575.914.7-6-32.616.48.47.4721.321.4-8-30.024.3-4.85.03.3圓曲線擬合數(shù)據(jù)的粗差探測分析文獻(xiàn)6和文獻(xiàn)7都論述了由坐標(biāo)點(diǎn)擬合圓心的方法，當(dāng)坐標(biāo)數(shù)據(jù)存在粗差時(shí)對結(jié)果影響很大。設(shè)圓心坐標(biāo)平差值

13、為，半徑平差值為，圓心至采集點(diǎn)的方位角平差值為，則圓曲線的參數(shù)方程如下：（13）線性化后得誤差方程：（14）（15）式中帶上標(biāo)的符號為相應(yīng)參數(shù)的近似值。根據(jù)上述模型，對表5中的采集數(shù)據(jù)進(jìn)行擬合計(jì)算。表6列出了是否進(jìn)行粗差檢驗(yàn)的結(jié)果，其中第1和8號點(diǎn)被查出存在粗差，若不進(jìn)行粗差檢驗(yàn)，多個(gè)擬合點(diǎn)的改正數(shù)很大，擬合后的單位權(quán)中誤差為16.7mm。當(dāng)剔除粗差點(diǎn)后，其它擬合點(diǎn)的改正數(shù)明顯變小，單位權(quán)中誤差為7.5mm，擬合精度大幅提高。 圓曲線擬合點(diǎn) 表5點(diǎn)號X/mY /m11428.498454.58621427.533454.23231427.320453.27641429.265453.68951

14、429.196453.99161428.958454.32271427.857452.67281429.274453.27591429.112453.032101428.527452.602 擬合點(diǎn)改正數(shù) 表6點(diǎn)號沒檢查粗差粗差檢驗(yàn)Vx/mmVy/mmVx/mmVy/mm1-5.0-23.7-2-5.95.1-8.37.339.22.91.70.5417.61.910.11.154.11.9-3.1-1.461.61.8-3.4-3.770.81.7-1.8-3.88-30.29.4-99.1-6.05.3-3.710-1.35.17.43.64結(jié)束語實(shí)驗(yàn)結(jié)果表明，粗差的存在嚴(yán)重影響了數(shù)據(jù)處理

15、的精度，大大降低結(jié)果的可靠性。數(shù)據(jù)探測法的思路清晰，便于編程實(shí)現(xiàn)，利用該方法可以有效準(zhǔn)確地檢查出粗差所在的觀測值，經(jīng)過剔除粗差觀測值，可恢復(fù)數(shù)據(jù)的真實(shí)性，得到正確可靠的結(jié)果。但考慮到該方法并未顧及各改正數(shù)之間的相關(guān)性，檢驗(yàn)可靠性受到一定的限制，故后續(xù)研究可從這個(gè)方面進(jìn)行改良。文獻(xiàn)8比較了數(shù)據(jù)探測法、QUAD法、LEGE法的優(yōu)缺點(diǎn)，可針對不同的情況選用適合的粗差檢驗(yàn)方法。參考文獻(xiàn)1 李華, 宗琴, 卜立軍. 基于不同學(xué)科解決粗差探測問題的方法研究J. 測繪科學(xué), 2012, 37(5): 14-16.2 王潛心, 徐天河, 許國昌. 粗差檢測與抗差估計(jì)相結(jié)合的方法在動(dòng)態(tài)相對定位中的應(yīng)用J. 2011, 36(4): 476-480.3 楊曉云, 岑敏儀, 梁鑫. 不規(guī)則DEM數(shù)據(jù)的粗差探測算法的應(yīng)用J. 測繪科學(xué), 2007, 32(3): 78-79.4 姚輝, 陳夙穎. 平面相似變換的粗差探測方法及應(yīng)用實(shí)例J. 測繪與空間地理信息, 2008, 31(4): 153-155.5 肖慧琴, 謝剛生, 楊云洋. 邊角網(wǎng)粗差探測與定位的研究J. 城市勘測, 2009, (6): 74-76.6 關(guān)葉沆, 周西振, 劉傳瑞. 一段圓弧上多點(diǎn)坐標(biāo)擬合圓心位置的可靠性分析J. 勘察科學(xué)技術(shù), 2012, (4): 54-57.7