數據挖掘分類方法在沖擊譜試驗中的應用

1、第25卷第1期 航 天 器 環(huán) 境 工 程2008年2月 S P A C E C R A F T E N V I R O N M E N T E N G I N E E R I N G 41數據挖掘分類方法在沖擊譜試驗中的應用馮雪梅,盧來潔,馬愛軍,劉洪英(中國航天員科研訓練中心,北京 100094摘要:沖擊譜試驗隨機性強,難度較大。文章利用數據挖掘中分類方法提取數據背后隱藏的有用知識,通過數據預處理、構建沖擊譜試驗數據倉庫、決策樹分析、評估比較,最終總結出一套針對不同產品、不同試驗工況的沖擊譜試驗調試方法。這可為以后產品的沖擊環(huán)境試驗提供有力的技術支持,進一步提高沖擊譜試驗的質量和試驗中產品

2、的安全性。關鍵詞:數據挖掘;分類分析;沖擊譜試驗 中圖分類號:TB123;V416.2 文獻標識碼:A 文章編號:1673-1379(200801-0041-031 引言數據挖掘就是從大量的、不完全的、有噪聲的、模糊且隨機的實際應用數據中提取隱含在其中的預先未知但又是潛在有用的信息和知識的過程1。分類是數據挖掘中常用的技術。它將建立一個分類模型,該模型能夠根據數據的屬性將數據分派到不同的組中。這樣可以利用該模型來分析已有數據,并預測新數據將屬于哪一個組。沖擊譜試驗主要是模擬爆炸沖擊環(huán)境的力學試驗。模擬爆炸沖擊試驗的環(huán)境復雜,影響因素較多,隨機性強,試驗難度較大2,試驗調試往往依賴于試驗人員的經

3、驗。通過對沖擊譜機試驗數據進行整理,構建沖擊譜機數據倉庫,并利用數據挖掘工具(SPSS Clementine ,采用決策樹(Decision Tree 分析方法,從試驗訓練數據集中找出隱藏、未知而有用的規(guī)律,總結出一套針對不同產品、不同試驗工況的沖擊譜試驗調試方法。2 數據預處理高質量的決策依賴于高質量的數據,因此數據預處理是數據挖掘過程中的重要步驟。在構建沖擊譜試驗機數據倉庫過程中使用的數據是經過預處理(即去掉壞的數據,消除數據之間的矛盾,來自不同數據源的數據的集成,數據的轉換的歷史數據,可以提高所獲規(guī)則的可靠性3。對沖擊譜試驗數據源作必要的整理,包括以下內容:(1 數據獲取整理記錄沖擊譜試

4、驗機的歷史試驗及調試數據。(2 數據取樣按沖擊譜試驗的不同試驗規(guī)范、產品質量分類,取樣以類為單位。(3 數據篩選濾除不希望包括進來的試驗數據,去除數據中的噪音并糾正其不一致。例如由于加速度傳感器粘貼不當或傳感器零漂所產生的“臟數據”等,將超出沖擊試驗規(guī)范一定范圍的試驗數據排除于取樣范圍之外;當屬性出現缺少值、奇異值或數據存在不一致時,采用數據分箱、人機交互檢查以及回歸等方法檢測。(4 數據轉換將數據轉換成適合于挖掘的形式。3 分類分析分類是利用訓練數據集通過一定的算法而求得分類規(guī)則。常用的算法是神經網絡和決策樹。神經網絡的優(yōu)點是該算法對復雜問題能進行很好地預測,對噪聲數據的承受能力比較強,以及

5、它的泛化性較好;其缺點是需要很長的訓練時間及大量的參數,而且解釋性差,即無法解釋如何得出結果和使用了什么規(guī)則。決策樹是建立在信息論基礎之上對數據進行分類的一種方法。這種方法相對比較簡收稿日期:2007-08-28;修回日期:2007-12-03作者簡介: 馮雪梅(1974-,女,工程師,主要從事計算機測控技術研究工作。聯(lián)系電話:(01066365643-801;E-mail: fengxuemei507 。HY FSOF TWA REC O.,LT D42 航 天 器 環(huán) 境 工 程 2008年第25卷單,其最大的優(yōu)點就是易于理解,比較直觀4。本文采用SPSS Clementine 中的決策樹

6、C5.0算法和CART 算法進行分類分析。C5.0算法是ID3算法、C4.5算法的修訂版,適用于處理大資料集,采用Boosting 方式提高模型準確率,軟件的計算速度比較快,占用的內存資源比較少。CART 算法自20世紀80年代以來就開始發(fā)展,由Friedman 等人提出,是基于樹結構產生分類和回歸模型的過程,是一種產生二元樹的技術。CART 與C5.0算法的最大差別在于其在每一個節(jié)點上都是采用二分法,也就是一次只能夠有兩個子節(jié)點;而C5.0算法則在每一個節(jié)點上可以產生不同數量的分支。根據試驗規(guī)范、產品重量、夾具重量、溫濕度環(huán)境等信息分類,預測各個調試參數(諧振板厚度,諧振板上、板下阻尼材料參

7、數,標尺高度等,如圖1所示。圖1 決策樹圖Fig.1 Decision tree4 數據評價通過數據評價可以選擇出最好的分類模型。由于在數據挖掘過程中發(fā)現試驗室溫濕度環(huán)境與試驗結果有關聯(lián),因此在進行分類分析中,將數據輸入項分為兩類:第一類以試驗規(guī)范、產品重量、夾具重量、備件前后為輸入;第二類除包含第一類內容以外,增加環(huán)境溫度和濕度輸入。利用C5.0算法和CART 算法進行分類分析,得到不同的分類模型結果。使用公共的標準例如提升圖,對不同數據挖掘模型進行定量比較和評價。圖2圖5分別為對諧振板厚度,諧振板上、板下阻尼材料參數,標尺高度分類結果的提升圖。(a 無溫濕度 (b 含溫濕度輸入注:Best

8、 ;$C. 諧振板;$R. 諧振板圖2 諧振板分類結果評估圖Fig.2 Evaluation chart of resonance board(a 無溫濕度 (b 含溫濕度輸入注:Best ;$C. 板下材料;$R. 板下材料圖3 板下材料分類結果評估圖Fig.3 Evaluation chart of materials under the board(a 無溫濕度 (b 含溫濕度輸入注:Best ;$C. 板上材料;$R. 板上材料圖4 板上材料分類結果評估圖Fig.4 Evaluation chart of materials on the board(a 無溫濕度 (b 含溫濕度輸入注

9、:Best ;$C. 標尺高度數;$R. 標尺高度數圖5 提升高度分類結果評估圖Fig.5 Evaluation chart of height提升表中繪制的是累積提升值與樣本百分比的關系,即構造/培訓樣本。其基準值(即評估每個模型的底限是1,它表示當從樣本中隨機抽取記錄的百分點時能成功地“擊中”現有客戶。提示值衡量的是當來自數據中的某一記錄使一個現有客戶的降序預測概率能被百分點反映時,預測模型“擊中”現有客戶的成功可能性(準確度有多高。如上圖所示,每個模型的提升值均大于1,在100%時收斂于1。由于每個預測模型都能以有效精HY FSOF TWA REC O.,LT D度預測目標變量,因此可以

10、說它們都是有效的。從圖2圖5中可以看出:第1期 馮雪梅等:數據挖掘分類方法在沖擊譜試驗中的應用 43(1 對于諧振板厚度和諧振板下阻尼材料,采用C5.0算法和CART 算法都可以得到很好的分類預測結果,且環(huán)境溫濕度與分類結果無關;(2 對于諧振板上阻尼材料和標尺高度,采用C5.0算法可以得到更好的分類預測結果,且分類輸入因素應考慮環(huán)境溫濕度的影響。分類模式往往表現為一棵分類樹,根據數據的值從樹根開始搜索,沿著數據滿足的分支往上走,走到樹葉就能確定類別,以供試驗人員進行試驗調試使用。圖6顯示的是諧振板下阻尼材料的分類樹結構。圖6 板下材料的分類樹結構Fig.6 Classification tr

11、ee models of materials under the board5 結論將數據挖掘技術應用于試驗技術研究中,通過對沖擊譜試驗數據的分類分析,總結出一套適用于產品沖擊譜試驗的調試方法,改變了以往依賴試驗人員經驗的狀況。研究結果可為以后產品的沖擊環(huán)境試驗提供有力的技術保障,進一步提高沖擊譜試驗的質量和沖擊譜試驗中產品的安全性。參考文獻(References 1 Han Jiawei, Kamber Micheline. Data mining:concepts and techniquesM. USA: Morgan Kaufmann Publishers, 2001: 70-1812 馬愛軍, 馮雪梅, 盧來潔, 等. 一種沖擊譜試驗機的研制J. 航天醫(yī)學與醫(yī)學工程