【畢業(yè)學(xué)位論文】(Word原稿)非經(jīng)典數(shù)學(xué)方法在非線性時間序列預(yù)測中的應(yīng)用研究-線性與非線性優(yōu)化

中圖分類號 論文編號 1028708 03科分類號 070104 密 級 公開 碩士學(xué)位論文 非經(jīng)典數(shù)學(xué)方法在非線性時間序列預(yù)測中的應(yīng)用研究 研究生姓名 周 伽 學(xué)科、專業(yè) 應(yīng)用數(shù)學(xué) 研究方向 線性 與非線性優(yōu)化 指導(dǎo)教師 陳果 副 教授 南京航空航天大學(xué) 研究生院 理 學(xué)院 二 五 年 十二 月 of on to of 2005 承諾書 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，獨立進(jìn)行研究工作所取得的成果。盡我所知，除文中已經(jīng)注明引用的內(nèi)容外，本學(xué)位論文的研究成果不包含任何他人享有著作權(quán)的內(nèi)容。對本論文所涉及的研究工作做出貢獻(xiàn)的其他個人和集體，均已在文中以明確方式標(biāo)明。 本人授權(quán)南京航空航天大學(xué)可以有權(quán)保留送交論文的復(fù)印件，允許論文被查閱和借閱 ,可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或其他復(fù)制手段保存論文。 (保密的學(xué)位論文在解密后適用本承諾書 ) 作者簽名： 日 期： 南京航空航天大學(xué) 碩士學(xué)位論文 I 摘要 函數(shù)擬合是機(jī)器學(xué)習(xí)的重要研究內(nèi)容，而以神經(jīng)網(wǎng)絡(luò)為代表的現(xiàn)代非經(jīng)典數(shù)學(xué)方法在 其中發(fā)揮了 很大的優(yōu)勢，成為了目前 機(jī)器 學(xué)習(xí)的主要方法。 本文首先 對 重構(gòu)相空間理論 進(jìn)行了研究 ； 其次， 將神經(jīng)網(wǎng)絡(luò)引入非線性時間序列預(yù)測，構(gòu)造了神經(jīng)網(wǎng)絡(luò)預(yù)測模型，研究了影響神經(jīng)網(wǎng)絡(luò)預(yù)測精度的因素，利用遺傳算法構(gòu)造了結(jié)構(gòu)自適應(yīng)神經(jīng)網(wǎng)絡(luò)預(yù)測模型，并用國際標(biāo)準(zhǔn)數(shù)據(jù)和模擬數(shù)據(jù)進(jìn)行了詳細(xì)驗證； 然后 ，針對神經(jīng)網(wǎng)絡(luò)模型泛化能力差和訓(xùn)練不確定的缺陷，本文引入了基于統(tǒng)計學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法 支持向量機(jī)，構(gòu) 造了支持向量機(jī)預(yù)測模型，研究并實現(xiàn)了支持向量機(jī)的 速算法，同時分析了支持向量機(jī)的模型參數(shù)選取問題，運用遺傳算法實現(xiàn)了 測模型參數(shù)的優(yōu)化；最后用國際標(biāo)準(zhǔn)數(shù)據(jù)和模擬仿真數(shù)據(jù)驗證了預(yù)測模型的正確性。 航空發(fā)動機(jī)是一個典型的復(fù)雜非線性系統(tǒng)，綜合反映其工作狀態(tài)的關(guān)鍵參數(shù)產(chǎn)生的時間序列是典型的非線性時間序列，對發(fā)動機(jī)的狀態(tài)參數(shù)變化趨勢進(jìn)行預(yù)測，判斷出未來時刻系統(tǒng)的工作狀態(tài)對于有效實現(xiàn)航空發(fā)動機(jī)的視情維修決策有重要意義。本文運用所建立的結(jié)構(gòu)自適 應(yīng)神經(jīng)預(yù)測模型和支持向量機(jī)預(yù)測模型對航空發(fā)動機(jī)實際的性能狀態(tài)數(shù)據(jù)、磨損狀態(tài)以及振動數(shù)據(jù)進(jìn)行了應(yīng)用分析。應(yīng)用實例充分表明了本文方法的有效性和正確性。 關(guān)鍵詞：非線性時間序列分析 ， 預(yù)測 ， 神經(jīng)網(wǎng)絡(luò) ， 支持向量機(jī) ， 遺傳算法 ， 航空發(fā)動機(jī) ， 故障診斷 非經(jīng)典數(shù)學(xué)方法在非線性時間序列預(yù)測中的應(yīng)用研究 is an of to of is in is as is NN is is to NN NN is by NN of is is as VM is is in to VM is A is to MO is by of is a is a of an in in it to In NN MO to of of in 京航空航天大學(xué) 碩士學(xué)位論文 錄 摘要 . I . 錄 .表目錄 . V 第一章 緒論 . 1 性與非線性時間序列基本概念 . 1 性時間序列模型 . 1 線性時間序列模型 . 3 沌時間序列及其預(yù)測方法 . 4 域法 . 4 域法 . 5 大 數(shù)的預(yù)測法 . 6 間序列分析與航空發(fā)動機(jī)趨勢預(yù)測的研究現(xiàn)狀 . 6 文研究內(nèi)容 . 7 第二章 時間序列重構(gòu)相空間理論 . 9 構(gòu)相空間及 理 . 9 間延遲與嵌入維數(shù)的選取 . 9 相關(guān)法和復(fù)相關(guān)法 . 10 信息法 . 11 法 . 11 入維數(shù)的估計 . 12 線性系統(tǒng)的最大預(yù)測時間 . 13 于混沌的復(fù)雜系統(tǒng)預(yù)測的可行性研究 . 13 雅普諾夫指數(shù) . 15 于混沌的復(fù)雜系統(tǒng)的最大可預(yù)測時間 . 17 第三章 非線性時間序列的神經(jīng)網(wǎng)絡(luò)預(yù)測方法 . 18 經(jīng)網(wǎng)絡(luò)非線性時間序列預(yù)測原理 . 18 非經(jīng)典數(shù)學(xué)方法在非線性時間序列預(yù)測中的應(yīng)用研究 經(jīng)網(wǎng)絡(luò)預(yù)測模型的影響參數(shù)分析 . 20 構(gòu)自適應(yīng)神經(jīng)網(wǎng)絡(luò)預(yù)測模型 . 21 傳算法 . 21 適應(yīng) 經(jīng)模型 . 22 例 . 24 際標(biāo)準(zhǔn)數(shù)據(jù) . 24 擬數(shù)據(jù) . 26 第四章 非線性時間序列的支持向量機(jī)預(yù)測模型 . 28 經(jīng)網(wǎng)絡(luò)預(yù)測方法的缺陷 . 28 持向量機(jī)原理 . 29 計學(xué)習(xí)理論 . 29 優(yōu)分類面 . 30 義最優(yōu)分類面 . 32 持向量機(jī) . 33 持向量機(jī)回歸模型 . 35 持向量機(jī)時間序列預(yù)測模型 . 36 持向量機(jī)快速算法 . 37 法實現(xiàn) . 41 歸 進(jìn)算法實現(xiàn) . 41 于遺傳算法的 測模型參數(shù)優(yōu)化 . 44 例 . 46 際標(biāo)準(zhǔn)數(shù)據(jù) . 46 擬數(shù)據(jù) . 47 第五章 非線性時間序 列分析在航空趨勢預(yù)測中的應(yīng)用 . 49 空發(fā)動機(jī)性能參數(shù)的預(yù)測 . 49 空發(fā)動機(jī)光譜油樣數(shù)據(jù)預(yù)測 . 57 空 發(fā)動機(jī)轉(zhuǎn)子碰磨數(shù)據(jù) . 61 第六章 結(jié)論與展望 . 64 參考文獻(xiàn) . 65 致謝 . 69 在學(xué)期間研究成果 . 70 南京航空航天大學(xué) 碩士學(xué)位論文 V 圖表目錄 圖 始狀態(tài)的離散和系統(tǒng)內(nèi)在隨機(jī)因素的影響造 成的預(yù)測誤差示意圖 14 圖 一維李雅普諾夫指數(shù)的分離特性 . 15 圖 沃爾夫方法示意圖 . 16 圖 絡(luò)預(yù)測模型結(jié)構(gòu) . 18 圖 經(jīng)網(wǎng)絡(luò)優(yōu)化的遺傳算法 . 22 圖 山貓數(shù)據(jù)自適應(yīng) 測 . 24 圖 太陽黑子自適應(yīng) 測 . 26 圖 列對初值的敏 感性圖 . 27 圖 自適應(yīng) 列預(yù)測 . 27 圖 經(jīng)驗風(fēng)險和真實風(fēng)險的關(guān)系示意圖 . 28 圖 有序風(fēng)險最小化示意圖 . 29 圖 最優(yōu)分類面圖 . 31 圖 支持向量 機(jī)示意圖 . 34 圖 下界 L 的取值范圍 . 38 圖 上界 H 的取值范圍 . 39 圖 化的遺傳算法 . 44 圖 山貓數(shù)據(jù)自適應(yīng) 測 . 46 圖 太陽黑子自適應(yīng) 進(jìn)模型 . 47 圖 適應(yīng) 進(jìn)算法對 列預(yù)測 . 48 圖 燃油流量自適應(yīng) . 50 圖 排氣溫度自適應(yīng) . 50 圖 滑油壓力自適應(yīng) . 50 圖 高壓 轉(zhuǎn)子自適應(yīng) . 51 圖 前機(jī)匣振動自適應(yīng) . 51 圖 后機(jī)匣振動自適應(yīng) . 51 圖 燃油流量自適應(yīng) . 52 圖 高壓轉(zhuǎn)子自適應(yīng) . 52 圖 排氣溫 度自適應(yīng) . 52 圖 油壓力自適應(yīng) . 53 非經(jīng)典數(shù)學(xué)方法在非線性時間序列預(yù)測中的應(yīng)用研究 動自適應(yīng) . 53 圖 動自適應(yīng) . 53 圖 號 312818 燃油流量自適應(yīng) . 54 圖 號 312818 排氣溫度自適應(yīng) . 54 圖 號 312818 滑油壓力自適應(yīng) . 54 圖 號 312818 前機(jī)匣振動自適應(yīng) . 55 圖 號 312818 后機(jī)匣振動自適應(yīng) . 55 圖 號 312818 的自適應(yīng) 油流量 圖 . 56 圖 號 312818 的自適應(yīng) 氣溫度圖 . 56 圖 號 312818 的自適應(yīng) 油壓力圖 . 56 圖 號 312818 的自適應(yīng) 機(jī)匣振動圖 . 56 圖 號 312818 的自適應(yīng) 機(jī)匣振動圖 . 57 圖 樣分析數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)多變量預(yù)測模型 . 59 圖 油量與發(fā)動機(jī)運行時間的關(guān)系 . 60 圖 E 元素濃度與發(fā)動機(jī)運行時間的關(guān)系 (預(yù)測值與實測值的比較 ) . 60 圖 油量與發(fā)動機(jī)運行時間的關(guān)系 . 60 圖 E 元素濃度與發(fā)動機(jī)運行時間的關(guān)系 (預(yù)測值與實測值的比較 ) . 61 圖 子試驗臺 . 61 圖 適應(yīng) 測 2400 轉(zhuǎn)時的碰磨圖 . 62 圖 適應(yīng) 測 3516 轉(zhuǎn)時的碰磨圖 . 62 圖 適應(yīng) 進(jìn)算法預(yù)測 2400 轉(zhuǎn)時碰磨圖 . 63 圖 適應(yīng) 進(jìn)算法預(yù)測 3516 轉(zhuǎn)時的碰磨圖 . 63 表 不同特征的運動與李雅普諾夫指數(shù)的關(guān)系 . 16 表 山貓數(shù)據(jù)預(yù)測結(jié)果比較 . 25 表 回歸的可行解邊界 . 41 表 無約束最優(yōu)解 . 42 表 山貓數(shù)據(jù)預(yù)測結(jié)果比較 . 46 表 自適應(yīng) 差表 . 51 表 自適應(yīng) 差表 . 53 表 312818 自適應(yīng) 差表 . 55 表 312818 自適應(yīng) 差表 . 57 南京航空航天大學(xué) 碩士學(xué)位論文 1 第一章 緒論 數(shù)據(jù) 1最為重要和有用的特性就是觀察值之間的依賴關(guān) 系或相關(guān)性，正是這種相關(guān)性表征了所研究系統(tǒng)的“動態(tài)”或“記憶”， 這種相關(guān)性一旦被定量地描述出來，就可以從系統(tǒng)的過去值預(yù)測其將來的值。 預(yù)測 就 是對未來作出 估計和推斷，為了達(dá)到這一目的，往往要對研究對象進(jìn)行模仿或抽象，這一過程稱為建模 ， 用建模手段獲得對象的一種表示和體現(xiàn)就稱為模型 。 時間序列預(yù)測法是假設(shè)預(yù)測對象的變化僅與時間有關(guān)，所得到 的是一組以時間為坐標(biāo)的觀測數(shù)據(jù)。 時間序列模型 是 描述時間序列統(tǒng)計特性的一種常用方法 ，它 是對有序的觀測數(shù)據(jù)進(jìn)行統(tǒng)計學(xué)意義上的處理和分析的一種數(shù)學(xué)方法，是對觀測數(shù)據(jù)建立差分方程形式的數(shù)學(xué)模型、再根據(jù)模型進(jìn)行分析研究的一種方法，從系統(tǒng)的角度看，這種觀測數(shù)據(jù)正是某一系統(tǒng)對外界作用 (輸入 )的響應(yīng) (輸出 )，而這種模型正是對相應(yīng)系統(tǒng)的一種數(shù)學(xué)描述，同時它也反映了系統(tǒng)運行狀態(tài)。因此，一方面可基于模型對系統(tǒng)進(jìn)行動態(tài)分析，另一方面還可基于模型對系統(tǒng)的未來狀態(tài)和趨勢進(jìn)行預(yù)測。這樣對觀測數(shù)據(jù)進(jìn)行“系統(tǒng)”處理，不但使得數(shù)據(jù)所蘊含的內(nèi)在 規(guī)律具有明顯的物理背景和含義，而且還使得數(shù)據(jù)處理和分析的內(nèi)容更加廣泛和深入。 時間序列分析 從其起源直至二十世紀(jì)七十年代末，一直被線性的假設(shè)所主導(dǎo)，幾乎所有的時間序列模型都是線性的。盡管在許多實際應(yīng)有中，線性模型常被發(fā)現(xiàn)是基本可行的，但在七十年代后期，人們愈來愈清楚地看到其存在諸多的局限性 ，利用線性時間序列分析難于揭示事物發(fā)展的非線性本質(zhì)特征，隨著非線性科學(xué)的發(fā)展，混沌、分形理論的出現(xiàn)，非線性時間序列分析逐漸成為了非線性科學(xué)的重要研究內(nèi)容。 性與非線性時間序列基本概念 性時間序列 模型 以往 的科學(xué)實質(zhì)上是以線性系統(tǒng)為研究對象的線性科學(xué)。其在理論和實踐上都有著光輝的成果，迄今許多令人注目的重大理論和技術(shù)創(chuàng)造都是線性科學(xué)的貢獻(xiàn)。在時間序列分析方法的發(fā)展過程中線性時間序列模型起到了同樣重要的作用。對線性時間序列的數(shù)學(xué)定義如下所示： 現(xiàn)代非經(jīng)典數(shù)學(xué)方法在非線性時間序列預(yù)測中的應(yīng)用研究 2 定義 果隨機(jī)序列 0j (其中系數(shù)序列 j滿足 02j j (而 t是白噪聲序列，滿足 22,0 E (則稱 在線性時間序列中，應(yīng)用最廣泛的是線性自回歸滑動平均 (稱 型。 型 3是線性時間序列分析中研究最多、應(yīng)用最廣的時序模型，原因在于 型的概率結(jié)構(gòu)、統(tǒng)計的理論和方法有比較成熟的數(shù)學(xué)和概率論工具，同時，模型的建立比較容易實現(xiàn)。該預(yù)測方法是對自回歸模型和移動平均模型的綜合，能夠?qū)討B(tài)數(shù)據(jù)建模，同時由于模型將數(shù)據(jù)中所含的信息集中在模型的參數(shù)中，因此在進(jìn)行運用時能夠充分運用數(shù)據(jù)信息。 型可以表述為 定義 定時間序列由如下隨機(jī)差分方程所確定： 1111(t 是白噪聲序列，滿足 (，且 t 與 , 相互獨立，實系數(shù) , 11使得多項式 1|,01)( 1 (1|,01)( 1 (且 )(z 與 )(z 互質(zhì)， 0，則稱 p,q）階的自回歸滑動平均模型記為 p,q)模型， p 表示 (自回歸部分的階數(shù)， q 表示滑動平均部分的階數(shù)。 當(dāng)式 (的 q 0 時所得的模型即是廣泛使用的線性自回歸模型 ( 在進(jìn)行建模時，將預(yù)測對象隨時間變化形成的序列先加工成一個白噪聲序列進(jìn)行處理，對于平穩(wěn)、正態(tài)、零均值的時間序列 以擬合 態(tài)性、均值性，只要對序列作差分處理，就可以使序列達(dá)到零均值性、正態(tài)性和平穩(wěn)性。 當(dāng)數(shù)據(jù)發(fā)生異常變化時，由于模型的平滑作用，預(yù)測數(shù)據(jù)無法立即對之做出反應(yīng)，使得在預(yù)測一些異常值時造成較大誤差，甚至失真，這對諸如發(fā)動機(jī)這類的復(fù)雜系統(tǒng)所產(chǎn)生的非線性時間序列來說就不能達(dá)到預(yù)期效果了 。 許多實際中的時間序列 在演化過程中并不是具 有固定不變的均值，盡管如此，除去局部水平 (或除去局部水平 和趨勢 )不同以外，序列顯示出具有某種意義上的同質(zhì)性，即序 列的某一部分與任何其它部分極其相似我們假定南京航空航天大學(xué) 碩士學(xué)位論文 3 對過程作 適當(dāng)?shù)牟罘值墒怪椒€(wěn)化，這樣就可以得到描述線性非平穩(wěn)特性的模型我們現(xiàn)在考慮一類重要模型的性質(zhì)，即相應(yīng)序列經(jīng) d 階差 分后就成為平穩(wěn)的混合自回歸滑動平均過程，我們稱這類模型為求和自回歸滑動平均 (5過程 其定義可以如下表述： 對一個混合自回歸滑動平均模型 tt ()( (這里， )(B 是非 平穩(wěn) 自回歸算子， 于是我們可以將模型 (示成如下形 式 d )()1)()( (式中 )(B 是 平 穩(wěn)自回歸算 子 由于tt zz ，對于 1d ， B 1 是差分算于，我們可將模型 (為 tt d )()( (令 tt zw d(因此我們看到，上述模型相當(dāng)于假定序列經(jīng) d 階差分后能表 示為平穩(wěn)可逆的 程另一方面，當(dāng) d 1 時將 ( 轉(zhuǎn)得出 (其中 S 是由下式定義的無窮和算 子 ： 12 )1()1( (對高階 d 可以定義同樣的運算 。 方程 (示 由 方程 ( 式 (平穩(wěn)過程 作 d 重求和 (或積 分 )而得到，因 此，我們稱 方程 (求和自回歸滑動平均 (程 。 線性時間序列 模型 凡是不能表示成 式 (線性序列形式的時間序列，都是非線性時間序列 2。一種最簡單也是最重要的特解模型是如下的非線性自回歸 (型。 ),( 1 (其中 是 1R 的可測函數(shù)， t為白噪聲序列，滿足 式 (件，與, 相互獨立 ， p 稱為模型的階數(shù) 。 非線性時間序列模型主要包括非線性自回歸模型、門限自回歸模型、指數(shù)自回歸模型、雙線性模型和狀態(tài)依賴模型等 ， 其中門限自回歸模型近年來得到了較為深入的完善和發(fā)展 。 現(xiàn)代非經(jīng)典數(shù)學(xué)方法在非線性時間序列預(yù)測中的應(yīng)用研究 4 限自回歸模型是湯家豪 (士于1978 年首先提出來的 模型其思路是： 對研究對象按照不同區(qū)間建立若干個線性時序模型 ;然后將這些線性時序模型組合起來描述該對象非線性時序變化特性。 將空間 割成 l 個互不相關(guān)的子集，使得 在每個子集中為線性函數(shù)，由分段函數(shù) 產(chǎn) 生的模型稱為門限自回歸模型，由下式定義： lj 110 )( (其中 121 ll t 為白噪聲序列， )(I 為示性函數(shù)，正整數(shù) d 稱為延遲參數(shù)， 稱為門限參數(shù)， p 為模型的階數(shù)。 門限自回歸模型，其回歸函數(shù)有跳躍變化，這種特征恰好刻畫了自然界的突變現(xiàn)象。 它能有效地描述具有極限點和極限環(huán)的非線性系統(tǒng)，并且能刻畫共振跳躍、幅頻依賴等非線性現(xiàn)象，是工程中用得較為成熟的一種非線性時序模型。 沌時間序列及其預(yù)測方法 傳統(tǒng)的預(yù)測方法主要 有動力學(xué)方法和數(shù)理統(tǒng)計方法，這些方法的共同特點是先建立數(shù)據(jù)序列的主觀模型，然后根據(jù)主觀模型進(jìn)行計算和預(yù)測。隨著混 沌 科學(xué)的發(fā)展，使得可以不必事先建立主觀模型，而直接根據(jù)數(shù)據(jù)序列本身所計算出來的客觀規(guī)律進(jìn)行預(yù)測，這樣可以避免預(yù)測的人為主觀性，提高頂測的精度和可信度。 本文主要介紹混沌時間序列預(yù)測的常用方法：全域法、局域法、 最大 數(shù)法等 。 域法 當(dāng)我們對混沌時間序列進(jìn)行預(yù)測時，應(yīng)該注意到混沌是確定的，即混沌服從一定的規(guī)則。實際上它具有有限的預(yù)測能力。雖然它們對初始條件極為敏感，同時我們也 不可能得到完全準(zhǔn)確的測量，然而在它們的可預(yù)測能力丟失之前，對一個短的時間長度，它們的可預(yù)測性還是可以獲得的，并可能比基于一般統(tǒng)計方法的預(yù)測能力要好。 設(shè)時間序列為 ,2,1),( 嵌入維數(shù)為 m，時間延遲為 ，則重構(gòu)相空間為 南京航空航天大學(xué) 碩士學(xué)位論文 5 ),2,1(,)1(,),(),()( m (根據(jù) 理，對合適的嵌入維數(shù) m 及時間延遲 ，重構(gòu)相空間在嵌入空間中的軌跡，在微分同胚意 義下與原系統(tǒng)是“動力學(xué)等價”的。因而存在一個光滑映射 : ，給出相空間軌跡的表達(dá)式 ,2,1) ) ,()1( (上述映射可表示為時間序列 )1(,),(),()(,),(),( 所謂全域法是將軌跡中的全部點作為擬合對象，找出其規(guī)律，即得 )(f ，由此預(yù)測軌跡的走向。這種方法在理論上是可行的，但由于實際數(shù)據(jù)總是有限的，以及相空間軌跡可能很復(fù)雜，從而不可能求 出真正的映射 f 。通常是根據(jù)給定的數(shù)據(jù)構(gòu)造映射 : ， 使得 近理論的 f ，即 Nt )()1( (達(dá)到最小值的 : ，具體計算時要規(guī)定 具體形式 。 全域法預(yù)測的 缺點是：一般 計算 比較復(fù)雜，特別是當(dāng)嵌 入 維數(shù)很高或者 為混沌只能在非線性系統(tǒng)中產(chǎn)生， 取多項式、有理式等形式，這對較低