金融數(shù)據(jù)挖掘課件

金融市場的數(shù)據(jù)挖掘教材：數(shù)據(jù)采掘入門與應(yīng)用張堯庭編中國統(tǒng)計出版社參考教材：

1、數(shù)據(jù)挖掘——概念與技術(shù)

jiaweiHan著，范明譯機械工業(yè)出版社

2、多元統(tǒng)計數(shù)據(jù)分析——理論、方法、實例任若恩著國防工業(yè)出版社配套應(yīng)用軟件：

1、Intelligentminerfordata2、SAS

第一章：概論

一、何為數(shù)據(jù)挖掘（datamining）現(xiàn)代信息社會的特征：信息（數(shù)據(jù)）泛濫、知識缺乏，如何從海量數(shù)據(jù)（廣義的概念）中挖掘出決策有用信息？

數(shù)據(jù)挖掘是結(jié)合現(xiàn)代數(shù)學(xué)、統(tǒng)計學(xué)，機器學(xué)習(xí)、人工智能、數(shù)據(jù)庫管理、計算機圖形學(xué)、軟件工程等各領(lǐng)域的技術(shù)和知識，1990年代在西方國家出現(xiàn)的一種高新技術(shù)——從海量數(shù)據(jù)中挖掘出決策有用信息的技術(shù)。

1990年代末，在對100名美國著名科學(xué)家的問卷調(diào)查中，數(shù)據(jù)挖掘被列為21世紀對人類發(fā)展影響最大、最有前途的10大技術(shù)的第三位。

我國對數(shù)據(jù)挖掘技術(shù)的重視（開發(fā)與應(yīng)用）

1、863、963項目；

2、國家及省重點科學(xué)領(lǐng)域；

3、國家統(tǒng)計局在全國組織數(shù)據(jù)挖掘培訓(xùn)（2000）；

4、企業(yè)特別是銀行對數(shù)據(jù)挖掘技術(shù)的重視；

5、人民大學(xué)數(shù)據(jù)挖掘研究與應(yīng)用中心。

海量數(shù)據(jù)——沙漠，隱含的知識——金子，數(shù)據(jù)挖掘——從沙漠中挖掘金子的技術(shù)。三、幾種相對比較成熟的數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘是一門新興的、正在不斷發(fā)展中的技術(shù)，近年來，幾類十分重要、且相對比較成熟的數(shù)據(jù)挖掘技術(shù)是：

1、分類與預(yù)測

2、特征化、比較與關(guān)聯(lián)規(guī)則挖掘

3、聚類分析

4、序列發(fā)現(xiàn)

本課程主要內(nèi)容：幾類數(shù)據(jù)挖掘技術(shù)的基本原理、數(shù)據(jù)挖掘方法、及這些挖掘技術(shù)在金融領(lǐng)域的應(yīng)用。第二章：分類與預(yù)測一、分類與預(yù)測的概念

1、分類已知離散的、有限的幾個類，判斷或預(yù)測樣本屬于那個類。*某人否具有某種疾病*上市公司是否會陷入財務(wù)困境、是否會被外資并購*借款人是否會違約

*這個客戶是否為銀行的潛在優(yōu)質(zhì)客戶、是否會轉(zhuǎn)向其他銀行

用y表示類變量，y取離散的幾個值，分類就是判斷或預(yù)測樣本的y究竟取什么值

2、預(yù)測

預(yù)測是指對連續(xù)性變量的取值進行預(yù)測，如：*某個借款人的違約概率是多少

*銀行資產(chǎn)組合明天在99%置信度下的最大損失（VaR）有多大

*如果某開放式基金因面臨巨額贖回申請而不得不大量拋售某種證券，這種證券的價格會下跌多少分類——對離散型變量進行預(yù)測預(yù)測——對連續(xù)型變量進行預(yù)測

2、類似案例：

*外資并購目標公司預(yù)測*防信用卡詐騙預(yù)警系統(tǒng)

*銀行客戶關(guān)系管理*稅務(wù)稽核3、數(shù)據(jù)來源：CSMAR數(shù)據(jù)庫1990-2004資產(chǎn)負債表、損益表，1990-1997財務(wù)狀況變動表1998-2004現(xiàn)金流量表4、報表變動情況：1994年合并會計報表1998年資產(chǎn)減值準備

5、研究所需數(shù)據(jù)

①、預(yù)測變量選取——實踐經(jīng)驗、其他文獻使用的預(yù)測變量、采用技術(shù)手段（統(tǒng)計技術(shù)、數(shù)據(jù)挖掘技術(shù)）選取預(yù)測變量、在一定理論指導(dǎo)下構(gòu)造新的預(yù)測變量；②、樣本數(shù)據(jù)的結(jié)構(gòu)形式

③、采集樣本數(shù)據(jù)時應(yīng)注意的問題

*盡量采用跨年度數(shù)據(jù)*需要刪除的數(shù)據(jù)

*盡量不采用配對抽樣

④、隨機構(gòu)造的訓(xùn)練樣本組與檢驗樣本組（過度擬合現(xiàn)象）

⑤、本案例的數(shù)據(jù)說明（sj0）：

*1995年底前上市的公司；*刪除其他原因被特別處理的公司；*數(shù)據(jù)跨期1996-2001，分別預(yù)測1998-2003；*刪除在預(yù)測年度已陷入財務(wù)困境的公司；*共有非ST公司數(shù)據(jù)1008個，ST公司數(shù)據(jù)111個；*采用的6個預(yù)測變量為（第一種方法）：

總負債/總資產(chǎn)、主營業(yè)務(wù)收入/總資產(chǎn)、總利潤/總資產(chǎn)、（貨幣資金+短期投資凈額）/流動資產(chǎn)、留存盈余/總資產(chǎn)、總資產(chǎn)的自然對數(shù)。

二、構(gòu)造分類預(yù)測模型的方法1、判別分析法

①、判別分析方法的統(tǒng)計學(xué)原理假設(shè)有兩個總體——財務(wù)困境公司與財務(wù)正常公司，每個總體都可以用一個六維隨機變量表示，不同的總體分布不同。預(yù)測上市公司是否會陷入財務(wù)困境，就是判斷這個公司所對應(yīng)的樣本屬于哪個總體。判別分析是利用距離（相似程度的體現(xiàn)）來判斷樣本的歸屬。較常用的距離度量是馬氏距離：，判別分析實際上是利用距離差：為判斷指標來判斷樣本的歸屬。由于馬氏距離為一個二次型，因此當(dāng)時，距離差也會一個二次型，這樣在計算時較復(fù)雜，如果，且兩個總體均服從正態(tài)分布，則距離差為一個線性函數(shù)（線性判別函數(shù)），可利用這個線性函數(shù)建立預(yù)測規(guī)則。

②、判別分析的SAS程序：procdiscrimdata=sasuser.sj1;classy;run;③、SAS結(jié)果

對兩個距離的說明?，F(xiàn)在可以得到線行判別函數(shù)為：

⑦、討論

*判別分析只能運用于離散型因變量預(yù)測，而不能運用于連續(xù)型因變量預(yù)測；*建立線性判別準則，需要較強的限制條件——正態(tài)分布與等協(xié)方差矩陣；*臨界值的確定需考慮不同誤判的損失函數(shù)，考慮使用者的風(fēng)險偏好；*使用判別分析方法，需要事先確定預(yù)測變量。*也可以建立另外形式的預(yù)測規(guī)則。

練習(xí)：交換sj1與sj2的地位，建立預(yù)測規(guī)則，并進行預(yù)測準確率檢驗?；蚪⑵渌麊栴}的判別分析預(yù)測模型。

2、Logistic回歸預(yù)測

①、統(tǒng)計學(xué)原理計量經(jīng)濟學(xué)中，回歸模型具有預(yù)測功能，但現(xiàn)在的數(shù)據(jù)結(jié)構(gòu)為：，因變量為離散變量（虛擬變量），一般的線性回歸模型不適用。

Logistic回歸模型實際上是概率預(yù)測模型，其原理如下：

建立如下形式的線性模型：

則得到概率預(yù)測模型

Logistic回歸模型為非線性模型，模型的參數(shù)估計不能用最小二乘法，而采用極大似然估計法。②、Logistic回歸的SAS程序proclogisticdescendingdata=sasuser.Sj1；modely=x1-x6;run;

③、SAS結(jié)果

④、臨界值確定與預(yù)測規(guī)則臨界值:0.09,預(yù)測規(guī)則:

P＞0.09,一年后上市公司將陷入財務(wù)困境;P＜0.09,一年后上市公司不會陷入財務(wù)困境.

⑦、逐步回歸方法與預(yù)測變量選取預(yù)測變量選取是建立分類預(yù)測模型的關(guān)鍵步驟。經(jīng)常的情況是，知道預(yù)測變量的大致范圍，但不知哪些變量具有較大的信息含量。利用逐步回歸方法，可以在這個范圍內(nèi)挑選出較佳的構(gòu)建Logistic回歸模型的預(yù)測變量組?，F(xiàn)在，另外選取了15個可能有用的預(yù)測指標y1-y15，對1119家上市公司利用逐步回歸法建立預(yù)測模型。

⑧、逐步回歸的SAS程序

proclogisticdescendingdata=sasuser.sj00;modely=y1-y15/selection=stepwise;run;

⑨、SAS結(jié)果構(gòu)建Logistic回歸模型的變量為：y3、y4、y5、y6、y10、y11、y12、y13、y14；

⑩、預(yù)測規(guī)則與預(yù)測準確率預(yù)測規(guī)則：P＞0.09,一年后上市公司將陷入財務(wù)困境;P＜0.09,一年后上市公司不會陷入財務(wù)困境。預(yù)測準確率ST公司：92/111=82.9%;非ST公司：864/1008=85.71%.

3、Probir回歸預(yù)測

數(shù)據(jù)結(jié)構(gòu)為：，因變量為離散變量（虛擬變量），一般的線性回歸模型不適用。

Probit建立如下形式的回歸模型：

Probit回歸同樣通過最大似然估計來估計模型參數(shù)。

Probit回歸的SAS程序

procprobitdata=sasuser.sj1;classy;(注意Logistic程序中沒有這一項)modely=x1-x6;run;

4、決策樹方法與前面討論的幾種分類預(yù)測方法相比，決策樹方法是一種近年來才出現(xiàn)的分類預(yù)測方法，其基本原理如下。①、熵與信息增量的概念熵為一個統(tǒng)計學(xué)概念，設(shè)y為一個狀態(tài)隨機變量，其熵的定義為：

在統(tǒng)計學(xué)中，熵是不確定性的度量，一個分類隨機變量的熵越小，其不確定性就越小，對其的預(yù)測就越準確。從信息學(xué)的角度看，如果利用一個變量后，可以減少分類變量的熵，則該變量對分類預(yù)測就具有信息價值，熵的減少量越大，該指標用于預(yù)測的信息價值也就越大。

②、信息增量的概念設(shè)x為某個指標，選取一個，按照條件是否滿足，可以將樣本分為兩組，分別計算各組中y的熵，指標x的信息增量定義為：其中，分別表示兩組樣本所占的比重。顯然，這樣計算的信息增量與的取法有關(guān)，對每個指標，通過計算機搜索，可以找到一個最佳的，使其對應(yīng)的信息增量