基于svm的數(shù)據(jù)挖掘報告

1、數(shù)據(jù)挖掘基于SVM的銀行個人信用評估2015.06.12任浩 周佳怡基于SVM的銀行個人信用評估1 銀行信用評估2 支持向量機基本理論（Support Vector Machine） 3 基于SVM的銀行個人信用評估模型21.1 銀行信用評估簡介 所謂信用評估問題是指根據(jù)客戶提供的資料和歷史記錄，采用某種科學的評價方法，綜合考慮各種因素的影響效果，以最終估計出對該客戶貸款所面臨的違約風險大小。31.1 銀行信用評估簡介所需資料一般包括:客戶的基本信息，如：姓名、年齡、性別（國外經(jīng)驗數(shù)據(jù)表明女性的違約率要小于男性）、身份證明、工作單位、工作年限房屋所有權(quán)（自有房屋、租借）等客戶的收入、支出情況客

2、戶歷史信貸記錄，如：現(xiàn)有貸款余額、每月還貸額、每月信用卡消費透支額、有無欠款記錄等客戶的社會記錄，如：商業(yè)信用記錄、各種公用事業(yè)繳費記錄、有無違法犯罪記錄等 以上眾多的因素都會對客戶的信用好壞產(chǎn)生或大或小的影響，有的影響是正面的，有的則是負面的，信用評估所要解決的就是對這些因素的影響效果進行科學適當?shù)木C合，最終將客戶信用程度高低的評估結(jié)果分為若干個等級41.2 銀行信用評估問題描述若假設每個客戶對應有n個因素指標 ，則該客戶實際上就對應于n維空間r中的一個點，那么每個等級實際上就對應于該空間中的一類點，分類的規(guī)則就對應了空間中的若干個超曲面，它們將空間中所有的點分為若干個等級,我們把這些超曲面

3、稱為分類面。因此信用評估問題的本質(zhì)就是在由上述n個指標所組成的n維空間中通過對己有歷史數(shù)據(jù)（稱為訓練樣本）分類結(jié)果的學習和模擬，找到若干個分類面（如果分類問題是線性的,那么分類面就是超平面），將該空間中對應于每個客戶的點進行分類51.2 銀行信用評估問題描述采用支持向量機對客戶信用風險進行評估,原因是因為支持向量機和傳統(tǒng)的分類方法相比有以下優(yōu)點:專門針對有限樣本情況的,它的目標是得到現(xiàn)有信息下的最優(yōu)解而不僅僅是樣本數(shù)趨于無窮大時的最優(yōu)解最終轉(zhuǎn)化成為一個二次型尋優(yōu)問題,從理論上說將得到全局最優(yōu)點，解決了在神經(jīng)網(wǎng)絡方法中無法避免得到局部極值的情況通過非線性變換轉(zhuǎn)換到高維特征空間，在高維空間中構(gòu)造線

4、性判別函數(shù)來實現(xiàn)原始空間中的非線性判別函數(shù)，保證了學習機器有較好的推廣能力，并且解決了維數(shù)災問題62 SVM基本理論2.1 logistic回歸2.2 函數(shù)間隔和幾何間隔2.3 最優(yōu)間隔分類器2.4 原始優(yōu)化問題和對偶優(yōu)化問題2.5 SVM 2.6 核函數(shù)2.7 學習過程（SMO算法）72.1 Logistic 回歸若y取值0,1，首先改變假設的形式，使假設得到的值總在0,1之間，即： 0,1。所以，選取如下函數(shù)： 其中： 稱為logistic 函數(shù)或者sigmoid 函數(shù)82.1 函數(shù)間隔和幾何間隔若y取值-1,1，首先改變假設的形式，使假設得到的值總在-1,1之間，即： -1,1。所以，選

5、取如下函數(shù)：其中 ，替換 和 得到： 即 即為函數(shù)分割面。92.1 Logistic 回歸定義函數(shù)間隔：幾何間隔：102.1 Logistic 回歸若y取值0,1，首先改變假設的形式，使假設得到的值總在0,1之間，即： 0,1。所以，選取如下函數(shù)： 其中： 稱為logistic 函數(shù)或者sigmoid 函數(shù)112.3 最優(yōu)間隔分類器我們的目標是尋找一個超平面，使得離超平面比較近的點能有更大的間距。這里用 約束 ，使得 為幾何間隔。122.3 最優(yōu)間隔分類器由于 ，優(yōu)化函數(shù)不是凸函數(shù)，因此轉(zhuǎn)換函數(shù)間隔和幾何間隔：將問題轉(zhuǎn)化為典型的二次優(yōu)化問題。132.4 原始優(yōu)化問題和對偶優(yōu)化問題原始優(yōu)化問題：

6、 142.4 原始優(yōu)化問題和對偶優(yōu)化問題對偶優(yōu)化問題：KKT條件： 152.5 SVM 回到SVM優(yōu)化問題： 162.5 SVM 回到SVM優(yōu)化問題： 172.5 SVM 回到SVM優(yōu)化問題： 182.5 SVM 192.6 核函數(shù) 樣本為非線性不可分情況 特征映射： 202.5 SMO訓練學習的方法： 213 基于SVM的個人信用評估模型采用國外某商業(yè)銀行的部分客戶數(shù)據(jù)22國外某商業(yè)銀行數(shù)據(jù)的ER模型3.1數(shù)據(jù)預處理樣本實例所提供的數(shù)據(jù)還不能直接應用于SVM的評估方法，原因在于：數(shù)據(jù)集是以多個表結(jié)構(gòu)給出樣本中有許多數(shù)據(jù)存在缺損各指標的量綱之間存在很大差異，而且有的指標之間還存在一定的相關性

7、數(shù)據(jù)預處理方法包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約233.1數(shù)據(jù)預處理通過對樣本數(shù)據(jù)進行處理后，得出該商業(yè)銀行數(shù)據(jù)中擁有4500名客戶，而辦理過貸款業(yè)務的客戶只有827名，根據(jù)以往銀行屬性提取的經(jīng)驗，對本樣本數(shù)據(jù)提取了9個屬性指標243.2 SVM學習模塊客戶信用風險評估SVM模型就是通過對訓練樣本集學習找到最優(yōu)分類面，然后用該最優(yōu)分類面對未知類別的樣本進行信用風險評估 25信用評估框架3.3 Logistic 回歸以貸款風險為基礎把貸款分為五級：正常、關注、次級、可疑和損失通過建立基于SVM算法的信用風險評估模型，對申請貸款的客戶基本信息進行評估，分為正常、關注、次級和損失四類26通過訓練樣本集求解下式的最優(yōu)化問題，得到拉格朗日乘子 對于