基于svm的數(shù)據(jù)挖掘報(bào)告

1、數(shù)據(jù)挖掘基于SVM的銀行個(gè)人信用評(píng)估2015.06.12任浩 周佳怡基于SVM的銀行個(gè)人信用評(píng)估1 銀行信用評(píng)估2 支持向量機(jī)基本理論（Support Vector Machine） 3 基于SVM的銀行個(gè)人信用評(píng)估模型21.1 銀行信用評(píng)估簡介 所謂信用評(píng)估問題是指根據(jù)客戶提供的資料和歷史記錄，采用某種科學(xué)的評(píng)價(jià)方法，綜合考慮各種因素的影響效果，以最終估計(jì)出對(duì)該客戶貸款所面臨的違約風(fēng)險(xiǎn)大小。31.1 銀行信用評(píng)估簡介所需資料一般包括:客戶的基本信息，如：姓名、年齡、性別（國外經(jīng)驗(yàn)數(shù)據(jù)表明女性的違約率要小于男性）、身份證明、工作單位、工作年限房屋所有權(quán)（自有房屋、租借）等客戶的收入、支出情況客

2、戶歷史信貸記錄，如：現(xiàn)有貸款余額、每月還貸額、每月信用卡消費(fèi)透支額、有無欠款記錄等客戶的社會(huì)記錄，如：商業(yè)信用記錄、各種公用事業(yè)繳費(fèi)記錄、有無違法犯罪記錄等 以上眾多的因素都會(huì)對(duì)客戶的信用好壞產(chǎn)生或大或小的影響，有的影響是正面的，有的則是負(fù)面的，信用評(píng)估所要解決的就是對(duì)這些因素的影響效果進(jìn)行科學(xué)適當(dāng)?shù)木C合，最終將客戶信用程度高低的評(píng)估結(jié)果分為若干個(gè)等級(jí)41.2 銀行信用評(píng)估問題描述若假設(shè)每個(gè)客戶對(duì)應(yīng)有n個(gè)因素指標(biāo) ，則該客戶實(shí)際上就對(duì)應(yīng)于n維空間r中的一個(gè)點(diǎn)，那么每個(gè)等級(jí)實(shí)際上就對(duì)應(yīng)于該空間中的一類點(diǎn)，分類的規(guī)則就對(duì)應(yīng)了空間中的若干個(gè)超曲面，它們將空間中所有的點(diǎn)分為若干個(gè)等級(jí),我們把這些超曲面

3、稱為分類面。因此信用評(píng)估問題的本質(zhì)就是在由上述n個(gè)指標(biāo)所組成的n維空間中通過對(duì)己有歷史數(shù)據(jù)（稱為訓(xùn)練樣本）分類結(jié)果的學(xué)習(xí)和模擬，找到若干個(gè)分類面（如果分類問題是線性的,那么分類面就是超平面），將該空間中對(duì)應(yīng)于每個(gè)客戶的點(diǎn)進(jìn)行分類51.2 銀行信用評(píng)估問題描述采用支持向量機(jī)對(duì)客戶信用風(fēng)險(xiǎn)進(jìn)行評(píng)估,原因是因?yàn)橹С窒蛄繖C(jī)和傳統(tǒng)的分類方法相比有以下優(yōu)點(diǎn):專門針對(duì)有限樣本情況的,它的目標(biāo)是得到現(xiàn)有信息下的最優(yōu)解而不僅僅是樣本數(shù)趨于無窮大時(shí)的最優(yōu)解最終轉(zhuǎn)化成為一個(gè)二次型尋優(yōu)問題,從理論上說將得到全局最優(yōu)點(diǎn)，解決了在神經(jīng)網(wǎng)絡(luò)方法中無法避免得到局部極值的情況通過非線性變換轉(zhuǎn)換到高維特征空間，在高維空間中構(gòu)造線

4、性判別函數(shù)來實(shí)現(xiàn)原始空間中的非線性判別函數(shù)，保證了學(xué)習(xí)機(jī)器有較好的推廣能力，并且解決了維數(shù)災(zāi)問題62 SVM基本理論2.1 logistic回歸2.2 函數(shù)間隔和幾何間隔2.3 最優(yōu)間隔分類器2.4 原始優(yōu)化問題和對(duì)偶優(yōu)化問題2.5 SVM 2.6 核函數(shù)2.7 學(xué)習(xí)過程（SMO算法）72.1 Logistic 回歸若y取值0,1，首先改變假設(shè)的形式，使假設(shè)得到的值總在0,1之間，即： 0,1。所以，選取如下函數(shù)： 其中： 稱為logistic 函數(shù)或者sigmoid 函數(shù)82.1 函數(shù)間隔和幾何間隔若y取值-1,1，首先改變假設(shè)的形式，使假設(shè)得到的值總在-1,1之間，即： -1,1。所以，選

5、取如下函數(shù)：其中 ，替換 和 得到： 即 即為函數(shù)分割面。92.1 Logistic 回歸定義函數(shù)間隔：幾何間隔：102.1 Logistic 回歸若y取值0,1，首先改變假設(shè)的形式，使假設(shè)得到的值總在0,1之間，即： 0,1。所以，選取如下函數(shù)： 其中： 稱為logistic 函數(shù)或者sigmoid 函數(shù)112.3 最優(yōu)間隔分類器我們的目標(biāo)是尋找一個(gè)超平面，使得離超平面比較近的點(diǎn)能有更大的間距。這里用 約束 ，使得 為幾何間隔。122.3 最優(yōu)間隔分類器由于 ，優(yōu)化函數(shù)不是凸函數(shù)，因此轉(zhuǎn)換函數(shù)間隔和幾何間隔：將問題轉(zhuǎn)化為典型的二次優(yōu)化問題。132.4 原始優(yōu)化問題和對(duì)偶優(yōu)化問題原始優(yōu)化問題：

6、 142.4 原始優(yōu)化問題和對(duì)偶優(yōu)化問題對(duì)偶優(yōu)化問題：KKT條件： 152.5 SVM 回到SVM優(yōu)化問題： 162.5 SVM 回到SVM優(yōu)化問題： 172.5 SVM 回到SVM優(yōu)化問題： 182.5 SVM 192.6 核函數(shù) 樣本為非線性不可分情況 特征映射： 202.5 SMO訓(xùn)練學(xué)習(xí)的方法： 213 基于SVM的個(gè)人信用評(píng)估模型采用國外某商業(yè)銀行的部分客戶數(shù)據(jù)22國外某商業(yè)銀行數(shù)據(jù)的ER模型3.1數(shù)據(jù)預(yù)處理樣本實(shí)例所提供的數(shù)據(jù)還不能直接應(yīng)用于SVM的評(píng)估方法，原因在于：數(shù)據(jù)集是以多個(gè)表結(jié)構(gòu)給出樣本中有許多數(shù)據(jù)存在缺損各指標(biāo)的量綱之間存在很大差異，而且有的指標(biāo)之間還存在一定的相關(guān)性

7、數(shù)據(jù)預(yù)處理方法包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約233.1數(shù)據(jù)預(yù)處理通過對(duì)樣本數(shù)據(jù)進(jìn)行處理后，得出該商業(yè)銀行數(shù)據(jù)中擁有4500名客戶，而辦理過貸款業(yè)務(wù)的客戶只有827名，根據(jù)以往銀行屬性提取的經(jīng)驗(yàn)，對(duì)本樣本數(shù)據(jù)提取了9個(gè)屬性指標(biāo)243.2 SVM學(xué)習(xí)模塊客戶信用風(fēng)險(xiǎn)評(píng)估SVM模型就是通過對(duì)訓(xùn)練樣本集學(xué)習(xí)找到最優(yōu)分類面，然后用該最優(yōu)分類面對(duì)未知類別的樣本進(jìn)行信用風(fēng)險(xiǎn)評(píng)估 25信用評(píng)估框架3.3 Logistic 回歸以貸款風(fēng)險(xiǎn)為基礎(chǔ)把貸款分為五級(jí)：正常、關(guān)注、次級(jí)、可疑和損失通過建立基于SVM算法的信用風(fēng)險(xiǎn)評(píng)估模型，對(duì)申請(qǐng)貸款的客戶基本信息進(jìn)行評(píng)估，分為正常、關(guān)注、次級(jí)和損失四類26通過訓(xùn)練樣本集求解下式的最優(yōu)化問題，得到拉格朗日乘子 對(duì)于