《機器學習-Python實戰(zhàn)（微課版）》課件 綜合案例3-信用違約預測

信用違約預測通過本章學習可以，你將能夠：了解信用違約預測分析的基本流程；了解邏輯回歸和隨機森林算法在實際業(yè)務應用中的方法；能夠提升采用隨機森林算法解決實際問題的能力。學習目標案例背景介紹數(shù)據預處理模型訓練信用風險已經成為了今年金融市場的重要主題之一，銀行作為貸方，隨時都面臨著借貸者違約的風險。傳統(tǒng)的專家規(guī)則在金融科技時代逐漸過時，機器學習和金融業(yè)務的交叉也延伸到信貸領域。違約預測就是其中一重要應用。本案例基于信貸業(yè)務場景中一個月內的抽樣數(shù)據，數(shù)據集有34個維度，Target表示客戶在接下來一個月是否有違約。模型生成后可使用當前月的數(shù)據預測接下來一個月客戶是否會違約。案例背景數(shù)據集來源于開源數(shù)據集，主要包含用戶的基礎信息、資產信息和信用征信息等，共計34個維度。最終的目標是對用戶是否違約進行預測。數(shù)據集介紹違約預測只有違約和沒有預約兩種結果，是個二分類問題。針對二分類問題，可使用的算法有邏輯斯諦回歸、樸素貝葉斯、支持向量機、樹模型等?？紤]到實驗的完整性和實用性，本案例選用業(yè)界常用的邏輯斯諦回歸（廣義線性模型）和隨機森林（集成樹模型）來做對比。考慮到樣本極度不均衡，模型評價選用綜合指標f1_score。方案介紹本實驗在python3-jupyter環(huán)境下完成，同時需要安裝seaborn和imblearn：seaborn：基于matplotlib的高級APIimblearn：處理樣本不均衡問題的第三方庫使用pip安裝命令如下：pipinstallseabornpipinstallimblearn實驗環(huán)境準備數(shù)據挖掘流程整體數(shù)據挖掘流程分為如下幾步：案例背景介紹數(shù)據預處理模型訓練數(shù)據預處理

–讀取數(shù)據##讀取數(shù)據importpandasaspdimportnumpyasnpImport

warningswarnings.filterwarnings("ignore")df=pd.read_csv('D:/credit_default/dataset.csv',encoding='utf-8')df.head()數(shù)據預處理–

相關性分析#統(tǒng)計各特征的缺失率df_missing_stat=pd.DataFrame(df.isnull().sum()/df.shape[0],

columns=['missing_rate']).reset_index()df_missing_stat.sort_values(by='missing_rate',

ascending=False)[:15]數(shù)據預處理–

缺失值處理配偶年收入箱圖數(shù)據預處理–

數(shù)據洞察（1）配偶月均收入箱圖數(shù)據預處理–數(shù)據洞察（2）中位數(shù)填補缺失值中位數(shù)填補異常值數(shù)據預處理–異常值處理將數(shù)據集作9:1的切分（傳統(tǒng)的使用二八分或者三七分，但此處樣本量有5959條，測試集保留500多條就可以評價模型），訓練集共5259條負樣本，104條正樣本；測試集共584條負樣本，12條正樣本。數(shù)據預處理–數(shù)據集拆分引入相關庫并對輸入作標準化#引入StandardScaler標準化工具庫fromsklearn.preprocessingimportStandardScalerfromsklearn.model_selectionimportStratifiedKFold,StratifiedShuffleSplit#分層分割fromsklearn.metricsimportmake_scorer,fbeta_score,recall_score,f1_score#對訓練集和測試集做標準化std_scaler=StandardScaler().fit(df_after_dummy[x_cols])X_train_std=std_scaler.transform(X_train)X_test_std=std_scaler.transform(X_test)數(shù)據預處理–標準化案例背景介紹數(shù)據預處理模型訓練及優(yōu)化使用sklearn.linear_model.LogisticRegression分類器，優(yōu)化算法選用雙線性訓練數(shù)據，并設置最大迭代次數(shù)為500。使用LogisticRegression建模對正樣本過采樣LogisticRegression優(yōu)化（1）LogisticRegression中可調的參數(shù)有正則化系數(shù)（C）、正則化系數(shù)（penalty）、優(yōu)化算法（solver）、類型權重參數(shù)（class_weight）、樣本權重參數(shù)（sample_weight）等。這里調節(jié)常用的C和solver兩個參數(shù)，使用網格搜索法。LogisticRegression優(yōu)化（2）在測試集上的效果輸出如下結果從模型在訓練集和測試集上的表現(xiàn)看，測試集的f1得分為0.19，比訓練集上低了，模型出現(xiàn)過擬合，初步推斷，一部分是特征比較少、數(shù)據量不足導致的，特別是過抽樣會加大過擬合風險。如果需要提升模型性能需要進一步增加樣本、嘗試其他算法來擬合數(shù)據。下面嘗試使用隨機森林。LogisticRegression評估使用RandomForest建模先初始化幾個參數(shù)擬合嘗試下RandomForest優(yōu)化對n_estimators進行搜索輸出如下結果：模型持久化對最優(yōu)模型進行保存輸出如下結果：本實驗主要學習了使用Python進行數(shù)據預處理、數(shù)據分析，使用seaborn做可視化分析，使用SM