《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件5.3.1 K折交叉驗(yàn)證與GridSearch網(wǎng)絡(luò)搜索

評(píng)估與優(yōu)化加工廠玻璃類別識(shí)別模型加工廠玻璃類別識(shí)別——決策樹、隨機(jī)森林任務(wù)描述大國工匠，精益求精。擁有精益求精的學(xué)習(xí)和工作精神，才能夠勇攀高峰，再創(chuàng)輝煌。在模型建立之后，通常需要對(duì)模型進(jìn)行評(píng)估。如果模型的性能較差，那么可以考慮對(duì)模型進(jìn)行調(diào)優(yōu)。本任務(wù)介紹幾種常見的評(píng)估方法，并在評(píng)估后對(duì)模型進(jìn)行調(diào)優(yōu)。在最后介紹了隨機(jī)森林算法。任務(wù)要求了解常見的評(píng)估方法。了解隨機(jī)森林的基本概念。使用sklearn庫對(duì)模型進(jìn)行評(píng)估。使用sklearn庫構(gòu)造隨機(jī)森林模型。K折交叉驗(yàn)證與GridSearch網(wǎng)絡(luò)搜索隨機(jī)森林K折交叉驗(yàn)證

K折交叉驗(yàn)證（K-foldcross-validation）是一種常用的機(jī)器學(xué)習(xí)模型評(píng)估方法。在K折交叉驗(yàn)證中，將數(shù)據(jù)集劃分為K個(gè)互不重疊的子集，每次用其中一個(gè)子集作為驗(yàn)證集，剩下的K-1個(gè)子集作為訓(xùn)練集。通過訓(xùn)練模型，計(jì)算模型在驗(yàn)證集上的性能指標(biāo)。這個(gè)過程重復(fù)K次，每個(gè)子集都會(huì)作為一次驗(yàn)證集，最終將K次驗(yàn)證的結(jié)果取平均值作為最終的性能指標(biāo)。什么是K折交叉驗(yàn)證？K折交叉驗(yàn)證通過K折交叉驗(yàn)證取平均值作為最終性能指標(biāo)，體現(xiàn)數(shù)據(jù)的平等性，正如平等是人的最基本權(quán)利，是人類社會(huì)的理想價(jià)值追求，數(shù)據(jù)也是需要平等對(duì)待的，數(shù)據(jù)無大小，每一個(gè)都有其地位和作用。什么是K折交叉驗(yàn)證？K折交叉驗(yàn)證K折交叉驗(yàn)證的優(yōu)點(diǎn)在于可以更好地評(píng)估模型的泛化性能，因?yàn)槊總€(gè)子集都會(huì)被用作一次驗(yàn)證集，這樣可以使得模型在不同數(shù)據(jù)集上的性能表現(xiàn)更加穩(wěn)定。同時(shí)，K折交叉驗(yàn)證也可以更充分地利用數(shù)據(jù)集，因?yàn)槊總€(gè)樣本都可以被用作一次驗(yàn)證集。K折交叉驗(yàn)證的優(yōu)點(diǎn)K折交叉驗(yàn)證劃分為K個(gè)大小相似的互斥子集K折交叉驗(yàn)證使用sklearn庫中的cross_val_score類執(zhí)行交叉驗(yàn)證并計(jì)算模型評(píng)分，其基本使用格式如下。sklearn.model_selection.cross_val_score(estimator,X,y=None,*,groups=None,scoring=None,cv=None,n_jobs=None,verbose=0,fit_params=None,pre_dispatch='2*n_jobs',error_score=nan)K折交叉驗(yàn)證cross_val_score類常用參數(shù)及其說明如下。參數(shù)名稱說明estimator接收任何可調(diào)用的Python對(duì)象，表示需要評(píng)估的模型對(duì)象，無默認(rèn)值X接收(n_samples,n_features)樣式的數(shù)組，表示特征矩陣，無默認(rèn)值y接收(n_samples,)或(n_samples,n_outputs)樣式的數(shù)組，表示目標(biāo)變量，默認(rèn)為Nonescoring接收str或任何可調(diào)用的python對(duì)象，表示模型評(píng)估指標(biāo)。默認(rèn)為None，使用模型的默認(rèn)評(píng)估指標(biāo)cv接收int、交叉驗(yàn)證生成器或可迭代器，表示交叉驗(yàn)證的次數(shù)或是指定使用交叉驗(yàn)證生成器或可迭代器，控制數(shù)據(jù)如何分割。默認(rèn)為None，使用5折交叉驗(yàn)證K折交叉驗(yàn)證1234劃分訓(xùn)練集和測(cè)試集訓(xùn)練決策樹模型使用cross_val_score類執(zhí)行交叉驗(yàn)證并計(jì)算模型評(píng)分?jǐn)M合決策樹模型GridSearch網(wǎng)絡(luò)搜索

GridSearch網(wǎng)絡(luò)搜索是一種參數(shù)調(diào)優(yōu)的手段。使用sklearn庫中的GridSearchCV類可以進(jìn)行網(wǎng)絡(luò)搜索，其基本使用格式如下。什么是GridSearch網(wǎng)絡(luò)搜索？classsklearn.model_selection.GridSearchCV(estimator,param_grid,*,scoring=None,n_jobs=None,iid='deprecated',refit=True,cv=None,verbose=0,pre_dispatch='2*n_jobs',error_score=nan,return_train_score=False)GridSearch網(wǎng)絡(luò)搜索GridSearchCV類常用參數(shù)及其說明如下。參數(shù)名稱說明estimator接收sklearn模型對(duì)象，表示需要調(diào)優(yōu)的模型對(duì)象，無默認(rèn)值param_grid接收字典，表示待調(diào)優(yōu)的超參數(shù)組合，字典的鍵是超參數(shù)的名稱，字典的值是待搜索的超參數(shù)列表，無默認(rèn)值GridSearch網(wǎng)絡(luò)搜索參數(shù)名稱說明scoring接收str或一個(gè)Python可調(diào)用對(duì)象，如果是字符串，則表示使用預(yù)定義的評(píng)估指標(biāo)，例如"accuracy"、"precision"、"recall"等；如果是可調(diào)用對(duì)象，則表示自定義的評(píng)估指標(biāo)，默認(rèn)值為Nonecv接收整數(shù)、交叉驗(yàn)證生成器或可迭代器，表示交叉驗(yàn)證的次數(shù)或是指定使用交叉驗(yàn)證生成器或可迭代器，控制數(shù)據(jù)如何分割。默認(rèn)為None，使用5折交叉驗(yàn)證refit接收bool，表示是否在搜索結(jié)束后用最佳的參數(shù)重新擬合