《人工智能技術(shù)開(kāi)發(fā)框架》課件-第4章 機(jī)器學(xué)習(xí)框架Scikit-Learn

人工智能技術(shù)開(kāi)發(fā)框架計(jì)算機(jī)與軟件學(xué)院第四章機(jī)器學(xué)習(xí)框架Scikit-Learn01AI應(yīng)用開(kāi)發(fā)概述02FlaskWEB應(yīng)用開(kāi)發(fā)03數(shù)據(jù)處理與分析工具04中國(guó)人工智能戰(zhàn)略05深度學(xué)習(xí)框架Tensorflow204機(jī)器學(xué)習(xí)框架Scikit-Learn機(jī)器學(xué)習(xí)框架sklearnsklearn是一個(gè)Python第三方提供的非常強(qiáng)力的機(jī)器學(xué)習(xí)庫(kù)，它包含了從數(shù)據(jù)預(yù)處理到訓(xùn)練模型的各個(gè)方面。在實(shí)戰(zhàn)使用scikit-learn中可以極大的節(jié)省我們編寫(xiě)代碼的時(shí)間以及減少我們的代碼量，使我們有更多的精力去分析數(shù)據(jù)分布，調(diào)整模型和修改超參機(jī)器學(xué)習(xí)流程數(shù)據(jù)采集和標(biāo)注模型加載模型保存模型測(cè)試模型訓(xùn)練算法選擇數(shù)據(jù)預(yù)處理（清洗）特征選擇模型應(yīng)用數(shù)據(jù)預(yù)處理（清洗）數(shù)據(jù)預(yù)處理工具：Numpy，PandasAB12數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)正規(guī)化：sklearn.preprocessing.Normalizer(norm='l2')-正則化的過(guò)程是將每個(gè)樣本縮放到單位范數(shù)(每個(gè)樣本的范數(shù)為1)，對(duì)每個(gè)樣本計(jì)算其p-范數(shù)，然后對(duì)該樣本中每個(gè)元素除以該范數(shù)，這樣處理的結(jié)果是使得每個(gè)處理后樣本的p-范數(shù)(L1-norm,L2-norm)等于1。數(shù)據(jù)歸一化（零均值）：sklearn.preprocessing.StandardScaler()-將數(shù)據(jù)按其屬性(按列進(jìn)行)減去其均值，然后除以其方差。最后得到的結(jié)果是，對(duì)每個(gè)屬性/每列來(lái)說(shuō)所有數(shù)據(jù)都聚集在0附近，方差值為1。最大最小標(biāo)準(zhǔn)化：sklearn.preprocessing.MinMaxScaler(feature_range=(0,1))-將屬性縮放到一個(gè)指定的最大值和最小值(通常是1-0)之間。機(jī)器學(xué)習(xí)方法有監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)回歸分類(lèi)很多算法既可以用于分類(lèi)，也可以用于回歸，如：決策樹(shù)、支持向量機(jī)、隨機(jī)森林、Adaboost等回歸線性回歸多項(xiàng)式變換線性回歸線性回歸：sklearn.linear_model.LinearRegression()

-沒(méi)什么特別參數(shù)，正常使用默認(rèn)參數(shù)多項(xiàng)式變換背景：有時(shí)從己知數(shù)據(jù)里挖掘出更多的特征不是件容易的事情，此時(shí)可以用純數(shù)學(xué)的方法，增加多項(xiàng)式特征。比如，原來(lái)的輸入特征只有問(wèn)X1,X2，優(yōu)化后可以增加特征，變成X1,X2,X1^2,X2^2。這樣也可以增加模型復(fù)雜度，從而改善欠擬合的問(wèn)題。多項(xiàng)式特征變換后再線性回歸，本質(zhì)上是增加特征數(shù)量，構(gòu)造新的特征以解決欠擬合問(wèn)題多項(xiàng)式變換：sklearn.preprocessing.PolynomialFeatures(degree=2)

-主要參數(shù)是degree，體現(xiàn)了變換的復(fù)雜性示例代碼：quadratic=PolynomialFeatures(degree=2)X_train=quadratic.fit_transform(X_train)X_test=quadratic.transform(X_test)分類(lèi)邏輯回歸：sklearn.linear_model.LogisticRegression()決策樹(shù)（隨機(jī)森林的特例）：sklearn.tree.DecisionTreeClassifier()樸素貝葉斯：sklearn.naive_bayes()K近鄰（KNN）：sklearn.neighbors.KNeighborsClassifier(n_neighbors=k)支持向量機(jī)（SVM）：sklearn.svm.SVC()。核函數(shù)的本質(zhì)：線性不可分情況下，將數(shù)據(jù)進(jìn)行非線性映射到高維空間，高維特征空間中變成線性可分集成學(xué)習(xí)：（1）隨機(jī)森林：sklearn.ensemble.RandomForestClassifier()；（2）AdaBoost：sklearn.ensemble.AdaBoostClassifier()邏輯回歸sklearn.linear_model.LogisticRegression(penalty='l2’,C=1.0)主要參數(shù)： Penalty:{‘l1’,‘l2’,‘elasticnet’,‘none’},default=’l2’。正則化方式。 C:float,default=1.0。正則化強(qiáng)度的倒數(shù)；必須是正浮點(diǎn)數(shù)。與支持向量機(jī)一樣，較小的值指定更強(qiáng)的正則化。決策樹(shù)skleam.tree.DecisionTreeClassifier()主要參數(shù)：criterion：{“gini”,“entropy”},default=”gini”。特征選擇算法。一種是基于信息熵，另外一種是基于基尼不純度。有研究表明，這兩種算法的差異性不大，對(duì)模型的準(zhǔn)確性沒(méi)有太大的影響。相對(duì)而言，信息熵運(yùn)算效率會(huì)低一些，因?yàn)樗袑?duì)數(shù)運(yùn)算splitter：{“best”,“random”},default=”best”。創(chuàng)建決策樹(shù)分支的選項(xiàng)，一種是選擇最優(yōu)的分支創(chuàng)建原則，另外一種是從排名靠前的特征中，隨機(jī)選擇一個(gè)特征來(lái)創(chuàng)建分支，這個(gè)方法和正則項(xiàng)的效果類(lèi)似，可以避免過(guò)擬合問(wèn)題maxdepth：int,default=None。指定決策樹(shù)的最大深度。通過(guò)指定該參數(shù)，用來(lái)解決模型過(guò)擬合問(wèn)題min_samples_split：intorfloat,default=2。這個(gè)參數(shù)指定能創(chuàng)建分支的數(shù)據(jù)集的大小，默認(rèn)是2。如果一個(gè)節(jié)點(diǎn)的數(shù)據(jù)樣本個(gè)數(shù)小于這個(gè)數(shù)值，則不再創(chuàng)建分支。這也是一種前剪枝的方法min_samples_leaf：intorfloat,default=1。創(chuàng)建分支后的節(jié)點(diǎn)樣本數(shù)量必須大于等于這個(gè)數(shù)值，否則不再創(chuàng)建分支。這也是一種前剪枝的方法max_leaf_nodes：int,default=None。除了限制最小的樣本節(jié)點(diǎn)個(gè)數(shù)，該參數(shù)可以限制最大的樣本節(jié)點(diǎn)個(gè)數(shù)min_impurity_split：float,default=0。可以使用該參數(shù)來(lái)指定信息增益的閥值。決策樹(shù)在創(chuàng)建分支時(shí)，信息增益必須大于這個(gè)閥值，否則不創(chuàng)建分支樸素貝葉斯伯努利分布：skleam.naive_bayes.BemoulliNB()多項(xiàng)式分布：skleam.naive_bayes.MultinomialNB()高斯分布：skleam.naive_bayes.GaussianNB()樸素貝葉斯算法在自然語(yǔ)言領(lǐng)域有廣泛的應(yīng)用伯努利分布拋一枚硬幣，要么出現(xiàn)正面，要么出現(xiàn)反面（假設(shè)硬幣不會(huì)立起來(lái)〉。假如出現(xiàn)正面的概率是p，則出現(xiàn)反面的概率就是1-p。符合這種規(guī)律的概率分布，稱(chēng)為伯努利分布(BernoulliDistribution）更一般的情況，即不止兩種可能性時(shí)，假設(shè)每種可能性是Pi，則滿足所有的概率Pi之和為1的概率分布，稱(chēng)為類(lèi)別分布（CategoricalDistribution）。例如投擲一個(gè)骰子，則會(huì)出現(xiàn)6種可能性，所有的可能性加起來(lái)的概率為1滿足伯努利分布的分類(lèi)問(wèn)題可以使用skleam.naive_bayes.BemoulliNB()，通常使用默認(rèn)參數(shù)即可多項(xiàng)式分布多項(xiàng)式分布是指滿足類(lèi)別分布的實(shí)驗(yàn)，連續(xù)做n次后，每種類(lèi)別出現(xiàn)的特定次數(shù)組合的概率分布情況投6次骰子，每個(gè)點(diǎn)數(shù)都出現(xiàn)一次，可以是（1,2,3,4,5,6），也可以是（1,3,2,4,5,6），那么出現(xiàn)（1,2,3,4,5,6）這樣特定順序組合的概率是滿足多項(xiàng)式分布的看一個(gè)例子，同時(shí)投擲6個(gè)質(zhì)地均勻的骰子，出現(xiàn)（1,2,3,4,5,6）這種組合的概率是多少？可以把這個(gè)問(wèn)題轉(zhuǎn)換成連續(xù)6次投擲質(zhì)地均勻的骰子，每個(gè)類(lèi)別都出現(xiàn)一次的概率，這是個(gè)典型的多項(xiàng)式分布問(wèn)題實(shí)際應(yīng)用中，涉及大量的自然語(yǔ)言處理的手段，包括中文分詞技術(shù)、文檔分類(lèi)、詞的數(shù)學(xué)表示等，滿足多項(xiàng)式分布的特點(diǎn)，可以使用skleam.naive_bayes.MultinomialNB()，通常使用默認(rèn)參數(shù)即可高斯分布高斯分布（GaussianDistribution）也稱(chēng)為正態(tài)分布（NormalDistribution），是自然界最常見(jiàn)的一種概率密度函數(shù)。人的身高滿足高斯分布，特別高和特別矮的人出現(xiàn)的相對(duì)概率都比較低。人的智商也符合高斯分布，特別聰明的天才和特別笨的人出現(xiàn)的相對(duì)概率都比較低滿足高斯分布的分類(lèi)問(wèn)題可以使用skleam.naive_bayes.GaussianNB()，通常使用默認(rèn)參數(shù)即可AB123K近鄰（KNN）分類(lèi)器k近鄰算法的核心思想是未標(biāo)記樣本的類(lèi)別，由距離其最近的k個(gè)鄰居投票來(lái)決定。假設(shè)，有一個(gè)已經(jīng)標(biāo)記的數(shù)據(jù)集，即己經(jīng)知道了數(shù)據(jù)集中每個(gè)樣本所屬的類(lèi)別。此時(shí)，有一個(gè)未標(biāo)記的數(shù)據(jù)樣本，任務(wù)是預(yù)測(cè)出這個(gè)數(shù)據(jù)樣本所屬的類(lèi)別。k近鄰算法的原理是：計(jì)算待標(biāo)記的數(shù)據(jù)樣本和數(shù)據(jù)集中每個(gè)樣本的距離，取距離最近的k個(gè)樣本。待標(biāo)記的數(shù)據(jù)樣本所屬的類(lèi)別，就由這k個(gè)距離最近的樣本投票產(chǎn)生skleam.neighbors.KNeighborsClassifier(n_neighbors=5)主要參數(shù)是k即n_neighbors。參數(shù)選擇需要根據(jù)數(shù)據(jù)來(lái)決定。k值越大，模型的偏差越大，對(duì)噪聲數(shù)據(jù)越不敏感，當(dāng)k值很大時(shí)，可能造成模型欠擬合。k值越小，模型的方差就會(huì)越大，當(dāng)k值太小，就會(huì)造成模型過(guò)擬合支持向量機(jī)（SVM）sklearn.svm.SVC(C=1.0,kernel='rbf',degree=3)主要參數(shù)：C：float,default=1.0。懲罰參數(shù)kernel：kernel{‘linear’,‘poly’,‘rbf’,‘sigmoid’,‘precomputed’},default=’rbf’。常用的核函數(shù)是高斯徑向基核函數(shù)rbf、多項(xiàng)式核函數(shù)poly、sigmoid核函數(shù)。核函數(shù)的本質(zhì)：線性不可分情況下，將數(shù)據(jù)進(jìn)行非線性映射到高維空間，高維特征空間中變成線性可分Degree：int,default=3。當(dāng)使用poly核函數(shù)時(shí)該參數(shù)有效，對(duì)于其他核函數(shù)則無(wú)效集成學(xué)習(xí)隨機(jī)森林：RandomForestClassifier()Adaboost：AdaBoostClassifier()集成算法(Ensemble）是一種元算法(Meta-algorithm），它利用統(tǒng)計(jì)學(xué)采樣原理，訓(xùn)練出成百上千個(gè)不同的算法模型。當(dāng)需要預(yù)測(cè)一個(gè)新樣本時(shí)，使用這些模型分別對(duì)這個(gè)樣本進(jìn)行預(yù)測(cè)，然后采用少數(shù)服從多數(shù)原則，決定新樣本的類(lèi)別。集成算法可以有效地解決過(guò)擬合問(wèn)題。隨機(jī)森林sklearn.ensemble.RandomForestClassifier()，以決策樹(shù)作為基分類(lèi)器（學(xué)習(xí)器）。主要參數(shù)：n_estimators：int,default=100。森林中樹(shù)的數(shù)量criterion：{“gini”,“entropy”},default=”gini”。特征選擇算法。一種是基于信息熵，另外一種是基于基尼不純度。有研究表明，這兩種算法的差異性不大，對(duì)模型的準(zhǔn)確性沒(méi)有太大的影響。相對(duì)而言，信息熵運(yùn)算效率會(huì)低一些，因?yàn)樗袑?duì)數(shù)運(yùn)算maxdepth：int,default=None。指定決策樹(shù)的最大深度。通過(guò)指定該參數(shù)，用來(lái)解決模型過(guò)擬合問(wèn)題min_samples_split：intorfloat,default=2。這個(gè)參數(shù)指定能創(chuàng)建分支的數(shù)據(jù)集的大小，默認(rèn)是2。如果一個(gè)節(jié)點(diǎn)的數(shù)據(jù)樣本個(gè)數(shù)小于這個(gè)數(shù)值，則不再創(chuàng)建分支。這也是一種前剪枝的方法min_samples_leaf：intorfloat,default=1。創(chuàng)建分支后的節(jié)點(diǎn)樣本數(shù)量必須大于等于這個(gè)數(shù)值，否則不再創(chuàng)建分支。這也是一種前剪枝的方法max_leaf_nodes：int,default=None。除了限制最小的樣本節(jié)點(diǎn)個(gè)數(shù)，該參數(shù)可以限制最大的樣本節(jié)點(diǎn)個(gè)數(shù)min_impurity_split：float,default=None?？梢允褂迷搮?shù)來(lái)指定信息增益的閥值。決策樹(shù)在創(chuàng)建分支時(shí)，信息增益必須大于這個(gè)闊值，否則不創(chuàng)建分支Adaboostsklearn.ensemble.AdaBoostClassifier()，默認(rèn)以決策樹(shù)作為基分類(lèi)器（學(xué)習(xí)器）。主要參數(shù)：base_estimator：object,default=None。指定基分類(lèi)器的類(lèi)型，默認(rèn)以決策樹(shù)作為基分類(lèi)器。n_estimators：int,default=50。終止boosting算法的最大分類(lèi)器數(shù)量。如果達(dá)到該數(shù)量則學(xué)習(xí)過(guò)程將提前停止learning_rate：float,default=1。在每次提升迭代中應(yīng)用于每個(gè)分類(lèi)器的權(quán)重。較高的學(xué)習(xí)率會(huì)增加每個(gè)分類(lèi)器的貢獻(xiàn)。在learning_rate和n_estimators之間有一個(gè)折衷algorithm：{‘SAMME’,‘SAMME.R’},default=’SAMME.R’?！甋AMME.R’和‘SAMME’是兩種算法無(wú)監(jiān)督學(xué)習(xí)聚類(lèi)降維聚類(lèi)K均值聚類(lèi)（K-Means）：sklearn.cluster.KMeans(n_clusters=8)凝聚型層次聚類(lèi)（agglomerative）：sklearn.cluster.AgglomerativeClustering(n_clusters=2)K均值聚類(lèi)（K-Means）

sklearn.cluster.KMeans(n_clusters=8)主要參數(shù)：n_clusters：int,default=8。聚類(lèi)的數(shù)量凝聚型層次聚類(lèi)（agglomerative）

sklearn.cluster.AgglomerativeClustering(n_clusters=2,linkage=’ward’)主要參數(shù)：n_clusters：intorNone,default=2。聚類(lèi)的數(shù)量linkage：{‘ward’,‘complete’,‘a(chǎn)verage’,‘single’},default=’ward’。使用的鏈接標(biāo)準(zhǔn)。鏈接標(biāo)準(zhǔn)決定了樣本集之間的距離度量方式降維PCA：sklearn.decomposition.PCA()LDA：sklearn.discriminant_analysis.LinearDiscriminantAnalysis()PCAsklearn.decomposition.PCA()主要參數(shù)：n_components：int,floator‘mle’,default=None。降維后保留的特征數(shù)量，默認(rèn)為None即保留全部特征使用方法：model=sklearn.decomposition.PCA(n_components)#創(chuàng)建PCA模型model.fit_transform(X,y=None)

#對(duì)數(shù)據(jù)集X進(jìn)行PCA降維操作，返回值為降維后的數(shù)據(jù)集LDAsklearn.discriminant_analysis.LinearDiscriminantAnalysis()主要參數(shù)：solver：{‘svd’,‘lsqr’,‘eigen’},default=’svd’。降維求解算法n_components：int,default=None。保留的特征數(shù)量使用方法：model=sklearn.discriminant_analysis.LinearDiscriminantAnalysis(solver,n_components)#創(chuàng)建LDA模型model.fit_transform(X,y=None)

#對(duì)數(shù)據(jù)集X進(jìn)行LDA降維操作，返回值為降維后的數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集劃分方法：通常將數(shù)據(jù)集的80%作為訓(xùn)練集，20%作為測(cè)試集如果當(dāng)數(shù)據(jù)量不是很大的時(shí)候（萬(wàn)級(jí)別以下）的時(shí)候?qū)⒂?xùn)練集、驗(yàn)證集以及測(cè)試集劃分為6:2:2；若是數(shù)據(jù)很大，可以將訓(xùn)練集、驗(yàn)證集、測(cè)試集比例調(diào)整為98:1:1；但是當(dāng)可用的數(shù)據(jù)很少的情況下也可以使用一些高級(jí)的方法，比如留一法，K折交叉驗(yàn)證等訓(xùn)練方法：fit()方法。每一種算法都有相應(yīng)的fit()方法，如SVM算法：sklearn.svm.SVC.fit(train_X,train_y)，得到訓(xùn)練完成的模型，此時(shí)模型參數(shù)已經(jīng)生成兩種訓(xùn)練中出現(xiàn)的現(xiàn)象：過(guò)擬合：模型過(guò)于復(fù)雜，過(guò)度的擬合了訓(xùn)練數(shù)據(jù)。解決方案：獲取更多的訓(xùn)練數(shù)據(jù)、減少輸入的特征數(shù)量、降低模型復(fù)雜度，如減少網(wǎng)絡(luò)深度等欠擬合：模型過(guò)于簡(jiǎn)單，連訓(xùn)練數(shù)據(jù)都無(wú)法很好的擬合。解決方案：增加有價(jià)值的特征、增加模型的復(fù)雜性，如增加多項(xiàng)式特征，增加網(wǎng)絡(luò)深度等算法選擇預(yù)測(cè)sklearn的predict()方法每一種算法都有對(duì)應(yīng)的predict()方法，如SVM算法：sklearn.svm.SVC.predict(test_X)，返回值是預(yù)測(cè)的結(jié)果參數(shù)調(diào)優(yōu)不同算法的超參數(shù)舉例：KNN：K參數(shù)多項(xiàng)式回歸：多項(xiàng)式特征變換中的degree參數(shù)決策樹(shù)：樹(shù)的最大深度max_depth參數(shù)支持向量機(jī)：懲罰系數(shù)C參數(shù)、核函數(shù)種類(lèi)kernel參數(shù)、gamma參數(shù)。C是懲罰系數(shù)，即對(duì)誤差的寬容度。C越高，說(shuō)明越不能容忍出現(xiàn)誤差，容易過(guò)擬合。C越小，容易欠擬合。C過(guò)大或過(guò)小，泛化能力變差。gamma是選擇RBF函數(shù)作為kernel后，該函數(shù)自帶的一個(gè)參數(shù)。隱含地決定了數(shù)據(jù)映射到新的特征空間后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的個(gè)數(shù)影響訓(xùn)練與預(yù)測(cè)的速度。支持向量機(jī)（SVM）分類(lèi)器（SVC）的超參數(shù)：SVC(C=1.0,kernel=“rbf”,gamma=0.1)：選擇rbf時(shí)的超參數(shù)SVC(C=1.0,kernel=“poly”,degree=2)：選擇poly時(shí)的超參數(shù)SVC(C=1.0,kernel=“l(fā)inear”)：選擇linear時(shí)的超參數(shù)超參數(shù)：不是由算法訓(xùn)練出來(lái)的，而是人為設(shè)定的，不同算法有不同的超參數(shù)模型選擇：交叉驗(yàn)證交叉驗(yàn)證法是一種超參數(shù)選擇的方法，也叫模型選擇，主要用于超參數(shù)調(diào)優(yōu)，得分最佳的超參數(shù)為最優(yōu)超參數(shù)，進(jìn)行交叉驗(yàn)證時(shí)需要用到驗(yàn)證集。當(dāng)數(shù)據(jù)集比較小的時(shí)候，交叉驗(yàn)證可以“充分利用”有限的數(shù)據(jù)找到合適的模型參數(shù)，防止過(guò)度擬合交叉驗(yàn)證的使用方法：sklearn.model_selection.cross_val_score()，返回值是模型的得分列表score，包含了每一輪交叉驗(yàn)證的得分，例如：對(duì)于10折交叉驗(yàn)證，則score列表中包含10個(gè)得分，可以求取平均值作為最終得分，主要參數(shù)：estimator：模型對(duì)象X：訓(xùn)練集特征數(shù)據(jù)y：訓(xùn)練集的標(biāo)簽cv：int,cross-validationgeneratororaniterable,default=None，交叉驗(yàn)證的輪數(shù)，如K折交叉驗(yàn)證，則cv=Kscoring：得分的類(lèi)型，參數(shù)為字符串類(lèi)型，可以選擇常用的‘a(chǎn)ccuracy’、‘precision’、‘f1’等模型評(píng)估分類(lèi)：sklearn.metrics.classification_report()聚類(lèi)：sklearn.metrics.silhouette_score()回歸：sklearn.metrics.r2_score()分類(lèi)模型評(píng)估sklearn.metrics.classification_report()，返回值為模型綜合評(píng)估報(bào)告（包含了準(zhǔn)確率Precision、

精確度accuracy、

召回率recall、f1-score）主要參數(shù)：y_true：樣本的真實(shí)值y_pred：樣本的預(yù)測(cè)值digits：int,default=2，結(jié)果保留的小數(shù)點(diǎn)位數(shù)F1score=2*recall*precision/(recall+precision)Precision和Recall都是針對(duì)某個(gè)類(lèi)而言的，比如正類(lèi)別的Recall，負(fù)類(lèi)別的Recall準(zhǔn)確率（Precision）：查準(zhǔn)率sklearn.metrics.precision_score()，返回值為模型的precision得分主要參數(shù)：y_true：樣本的真實(shí)值y_pred：樣本的預(yù)測(cè)值pos_label：strorint,default=1，正類(lèi)的標(biāo)簽值Precision和Recall都是針對(duì)某個(gè)類(lèi)而言的，比如正類(lèi)別的Precision，負(fù)類(lèi)別的Precision例如：正樣本的Precision表示預(yù)測(cè)為正的樣本中有多少預(yù)測(cè)對(duì)了精確度（accuracy）sklearn.metrics.accuracy_score()，返回值為模型的accuracy得分主要參數(shù)：y_true：樣本的真實(shí)值y_pred：樣本的預(yù)測(cè)值A(chǔ)ccuracy表示在所有樣本中，有多少比例的樣