《Python數(shù)據(jù)分析基礎(chǔ)與案例實戰(zhàn)》第6章 6.1.2 構(gòu)建分類與回歸模型

構(gòu)建分類與回歸模型1了解人工神經(jīng)網(wǎng)絡(luò)目錄了解決策樹2評價分類與回歸模型3決策樹算法在分類、預(yù)測、規(guī)則提取等方向有著廣泛應(yīng)用。在20世紀(jì)70年代后期和20世紀(jì)80年代初期，機器學(xué)習(xí)研究者羅斯昆（J.RossQuinilan）提出了ID3算法以后，決策樹在機器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域得到極大的發(fā)展。羅斯昆后來又提出了C4.5，該算法成為新的監(jiān)督學(xué)習(xí)算法。1984年幾位統(tǒng)計學(xué)家提出了CART分類算法。ID3和ART算法都是采用類似的方法從訓(xùn)練樣本中學(xué)習(xí)決策樹。了解決策樹決策樹采用樹狀結(jié)構(gòu)，它的每一個葉節(jié)點對應(yīng)一個分類，非葉節(jié)點對應(yīng)在某個屬性上的劃分，根據(jù)樣本在該屬性上的不同取值將其劃分成若干個子集。對于非純的葉節(jié)點，多數(shù)類的標(biāo)號給出到達(dá)這個節(jié)點的樣本所屬的類。構(gòu)造決策樹的核心問題是在每一步如何選擇適當(dāng)?shù)膶傩詫颖具M(jìn)行拆分。對于一個分類問題，從已知類標(biāo)記的訓(xùn)練樣本中學(xué)習(xí)并構(gòu)造出決策樹是一個自上而下、分而治之的過程。了解決策樹常用的決策樹算法如下表所示。了解決策樹決策樹算法算法描述ID3算法其核心是在決策樹的各級節(jié)點上，使用信息增益方法作為屬性的選擇標(biāo)準(zhǔn)，來幫助確定生成每個節(jié)點時所應(yīng)采用的合適屬性C4.5算法C4.5算法相對于ID3算法的重要改進(jìn)是使用信息增益率來選擇節(jié)點屬性。C4.5算法可以彌補ID3算法存在的不足：ID3算法只適用于離散的描述屬性，而C4.5算法既能夠處理離散的描述屬性，也能夠處理連續(xù)的描述屬性CART算法CART算法是一種十分有效的非參數(shù)分類和回歸方法，通過構(gòu)建樹、修剪樹、評估樹來構(gòu)建一個二叉樹。當(dāng)終節(jié)點是連續(xù)變量時，該樹為回歸樹；當(dāng)終節(jié)點是離散變量時，該樹為分類樹ID3算法采用信息增益作為決策的標(biāo)準(zhǔn)，信息熵用于評估樣本集合純度。樣本集中的樣本可能屬于多個不同的類別，也可能只屬于一個類別。如果樣本集中的樣本都屬于一個類別，則這個樣本集為純，否則為不純。ID3算法選擇當(dāng)前樣本集中具有最大信息增益值的屬性作為測試屬性，信息增益值表示某個屬性的信息熵與其他屬性的信息熵之和的差值。樣本集的劃分則依據(jù)測試屬性的取值進(jìn)行，測試屬性有多少不同取值就將樣本集劃分為多少子樣本集，同時決策樹上相對應(yīng)樣本集的節(jié)點長出新的葉節(jié)點。了解決策樹1.ID3算法簡介及基本原理ID3算法根據(jù)信息論理論，采用劃分后樣本集的不確定性作為衡量劃分好壞的標(biāo)準(zhǔn)，用信息增益值度量不確定性，信息增益值越大，不確定性越小。因此，ID3算法在每個非葉節(jié)點選擇信息增益最大的屬性作為測試屬性，這樣可以得到當(dāng)前情況下最純的拆分，從而得到較小的決策樹。ID3算法作為一個典型的決策樹算法，其核心是在決策樹的各級節(jié)點上都使用信息增益作為判斷標(biāo)準(zhǔn)來進(jìn)行屬性的選擇，使得在每個非葉節(jié)點上進(jìn)行劃分時，都能獲得最大的類別分類增益，使分類后的數(shù)據(jù)集的熵最小。這樣的處理方法使得決策樹的平均深度較小，從而有效地提高了分類效率。了解決策樹由于ID3算法采用了信息增益作為選擇測試屬性的標(biāo)準(zhǔn)，它會偏向于選擇取值較多的，即所謂高度分支屬性，而這類屬性并不一定是最優(yōu)的屬性。同時ID3算法只能處理離散屬性，對于連續(xù)屬性，在分類前需要對其進(jìn)行離散化。為了解決ID3算法傾向于選擇高度分支屬性的問題，人們采用信息增益率作為選擇測試屬性的標(biāo)準(zhǔn)，信息增益率為節(jié)點的信息增益與節(jié)點分裂信息度量的比值，這樣便得到C4.5算法。了解決策樹ID3算法的具體實現(xiàn)步驟如下。（1）對當(dāng)前樣本集，計算所有屬性的信息增益。（2）選擇信息增益最大的屬性作為測試屬性，將測試屬性取值相同的樣本劃為同一個子樣本集。（3）若子樣本集的類別屬性只含有單個屬性，則分支為葉節(jié)點，判斷其屬性值并標(biāo)上相應(yīng)的符號，然后返回調(diào)用處；否則對子樣本集遞歸調(diào)用ID3算法。了解決策樹2.ID3算法具體流程DecisionTreeClassifier類常用的參數(shù)及其說明如下表所示。了解決策樹參數(shù)名稱參數(shù)說明criterion接收gini或entropy。表示衡量分割質(zhì)量的功能。默認(rèn)為ginisplitter接收best或random。表示用于在每個節(jié)點上選擇拆分的策略。默認(rèn)為bestmax_depth接收int。表示決策樹的最大深度。默認(rèn)為Nonemin_samples_split接收int或float。表示拆分內(nèi)部節(jié)點所需的最少樣本數(shù)。默認(rèn)為2下面結(jié)合公交車上車人次案例實現(xiàn)ID3，具體實施步驟如下。對于節(jié)假日屬性，是節(jié)假日則設(shè)置為“1”，不是則設(shè)置為“0”。對于周末屬性，是周末則設(shè)置為“1”，非周末則設(shè)置為“0”。對于天氣屬性，數(shù)據(jù)集中存在多種不同的值，這里將那些屬性值相近的值進(jìn)行類別整合。如天氣為“多云”“多云轉(zhuǎn)晴”“晴”，這些屬性值相近，均是適宜外出的天氣，會對人們選擇交通方式有一定的影響，因此將它們歸為一類，天氣屬性值設(shè)置為“1”；而對于“雨”“小到中雨”等天氣，將它們歸為一類，天氣屬性值設(shè)置為“0”。數(shù)量屬性是上車人次的計數(shù)。數(shù)量為數(shù)值型，需要對屬性進(jìn)行離散化，將數(shù)量屬性劃分為“1”和“0”兩類。將上車人次的一個閾值作為分界點，大于分界點的劃分到類別“1”，小于分界點的劃分到類別“0”。了解決策樹經(jīng)過以上的處理，得到的數(shù)據(jù)集如下表所示。了解決策樹節(jié)假日周末天氣數(shù)量1011101111011101…………001000000010使用scikit-learn庫建立基于信息熵的決策樹模型，預(yù)測上車人數(shù)的多少。生成的結(jié)果如下圖所示。了解決策樹以最左邊分支為例，在根節(jié)點中，數(shù)據(jù)總記錄數(shù)為30，數(shù)量屬性為“0”的記錄為14，數(shù)量屬性為“1”的i記錄為16，信息熵為0.997；當(dāng)節(jié)假日屬性為“0”時，依據(jù)分支條件“節(jié)假日<=0.5”，應(yīng)當(dāng)判別為True，此時數(shù)量屬性為“1”的記錄為9，數(shù)量屬性為“0”的記錄為14，信息熵為0.966；當(dāng)天氣屬性為“0”時，其數(shù)值小于0.5，此時數(shù)量屬性為“1”的記錄為8，數(shù)量屬性為“0”的記錄為4，信息熵為0.918；當(dāng)周末屬性為“0”時，其數(shù)值小于0.5，此時數(shù)量屬性為“1”的記錄為5，數(shù)量屬性為“0”的記錄為3，信息熵為0.954。了解決策樹1了解人工神經(jīng)網(wǎng)絡(luò)目錄了解決策樹2評價分類與回歸模型3人工神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一個具備學(xué)習(xí)功能的自適應(yīng)系統(tǒng)。和其他分類與回歸算法一樣，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)被用于解決各種各樣的問題，如機器視覺和語音識別。人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所做出的交互反應(yīng)。將多個神經(jīng)元按一定的層次結(jié)構(gòu)連接起來，就得到神經(jīng)網(wǎng)絡(luò)。使用神經(jīng)網(wǎng)絡(luò)模型需要確定網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元的特征和學(xué)習(xí)規(guī)則等。了解人工神經(jīng)網(wǎng)絡(luò)1.人工神經(jīng)網(wǎng)絡(luò)介紹常見的神經(jīng)網(wǎng)絡(luò)采用右圖所示的層級結(jié)構(gòu)，每層神經(jīng)元與下一層的神經(jīng)元全部互連，神經(jīng)元之間不存在同層連接，也不存在跨層連接。了解人工神經(jīng)網(wǎng)絡(luò)上圖所示的網(wǎng)絡(luò)結(jié)構(gòu)稱為多層前饋神經(jīng)網(wǎng)絡(luò)（MultilayerFeedForwardNeuralNetwork），其中輸入層神經(jīng)元對信號進(jìn)行接收，最終輸出結(jié)果由輸出層神經(jīng)元輸出。輸入層神經(jīng)元只接收輸入，不進(jìn)行函數(shù)處理，隱藏層與輸出層包含功能神經(jīng)元。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，就是根據(jù)訓(xùn)練數(shù)據(jù)調(diào)整神經(jīng)元之間的連接權(quán)重（ConnectionWeight）以及每個神經(jīng)元的閾值，神經(jīng)網(wǎng)絡(luò)“學(xué)”到的信息蘊含在連接權(quán)重和閾值中。值得注意的是，如果單隱藏層網(wǎng)絡(luò)不能滿足實際生產(chǎn)需求，可在網(wǎng)絡(luò)中設(shè)置多個隱藏層。了解人工神經(jīng)網(wǎng)絡(luò)常用于實現(xiàn)分類和回歸的神經(jīng)網(wǎng)絡(luò)算法如下表所示。了解人工神經(jīng)網(wǎng)絡(luò)算法名稱算法描述BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)算法是δ學(xué)習(xí)規(guī)則，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)算法之一LM神經(jīng)網(wǎng)絡(luò)LM神經(jīng)網(wǎng)絡(luò)是基于梯度下降法和牛頓法結(jié)合的多層前饋神經(jīng)網(wǎng)絡(luò)，特點是迭代次數(shù)少、收斂速度快、精確度高RBF神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)，從輸入層到隱層的變換是非線性的，而從隱層到輸出層的變換是線性的，特別適合解決分類問題模糊神經(jīng)網(wǎng)絡(luò)模糊神經(jīng)網(wǎng)絡(luò)是具有模糊權(quán)系數(shù)或者輸入信號是模糊量的神經(jīng)網(wǎng)絡(luò)，是模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物，它匯聚了神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的優(yōu)點，集聯(lián)想、識別、自適應(yīng)及模糊信息處理于一體GMDH神經(jīng)網(wǎng)絡(luò)GMDH神經(jīng)網(wǎng)絡(luò)也稱為多項式網(wǎng)絡(luò)，它是前饋神經(jīng)網(wǎng)絡(luò)中常用的一種用于預(yù)測的神經(jīng)網(wǎng)絡(luò)。它的特點是網(wǎng)絡(luò)結(jié)構(gòu)不固定，而且在訓(xùn)練過程中不斷改變自適應(yīng)神經(jīng)網(wǎng)絡(luò)自適應(yīng)神經(jīng)網(wǎng)絡(luò)鑲嵌在一個全部模糊的結(jié)構(gòu)之中，在不知不覺中向訓(xùn)練數(shù)據(jù)學(xué)習(xí)，自動產(chǎn)生、修正并高度概括出最佳的輸入與輸出變量的隸屬函數(shù)以及模糊規(guī)則；另外神經(jīng)網(wǎng)絡(luò)的各層結(jié)構(gòu)與參數(shù)也都具有明確的、易于理解的物理意義BP神經(jīng)網(wǎng)絡(luò)，是指采用誤差逆?zhèn)鞑ィ˙ackPropagation，BP）算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)算法的實現(xiàn)流程如下。（1）在(0,1)內(nèi)隨機初始化網(wǎng)絡(luò)中所有權(quán)重和閾值。（2）將訓(xùn)練樣本提供給輸入層神經(jīng)元，然后逐層將信號前傳，直到產(chǎn)生輸出層的結(jié)果。這一步一般稱為信號正向傳播。（3）計算輸出層誤差，將誤差逆向傳播至隱藏層神經(jīng)元，再根據(jù)隱藏層神經(jīng)元誤差來對權(quán)重和閾值進(jìn)行更新。這一步一般稱為誤差逆向傳播。（4）循環(huán)執(zhí)行步驟（2）和步驟（3），直到達(dá)到某個停止條件，一般為訓(xùn)練誤差小于設(shè)定的閾值或迭代次數(shù)大于設(shè)定的閾值。了解人工神經(jīng)網(wǎng)絡(luò)2.BP神經(jīng)網(wǎng)絡(luò)以典型的三層BP神經(jīng)網(wǎng)絡(luò)為例，描述標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)算法。圖66所示的是一個有3個輸入層節(jié)點、4個隱藏層節(jié)點、1個輸出層節(jié)點的三層BP神經(jīng)網(wǎng)絡(luò)。了解人工神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)算法的學(xué)習(xí)過程由信號的正向傳播與誤差的逆向傳播兩個過程組成。正向傳播時，輸入信號經(jīng)過隱藏層的處理后，傳向輸出層。若輸出層節(jié)點未能得到期望的輸出，則轉(zhuǎn)入誤差的逆向傳播階段，將輸出誤差按某種子形式，通過隱藏層向輸入層返回，并“分?jǐn)偂苯o隱藏層的4個節(jié)點與輸入層的x1、x2、x3這3個節(jié)點，從而獲得各層神經(jīng)元的參考誤差（或稱誤差信號），作為修改各神經(jīng)元權(quán)重的依據(jù)。這種信號正向傳播與誤差逆向傳播的各層權(quán)重矩陣的修改過程是周而復(fù)始進(jìn)行的。權(quán)重不斷修改的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)（或稱訓(xùn)練）過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差逐漸減少到可接受的程度或達(dá)到設(shè)定的學(xué)習(xí)次數(shù)為止。了解人工神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)過程的流程如右圖所示。針對數(shù)據(jù)應(yīng)用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行建模，建立的神經(jīng)網(wǎng)絡(luò)有3個輸入節(jié)點、10個隱藏節(jié)點和1個輸出節(jié)點。了解人工神經(jīng)網(wǎng)絡(luò)運行代碼可以得到下圖所示的混淆矩陣圖。了解人工神經(jīng)網(wǎng)絡(luò)從混淆矩陣圖可以看出，訓(xùn)練樣本為30個，預(yù)測正確的個數(shù)為25，預(yù)測準(zhǔn)確率為83.33%，預(yù)測準(zhǔn)確率較低，這是因為神經(jīng)網(wǎng)絡(luò)訓(xùn)練時需要較多樣本，而這里訓(xùn)練樣本較少。需要指出的是，這里的神經(jīng)網(wǎng)絡(luò)預(yù)測案例比較簡單，并沒有考慮過擬合的問題。事實上，神經(jīng)網(wǎng)絡(luò)的擬合能力是很強的，容易出現(xiàn)過擬合現(xiàn)象。與傳統(tǒng)的添加“懲罰項”的做法不同，目前神經(jīng)網(wǎng)絡(luò)（尤其是深度神經(jīng)網(wǎng)絡(luò)）中流行的防止過擬合的方法是隨機地讓部分神經(jīng)網(wǎng)絡(luò)節(jié)點休眠。了解人工神經(jīng)網(wǎng)絡(luò)1了解人工神經(jīng)網(wǎng)絡(luò)目錄了解決策樹2評價分類與回歸模型3對于分類模型，常用的評價指標(biāo)包括準(zhǔn)確率、精確率、召回率、混淆矩陣和ROC曲線等。準(zhǔn)確率準(zhǔn)確率（Accuracy）是指預(yù)測正確的結(jié)果占總樣本的百分比。準(zhǔn)確率定義如式（6-3）所示。 （6-3）式（6-3）中的參數(shù)說明具體如下。TP（TruePositive）：正確地將正樣本預(yù)測為正樣本的分類數(shù)。TN（TrueNegative）：正確地將負(fù)樣本預(yù)測為負(fù)樣本的分類數(shù)。FP（FalsePositive）：錯誤地將負(fù)樣本預(yù)測為正樣本的分類數(shù)。FN（FalseNegative）：錯誤地將正樣本預(yù)測為負(fù)樣本的分類數(shù)。評價分類與回歸模型1.分類模型評價指標(biāo)精確率精確率（Precision）是指所有被預(yù)測為正的樣本中實際為正的樣本的概率。精確率定義如式（6-4）所示。 （6-4）召回率召回率（Recall）是指實際為正樣本預(yù)測為正樣本占實際為正樣本的總數(shù)概率。召回率定義如式（6-5）所示。 （6-5）評價分類與回歸模型混淆矩陣混淆矩陣（ConfusionMatrix）是模式識別領(lǐng)域中一種常用的表達(dá)形式。它用于描述樣本數(shù)據(jù)的真實屬性與識別結(jié)果類型之間的關(guān)系，是評價分類器性能的一種常用指標(biāo)。以一個二分類任務(wù)為例，可將樣本根據(jù)真實類別與預(yù)測的分類結(jié)果的組合劃分為TP、FP、FN、TN這4種情形，并對應(yīng)其樣本數(shù)，則有總樣本數(shù)=TP+FP+FN+TN。分類結(jié)束后的混淆矩陣如下表所示。評價分類與回歸模型真實結(jié)果預(yù)測結(jié)果正類反類正類TPFN反類FPTN而根據(jù)4種情形的預(yù)測結(jié)果，可得出預(yù)測結(jié)果的準(zhǔn)確率（Accuracy）和錯誤率（Fallibility），計算方式如式（6-3）、式（6-6）所示。 （6-6）其中，關(guān)于TP、FP、FN、TN的概念在介紹準(zhǔn)確率評價指標(biāo)時已進(jìn)行說明。評價分類與回歸模型以90個樣本數(shù)據(jù)為例，并將其分成3類，每類含有30個樣本數(shù)據(jù)，對應(yīng)混淆矩陣中應(yīng)用于實際數(shù)據(jù)得到的分類情況如下表所示。評價分類與回歸模型真實結(jié)果預(yù)測結(jié)果類1類2類3類12631類21272類31029第1行的數(shù)據(jù)說明有26個樣本被正確分類，有3個樣本應(yīng)屬于類1，卻錯誤地分到了類2，有1個樣本應(yīng)屬于類1，卻錯誤地分到了類3；第2行的數(shù)據(jù)說明有27個樣本被正確分類，有1個樣本應(yīng)屬于類2，卻錯誤地分到了類1，有2個樣本應(yīng)屬于類2，卻錯誤地分到了類3；第3行的數(shù)據(jù)說明有29個樣本被正確分類，有1個樣本應(yīng)屬于類3，卻錯誤地分到了類1。評價分類與回歸模型ROC曲線接收者操作特征曲線（ReceiverOperatingCharacteristiccurve，ROC曲線）是一種非常有效的模型評價指標(biāo)，可為選定臨界值給出定量提示。如右圖所示，這是以真正率（即正確地將正例預(yù)測為正例的比值）為縱坐標(biāo)、假正率（即錯誤地將負(fù)例預(yù)測為正例的比值）為橫坐標(biāo)繪制的ROC曲線。該曲線下的面積（area）為0.93，而面積的大小與每種方法的優(yōu)劣密切相關(guān)，可反映分類器正確分類的統(tǒng)計概率，因此，其值越接近1說明該算法效果越好。評價分類與回歸模型對于回歸模型，常用的評價指標(biāo)包括絕對誤差與相對誤差、誤差分析中的綜合指標(biāo)（平均絕對誤差、均方誤差、均方根誤差）、平均絕對百分誤差和Kappa統(tǒng)計量等。絕對誤差與相對誤差設(shè)Y表示實際值，表示預(yù)測值，則稱E為絕對誤差（AbsoluteError），計算公式如式（6-7）所示。 （6-7）

e為相對誤差（RelativeError），計算公式如式（6-8）所示。 （6-8）評價分類與回歸模型2．回歸模型評價指標(biāo)有時相對誤差也用百分?jǐn)?shù)表示，如式（6-9）所示。 （6-9）這是一種直觀的誤差表示方法。平均絕對誤差平均絕對誤差（MeanAbsoluteError，MAE）定義如式（6-10）所示。 （6-10）式（6-10）中，MAE表示平均絕對誤差，表示第i個實際值與預(yù)測值的絕對誤差，表示第i個實際值，表示第i個預(yù)測值。由于預(yù)測誤差有正有負(fù)，為了避免正負(fù)相抵消，故取絕對誤差的絕對值進(jìn)行求和并取其均值。評價分類與回歸模型均方誤差均方誤差（MeanSquareError，MSE）定義如式（6-11）所示。 （6-11）式（6-11）中，MSE表示均方誤差，其他符