深度學(xué)習(xí)技術(shù)與應(yīng)用 課件 第2章 - 機(jī)器學(xué)習(xí)基礎(chǔ)術(shù)語

深度學(xué)習(xí)技術(shù)與應(yīng)用DeepLearningTechnologyandApplicationcontents目錄01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語Machinelearningrelatedterms02.機(jī)器學(xué)習(xí)評估方法Machinelearningevaluationmethod03.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning第二章機(jī)器學(xué)習(xí)基礎(chǔ)術(shù)語PART1機(jī)器學(xué)習(xí)相關(guān)術(shù)語關(guān)聯(lián)泛化擬合降維01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語Machinelearningrelatedterms數(shù)據(jù)集示例或樣本屬性或特征屬性值 數(shù)據(jù)集（dataset）：數(shù)據(jù)集合或資料集合，是一種由數(shù)據(jù)所組成的集合。 樣本（sample）/示例（instance）：研究中實(shí)際觀測或調(diào)查的一部分個(gè)體。 特征（feature）/屬性（attribute）：根據(jù)數(shù)據(jù)所共有的特性抽象出某一概念即特征。 屬性空間（attributespace）/樣本空間（samplespace）：為了研究試驗(yàn)，首先需要知道這個(gè)試驗(yàn)可能出現(xiàn)的結(jié)果。在機(jī)器學(xué)習(xí)中，它會被稱為“標(biāo)簽”（label），用于標(biāo)記數(shù)據(jù)。值得注意的是，數(shù)據(jù)集中不一定包含標(biāo)簽信息，而這種區(qū)別會引起方法上的差別。如果想診斷病人的病情，例如是傷風(fēng)感冒還是流行性感冒，這些數(shù)據(jù)是不夠的，除了咳嗽狀態(tài)以外，還需要每個(gè)病人的具體病理。標(biāo)簽（label）01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語Machinelearningrelatedterms屬性空間或稱為“樣本空間”（samplespace）是將數(shù)據(jù)集映射到一個(gè)更高維的空間，屬性空間中的屬性是對原始數(shù)據(jù)更高維的抽象。為了研究試驗(yàn)，首先需要知道這個(gè)試驗(yàn)可能出現(xiàn)的結(jié)果。這些結(jié)果稱為樣本，樣本全體構(gòu)成樣本空間。特征向量將數(shù)據(jù)集映射到一個(gè)更高維的空間，屬性空間中的屬性是對原始數(shù)據(jù)更高維的抽象，而這組高維的抽象變換通?？梢杂善涮卣飨蛄客耆枋?。01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語Machinelearningrelatedterms訓(xùn)練數(shù)據(jù)訓(xùn)練數(shù)據(jù)在機(jī)器學(xué)習(xí)的過程中使用，目的是找出一套機(jī)器學(xué)習(xí)的方法。測試數(shù)據(jù)測試數(shù)據(jù)用于判斷找出的方法是否足夠有效。01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語MachinelearningrelatedtermsMachineLearning輸出輸入模型數(shù)據(jù)答案機(jī)器學(xué)習(xí)從數(shù)據(jù)中學(xué)得模型，這個(gè)過程叫做學(xué)習(xí)（learning）或

訓(xùn)練（training）離散與連續(xù)二分類多分類回歸如果訓(xùn)練的結(jié)果為（是傷風(fēng)感冒/不是傷風(fēng)感冒）之類離散的類型，則稱為“分類”（Classification），如果類別只有兩種則稱為“二分類”（BinaryClassification）如果類別大于兩種以上則稱為“多分類”（multiclassclassification）。如果我們訓(xùn)練的結(jié)果是得傷風(fēng)感冒的概率為0.77、0.36、0.91之類連續(xù)的數(shù)字，則稱為“回歸”（regression）。01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語Machinelearningrelatedterms簇內(nèi)距離和簇間距離簇內(nèi)距離是越小越好，簇內(nèi)的元素越相似越好；而簇間距離越大越好，簇間（不同簇）元素越不相同越好。簇?zé)o監(jiān)督學(xué)習(xí)是學(xué)習(xí)沒有給定標(biāo)簽的數(shù)據(jù)集，比如有一組病人到醫(yī)院看病，護(hù)士會根據(jù)病人的體溫、疼痛等級等信息自己分析哪些狀況類型比較接近的，根據(jù)相同與相似點(diǎn)列出分組清單，說明哪些病人比較可能是同一類別的，這個(gè)過程可以稱為“聚類”（clustering）。將訓(xùn)練集中的樣本分成若干組，每組成為一個(gè)“簇”（cluster），學(xué)習(xí)過程中的訓(xùn)練樣本不擁有標(biāo)記信息。01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語Machinelearningrelatedterms泛化能力根據(jù)簇劃分能力適用于沒有在訓(xùn)練集中出現(xiàn)的樣本，學(xué)習(xí)模型適用于新樣本的能力，稱為“泛化能力”（generalizationability）。泛化能力（generalizationability）學(xué)習(xí)模型適用于新樣本的能力泛化誤差（generalizationerror）在新樣本上表現(xiàn)出的誤差01.機(jī)器學(xué)習(xí)相關(guān)術(shù)語Machinelearningrelatedterms在努力實(shí)現(xiàn)誤差最小化的過程中，一定會導(dǎo)致泛化性能出現(xiàn)精度過高與過低的現(xiàn)象，在機(jī)器學(xué)習(xí)中稱為“過擬合”（overfitting），與“過擬合”相對的是“欠擬合”（underfitting）。過擬合/欠擬合（overfitting/underfitting）在新樣本上表現(xiàn)出的誤差分類（classification）：是指按照種類、屬性特征或性質(zhì)分別歸類。關(guān)聯(lián)（associated）：事物相互之間發(fā)生牽連和影響關(guān)系。關(guān)聯(lián)規(guī)則（associationrules）：反映一個(gè)事物與其他事物之間的相互依存性和關(guān)聯(lián)性。降維（dimensionreduction）：減少數(shù)據(jù)集中的特征數(shù)。PART2機(jī)器學(xué)習(xí)評估方法留出法交叉驗(yàn)證法自助法評估模型02.機(jī)器學(xué)習(xí)評估方法Machinelearningevaluationmethod留出法（holdout）在數(shù)據(jù)集中將按一定的比例數(shù)據(jù)作為訓(xùn)練模型數(shù)據(jù)集，剩下的數(shù)據(jù)集作為測試集，通過測試集來驗(yàn)證訓(xùn)練模型結(jié)果。在原始數(shù)據(jù)較少的情況下，驗(yàn)證集和測試集包含的樣本就很少，無法代表數(shù)據(jù)，如果在數(shù)據(jù)劃分為三個(gè)集合之前，將數(shù)據(jù)進(jìn)行隨機(jī)打亂，存在著最終得到的模型性能差別很大的問題。02.機(jī)器學(xué)習(xí)評估方法Machinelearningevaluationmethod交叉驗(yàn)證法（crossvalidation）又稱為“K折驗(yàn)證”（K-foldvalidation），先將數(shù)據(jù)劃分為大小相同的K個(gè)分區(qū)。對于每個(gè)分區(qū)，在剩余的K-1個(gè)分區(qū)上訓(xùn)練模型，然后在測試分區(qū)上評估模型，最終求出K個(gè)測試結(jié)果的平均值。對于不同訓(xùn)練集與測試集的劃分，如果模型性能的變化很大，那么這種方法很有用。與留出驗(yàn)證一樣，這種方法也需要獨(dú)立的驗(yàn)證集進(jìn)行模型校正。在原始數(shù)據(jù)比較大時(shí)，訓(xùn)練計(jì)算開銷較大。02.機(jī)器學(xué)習(xí)評估方法Machinelearningevaluationmethod自助法（bootstrapping）從給定訓(xùn)練集中有放回的隨機(jī)抽樣，也就是說，每當(dāng)選中一個(gè)樣本，有可能再次選中已經(jīng)選擇過得樣本并被再次添加到訓(xùn)練集中。由于自助法產(chǎn)生的數(shù)據(jù)集改變了原始數(shù)據(jù)集的分布，這會產(chǎn)生估計(jì)偏差，不適合原始數(shù)據(jù)比較大的場合。在原始數(shù)據(jù)足夠時(shí)，留出法和交叉驗(yàn)證法更常用。評估模型的注意事項(xiàng)1.訓(xùn)練集和測試集都能夠代表當(dāng)前數(shù)據(jù)。2.評估模型與預(yù)測時(shí)間有關(guān)時(shí)，應(yīng)該確保測試集中所有數(shù)據(jù)的時(shí)間都晚于訓(xùn)練集數(shù)據(jù)，且劃分?jǐn)?shù)據(jù)前不應(yīng)該隨機(jī)打亂數(shù)據(jù)。3.降低數(shù)據(jù)冗余，盡可能的降低訓(xùn)練集和驗(yàn)證集之間的交集。測試集模型時(shí)間降維損失交叉擬合泛化訓(xùn)練集02.機(jī)器學(xué)習(xí)評估方法MachinelearningevaluationmethodPART3深度學(xué)習(xí)基礎(chǔ)知識線性回歸人工神經(jīng)網(wǎng)絡(luò)激活函數(shù)損失函數(shù)03.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning銷售總數(shù)100銷售總數(shù)銷售總數(shù)銷售總數(shù)2003004005006007008000在統(tǒng)計(jì)學(xué)中，只包括一個(gè)自變量和一個(gè)因變量且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸;如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且自變量之間存在線性相關(guān)，則稱為多重線性回歸。線性回歸毛利潤純利潤350萬500萬300萬（萬元）650萬420萬220萬240萬700萬03.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning根據(jù)理論回歸模型公式（2.1）將Y和X之間的依存關(guān)系可表示一元線性回歸方程式（2.2）。公式（2.2）中為y的估計(jì)值，也稱為y的擬合值或回歸值。最小二乘估計(jì)法，使得擬合回歸直線上的對應(yīng)的實(shí)際觀測值y之間的差為最小,而最優(yōu)擬合線應(yīng)該使各點(diǎn)到直線的距離的平方和（殘差平方和SSE）最小。03.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,即ANN）在神經(jīng)網(wǎng)絡(luò)中這些節(jié)點(diǎn)連接模擬了神經(jīng)元“樹突”與“突觸”的行為，信息從一個(gè)神經(jīng)元傳遞到另一個(gè)神經(jīng)元，在傳遞過程時(shí)模擬了生物神經(jīng)元之間傳遞的神經(jīng)遞質(zhì)的量我們稱為“權(quán)重”（weight）也就是訓(xùn)練出來的特征值，每一個(gè)連接都有“權(quán)重”（weight），發(fā)送到每個(gè)連接的值要乘以這個(gè)權(quán)重并加上“偏置”（bias），并在輸出時(shí)作用了一個(gè)實(shí)現(xiàn)非線性結(jié)果的函數(shù)，稱為激活函數(shù)（activationfunction）。Sigmoid函數(shù)取值范圍為（0,1），在二分類的概率中常常用這個(gè)函數(shù)。在特征相差不大時(shí)效果較好，具有較好的對稱性。01Tanh函數(shù)取值范圍為（-1,1），它不會像Sigmoid函數(shù)在導(dǎo)數(shù)從0開始很快就又趨近于0，而造成梯度消失現(xiàn)象，雖然解決了原點(diǎn)對稱問題但是并沒有徹底解決梯度消失現(xiàn)象。02ReLU函數(shù)又稱為線性整流函數(shù)，用于隱層神經(jīng)元輸出，彌補(bǔ)了Sigmoid函數(shù)以及Tanh函數(shù)的部分梯度消失問題，而且收斂速度更快、計(jì)算速度更快。03Softmax又稱為歸一化指數(shù)函數(shù)，取值范圍為[0,1]，用于多分類神經(jīng)網(wǎng)絡(luò)輸出，是二分類函數(shù)sigmoid在多分類上的推廣，在二分類問題時(shí)與sigmoid是一樣的，softmax目的是將多分類的結(jié)果以概率的形式展現(xiàn)出來且概率和為1。0403.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning激活函數(shù)（activationfunction）

在人工神經(jīng)網(wǎng)絡(luò)的神經(jīng)元上運(yùn)行的函數(shù)，它通過一定的公式將輸入的線性值逼近任何非線性值的函數(shù)，讓神經(jīng)網(wǎng)絡(luò)可以應(yīng)用到其他非線性模型中。多層感知機(jī)當(dāng)然單個(gè)神經(jīng)元是無法執(zhí)行高度復(fù)雜的任務(wù)，因此，使用多個(gè)神經(jīng)元構(gòu)成一個(gè)層，在這樣的層中每個(gè)神經(jīng)元都連接到第二層的所有神經(jīng)元，即輸入層與輸出層，稱其為“感知機(jī)”（Perceptron）。

如果在輸入層與輸出層之間加入新的層，則稱為隱藏層，具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)就構(gòu)成了所謂的“多層感知機(jī)”MLP（Multi-LayerPerception）。03.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning前向傳播當(dāng)輸入層數(shù)據(jù)通過隱藏層到輸出層的傳播，信息沿著一個(gè)方向前進(jìn)，沒有反響傳播過程叫做“前向傳播”算法(Forwardpropagation)。03.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning反向傳播使用損失函數(shù)梯度來進(jìn)行權(quán)重的更新被稱為反向傳播(Backpropagation)。在反向傳播中，網(wǎng)絡(luò)的運(yùn)動是反向的，誤差隨梯度從外層流入，穿過隱含層，權(quán)重被更新。學(xué)習(xí)速率（learningrate）決定著目標(biāo)函數(shù)能否收斂到局部最小值以及何時(shí)收斂到最小值。學(xué)習(xí)速率選擇必須合理，不能過高或過低。03.深度學(xué)習(xí)基礎(chǔ)知識Basicknowledgeofin-depthlearning梯度消失

與梯度爆炸在多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)時(shí)，如果初始化節(jié)點(diǎn)的權(quán)重較小，那么各個(gè)層次的相乘都是0-1之間的小數(shù)，而激活函數(shù)sigmoid的導(dǎo)數(shù)也是0-1之間，函數(shù)在反向傳播過程連乘，隨著隱藏層數(shù)目的增加，結(jié)果變得越