模式識(shí)別與機(jī)器學(xué)習(xí) 課件 第8、9章 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)、特征選擇與提取

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第八章模式識(shí)別與機(jī)器學(xué)習(xí)新工科建設(shè)·人工智能與智能科學(xué)系列教材01引言簡(jiǎn)單來(lái)說(shuō)，人工神經(jīng)網(wǎng)絡(luò)是指模仿生物大腦的結(jié)構(gòu)和功能，采用數(shù)學(xué)和物理方法進(jìn)行研究而構(gòu)成的一種信息處理系統(tǒng)或計(jì)算機(jī)。人是地球上具有最高智慧的生物，而人的智能均來(lái)自大腦，人類(lèi)靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷，這些功能是任何被稱(chēng)為電腦的計(jì)算機(jī)都無(wú)法取代的。引言長(zhǎng)期以來(lái)，很多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的研究，試圖建立模仿人類(lèi)大腦的計(jì)算機(jī)。截至目前，雖然人們對(duì)大腦的內(nèi)部工作原理還不甚清楚，但對(duì)其結(jié)構(gòu)已有所了解。引言02感知器感知器的概念美國(guó)學(xué)者F.Rosenblatt在1957年提出了感知器模型，如圖8.1所示。感知器因此，它實(shí)質(zhì)上是一種線(xiàn)性閾值計(jì)算單元，如圖8.2所示。感知器感知器訓(xùn)練算法及其收斂性通過(guò)上面的定義，感知器問(wèn)題就變成了ωi/ωj，兩類(lèi)問(wèn)題。因此，感知器的自組織、自學(xué)習(xí)思想可用于確定性分類(lèi)器的訓(xùn)練。這就是感知器訓(xùn)練方法。感知器針對(duì)ωi/ωj兩類(lèi)問(wèn)題，可以利用增廣模式向量、增廣加權(quán)向量和判決規(guī)則感知器感知器準(zhǔn)則函數(shù)及梯度法我們知道，一個(gè)函數(shù)的梯度指明了其自變量增加時(shí)該函數(shù)的最大增大率方向，負(fù)梯度則指明了同樣條件下函數(shù)的最陡下降方向?；谔荻群瘮?shù)這一重要性質(zhì)，下面介紹梯度法。感知器求函數(shù)f（w）的數(shù)值解時(shí)，通常只能求出某種意義下的最優(yōu)解，即首先定義一個(gè)準(zhǔn)則函數(shù)，然后在使此準(zhǔn)則函數(shù)最大或最小的情況下，求出f（w）的解。梯度法首先確定一個(gè)準(zhǔn)則函數(shù)J（w），然后選擇一個(gè)初值w（1），通過(guò)迭代方法找到w的數(shù)值解。感知器03多層前向神經(jīng)網(wǎng)絡(luò)一般來(lái)說(shuō)，一個(gè)人工神經(jīng)元網(wǎng)絡(luò)由多層神經(jīng)元結(jié)構(gòu)組成，而每層神經(jīng)元都包含輸入和輸出兩部分。每層神經(jīng)網(wǎng)絡(luò)Iayer（i）（i表示網(wǎng)絡(luò)層數(shù)）由Ni個(gè)網(wǎng)絡(luò)神經(jīng)元組成，layer（i-1）層神經(jīng)元的輸出是layer（i）層神經(jīng)元的輸入。多層前向神經(jīng)網(wǎng)絡(luò)多層前向神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)涉及網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的數(shù)量，以及網(wǎng)絡(luò)的層數(shù)、神經(jīng)元的激活函數(shù)、初始值和學(xué)習(xí)算法等。對(duì)于多層感知器網(wǎng)絡(luò)來(lái)說(shuō)，輸入層和輸出層的神經(jīng)元數(shù)量可以根據(jù)需要求解的問(wèn)題來(lái)確定。多層前向神經(jīng)網(wǎng)絡(luò)因此，多層感知器網(wǎng)絡(luò)的設(shè)計(jì)一般應(yīng)從網(wǎng)絡(luò)的層數(shù)、隱藏層中的神經(jīng)元數(shù)量、神經(jīng)元的激活函數(shù)、初始值和學(xué)習(xí)率等方面來(lái)考慮。在設(shè)計(jì)過(guò)程中，應(yīng)當(dāng)盡可能地減小神經(jīng)網(wǎng)絡(luò)模型的規(guī)模，以便縮短網(wǎng)絡(luò)的訓(xùn)練時(shí)間。多層前向神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)基本BP算法包括兩個(gè)方面：信號(hào)的正向傳播和誤差的反向傳播。也就是說(shuō)，計(jì)算實(shí)際輸出時(shí)按從輸入到輸出的方向進(jìn)行，而權(quán)值和閾值的修正從輸出到輸入的方向進(jìn)行。多層前向神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖8.6所示。多層前向神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)（RedialBasisFunction，RBF）神經(jīng)網(wǎng)絡(luò)是由J.Moody和C.Darken于20世紀(jì)80年代末提出的一種神經(jīng)網(wǎng)絡(luò)模型。它是由輸入層、隱藏層（徑向基層）和線(xiàn)性輸出層組成的前向神經(jīng)網(wǎng)絡(luò)。多層前向神經(jīng)網(wǎng)絡(luò)04自組織特征映射神經(jīng)網(wǎng)絡(luò)生物學(xué)研究表明，在人腦的感覺(jué)通道上，神經(jīng)元的組織原理是有序排列的。當(dāng)外界的特定時(shí)空信息輸入時(shí)，大腦皮層的特定區(qū)域興奮，而且類(lèi)似的外界信息在對(duì)應(yīng)的區(qū)域中是連續(xù)映像的。自組織特征映射神經(jīng)網(wǎng)絡(luò)生物視網(wǎng)膜中有許多特定的細(xì)胞對(duì)特定的圖形比較敏感，當(dāng)視網(wǎng)膜中有若干接收單元同時(shí)受特定模式刺激時(shí);就使大腦皮層中的特定神經(jīng)元開(kāi)始興奮，輸入模式接近，與之對(duì)應(yīng)的興奮神經(jīng)元也接近。在聽(tīng)覺(jué)通道上，神經(jīng)元在結(jié)構(gòu)排列上與頻率的關(guān)系十分密切，對(duì)于某個(gè)頻率，特定的神經(jīng)元具有最大的響應(yīng)，位置相鄰的神經(jīng)元具有相近的頻率特征，而相互遠(yuǎn)離的神經(jīng)元具有的頻率特征差別也較大。自組織特征映射神經(jīng)網(wǎng)絡(luò)SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入層：通過(guò)加權(quán)向量將外界信息匯集到輸出層的各神經(jīng)元。輸入層的形式與BP神經(jīng)網(wǎng)絡(luò)的相同，節(jié)點(diǎn)數(shù)與樣本維數(shù)相同。輸出層：輸出層也是競(jìng)爭(zhēng)層。其神經(jīng)元的排列有多種形式，分為一維線(xiàn)陣、二維平面陣和三維柵格陣。自組織特征映射神經(jīng)網(wǎng)絡(luò)最典型的結(jié)構(gòu)是二維形式，它更具大腦皮層的形象，如圖8.11所示。自組織特征映射神經(jīng)網(wǎng)絡(luò)05深度學(xué)習(xí)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，主要是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展，現(xiàn)已廣泛應(yīng)用于人工智能的很多方面。如圖像分類(lèi)、目標(biāo)檢測(cè)、景深估計(jì)、超分辨重建等，并取得了非常好的效果。深度學(xué)習(xí)在機(jī)器學(xué)習(xí)的發(fā)展歷程中，人工神經(jīng)網(wǎng)絡(luò)曾是非常熱的一個(gè)領(lǐng)域，但是后來(lái)由于人工神經(jīng)網(wǎng)絡(luò)的理論分析較為困難。在當(dāng)時(shí)的計(jì)算機(jī)等硬件水平下，其他一些人工智能方法有著不輸人工神經(jīng)網(wǎng)絡(luò)的效率，人工神經(jīng)網(wǎng)絡(luò)的研宄逐漸退出了人們的視野。深度學(xué)習(xí)2006年，Hinton提出了逐層訓(xùn)練的思想，并且利用逐層訓(xùn)練建立的網(wǎng)絡(luò)模型在分類(lèi)方面取得了很好的效果，使得深度學(xué)習(xí)被研究人員所關(guān)注。2012年，Krizhevsky等人提出了深度網(wǎng)絡(luò)模型AlexNet，該網(wǎng)絡(luò)模型在2012年的Imagenet挑戰(zhàn)中取得了最好的分類(lèi)效果。深度學(xué)習(xí)深度學(xué)習(xí)的應(yīng)用范圍十分廣泛，在圖像處理方面，有2012年用于圖片級(jí)別分類(lèi)（確定整張圖片包含的內(nèi)容屬于什么類(lèi)）的AlexNet。有2014年用于像素級(jí)別分類(lèi)（確定一張圖片中的每個(gè)像素屬于什么類(lèi)）的全卷積網(wǎng)絡(luò)FCN，還有2015年用于圖像超分辨重建和單張圖片景深估計(jì)方面的深度卷積網(wǎng)絡(luò)。深度學(xué)習(xí)自2016年以來(lái)，一些基于深度學(xué)習(xí)的圖像問(wèn)答研究取得了一定的進(jìn)展。在工業(yè)界，各種IT巨頭也對(duì)深度學(xué)習(xí)表現(xiàn)出了足夠的重視。Google、Baidu、Microsoft等公司均成立了專(zhuān)門(mén)的研究院，并且取得了有意義的研究成果。深度學(xué)習(xí)研究深度學(xué)習(xí)的相關(guān)模型對(duì)計(jì)算機(jī)的硬件水平有一定的要求，而現(xiàn)在的計(jì)算機(jī)硬件發(fā)展十分迅速。各種高性能的CPU處理器、強(qiáng)大的GPU運(yùn)算單元、存儲(chǔ)量巨大的硬盤(pán)等，都為深度學(xué)習(xí)的發(fā)展建立了理想的平臺(tái)，深度學(xué)習(xí)領(lǐng)域的相關(guān)研究成果呈現(xiàn)出爆炸式增長(zhǎng)。深度學(xué)習(xí)近年來(lái)，深度學(xué)習(xí)發(fā)展十分迅速，研究人員提出了大量的深度學(xué)習(xí)模型。本節(jié)詳細(xì)介紹深度學(xué)習(xí)的幾個(gè)常用模型。包括堆棧式自編碼網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)。深度學(xué)習(xí)堆棧式自編碼網(wǎng)絡(luò)（SAE）前面在對(duì)比淺層學(xué)習(xí)和深度學(xué)習(xí)時(shí)說(shuō)過(guò)，簡(jiǎn)單地增加淺層人工神經(jīng)網(wǎng)絡(luò)的層數(shù)并不能得到深度學(xué)習(xí)模型。原因是簡(jiǎn)單增加層數(shù)后，訓(xùn)練時(shí)會(huì)出現(xiàn)梯度擴(kuò)散（膨脹）問(wèn)題。深度學(xué)習(xí)深度置信網(wǎng)絡(luò)（DBN）RBM結(jié)構(gòu)示意圖如圖8.16所示。深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）是另一種深度學(xué)習(xí)模型，現(xiàn)已成為語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更加類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，因此降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）RNN是一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它是根據(jù)“人的認(rèn)知基于過(guò)往的經(jīng)驗(yàn)和記憶”這一觀(guān)點(diǎn)提出的。與CNN不同的是，它不僅考慮前一時(shí)刻的輸入，而且賦予網(wǎng)絡(luò)對(duì)前面的內(nèi)容的一種“記憶”功能。深度學(xué)習(xí)生成對(duì)抗網(wǎng)絡(luò)（GAN）圖8.26中顯示了GAN模型中的生成模型和判別模型。深度學(xué)習(xí)擴(kuò)散模型擴(kuò)散模型（DiffusionModel）是深度生成模型中最先進(jìn)的模型之一。擴(kuò)散模型在圖像合成任務(wù)上超越了GAN模型，且在其他多項(xiàng)任務(wù)上也表現(xiàn)出了較大的潛力，如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和多模態(tài)建模等。深度學(xué)習(xí)Transformer模型Transformer模型是一種基于注意力機(jī)制的深度學(xué)習(xí)模型，最初用于自然語(yǔ)言處理（NLP）任務(wù)，在機(jī)器翻譯中表現(xiàn)尤其出色。Transformer的主要貢獻(xiàn)是提出了自注意力（Self-Attention）機(jī)制和多頭（Multi-Head）注意力機(jī)制。深度學(xué)習(xí)06小結(jié)人類(lèi)關(guān)于認(rèn)知的探索由來(lái)已久。早在公元前400年左右，希臘哲學(xué)家柏拉圖和亞里士多德等就對(duì)人類(lèi)認(rèn)知的性質(zhì)和起源進(jìn)行過(guò)思考，并且發(fā)表了有關(guān)記憶和思維的論述。在此及以后很長(zhǎng)的一段時(shí)間內(nèi)，由于受限于科學(xué)技術(shù)發(fā)展水平，人們對(duì)人腦的認(rèn)識(shí)主要停留在觀(guān)察和猜測(cè)之上，缺乏對(duì)人腦內(nèi)部結(jié)構(gòu)及工作原理的了解。小結(jié)直到20世紀(jì)40年代，隨著神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)及神經(jīng)元的電生理過(guò)程等的研究取得突破性進(jìn)展，人們對(duì)人腦的結(jié)構(gòu)、組成及最基本工作單元才有了越來(lái)越充分的認(rèn)識(shí)。在此基本認(rèn)識(shí)的基礎(chǔ)上，綜合數(shù)學(xué)、物理學(xué)及信息處理等學(xué)科的方法對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并且建立簡(jiǎn)化的模型——人工神經(jīng)網(wǎng)絡(luò)。小結(jié)特征選擇與提取第九章模式識(shí)別與機(jī)器學(xué)習(xí)新工科建設(shè)·人工智能與智能科學(xué)系列教材01引言模式識(shí)別中的特征選擇問(wèn)題，是指在模式識(shí)別問(wèn)題中，采用計(jì)算的方法從一組給定的特征中選擇部分特征進(jìn)行分類(lèi)。這是降低特征空間維數(shù)的一種基本方法，重點(diǎn)在于從D個(gè)特征中選出d（<D）個(gè)特征。引言另一種降低特征空間維數(shù)的方法是特征提取，即采用適當(dāng)?shù)淖儞Q將D個(gè)特征變換成d（<D）個(gè)新特征。這樣做的目的有二：一是降低特征空間的維數(shù)，使后續(xù)分類(lèi)器設(shè)計(jì)在計(jì)算上更易實(shí)現(xiàn)；二是消除特征之間可能存在的相關(guān)性，減少特征中與分類(lèi)器設(shè)計(jì)無(wú)關(guān)的信息，使新特征更利于分類(lèi)。引言02特征選擇的一般流程傳統(tǒng)特征選擇的一般流程如圖9.1所示。特征選擇的一般流程整個(gè)流程包括4個(gè)基本過(guò)程，即生成特征子集、評(píng)價(jià)特征子集、停止條件和驗(yàn)證結(jié)果。特征選擇的過(guò)程如下：首先使用空集（或全集）作為搜索起點(diǎn)，即原始的已選特征子集。特征選擇的一般流程然后使用前向搜索策略從未選特征中選擇一個(gè)特征加入已選特征子集（或使用后向搜索策略從已選特征子集中刪除一個(gè)特征）。已選特征子集中每加入（或每刪除）一個(gè)特征，都需要進(jìn)行評(píng)估；如果終止條件成立，則停止搜索并用學(xué)習(xí)算法驗(yàn)證其性能，否則繼續(xù)使用前向搜索（或后向搜索）進(jìn)行特征選擇。特征選擇的一般流程生成特征子集生成特征子集過(guò)程有兩大重點(diǎn)：一是搜索起點(diǎn)，所謂搜索起點(diǎn)，是指從何處開(kāi)始遍歷，隨之就對(duì)應(yīng)何種搜索策略。二是搜索策略，即采用何種方式遍歷原始特征集合以生成最優(yōu)特征子集。特征選擇的一般流程評(píng)價(jià)準(zhǔn)則作為特征評(píng)估方式，評(píng)價(jià)準(zhǔn)則的優(yōu)劣直接影響特征子集的優(yōu)劣，即便是同一算法，度量方式的差異也可導(dǎo)致最優(yōu)特征子集大相徑庭。評(píng)價(jià)準(zhǔn)則除了描述特征與類(lèi)（或被解釋特征）的相關(guān)性，還能度量特征與特征的冗余性。特征選擇的一般流程因此，一種研究趨勢(shì)是提出不同的評(píng)價(jià)準(zhǔn)則來(lái)改進(jìn)算法?，F(xiàn)有的評(píng)價(jià)準(zhǔn)則大體上分為距離度量、一致性度量、依賴(lài)性度量、信息度量、分類(lèi)正確率或分類(lèi)誤差度量五種。特征選擇的一般流程停止條件和結(jié)果驗(yàn)證停止條件是判斷特征選擇過(guò)程是否結(jié)束的條件。停止條件一般與特征子集性能關(guān)系密切。設(shè)置閾值（指定的分類(lèi)準(zhǔn)確率、最大運(yùn)行時(shí)間、最大迭代次數(shù)等）比較普遍，達(dá)到閾值便停止搜索，返回當(dāng)前的特征子集。特征選擇的一般流程另外，特征空間搜索完畢，特征選擇過(guò)程自然就結(jié)束了。結(jié)果驗(yàn)證是指用最終返回的特征子集來(lái)訓(xùn)練學(xué)習(xí)器，驗(yàn)證其有效性，保證原始特征集合可被其取代，進(jìn)而簡(jiǎn)化后續(xù)分析。特征選擇的一般流程03特征選擇方法特征選擇方法的分類(lèi)方式有多種。根據(jù)有無(wú)類(lèi)特征，可分為監(jiān)督、無(wú)監(jiān)督特征選擇算法；根據(jù)搜索策略，可分為全局最優(yōu)、序列和隨機(jī)搜索的特征選擇算法。特征選擇方法根據(jù)評(píng)價(jià)準(zhǔn)則，可分為距離度量、一致性度量、依賴(lài)性度量、信息度量以及分類(lèi)正確率或錯(cuò)誤率度量標(biāo)準(zhǔn)特征選擇算法。根據(jù)特征選擇和學(xué)習(xí)器的不同結(jié)合方式，可分為過(guò)濾式（Filter）、封裝式（Wrapper）、嵌入式（Embedded）和集成式（Ensemble），詳見(jiàn)下面的介紹。特征選擇方法過(guò)濾式特征選擇方法過(guò)濾式特征選擇算法和學(xué)習(xí)算法互不相干，特征選擇是后者的預(yù)處理過(guò)程，學(xué)習(xí)算法是前者的驗(yàn)證過(guò)程。過(guò)濾式特征選擇依照其特征選擇框架的不同，又可分為基于特征排序和基于搜索策略。特征選擇方法封裝式特征選擇方法封裝式方法是一種特征選擇過(guò)程與學(xué)習(xí)算法相結(jié)合的特征選擇方法。例如，AB-CRO算法就是基于封裝式框架的。特征選擇方法封裝式方法將選用的學(xué)習(xí)器封裝成黑盒，根據(jù)它在特征子集上的預(yù)測(cè)精度來(lái)評(píng)價(jià)所選特征的優(yōu)良，然后采用搜索策略調(diào)整子集，最終獲得近似的最優(yōu)子集，如圖9.5所示。特征選擇方法嵌入式特征選擇方法嵌入式特征選擇算法嵌在學(xué)習(xí)算法中，分類(lèi)算法訓(xùn)練過(guò)程結(jié)束，就可得到特征子集。嵌入式特征選擇方法可以解決基于特征排序的過(guò)濾式算法結(jié)果冗余度過(guò)高的問(wèn)題，還可以解決封裝式算法時(shí)間復(fù)雜度過(guò)高的問(wèn)題，是過(guò)濾式特征選擇算法和封裝式特征選擇算法的折中。特征選擇方法集成式特征選擇方法借鑒集成學(xué)習(xí)思想，集成式特征選擇算法訓(xùn)練多個(gè)特征選擇方法，整合所有特征選擇方法的結(jié)果，可以獲得比單個(gè)特征選擇方法更好的性能。隨機(jī)森林（RF）是一種集成式特征選擇算法。特征選擇方法通過(guò)引入“裝袋”思想，很多特征選擇算法可以改進(jìn)為集成式特征選擇算法。例如，ECGS-RG、四階段特征選擇算法本質(zhì)上都是集成算法，可以提高算法的穩(wěn)定性，并且適用于高維小樣本量數(shù)據(jù)。特征選擇方法04線(xiàn)性特征提取方法線(xiàn)性判別分析線(xiàn)性判別分析（LinearDiscriminantAnalysis，LDA）又稱(chēng)Fisher線(xiàn)性判別分析，是模式識(shí)別的經(jīng)典算法，是在1996年由Belhumeur引入模式識(shí)別和人工智能領(lǐng)域的。LDA的基本思想是，將高維模式樣本投影到最佳判別向量空間，以達(dá)到提取分類(lèi)信息和壓縮特征空間維數(shù)的效果，投影后保證模式樣本在新的子空間中有最大的類(lèi)間距離和最小的類(lèi)內(nèi)距離，即模型在該空間中具有最佳的可分性。線(xiàn)性特征提取方法因此，LDA是一種有效的特征提取方法。使用這種方法能夠使投影后的模型樣本的類(lèi)間散度矩陣最大，同時(shí)使類(lèi)內(nèi)散度矩陣最小。線(xiàn)性特征提取方法圖9.7中顯示了樣本在不同方向上的投影。線(xiàn)性特征提取方法主成分分析方法主成分分析（PrincipalComponentAnalysis，PCA）方法是目前應(yīng)用很廣泛的一種代數(shù)特征提取方法?？梢哉f(shuō)是一種常用的基于變量協(xié)方差矩陣對(duì)樣本中的信息進(jìn)行處理、壓縮和提取的有效方法。線(xiàn)性特征提取方法這種方法保留了原向量在與其協(xié)方差矩陣最大特征值相對(duì)應(yīng)的特征向量方向上的投影，即主成分，因此稱(chēng)為主成分分析。由于PCA方法在進(jìn)行降維處理和人臉特征提取方面的有效性，在人臉識(shí)別領(lǐng)域中得到了廣泛應(yīng)用。線(xiàn)性特征提取方法0