深度學習綜述

深度學習綜述目錄TOC\o"1-3"\h\u291231深度學習的概念 深度學習綜述摘要：深度學習是機器學習研究中的一個新領域，在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據。近年來，深度學習在各領域上也取得了豐碩的研究成果。本文簡要論述了深度學習的概念、模型、算法以及在各領域的應用，最后說明深度學習的問題及發(fā)展趨勢。關鍵字：深度學習，神經網絡，機器學習ReviewofDeepLearningAbstract:Deepleaningisanewfieldinmachinelearningresearch.Itisawhichsimulatesthehumanbraintoanalyzeandstudythemechanismofthehumantointerpretthedata.Inrecentyears,deepleaninghasachievedfruitfulresultsinvariousfields.Thispaperbrieflydiscussestheconcept,model,algorithmandapplicationinvariousfieldsofdeeplearning.Finally,explainstheproblemsanddevelopmenttrendofdeeplearning.Keywords:Deeplearning,neuralnetwork,machinelearning1深度學習的概念深度學習是機器學習領域一個新的研究方向，近年來在圖像識別與檢索、語言信息處理、語音識別等多領域中都取得較為成功的發(fā)展。深度學習應用的發(fā)展基礎在于建立模型來模擬人類大腦的神經連接結構,在處理圖像、聲音和文本這些信號時,通過多個變換階段分層對數據特征進行描述,進而給出數據的解釋。深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數據的分布式特征表示。深度學習的概念最早G.E.Hinton等于2006年提出?；谏钚哦染W（DBN）提出非監(jiān)督貪心訓練逐層算法，為解決深層結構相關的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。同機器學習方法一樣，深度機器學習方法也有有監(jiān)督學習和無監(jiān)督學習之分，不同的學習框架下建立的學習模型不同。例如卷積神經網絡就是一種深度練網絡將輸入投影到數據的主分量空間中，此時自編碼模型的作用等效于PCA；當隱層非線性時與PCA不同，得到的表示可以堆棧成多層，自編碼模型能夠得到多模態(tài)輸入分布。重構誤差的概率分布可以解釋為非歸一化對數概率密度函數這種特殊形式的能量函數，意味著有低重構誤差的樣例對應的模型具有更高的概率。圖1—4自編碼模型結構自編碼模型的重構誤差的梯度與深度信任網絡的CD更新規(guī)則表達式存在對應關系。堆棧自編碼網絡的結構單元除了上述的自編碼模型之外，還可以使用自編碼模型的一些變形，如降噪自編碼模型和收縮自編碼模型等。降噪自編碼模型避免了一般的自編碼模型可能會學習得到無編碼功能的恒等函數和需要樣本的個數大于樣本的維數的限制，嘗試通過最小化降噪重構誤差，從含隨機噪聲的數據中重構真實的原始輸入。降噪自編碼模型使用由少量樣本組成的微批次樣本執(zhí)行隨機梯度下降算法，這樣可以充分利用圖處理單元的矩陣到矩陣快速運算使得算法能夠更快地收斂。降噪自編碼模型與得分匹配方法直接相關。得分匹配是一種歸納原理，當所求解的問題易于處理時，可以用來代替極大似然求解過程。2深度學習算法2.1深度費希爾映射方法Wong等人提出一種新的特征提取方法——正則化深度費希爾映射方法，學習從樣本空間到特征空間的顯式映射，根據Fisher準則用深度結構神經網絡提高特征的區(qū)分度。深度結構神經網絡具有深度非局部學習結構，從更少的樣本中學習變化很大的數據集中的特點，顯示出比核方法更強的特征識別能力，同時RDFM方法的學習過程由于引入正則化因子，解決了學習能力過強帶來的過擬合問題。在各種類型的數據集上進行試驗，得到的結果說明了在深度學習微調階段運用無監(jiān)督正則化的必要性。2.2非線性變換方法Raiko等人提出了一種非線性變換方法，該變換方法使得多層感知器網絡的每個隱神經元的輸出具有零輸出和平均值上的零斜率，使學習MLP變得更容易。將學習整個輸入輸出函數的線性部分和非線性部分盡可能分開，用shorteut權值建立線性映射模型，令Fisher信息陣接近對角陣，使得標準梯度接近自然梯度。通過實驗證明非線性變換方法的有效性，該變換使得基本隨機梯度學習與當前的學習算法在速度上不相上下，并有助于找到泛化性能更好的分類器。用這種非線性變換方法實現(xiàn)的深度無監(jiān)督自編碼模型進行圖像分類和學習圖像的低維表示的實驗，說明這些變換有助于學習深度至少達到五個隱層的深度結構神經網絡，證明了變換的有效性，提高了基本隨機梯度學習算法的速度，有助于找到泛化性能更好的分類器。2.3稀疏編碼對稱機算法Ranzato等人提出一種新的有效的無監(jiān)督學習算法——稀疏編碼對稱機，能夠在無須歸一化的情況下有效產生稀疏表示。稀疏編碼對稱機的損失函數是重構誤差和稀疏罰函數的加權總和，基于該損失函數比較和選擇不同的無監(jiān)督學習機，提出一種與文獻算法相關的迭代在線學習算法，并在理論和實驗上將稀疏編碼對稱機與深度信任網絡和PCA進行比較，在手寫體數字識別MNIST數據集和實際圖像數據集上進行實驗，表明該方法的優(yōu)越性。2.4遷移學習算法在許多常見學習場景中訓練和測試數據集中的類標簽不同，必須保證訓練和測試數據集中的相似性進行遷移學習。Mesnil等人研究了用于無監(jiān)督遷移學習場景中學習表示的不同種類模型結構，將多個不同結構的層堆棧使用無監(jiān)督學習算法用于五個學習任務，并研究了用于少量已標記訓練樣本的簡單線性分類器堆棧深度結構學習算法。叫研究了無監(jiān)督遷移學習問題，討論了無監(jiān)督預訓練有用的原因，如何在遷移學習場景中利用無監(jiān)督預訓練，以及在什么情況下需要注意從不同數據分布得到的樣例上的預測問題。2.5自然語言解析算法Collobert基于深度遞歸卷積圖變換網絡提出一種快速可擴展的判別算法用于自然語言解析，將文法解析樹分解到堆棧層中，只用極少的基本文本特征，得到的性能與現(xiàn)有的判別解析器和標準解析器的性能相似，而在速度上有了很大提升。2.6學習率自適應方法學習率自適應方法可用于提高深度結構神經網絡訓練的收斂性并且去除超參數中的學習率參數，其中包括全局學習率、層次學習率、神經元學習率和參數學習率等。最近研究人員提出了一些新的學習率自適應方法，如Duchi等人提出的自適應梯度方法和Schaul等人提出的學習率自適應方法；Leroux等人提出自然梯度的對角低秩在線近似方法，并說明該算法在一些學習場景中能加速訓練過程。3深度學習的實際應用3.1語音識別2011年，微軟語音識別采用深度學習技術降低語音識別錯誤20-30%，是該領域十多年來最大的突破性進展。2013年6月18日，微軟宣布已經研發(fā)出一種新型語音識別技術，可提供“接近即時”的語音至文本的轉換服務，比目前的語音識別技術快兩倍。同時，準確率提高了15%，該技術模仿人類大腦對溝通理解的方式。深度神經網絡技術能夠像人類大腦一樣工作，該技術將會取代谷歌等競爭對手在搜索和安卓產品中常用的技術。在國際上，IBM、google等公司都快速進行了深度學習語音識別研究，并且速度飛快。國內方面，科大訊飛、百度、中科院自動化所等公司或研究單位，也在進行深度學習在語音識別上的研究。3.2視頻分析描述視頻的靜態(tài)圖像特征可以采用從imageNet上學習的得到的深度模型。以往的視覺研究方法對動態(tài)特征的描述往往依賴于光流估計、對關鍵點的跟蹤和動態(tài)紋理。如何將這些信息體現(xiàn)在深度模型中是個難點。最直接的做法是將視頻是為三維圖像，直接應用卷積網絡在每一層學習三維濾波器。但是這一思路顯然沒有考慮到時間維和空間維的差異性。另外一種簡單更加有效的思路是，通過與處理計算光流場或其它動態(tài)特征的空間廠分布，作為卷及網絡的一個輸入通道。也有研究工作利用深度編碼器以非線性的方式提取動態(tài)紋理。在最新的研究工作中，長短時記憶網絡受到廣泛關注，它可以捕捉長期依賴性，對視頻中復雜的動態(tài)建模。3.3人臉識別深度學習在物體識別上的另一個重要突破就是人臉識別。人臉識別的最大挑戰(zhàn)是如何區(qū)分由于光線、姿態(tài)和表情等因素引起的類內變化和由于身份不同產生的類間變化。這兩種變化的分布是非線性的，且極為復雜，傳統(tǒng)的線性模型無法將它們有效區(qū)分開。深度學習的目的是通過多層的非線性變換得到新的特征表示。這些特征須盡可能多地去掉內變化，而保留類間變化。人臉識別包括人臉確認和人臉辨識兩種任務。人臉確認是判斷兩張人臉照片是否屬于同一個人的，屬于二分類問題。人臉辨別是將一張人臉分為N個類別之一，類別是由人臉的身份定義的。這個是多分類問題，更具有挑戰(zhàn)性，其難度隨著類別數的增加而增大。兩種任務都可以通過深度模型學習人臉的特征表達。3.4圖像識別和檢索深度信任網絡和堆棧自編碼網絡在單個圖像識別任務中表現(xiàn)出很好的性能，成功用于生成緊湊而有意義的圖像檢索表示形式，并且已用于大型圖像檢索任務中，得到非常好的結果。圖像識別方面比深度信任網絡更一般的方法。Taylor等人將條件深度信任網絡用于視頻排序和人類動作合成，條件深度信任網絡使得深度信任網絡的權值與之前的數據相關聯(lián)，可以提高訓練的有效性。Lee和Raina等人用稀疏編碼和深度信任網絡從自然圖像中學習有效特征表示。Nair等人提出改進的深度信任網絡，該模型的頂層模型用三階BM，他們將這種模型用于三維目標識別任務NORB數據集上，實驗結果顯示出訓練得到了很低的預測誤差率。Tang等人提出兩種策略來提高深度信任網絡的魯棒性，首先將深度信任網絡的第一層具有稀疏連接結構引入正則化方法，接著提出一種概率降噪算法，這些技術在高噪聲圖像識別任務和隨機噪聲的魯棒性方面顯示出其有效性。Lee等人提出一種深度學習方法使腦圖像分割自動化，用卷積神經網絡建立用于腦圖像分割的判別特征，能自動從人類專家提供的類標簽中進行學習，通過實驗驗證該方法在自動多類腦圖像分割方面顯示出優(yōu)越的性能，表明該方法可以替代已有的模板圖像分割方法，減少了圖像分割過程對人類專家的干預和對先驗信息的需求。4深度學習的問題及發(fā)展趨勢深度學習算法在計算機視覺(圖像識別、視頻識別等)和語音識別中的應用,尤其是大規(guī)模數據集下的應用取得突破性的進展,但仍有以下問題值得進一步研究:（1）無標記數據的特征學習目前,標記數據的特征學習仍然占據主導地位,而真實世界存在著海量的無標記數據,將這些無標記數據逐一添加人工標簽,顯然是不現(xiàn)實的.所以,隨著數據集和存儲技術的發(fā)展,必將越來越重視對無標記數據的特征學習,以及將無標記數據進行自動添加標簽技術的研究。（2）模型規(guī)模與訓練速度、訓練精度之間的權衡一般地,相同數據集下,模型規(guī)模越大,訓練精度越高,訓練速度會越慢。例如一些模型方法采用ReLU非線性變換、GPU運算,在保證精度的前提下,往往需要訓練。雖然離線訓練并不影響訓練之后模型的應用,但是對于模型優(yōu)化,諸如模型規(guī)模調整、超參數設置、訓練時調試等問題,訓練時間會嚴重影響其效率。故而,如何在保證一定的訓練精度的前提下,提高訓練速度,依然是深度學習方向研究的課題之一。（3）與其他方法的融合從上述應用實例中可發(fā)現(xiàn),單一的深度學習方法,往往并不能帶來最好的效果,通常融合其他方法或多種方法進行平均打分,會帶來更高的精確率。因此,深度學習方法與其他效果,通常融合其他方法或多種方法進行平均打分,會帶來更高的精確率。因此,深度學習方法與其他方法的融合,具有一定的研究意義.方法的融合,具有一定的研究意義。（4）與其他方法的融合從上述應用實例中可發(fā)現(xiàn),單一的深度學習方法,往往并不能帶來最好的效果,通常融合其他方法或多種方法進行平均打分,會帶來更高的精確率。因此,深度學習方法與其他方法的融合,具有一定的研究意義。5總結深度學習已成功應用于多種模式分類問題。這一領域雖處于發(fā)展初期，但它的發(fā)展無疑會對機器學習和人工智能系統(tǒng)產生影響。同時它仍存在某些不適合處理的特定任務，譬如語言辨識，生成性預訓練提取的特征僅能描述潛在的語音變化，不會包含足夠的不同語言間的區(qū)分性信息；虹膜識別等每類樣本僅含單個樣本的模式分類問題也是不能很好完成的任務。深度學習目前仍有大量工作需要研究。模型方面是否有其他更為有效且有理論依據的深度模型學習算法，探索新的特征提取模型是值得深入研究的內容。此外有效的可并行訓練算法也是值得研究的一個方向。當前基于最小批處理的隨機梯度優(yōu)化算法很難在多計算機中進行并行訓練。通常辦法是利用圖形處理單元加速學習過程，然而單個機器GPU對大