機器學(xué)習(xí)(深度學(xué)習(xí))編年史

機器學(xué)習(xí)編年史引言機器學(xué)習(xí)〔MachineLearning，ML〕可以認為是：通過數(shù)據(jù)，算法使得機器從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對新樣本做分類或者預(yù)測。它是人工智能〔ArtificialIntelligence，AI〕的核心，是使計算機具有智能的根本途徑，其應(yīng)用普及人工智能的各個領(lǐng)域，主要使用歸納、綜合的方法獲取或總結(jié)知識。作為一門交叉領(lǐng)域?qū)W科，它涉及到概率論，統(tǒng)計學(xué)，凸分析，最優(yōu)化，計算機等多個學(xué)科。專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，從而獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。本文將以時間為順序，從兩個大階段介紹機器學(xué)習(xí)，第一局部介紹淺層學(xué)習(xí)階段，第二局部介紹深層學(xué)習(xí)階段，就是所謂的深度學(xué)習(xí)。淺層學(xué)習(xí)階段ArthurSamuel1959年，IBMArthurSamuel的寫出了可以學(xué)習(xí)的西洋棋程序，并發(fā)表了一篇名為《SomeStudiesinMachineLearningUsingtheGameofCheckers》的論文中，定義并解釋了一個新詞—機器學(xué)習(xí)〔MachineLearning，ML〕。將機器學(xué)習(xí)非正式定義為”在不直接針對問題進行編程的情況下，賦予計算機學(xué)習(xí)能力的一個研究領(lǐng)域”。圖1ArthurSamuel的西洋棋1957年，Rosenblatt創(chuàng)造了感知機〔或稱感知器，Perceptron〕[1]，是神經(jīng)網(wǎng)絡(luò)的雛形，同時也是支持向量機的根底，在當時引起了不小的轟動。感知機是二類分類的線性分類模型，其輸入為實例的特征向量，輸出為實例的類別，取+1和-1二值。感知機對應(yīng)于輸入空間〔特征空間〕中將實例劃分為正負兩類的別離超平面，屬于判別模型。感知機學(xué)習(xí)旨在求出將訓(xùn)練數(shù)據(jù)進行線性劃分的別離超平面。圖2.1感知機算法其實設(shè)計感知器的初衷是制造一個識別用的機器，而不是一個算法。雖然它的第一次實現(xiàn)是在IBM704上安裝的軟件中，但它隨后在定制的硬件實現(xiàn)“Mark1感知器”。這臺機器是用于圖像識別，它擁有一個容量為400的光電池陣列，隨機連接到“神經(jīng)元”，連接權(quán)重使用電位編碼，而且在學(xué)習(xí)期間由電動馬達實施更新。圖2.2Mark1感知器1960年，Widrow創(chuàng)造了Delta學(xué)習(xí)規(guī)那么，即如今的最小二乘問題，立刻被應(yīng)用到感知機中，并且得到了一個極好的線性分類器。Delta學(xué)習(xí)規(guī)那么是一種簡單的有導(dǎo)師學(xué)習(xí)算法，該算法根據(jù)神經(jīng)元的實際輸出與期望輸出差異來調(diào)整連接權(quán)，其數(shù)學(xué)表示如下：1969年，Minskey提出了著名的XOR問題[2]，論證了感知器在類似XOR問題的線性不可分數(shù)據(jù)的無力，以至于其后十年被稱為“冷靜時期”，給感知機畫上了一個逗號，以洪荒之力將如火如荼將的ML暫時封印了起來。Rosenblatt在這之后兩年郁郁而終與此也不無關(guān)系，雖然當時Rosenblatt才43歲，雖然Rosenblatt死于游艇意外事故……圖3XOR問題1970年，SeppoLinnainmaa首次完整地表達了自動鏈式求導(dǎo)方法〔AutomaticDifferentiation，AD〕[3]，是著名的反向傳播算法〔BackPropagation，BP〕的雛形，但在當時并沒有引起重視。圖4AD算法流程圖1974年，Werbos首次提出把BP算法的思想應(yīng)用到神經(jīng)網(wǎng)絡(luò)，也就是多層感知機〔MultilayerPerception，MLP〕[4]，并在1982年實現(xiàn)[5]，就是現(xiàn)在通用的BP算法，促成了第二次神經(jīng)網(wǎng)絡(luò)大開展。MLP或者稱為人工神經(jīng)網(wǎng)絡(luò)〔ArtificialNeuralNetwork，ANN〕是一個帶有單隱層的神經(jīng)網(wǎng)絡(luò)。圖5MLP模型1985-1986年，Rumelhart，Hinton等許多神經(jīng)網(wǎng)絡(luò)學(xué)者成功實現(xiàn)了實用的BP算法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)[6][7]，并在很長一段時間內(nèi)BP都作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的專用算法。圖6反向傳播算法效果圖1986年，J.R.Quinlan提出了另一個同樣著名的ML算法——決策樹算法〔ID3〕[8]，決策樹作為一個預(yù)測模型，代表的是對象屬性與對象值之間的一種映射關(guān)系，而且緊隨其后涌現(xiàn)出了很多類似或者改良算法，如ID4，回歸樹，CART等。ID3算法是一種貪心算法，用來構(gòu)造決策樹。ID3算法起源于概念學(xué)習(xí)系統(tǒng)〔CLS〕，以信息熵的下降速度為選取測試屬性的標準，即在每個節(jié)點選取還尚未被用來劃分的具有最高信息增益的屬性作為劃分標準，然后繼續(xù)這個過程，直到生成的決策樹能完美分類訓(xùn)練樣例。圖7決策樹算法1995年，YanLeCun提出了卷積神經(jīng)網(wǎng)絡(luò)〔ConvolutionNeuralNetwork，CNN〕[14]，受生物視覺模型的啟發(fā)，通常有至少兩個非線性可訓(xùn)練的卷積層，兩個非線性的固定卷積層，模擬視覺皮層中的V1，V2，Simplecell和Complexcell，在手寫字識別等小規(guī)模問題上，取得了當時世界最好結(jié)果，但是在大規(guī)模問題上表現(xiàn)不佳。圖8用于手寫字識別的LeNet1995年，Vapnik和Cortes提出了強大的支持向量機〔SupportVectorMachine，SVM〕[9]，主要思想是用一個分類超平面將樣本分開從而到達分類效果，具有很強的理論論證和實驗結(jié)果。至此，ML分為NN和SVM兩派。圖9支持向量機1997年，F(xiàn)reund和Schapire提出了另一個堅實的ML模型AdaBoost[10]，該算法最大的特點在于組合弱分類器形成強分類器，可以形象地表述為：“三個臭皮匠賽過諸葛亮”，分類效果比其它強分類器更好。圖10AdaBoost算法2001年，隨著核方法的提出[12]，SVM大占上風，它的主要思想就是通過將低維數(shù)據(jù)映射到高維，從而實現(xiàn)線性可分。至此，SVM在很多領(lǐng)域超過了NN模型。除此之外，SVM還開展了一系列針對NN模型的根底理論，包括凸優(yōu)化、范化間隔理論和核方法。圖11核方法2001年，Breiman提出了一個可以將多個決策樹組合起來的模型隨機森林〔RandomForest，RF〕[11]，它可以處理大量的輸入變量，有很高的準確度，學(xué)習(xí)過程很快，不會產(chǎn)生過擬合問題，具有很好的魯棒性。具體來說，隨機森林就是由多棵CART〔ClassificationAndRegressionTree〕構(gòu)成的。對于每棵樹，它們使用的訓(xùn)練集是從總的訓(xùn)練集中有放回采樣出來的，這意味著，總的訓(xùn)練集中的有些樣本可能屢次出現(xiàn)在一棵樹的訓(xùn)練集中，也可能從未出現(xiàn)在一棵樹的訓(xùn)練集中。在訓(xùn)練每棵樹的節(jié)點時，使用的特征是從所有特征中按照一定比例隨機地無放回的抽取的圖12隨機森林算法2001年，Hochreiter發(fā)現(xiàn)使用BP算法時，在NN單元飽和之后會發(fā)生梯度損失〔梯度擴散〕[17]。簡單來說就是訓(xùn)練NN模型時，超過一定的迭代次數(shù)后，容易過擬合。NN的開展一度陷入停滯狀態(tài)。深層學(xué)習(xí)階段2006年，Hinton和他的學(xué)生在《Science》上發(fā)表了一片文章[13]，同一年另外兩個團隊也實現(xiàn)了深度學(xué)習(xí)[15][16]，從此開啟了深度學(xué)習(xí)〔DeepLearning〕階段，掀起了深度神經(jīng)網(wǎng)絡(luò)即深度學(xué)習(xí)的浪潮。Hinton在2006年提出的深度置信網(wǎng)絡(luò)〔DeepBeliefNetwork，DBN〕開啟了深度學(xué)習(xí)新紀元，他提出了用神經(jīng)網(wǎng)絡(luò)給數(shù)據(jù)降維，就是所謂的稀疏化編碼或者自動編碼。他提出了一個新的神經(jīng)網(wǎng)絡(luò)模型叫做深度置信網(wǎng)絡(luò)〔DeepBeliefNetwork，DBN〕，該網(wǎng)絡(luò)可以看作是限制玻爾茲曼機像壘積木一樣一層一層壘起來的。圖13DBN示意圖限制玻爾茲曼機〔RestrictedBoltzmannMachine，RBM〕是一個簡單的雙層神經(jīng)網(wǎng)絡(luò)，只有輸入、輸出層，沒有隱層，并且層間全連接，層內(nèi)無連接。訓(xùn)練RBM的時候用的是一個能量函數(shù)，由于無法使用梯度下降等常用算法訓(xùn)練最好的連接權(quán)重矩陣，采用Gibbs采樣等方法分批次進行訓(xùn)練，訓(xùn)練好的RBM可以看作輸出層對輸入層的特征提取。RBM訓(xùn)練好之后把它們壘在一起就是DBN的初始權(quán)重，之后對DBN進行訓(xùn)練，這個過程稱為DBN的預(yù)訓(xùn)練。預(yù)訓(xùn)練階段結(jié)束之后就是調(diào)優(yōu)的過程，該過程也可稱為Wake-Sleep過程，包括正向的前饋〔FeedForward，F(xiàn)F〕過程和反向傳播〔BackPropagation，BP〕過程，前饋過程是改每一層的數(shù)據(jù)，反向傳播過程是修改權(quán)重矩陣，這樣反復(fù)調(diào)優(yōu)，一直到輸出值和預(yù)期值誤差最小。圖14深度置信網(wǎng)絡(luò)訓(xùn)練示意圖2009年，微軟研究院和Hinton合作研究基于深度神經(jīng)網(wǎng)絡(luò)的語音識別，歷時兩年取得成果，徹底改變了傳統(tǒng)的語音識別技術(shù)框架，使得相對誤識別率降低25%。2012年，Hinton又帶著學(xué)生在目前最大的圖像數(shù)據(jù)庫ImageNet〔1500萬個圖像，22000種類〕上，對分類問題取得了驚人的結(jié)果，將Top5錯誤率由26%大幅降低至15%。ImageNet是一個計算機視覺系統(tǒng)識別工程，是目前世界上圖像識別最大的數(shù)據(jù)庫。是美國斯坦福的計算機科學(xué)家，模擬人類的識別系統(tǒng)建立的。能夠從圖片識別物體。2012年，由人工智能和機器學(xué)習(xí)頂級學(xué)者AndrewNg和分布式系統(tǒng)頂級專家JeffDean領(lǐng)銜的夢幻陣容，開始打造GoogleBrain工程，用包含16000個CPU核的并行計算平臺訓(xùn)練超過10億個神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)，在語音識別和圖像識別等領(lǐng)域取得了突破性的進展[4]。該系統(tǒng)通過分析YouTube上選取的視頻，采用無監(jiān)督的方式訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，可將圖像自動聚類。在系統(tǒng)中輸入“cat”后，結(jié)果在沒有外界干預(yù)的條件下，識別出了貓臉。2012年，微軟首席研究官RickRashid在21世紀的計算大會上演示了一套自動同聲傳譯系統(tǒng)[5]，將他的英文演講實時轉(zhuǎn)換成與他音色相近、字正腔圓的中文演講。同聲傳譯需要經(jīng)歷語音識別、機器翻譯、語音合成三個步驟。該系統(tǒng)一氣呵成，流暢的效果贏得了一致認可，深度學(xué)習(xí)那么是這一系統(tǒng)中的關(guān)鍵技術(shù)。2013年，Google收購了一家叫DNNResearch的神經(jīng)網(wǎng)絡(luò)初創(chuàng)公司，這家公司只有三個人，GeoffreyHinton和他的兩個學(xué)生。這次收購并不涉及任何產(chǎn)品和效勞，只是希望Hinton可以將深度學(xué)習(xí)打造為支持Google未來的核心技術(shù)。同年，紐約大學(xué)教授，深度學(xué)習(xí)專家YannLeCun加盟Facebook，出任人工智能實驗室主任[6]，負責深度學(xué)習(xí)的研發(fā)工作，利用深度學(xué)習(xí)探尋用戶圖片等信息中蘊含的海量信息，希望在未來能給用戶提供更智能化的產(chǎn)品使用體驗。2013年，百度成立了百度研究院及下屬的深度學(xué)習(xí)研究所〔IDL〕，將深度學(xué)習(xí)應(yīng)用于語音識別和圖像識別、檢索，以及廣告CTR預(yù)估〔Click-Through-RatePrediction，pCTR〕，其中圖片檢索到達了國際領(lǐng)先水平。2014年又將AndrewNg招致麾下，AndrewNg是斯坦福大學(xué)人工智能實驗室主任，入選過《時代》雜志年度全球最有影響力100人，是16位科技界的代表之一。2014年，谷歌宣布其首款成型的無人駕駛原型車制造完畢，將會在2015年正式進行路測。2016年，谷歌旗下DeepMind公司開發(fā)的人工智能程序AlphaGo擊敗圍棋職業(yè)九段選手李世石。AlphaGo這個系統(tǒng)主要由幾個局部組成[18]：〔1〕走棋網(wǎng)絡(luò)(PolicyNetwork)，給定當前局面，預(yù)測/采樣下一步的走棋?！?〕快速走子(Fastrollout)，目標和〔1〕一樣，但在適當犧牲走棋質(zhì)量的條件下，速度要比〔1〕快1000倍?！?〕估值網(wǎng)絡(luò)(ValueNetwork)，給定當前局面，估計是白勝還是黑勝?！?〕蒙特卡羅樹搜索(MonteCarloTreeSearch，MCTS)，把以上這三個局部連起來，形成一個完整的系統(tǒng)。參考文獻：[1]Rosenblatt,Frank.“Theperceptron:aprobabilisticmodelforinformationstorageandorganizationinthebrain.”Psychologicalreview65.6(1958):386.[2]Minsky,Marvin,andPapertSeymour.“Perceptrons.”(1969).[3]SeppoLinnainmaa.TherepresentationofthecumulativeroundingerrorofanalgorithmasaTaylorexpansionofthelocalroundingerrors.Master'sThesis(inFinnish),Univ.Helsinki,(1970):6-7.[4]PaulWerbos.Beyondregression:Newtoolsforpredictionandanalysisinthebehavioralsciences.PhDthesis,HarvardUniversity(1974).[5]PaulWerbos.Applicationsofadvancesinnonlinearsensitivityanalysis.InSystemmodelingandoptimization(pp.762-770).SpringerBerlinHeidelberg(1982).[6]Rumelhart,DavidE.;Hinton,GeoffreyE.;Williams,RonaldJ.(8October1986)."Learningrepresentationsbyback-propagatingerrors".Nature323(6088):533–536.[7]Hecht-Nielsen,Robert.“Theoryofthebackpropagationneuralnetwork”NeuralNetworks,1989.IJCNN.InternationalJointConferenceon.IEEE,1989.[8]Quinlan,J.Ross.“Inductionofdecisiontrees.”Machinelearning1.1(1986):81-106.[9]Cortes,Corinna,andVladimirVapnik.“Support-vectornetworks.”Machinelearning20.3(1995):273-297.[10]Freund,Yoav,RobertSchapire,andN.Abe.“Ashortintroductiontoboosting.”Journal-JapaneseSocietyforArtificialIntelligence14.771-780(1999):1612.[11]Breiman,Leo.“Randomforests.”Machinelearning45.1(2001):5-32.[12]AndreElisseeffandJasonWeston.“Akernelmethodformulti-labelledclassification”(2001)[13]Hinton,GeoffreyE.,SimonOsindero,andYee-WhyeTeh.“Afastlearningalgorithmfordeepbeliefnets.”Neuralcomputati