深度學(xué)習(xí)發(fā)展史

深度學(xué)習(xí)發(fā)展史近幾年深度學(xué)習(xí)發(fā)展迅猛，更是由于前段時(shí)間的AlphaGo而轟動(dòng)一時(shí)，國內(nèi)開始迎來這一技術(shù)的研究熱潮。極驗(yàn)也算是國內(nèi)研究深度學(xué)習(xí)比較早的公司，那這么火的深度學(xué)習(xí)到底是經(jīng)歷了一段怎樣的發(fā)展過程呢？今天小編就來給大家扒一扒深度學(xué)習(xí)的發(fā)展史。1943年卜神經(jīng)科學(xué)家麥卡洛克(卜神經(jīng)科學(xué)家麥卡洛克(W.S.McCulloch)和數(shù)學(xué)家皮茲(W.Pitts)建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為MP模型。所謂M-P模型，其實(shí)是按照生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個(gè)抽象和簡化了的模型，人工神經(jīng)網(wǎng)絡(luò)的大門由此開啟。1949年加拿大著名心理學(xué)家唐納德?赫布提出了Hebb學(xué)習(xí)規(guī)則，這是一

種無監(jiān)督的學(xué)習(xí)規(guī)則，網(wǎng)絡(luò)模型根據(jù)大量的訓(xùn)練樣本提取相應(yīng)的統(tǒng)計(jì)特征，從而按照樣本的相似程度進(jìn)行分類，這和我們?nèi)祟愓J(rèn)知事物很相似。Hebb學(xué)習(xí)規(guī)則表明了網(wǎng)絡(luò)是可以學(xué)習(xí)的，這啟發(fā)了后面一系列關(guān)于神經(jīng)網(wǎng)絡(luò)的研究工作。1958年計(jì)算機(jī)科學(xué)家羅森布拉特(Rosenblatt)提出了兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)，稱之為“感知器”。感知器可以說是最早的人工神經(jīng)網(wǎng)絡(luò)，也算是具有學(xué)習(xí)功能M-P模型，這種學(xué)習(xí)功能表現(xiàn)為神經(jīng)元連接權(quán)值可以被調(diào)節(jié)。兩層神經(jīng)網(wǎng)絡(luò)的提出引起了科學(xué)界對(duì)于神經(jīng)網(wǎng)絡(luò)的研究熱潮，整個(gè)1958年~1969年期間，有許多科學(xué)家和學(xué)者都投入到了兩層神經(jīng)網(wǎng)絡(luò)的研究。但是由于當(dāng)時(shí)的計(jì)算水平相對(duì)落后，兩層的神經(jīng)網(wǎng)絡(luò)的計(jì)算也顯得很吃力。1969年馬文.明斯基(MarvinMinsky)就證明了感知器的致命弱點(diǎn)，感知器并不能夠解決異或問題，并且指出兩層神經(jīng)網(wǎng)絡(luò)的計(jì)算相當(dāng)復(fù)雜，解決是幾乎不可能的。馬文.明斯基（MarvinMinsky）在人工智能研究方面的權(quán)威性還是相當(dāng)高的，他是第一個(gè)圖靈獎(jiǎng)的獲得者，由于他這樣的悲觀態(tài)度導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的研究一下子冷卻下來，進(jìn)入了10年的冰河時(shí)期。1986年Rumelhar和Hinton提出了反向傳播算法（英：Backpropagationalgorithm，簡稱：BP算法）是一種監(jiān)督學(xué)習(xí)算法，解決了兩層神經(jīng)網(wǎng)絡(luò)計(jì)算的復(fù)雜性。到這里不得不說一下，深度學(xué)習(xí)之父杰弗里?辛頓（GeoffreyHinton）,在計(jì)算條件不發(fā)達(dá)以及數(shù)據(jù)水平也不夠的條件下，很多人都放棄了對(duì)神經(jīng)網(wǎng)絡(luò)的研究，而是想跳過大腦直接從行為上進(jìn)行人工智能的研究。能夠堅(jiān)持對(duì)神經(jīng)網(wǎng)絡(luò)研究的人很少，辛頓就是其中一人。反向傳播算法的提出，引起了人工神經(jīng)領(lǐng)域的研究熱潮。90年代中期機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)，支持向量機(jī)算法誕生（SVM算法），這也是一種有監(jiān)督的學(xué)習(xí)模型，應(yīng)用于模式識(shí)別，分類以及回歸分析等。支持向量機(jī)以統(tǒng)計(jì)學(xué)為基礎(chǔ)，和神經(jīng)網(wǎng)絡(luò)有明顯的差異，支持向量機(jī)算法的提出再次將大家的研究方向帶離了神經(jīng)網(wǎng)絡(luò)。2006年GeofferyHinton一直專注于神經(jīng)網(wǎng)絡(luò)研究的領(lǐng)域，他提出了深度學(xué)習(xí)（多層神經(jīng)網(wǎng)絡(luò)），并且?guī)ьI(lǐng)著他的深度學(xué)習(xí)小組在2012年的ImageNet競賽中一舉奪冠，秒殺了很多當(dāng)時(shí)參賽的大公司。這個(gè)時(shí)候，深度學(xué)習(xí)已經(jīng)開始在語音識(shí)別，圖像識(shí)別以及自動(dòng)駕駛方面發(fā)力，引起了全世界巨頭公司的關(guān)注GeofferyHinton和第一次將BP算法用在CNN上并成功應(yīng)用到手寫數(shù)字識(shí)別任務(wù)上的YannLecun以及開創(chuàng)了神經(jīng)網(wǎng)絡(luò)做語言模型先河的Bengio算是目前深度學(xué)習(xí)中世界頂尖級(jí)的三大領(lǐng)軍人物。Hinton在Google工作，YannLecun則去了Facebook,Bengio則一直活躍在學(xué)術(shù)界。

GeoffreyHintonYannLecunBengioEHGoogle是2011年開始的大腦計(jì)劃，到目前已經(jīng)有很多讓大家驚嘆的成果，包括無人駕駛和AlphaGo。而國內(nèi)的深度學(xué)習(xí)研究則相對(duì)要落后一些，百度在2013年成立了深度學(xué)習(xí)研究院，開始發(fā)力。EH域，并且現(xiàn)在已經(jīng)將比較成