第5章 人工神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)

1、第5章 人工神經(jīng)網(wǎng)絡(luò)和 機(jī)器學(xué)習(xí)溫浩宇 西安電子科技大學(xué)出版社商業(yè)智能：方法與應(yīng)用5.1 人工神經(jīng)網(wǎng)絡(luò)概述5.2 BP神經(jīng)網(wǎng)絡(luò)目 錄O N T E N T S人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生和發(fā)展神經(jīng)元結(jié)構(gòu)BP算法BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介實(shí)例5.3 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)概述循環(huán)神經(jīng)網(wǎng)絡(luò)5.1 人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生和發(fā)展神經(jīng)元結(jié)構(gòu)5.1.1 人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生和發(fā)展213人工神經(jīng)網(wǎng)絡(luò)類似于生物神經(jīng)網(wǎng)絡(luò)，是一種受人腦神經(jīng)網(wǎng)絡(luò)工作方式的啟發(fā)而構(gòu)造的一種數(shù)學(xué)模型。和人腦神經(jīng)網(wǎng)絡(luò)類似，人工神經(jīng)網(wǎng)絡(luò)時(shí)由人工神經(jīng)元以及神經(jīng)元之間的連接構(gòu)成。人工神經(jīng)網(wǎng)絡(luò)中有兩類特殊的神經(jīng)元：一類用來接受外部的信息；一類負(fù)責(zé)輸

2、出信息。人工神經(jīng)網(wǎng)絡(luò)可以看作是信息從輸入到輸出的信息處理系統(tǒng)。5.1.1 人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生和發(fā)展心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts發(fā)表人工神經(jīng)元模型，也稱MP模型。計(jì)算機(jī)學(xué)家Rosenblatt提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)“感知器”。Rumelhar和Hinton等人提出了反向傳播算法。Hinton在Science和相關(guān)期刊上發(fā)表論文，首次提出“深度信念網(wǎng)絡(luò)”的概念。從MP模型、單層神經(jīng)網(wǎng)絡(luò)（感知器）開始，到包含一個(gè)隱含層的兩層神經(jīng)網(wǎng)絡(luò)，再到多層的深度神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展一波三折，其發(fā)展歷程見下頁人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷程圖。19431958198620065.1

3、.1 人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生和發(fā)展人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷程5.1.2 神經(jīng)元結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱之為神經(jīng)元）相互連接構(gòu)成。目前人們提出的神經(jīng)元模式已有很多，其中普遍使用的神經(jīng)元結(jié)構(gòu)是在MP模型基礎(chǔ)上不斷完善得到神經(jīng)元模型，結(jié)構(gòu)如下圖。人工神經(jīng)元結(jié)構(gòu)5.1.2 神經(jīng)元結(jié)構(gòu)閾值型激活函數(shù)非線型激活函數(shù)分段線型激活函數(shù)概率型激活函數(shù)5.1.2 神經(jīng)元結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（考慮偏執(zhí)節(jié)點(diǎn)）5.2 BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介BP算法實(shí)例5.2.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介1BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，具有任意復(fù)雜的模式分

4、類能力和優(yōu)良的多維函數(shù)映射能力，解決了單層感知器不能解決的異或問題。2從本質(zhì)上講，BP算法就是以誤差平方和為目標(biāo)函數(shù)，采用梯度下降法來計(jì)算目標(biāo)函數(shù)的最小值。3BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包含輸入層、隱含層和輸出層，隱含層可擴(kuò)展為多層，相鄰層之間各神經(jīng)元進(jìn)行全連接，即當(dāng)前層的每一個(gè)神經(jīng)元都與前一層的所有神經(jīng)元連接，前一層的輸出是當(dāng)前層的輸入，而每層各神經(jīng)元之間無連接。5.2.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)分為信號(hào)的前向傳播和誤差的反向傳播，輸入變量鍵入輸入層經(jīng)隱含層由他們之間所對(duì)應(yīng)的映射關(guān)系到達(dá)輸出層得到輸出變量。在信號(hào)的前向傳播階段，神經(jīng)元間的傳播不可逆，但如果輸出變量與期望值的誤差超

5、過了允許的范圍，這時(shí)誤差訊號(hào)將進(jìn)行反向傳播，求出隱含層數(shù)值變量的誤差，調(diào)整各層的權(quán)重或閾值。5.2.2 BP算法BP算法演示圖5.2.2 BP算法5.2.2 BP算法5.2.2 BP算法5.2.2 BP算法優(yōu)點(diǎn)解決方法缺點(diǎn)為人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練提供了簡(jiǎn)單而有效的實(shí)現(xiàn)途徑。在多層次的人工神經(jīng)網(wǎng)絡(luò)中收斂速度較慢且容易陷入局部最優(yōu)，不能同時(shí)對(duì)多個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。目前，將多種優(yōu)化算法相結(jié)合，通過對(duì)傳統(tǒng)訓(xùn)練算法的取長(zhǎng)補(bǔ)短，是將諸如BP神經(jīng)網(wǎng)絡(luò)這樣的前饋神經(jīng)網(wǎng)絡(luò)應(yīng)用到多個(gè)領(lǐng)域的一個(gè)有效手段。5.2.3 實(shí)例數(shù)據(jù)來源訓(xùn)練目標(biāo)：根據(jù)用戶對(duì)以往產(chǎn)品的喜好程度即打分情況進(jìn)行訓(xùn)練學(xué)習(xí)，從而逼近該用戶對(duì)產(chǎn)品的偏好關(guān)系，幫

6、助用戶選擇其他有可能感興趣的產(chǎn)品，通過Movieslens數(shù)據(jù)庫驗(yàn)證模型的有效性。數(shù)據(jù)來源：采用Movielens數(shù)據(jù)庫中的1M數(shù)據(jù)集（下載地址為：/datasets/movielens/ ），主要使用Movies文件和Ratings文件。5.2.3 實(shí)例數(shù)據(jù)來源Movies文件結(jié)構(gòu)在Movies文件中，一共包含3列數(shù)據(jù)：第一列是每部電影的序號(hào)；第二列是電影名稱和上映時(shí)間；第三列是電影類型，一共有18種電影類型，分別是Action、Adventure、Animation、Childrens、Comedy、Crime、Documentary、Drama、F

7、antasy、Film-Noir、Horror、Musical、Mystery、Romance、Sci-Fi、Thriller、War和Western。 5.2.3 實(shí)例數(shù)據(jù)來源在Ratings文件中，共有4列數(shù)據(jù)：第一列是用戶序號(hào)；第二列是用戶評(píng)價(jià)的電影序號(hào)；第三列是用戶對(duì)電影的評(píng)分值，評(píng)分值是從1到5的整數(shù)，數(shù)值越高表明用戶對(duì)該部電影喜歡的程度越高；第四列是時(shí)間戳，自1970年1月1日零點(diǎn)后到用戶提交評(píng)價(jià)時(shí)間的秒數(shù)。 Ratings文件結(jié)構(gòu)5.2.3 實(shí)例數(shù)據(jù)處理要驗(yàn)證BP神經(jīng)網(wǎng)絡(luò)的有效性，首先要知道用戶的評(píng)價(jià)記錄，本實(shí)例選擇了評(píng)分記錄最多的4169用戶，該用戶一共評(píng)價(jià)了2314部電影，將

8、Rating文件里面這2314條評(píng)分?jǐn)?shù)據(jù)取出，并根據(jù)MovieID和Movies文件進(jìn)行關(guān)聯(lián)，確定4169用戶評(píng)價(jià)的每一部電影所屬的電影類型。 Ratings和Movies文件關(guān)聯(lián)之后的評(píng)分表左側(cè)圖中，用戶評(píng)價(jià)的電影屬于某種或幾種電影類型，在相應(yīng)的電影類型下面賦值1，若不是，則賦值0。在Matlab中使用randperm函數(shù)將關(guān)聯(lián)后的2314個(gè)樣本隨機(jī)排列，取前2000個(gè)樣本作為訓(xùn)練樣本，其余的為測(cè)試樣本。 5.2.3 實(shí)例構(gòu)建BP神經(jīng)網(wǎng)絡(luò)Movielens數(shù)據(jù)庫中電影的特征屬性即電影類別有18個(gè)，因此神經(jīng)網(wǎng)絡(luò)輸入層神經(jīng)元個(gè)數(shù)設(shè)定為18個(gè)，設(shè)定一個(gè)隱含層并且隱含層神經(jīng)元個(gè)數(shù)設(shè)定為18個(gè)，輸出神

9、經(jīng)元設(shè)為1個(gè)。 這里采用測(cè)試誤差均值和測(cè)試誤差方差作為性能度量指標(biāo)，隨機(jī)產(chǎn)生BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)重和閾值。 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖5.2.3 實(shí)例訓(xùn)練網(wǎng)絡(luò)及輸出測(cè)試誤差在Matlab中使用train函數(shù)訓(xùn)練構(gòu)建好的BP神經(jīng)網(wǎng)絡(luò)，訓(xùn)練10次，得到10個(gè)BP神經(jīng)網(wǎng)絡(luò)模型，之后使用sim函數(shù)分別對(duì)這10個(gè)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真測(cè)試，得到的測(cè)試誤差均值和測(cè)試誤差方差如下圖所示。 從上圖可知，測(cè)試誤差均值在0附加波動(dòng)，上下波動(dòng)不超過0.2；而測(cè)試誤差方差在1附近，上下波動(dòng)同樣不超過0.2，即BP神經(jīng)網(wǎng)絡(luò)通過randperm函數(shù)產(chǎn)生的不同的訓(xùn)練集和測(cè)試集進(jìn)行訓(xùn)練和測(cè)試后，對(duì)用戶偏好模型的學(xué)習(xí)具有穩(wěn)定性和有效性。

10、從上圖還可以看出，雖然每次的訓(xùn)練集和測(cè)試集樣本都不一樣，但是都可以得到穩(wěn)定的測(cè)試誤差數(shù)值，由此可見該模型還具有魯棒性。 測(cè)試誤差均值及方差5.3深度學(xué)習(xí)深度學(xué)習(xí)概述卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)5.3.1 深度學(xué)習(xí)概述深度學(xué)習(xí)（Deep Learning）是機(jī)器學(xué)習(xí)的分支，其本質(zhì)是仿生學(xué)，模仿人類的大腦進(jìn)行感知和認(rèn)知的過程，它的動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)。常用的深度學(xué)習(xí)模型包括：深度神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼機(jī)、受限玻爾茲曼機(jī)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)5.3.2 卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生卷積神經(jīng)網(wǎng)絡(luò)最早由LeCuu等人于1998年提出，目前已經(jīng)廣泛應(yīng)用在圖像處理中，它可以自動(dòng)提取需

11、要的特征信息。構(gòu)成三部分構(gòu)成，第一部分是輸入層，第二部分是由n（n=1，2）個(gè)卷積層和池化層的組合組成，第三部分由一個(gè)全連接的多層感知器分類器構(gòu)成結(jié)構(gòu)圖5.3.2 卷積神經(jīng)網(wǎng)絡(luò)通過局部連接和權(quán)重共享的方式相對(duì)于全連接神經(jīng)網(wǎng)絡(luò)節(jié)約了大量參數(shù)，每一層與上一層的部分神經(jīng)元連接，不同部分特征共享參數(shù)，網(wǎng)絡(luò)淺層紋理信息豐富，隨著層數(shù)增多，語義信息逐漸加強(qiáng)，作用從本質(zhì)上來講是局部特征的提取。卷積層池化層一種下采樣操作，可以有效減小特征圖的尺寸，同時(shí)增大感受野，進(jìn)一步提取特征。作用是在語義上把相似的特征結(jié)合起來。通過這樣幾個(gè)卷積層和池化層的作用，再加上后面的全連接層，這就形成了一個(gè)完整的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，一

12、方面可以直接用于特征的提取，另外一方面由于在最后添加了一個(gè)分類層，就能得到一個(gè)分類器。卷積神經(jīng)網(wǎng)絡(luò)5.3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)1循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）是深度學(xué)習(xí)領(lǐng)域重要的研究方向之一，是一類具有記憶能力的神經(jīng)網(wǎng)絡(luò)。2RNN的網(wǎng)絡(luò)表現(xiàn)形式中有循環(huán)結(jié)構(gòu)，使得過去輸出的信息作為“記憶”被保留下來，應(yīng)用于當(dāng)前的輸出計(jì)算。3循環(huán)神經(jīng)網(wǎng)絡(luò)的具體表現(xiàn)形式為隱含層之間的節(jié)點(diǎn)不再無連接而是有連接的，隱含層的輸入不僅包括輸入層的輸出還包括上一時(shí)刻隱含層的輸出，即一個(gè)序列的當(dāng)前的輸出和前面的輸出也有關(guān)。5.3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖從上圖中可以看出，循環(huán)神

13、經(jīng)網(wǎng)絡(luò)主要由輸入層（Input Layer）、隱含層（Hidden Layer）、輸出層（Output Layer）三部分組成，并且可以發(fā)現(xiàn)在隱含層有一個(gè)箭頭表示數(shù)據(jù)的循環(huán)更新，這個(gè)就是循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)“記憶”功能的方法。5.3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)隱含層的層級(jí)展開結(jié)構(gòu)5.3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶功能；所有的層次共享同樣的參數(shù)，如上頁圖中U、V、W，大大降低了網(wǎng)絡(luò)中需要學(xué)習(xí)的參數(shù)。優(yōu)點(diǎn)不能對(duì)較長(zhǎng)的時(shí)間序列進(jìn)行較好的處理，在訓(xùn)練的過程中容易出現(xiàn)梯度消失和梯度爆炸的問題。缺點(diǎn)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)解決方案1235.3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型結(jié)構(gòu)LSTM由Hochreiter和Schmidhuber于1997年提出，并被Alex Graves進(jìn)行了改良和推廣，LSTM能夠有效克服循環(huán)神經(jīng)網(wǎng)絡(luò)中存在的梯度消失問題，尤其在長(zhǎng)距離依賴的任務(wù)中的表現(xiàn)遠(yuǎn)優(yōu)于循環(huán)神經(jīng)網(wǎng)絡(luò)，梯度反向傳播過程中不會(huì)再受到梯度消失問題的困擾，可以對(duì)存在短期或者長(zhǎng)期依賴關(guān)系的數(shù)據(jù)進(jìn)行精確的建模。L