深度學(xué)習(xí)-基于Python語(yǔ)言和Tensorflow平臺(tái)第7章_多層全連接神經(jīng)網(wǎng)絡(luò)課件

1、Email: topget謝瓊多層全連接神經(jīng)網(wǎng)絡(luò)第7章深度學(xué)習(xí)基于Python語(yǔ)言和Tensorflow平臺(tái)了解復(fù)雜的非線性問(wèn)題學(xué)習(xí)訓(xùn)練及優(yōu)化多層全連接神經(jīng)網(wǎng)絡(luò)的方法010203target目標(biāo)學(xué)習(xí)多層全連接網(wǎng)絡(luò)目錄導(dǎo)航1234身份證問(wèn)題的引入及分析單層模型多層全連接神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化Contents身份證問(wèn)題的引入倒數(shù)第二位代表了持有者的性別，奇數(shù)代表男性，偶數(shù)代表女性但計(jì)算機(jī)不知道這個(gè)規(guī)則，設(shè)法用神經(jīng)網(wǎng)絡(luò)來(lái)求解xxxxxxxxxxxxxx1234身份證問(wèn)題分析 輸入和輸出身份證號(hào)的每一位可以拆開作為神經(jīng)網(wǎng)絡(luò)的輸入，而持有者性別則是神經(jīng)網(wǎng)絡(luò)計(jì)算結(jié)果的目標(biāo)值我們可以通過(guò)收集一批身份證來(lái)獲取訓(xùn)練

2、數(shù)據(jù)性別分為男、女兩類，本問(wèn)題顯然是一個(gè)二分類問(wèn)題本問(wèn)題顯然不是一個(gè)線性問(wèn)題（思考為什么？）與三好學(xué)生評(píng)選問(wèn)題是一個(gè)一次跳變的非線性問(wèn)題不同，本問(wèn)題是一個(gè)不?！吧舷绿儭钡姆蔷€性問(wèn)題目錄導(dǎo)航1234身份證問(wèn)題的引入及分析單層模型多層全連接神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化Contents設(shè)計(jì)單層的神經(jīng)網(wǎng)絡(luò)為演示簡(jiǎn)單起見，我們僅取身份證后4位數(shù)字作為輸入該單層神經(jīng)網(wǎng)絡(luò)的主要代碼x = tf.placeholder(tf.float32)yTrain = tf.placeholder(tf.float32)w = tf.Variable(tf.random_normal(4, mean=0.5, stddev=0

3、.1), dtype=tf.float32)b = tf.Variable(0, dtype=tf.float32)n1 = w * x + by = tf.nn.sigmoid(tf.reduce_sum(n1)loss = tf.abs(y - yTrain)tf.random_normal函數(shù)用于生成符合正態(tài)分布的隨機(jī)數(shù)填充的矩陣注意簡(jiǎn)化的寫法單層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果i: 4991, loss: 0.0890504271, avgLoss: 0.4530942420i: 4992, loss: 0.9520061612, avgLoss: 0.4531941643i: 4993, loss

4、: 0.0028267603, avgLoss: 0.4531039826i: 4994, loss: 0.9777230024, avgLoss: 0.4532090114i: 4995, loss: 0.8794452548, avgLoss: 0.4532943269i: 4996, loss: 0.9999799728, avgLoss: 0.4534037297i: 4997, loss: 0.9999708533, avgLoss: 0.4535130868i: 4998, loss: 0.8330855966, avgLoss: 0.4535890165i: 4999, loss

5、: 0.9241330028, avgLoss: 0.4536831253訓(xùn)練5000次后，發(fā)現(xiàn)平均誤差無(wú)法被明顯縮小，說(shuō)明這種單層網(wǎng)絡(luò)結(jié)構(gòu)對(duì)本問(wèn)題效果不好目錄導(dǎo)航1234身份證問(wèn)題的引入及分析單層模型多層全連接神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化Contents概念補(bǔ)充 矩陣乘法：叉乘1*1 + 2 * 3 + 3 * 5 = 22第一步：概念補(bǔ)充 矩陣乘法：叉乘1*2 + 2 * 4 + 3 * 6 = 28第二步：依此類推用代碼驗(yàn)證矩陣乘法 import numpy as np a = 1, 2, 3, 4, 5, 6 b = 1, 2, 3, 4, 5, 6 c = np.matmul(a, b) pr

6、int(c)22 28 49 64矩陣乘法的規(guī)律兩個(gè)矩陣如果形態(tài)分別為n1, m1和n2, m2，那么只有m1與n2相等（也就是說(shuō)前面的矩陣的列數(shù)等于后面矩陣的行數(shù)）的時(shí)候，兩者才能進(jìn)行矩陣乘法（叉乘）的運(yùn)算；本例中第一個(gè)矩陣形態(tài)是2, 3，第二個(gè)矩陣形態(tài)是3, 2，所以是可以進(jìn)行矩陣乘法計(jì)算的；兩者相乘的結(jié)果是一個(gè)形態(tài)為n1, m2的新矩陣，即新矩陣的行數(shù)等于乘號(hào)左邊矩陣的行數(shù)，列數(shù)等于乘號(hào)右邊矩陣的列數(shù)。因此，本例中的結(jié)果矩陣形態(tài)為2, 2；全連接層此處應(yīng)為叉乘（）注意連接關(guān)系與點(diǎn)乘的區(qū)別使用均方誤差作為誤差函數(shù)loss = tf.reduce_mean(tf.square(y - yTr

7、ain)對(duì)誤差做先求平方再做求平均值的運(yùn)算，對(duì)向量或矩陣尤其有效激活函數(shù)tanh明顯地，tanh函數(shù)與sigmoid函數(shù)的不同之處在于：其結(jié)果的范圍在-1, 1之間而不是0, 1之間新設(shè)計(jì)的多層全連接神經(jīng)網(wǎng)絡(luò)兩個(gè)隱藏層全連接（叉乘）新網(wǎng)絡(luò)模型的主要代碼x = tf.placeholder(tf.float32)yTrain = tf.placeholder(tf.float32)w1 = tf.Variable(tf.random_normal(4, 8, mean=0.5, stddev=0.1), dtype=tf.float32)b1 = tf.Variable(0, dtype=tf.

8、float32)xr = tf.reshape(x, 1, 4)n1 = tf.nn.tanh(tf.matmul(xr, w1) + b1)w2 = tf.Variable(tf.random_normal(8, 2, mean=0.5, stddev=0.1), dtype=tf.float32)b2 = tf.Variable(0, dtype=tf.float32)n2 = tf.matmul(n1, w2) + b2y = tf.nn.softmax(tf.reshape(n2, 2)loss = tf.reduce_mean(tf.square(y - yTrain)矩陣乘法兩端必

9、須都是矩陣，至少二維，不能是向量，所以要轉(zhuǎn)換為二維數(shù)組tf.matmul函數(shù)即為做矩陣乘法觀察訓(xùn)練結(jié)果i: 499991, loss: 0.1160595417, avgLoss: 0.1832548474i: 499992, loss: 0.1094995886, avgLoss: 0.1832546999i: 499993, loss: 0.0000425474, avgLoss: 0.1832543334i: 499994, loss: 0.4979282022, avgLoss: 0.1832549628i: 499995, loss: 0.1283140332, avgLoss: 0

10、.1832548529i: 499996, loss: 0.1064243242, avgLoss: 0.1832546993i: 499997, loss: 0.0000355149, avgLoss: 0.1832543328i: 499998, loss: 0.1020298377, avgLoss: 0.1832541704i: 499999, loss: 0.0804424137, avgLoss: 0.1832539647訓(xùn)練50萬(wàn)次之后，誤差已經(jīng)被縮小到了0.18左右，這說(shuō)明整個(gè)模型設(shè)計(jì)是有效的的，使得神經(jīng)網(wǎng)絡(luò)慢慢趨向越來(lái)越正確的計(jì)算結(jié)果。另一方面，這么多次訓(xùn)練仍然未能達(dá)到一個(gè)非常小的平均誤差，也說(shuō)明這一類非線性跳動(dòng)的問(wèn)題解決起來(lái)是比較復(fù)雜的，還有改進(jìn)的余地。目錄導(dǎo)航1234身份證問(wèn)題的引入及分析單層模型多層全連接神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化Contents如何進(jìn)一步優(yōu)化 增加層數(shù)：增加隱藏層的數(shù)量并使用不同的激活函數(shù)。 增加神經(jīng)元數(shù)量：增加隱藏層節(jié)點(diǎn)的數(shù)量。 調(diào)節(jié)學(xué)習(xí)率：減小或加大學(xué)習(xí)率。這個(gè)問(wèn)題將留給大家作為練習(xí)，可用的手段包括：練習(xí)互助互利 共同進(jìn)步深度學(xué)習(xí) 基于Python語(yǔ)言和Tensorflow平臺(tái)更多樣書申請(qǐng)和