從生物元到人工神經(jīng)元

1.1

機(jī)學(xué)習(xí)概覽歡迎進(jìn)入《數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)》課程學(xué)習(xí)第4單元機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)（DNN）

深度神經(jīng)網(wǎng)絡(luò)（DNN）感知器02

從生物元到人工神經(jīng)元01多層感知器與反向傳播03激活函數(shù)和損失函數(shù)05

多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）04梯度下降算法（SGD）06從生物元到人工神經(jīng)元生物神經(jīng)元

一個神經(jīng)元通常具有多個樹突，主要用來接受傳入信息；而軸突只有一條，軸突尾端有許多軸突末梢可以給其他多個神經(jīng)元傳遞信息。軸突末梢跟其他神經(jīng)元的樹突產(chǎn)生連接，從而傳遞信號。這個連接的位置在生物學(xué)上叫做“突觸”。圖1：生物神經(jīng)元從生物元到人工神經(jīng)元神經(jīng)元模型

1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts參考了生物神經(jīng)元的結(jié)構(gòu)，發(fā)表了抽象的神經(jīng)元模型MP。圖2：WarrenMcCulloch（左）WalterPitts（右）從生物元到人工神經(jīng)元神經(jīng)元結(jié)構(gòu)

神經(jīng)元模型是一個包含輸入，輸出與計(jì)算功能的模型。輸入可以類比為神經(jīng)元的樹突，而輸出可以類比為神經(jīng)元的軸突，計(jì)算則可以類比為細(xì)胞核。右圖是一個典型的神經(jīng)元模型：包含有3個輸入，1個輸出，以及2個計(jì)算功能。注意中間的箭頭線。這些線稱為“連接”。每個上有一個“權(quán)值”。

一個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法就是讓權(quán)重的值調(diào)整到最佳，以使得整個網(wǎng)絡(luò)的預(yù)測效果最好。圖3：神經(jīng)元模型從生物元到人工神經(jīng)元神經(jīng)元計(jì)算

如果將神經(jīng)元圖中的所有變量用符號表示，并且寫出輸出的計(jì)算公式的話，就是下圖。a表示輸入，w表示權(quán)值，可見z是在輸入和權(quán)值的線性加權(quán)和疊加了一個函數(shù)g的值。函數(shù)g是sgn函數(shù)，也就是取符號函數(shù)。這個函數(shù)當(dāng)輸入大于0時(shí)，輸出1，否則輸出0。圖4：神經(jīng)元計(jì)算從生物元到人工神經(jīng)元神經(jīng)元模型意義有一個數(shù)據(jù)，稱之為樣本。樣本有四個屬性，其中三個屬性已知，一個屬性未知。通過三個已知屬性預(yù)測未知屬性。三個已知屬性的值是a1，a2，a3，未知屬性的值是z。z可以通過神經(jīng)元公式計(jì)算。這里，已知的屬性稱之為特征，未知的屬性稱之為目標(biāo)。假設(shè)特征與目標(biāo)之間確實(shí)是線性關(guān)系，并且已經(jīng)得到表示這個關(guān)系的權(quán)值w1，w2，w