第7章-線性神經(jīng)網(wǎng)絡(luò)

復(fù)習(xí)：感知器該模型由一個線性組合器+閾值函數(shù)組成yx1x2xn...uw1w2wnw0x0對于單層感知器，哪個說法是錯誤的?由一個線性組合器+閾值函數(shù)組成由Rosenblatt提出能解決非線性可分問題可以有多個輸入下面的權(quán)重更新方程，哪些是正確的?

一個引例汽車重量和耗油量數(shù)據(jù)樣本65輛汽車的重量和燃油消耗的數(shù)據(jù)樣本假設(shè)我們給出第66輛汽車的重量

請你根據(jù)上述數(shù)據(jù)預(yù)測它消耗的油量?線性神經(jīng)網(wǎng)絡(luò)是等值映射函數(shù)。該單元的輸出就是它的凈輸入。解決方案：基于給定的數(shù)據(jù)建立線性神經(jīng)網(wǎng)絡(luò)模型汽車重量和耗油量數(shù)據(jù)樣本假設(shè)我們給出第66輛汽車的重量，請你根據(jù)上述數(shù)據(jù)預(yù)測它的耗油量?汽車重量和燃油消耗數(shù)據(jù)樣本哪條線更優(yōu)？如何去選擇

？損失函數(shù)定義損失函數(shù):E注意:N:訓(xùn)練樣例的個數(shù)。:實際燃油消耗量。:模型根據(jù)方程計算出的預(yù)測值。損失函數(shù)的三維圖w0w1E等高線圖最小化損失最佳預(yù)測=最小化

E=最優(yōu)參數(shù)

w0,w1怎樣梯度下降——一種迭代搜索算法隨機(jī)選擇w0,w1的初始值。更新參數(shù)

w0,w1以減少E。重復(fù)步驟2，直到損失函數(shù)E接近于零。梯度GradientDescentLet’swatchavideo關(guān)于AndrewNg/Coursera機(jī)器學(xué)習(xí)(Coursera免費在線課程)/learn/machine-learningCS229:機(jī)器學(xué)習(xí)(斯坦福課程)深度學(xué)習(xí)梯度定義:梯度通常只指其偏導(dǎo)數(shù)的向量。對于三維坐標(biāo)系:*梯度下降算法最佳預(yù)測=最小化

E=最優(yōu)參數(shù)

w0,w1怎樣梯度下降--一種迭代數(shù)值技術(shù)隨機(jī)選擇w0,w1的初始值。更新參數(shù)

w0,w1重復(fù)步驟2，直到損失函數(shù)E接近于零*計算梯度LMS:LeastMeanSquare最小均方學(xué)習(xí)算法

規(guī)則/學(xué)習(xí)Widrow-Hoff

學(xué)習(xí)算法B.Windrow,M.E.Hoff.Adaptiveswitchingcircuits,1960IREWESCONConventionRecord,NewYork:

IRE

Part4,pp.96-104最佳預(yù)測=最小化

E=最優(yōu)參數(shù)w0,w1隨機(jī)選擇w0,w1的初始值。更新參數(shù)

w0,w1。重復(fù)步驟2，直到損失函數(shù)E接近于零。梯度下降算法隨機(jī)選擇w0,w1的初始值w0,w1。更新參數(shù)

w0,w1。3.重復(fù)步驟2，直到損失函數(shù)E接近于零。學(xué)習(xí)速率:太小:花費很長時間收斂太大:超過最小值線性回歸線性回歸這是一個神經(jīng)網(wǎng)絡(luò)x1-1yw0w1線性神經(jīng)網(wǎng)絡(luò)-多元回歸如上的汽車實例:燃油消耗—重量…biasx1xninputsoutput圖1假設(shè)我們有一個或者多個變量。通過添加更多的輸入單元，我們的簡單神經(jīng)網(wǎng)絡(luò)模型可以很容易地擴(kuò)展到這種情況(圖1)。線性神經(jīng)網(wǎng)絡(luò)-多元回歸類似地，我們希望從數(shù)據(jù)中預(yù)測多個變量(圖2)。

…biasx1xninputsoutputs圖27.1線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是等值映射函數(shù)。此單元的輸出就是它的凈輸入。.線性神經(jīng)網(wǎng)絡(luò)…Adaline和Perceptron有什么區(qū)別？？？AdalineBernardWidrow,19597.2線性神經(jīng)網(wǎng)絡(luò)的功能Adaline本質(zhì)上就是一個線性回歸器7.3線性神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法討論1:學(xué)習(xí)率如果

太小,該算法需要很長時間才能收斂如果

太大,最終可能會在誤差曲面上來回跳動，最終發(fā)散lr=maxlinlr(P)P:輸入向量Column:維度Row:示例輸入向量組成的協(xié)方差矩陣的最大特征值討論2:批量學(xué)習(xí)vs在線學(xué)習(xí)批量學(xué)習(xí):在更新權(quán)重之前，累積訓(xùn)練集中所有數(shù)據(jù)點的梯度貢獻(xiàn)。在線學(xué)習(xí):在看到每個數(shù)據(jù)點后立即更新權(quán)重。討論2:批量學(xué)習(xí)vs

增量/在線/隨機(jī)學(xué)習(xí)當(dāng)訓(xùn)練集數(shù)量巨大時，建議使用增量梯度下降算法Initializew0,w1Update,untilconvergeforp=1:N(numberoftrainingexamples){fori=1:n(numberofinputs)

{wi:=wi-learning_rate*Gradient;}}討論3:性能評估MAE:MeanAbsoluteErrorMSE:MeanSquaredErrorSSE:SumSquaredError課堂練習(xí)推導(dǎo)損失函數(shù)E的梯度。假設(shè)我們有以下訓(xùn)練樣本，請計算w1和w0的第一次迭代更新后的值。x1d-1.250.8-0.90.3-0.50.2w1

,w0

的初始值為0.1和0.2學(xué)習(xí)率=0.01Matlab實現(xiàn)P=0:0.5:10;%輸入向量d=3*P+4*rand(1,length(P));%實際輸出向量lr=maxlinlr(P,‘bias’)%學(xué)習(xí)速率plot(P,d,'*');

%%線性神經(jīng)網(wǎng)絡(luò)net=linearlayer(0,lr);%搭建網(wǎng)絡(luò)net=train(net,P,d);%網(wǎng)絡(luò)訓(xùn)練yhat=net(P);%網(wǎng)絡(luò)仿真%%結(jié)果展示view(net)holdon;plot(P,yhat,'r');課后作業(yè)習(xí)題7-1補充內(nèi)容：

第二部分:邏輯回歸邏輯回歸

分類問題

模型

代價函數(shù)

參數(shù)學(xué)習(xí)–梯度下降法其它問題線性回歸分類010.5xy線性回歸分類010.50.5并不足夠好線性回歸的輸出可以是任何值，但這里是0/1值模型結(jié)構(gòu)線性回歸邏輯回歸模型結(jié)構(gòu)

Logistic函數(shù)Logistic函數(shù)，它是皮埃爾·弗朗索瓦·韋呂勒在1844或1845年在研究它與人口增長的關(guān)系時命名的，很像一個“S”型，所以又叫sigmoid曲線（S型曲線）。優(yōu)點:輸入：-負(fù)無窮,正無窮;輸出:0-1理解:y=1的估計概率。Logistic函數(shù)具有如下哪些（）性質(zhì)？其輸入范圍為-inf,inf其輸出范圍為[0-1]其輸出可以看做是y=0的概率其輸出可以看做是y=1的概率代價函數(shù)--OLD

47非凸函數(shù)48代價函數(shù)--NEW

49交叉熵參數(shù)更新--梯度下降

50參數(shù)更新--梯度下降

51多分類問題

一對多分類52多分類問題

一對多分類53多分類問題One-hot編碼

例:三類問題54Multiclassclassificationsoftmaxclassification55下列關(guān)于邏輯回歸，描述正確的有（）邏輯回歸屬于監(jiān)督型算法邏輯回歸屬于回歸問題邏輯回歸屬于分類問題邏輯回歸只能解決二分類問題Regularization正則化

57總結(jié)與討論感知器邏輯回歸線性神經(jīng)網(wǎng)絡(luò)

58相同點不同點總結(jié)與討論感知器邏輯回歸線性神經(jīng)網(wǎng)絡(luò)

59任務(wù)線性--非線性硬分類軟分類回歸補充內(nèi)容：

第三部分:ANN的歷史ANN的歷史Pitts皮茨（1923-1969）數(shù)學(xué)家McCulloch麥卡洛克（1898-1969）神經(jīng)學(xué)家開始:1943年McCulloch和Pitts引入了神經(jīng)網(wǎng)絡(luò)模型。ANN的歷史黃金時期:1958年Rosenblatt開發(fā)了感知器。F.Rosenblatt.Theperceptron:aprobabilisticmodelforinformationstorageandorganizationinthebrain.PsychologicalReview,65:386–408,1958.ANN的歷史黑暗時期:1969年Minsky發(fā)表了一篇論文。Perceptrons不能完成XORM.MinskyandS.Papert.Perceptrons.MITPress,Cambridge,Mass,1969.Minsky明斯基（1927-2016）ANN的歷史復(fù)興:1982年Hopfield發(fā)開了HopfieldNets。Hopfield（1933-）JohnJ.Hopfield.Neuralnetworksandphysicalsystemswithemergentcollectivecomputationalabilities.Proc.oftheNationalAcademyofScience,USA,79:2554-2558,1982.ANN的歷史復(fù)興:1986年Rumelhart,Hinton,Williams,開發(fā)了反向傳播。Rumelhart（1942-2011）認(rèn)知心理學(xué)家DavidE.Rumelhart,GeoffreyE.Hinton,andR.J.Williams.Learninginternalrepresentationsbyerrorpropagation.InD.E.Rumelhart,J.L.McClelland,andthePDPresearchgroup.,editors,Paralleldistributedp