深度學習基礎(chǔ)之3.3線性二分類的神經(jīng)網(wǎng)絡(luò)實現(xiàn)

1、深度學習基礎(chǔ)之3線性二分類的神經(jīng)網(wǎng)絡(luò)實現(xiàn)線性二分類的神經(jīng)網(wǎng)絡(luò)實現(xiàn)提出問題回憶歷史，公元前206年，楚漢相爭，當時劉邦項羽麾下的城池地理位置如下:其中，在邊界處有一些紅色和綠色重合的城池，表示雙方激烈爭奪的拉鋸戰(zhàn)。H樣本序號123119經(jīng)度相對值0.0254.1097.767緯度相對值3.4088.0121.8721=漢0=楚1101問題：經(jīng)緯度相對值為(5,1)時，屬于楚還是漢？經(jīng)緯度相對值為(6,9)時，屬于楚還是漢？經(jīng)緯度相對值為(5,5)時，屬于楚還是漢？你可能會覺得這個太簡單了，這不是有圖嗎？定位坐標值后一下子就找到對應(yīng)的區(qū)域了。但是我們要求你用機器學習的方法來解決這個看似簡單的問題，

2、以便將來的預測行為是快速準確的，而不是拿個尺子在圖上去比劃。再說了，我們用這個例子，主要是想讓大家對問題和解決方法都有一個視覺上的清晰認識，而這類可以可視化的問題，在實際生產(chǎn)環(huán)境中并不多見，絕大多數(shù)都是屬于樂山大佛頭霧水。問題分析從圖示來看，在兩個顏色區(qū)間之間似乎存在一條直線，即線性可分的。我們?nèi)绾瓮ㄟ^神經(jīng)網(wǎng)絡(luò)精確地找到這條分界線呢？從視覺上判斷是線性可分的，所以我們使用單層神經(jīng)網(wǎng)絡(luò)即可輸入特征是經(jīng)度和緯度，所以我們在輸入層設(shè)置兩個輸入X1=經(jīng)度，X2=維度最后輸出的是兩個分類，分別是楚漢地盤，可以看成非0即1的二分類問題，所以我們只用一個輸出單元就可以了定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)前一節(jié)學習的二分類

3、原理，我們只需要一個二入一出的神經(jīng)元就可以搞定。這個網(wǎng)絡(luò)只有輸入層和輸出層，由于輸入層不算在內(nèi)，所以是一層網(wǎng)絡(luò)。X=(x1,1x2,1)權(quán)重矩陣W1B1輸入層是2個特征，則W的尺寸就是1x2:W=(w1,1w1,2B的尺寸是1x1,行數(shù)永遠和W樣，列數(shù)永遠是1。B=(b1,1)輸出層Z=WX+BA=Sigmoid(Z)損失函數(shù)二分類交叉熵函損失數(shù)CrossEntropyJ=-YlnA+(1-Y)ln(1-A)分類的方式是，可以指定當A0.5時是正例，A=0.5時就是反例?；蛘吒鶕?jù)實際情況指定別的閾值比如0.3,0.8等等。此時反向傳播矩陣運算的公式推導結(jié)果是：（交叉熵函數(shù)求導）（Sigmoid

4、激活函數(shù)求導）（矩陣運算求導）dJY1-YAYdA=A-1A=A(1A)dAdZ=A(1A)dZdZdW=XT,dB=1所以W的梯度：dJdJdAdZdW=dAdZdWAY=A(1A)A(1A)XT=(AY)XT加粗樣式B的梯度：dJdJdAdZdB=dAdZdBAY=A(1A)A(1A)=AY樣本數(shù)據(jù)下載后拷貝到您要運行的Python文件所在的文件夾。樣本特征值Xm表示第m個樣本值,義矩陣如下：Zm嚴表示第m個樣本的第n個特征值。樣本數(shù)據(jù)集中一共有200個數(shù)據(jù)，每個數(shù)據(jù)有兩個特征：經(jīng)度和緯度。所以定X=(X1X2.X200)=(x1,1x2,1.x200,1x1,2x2,2.x200,2)=

5、(0.0254.1097.767.2.7623.4088.0121.872.2.653)樣本標簽值般來說，在標記樣本時，我們會用1,2,3這樣的標記，來指明是哪一類。在本例的二分類情況下，我們只需要把正例標記為1,負例標記為0。這個需要檢查原始樣本數(shù)據(jù)的格式，在自己的code中做相應(yīng)的轉(zhuǎn)化。如果你認為劉邦是“好人”，你就把漢標記為正例。對于一般的疾病分類來說,我們習慣于把陽性(有疾病嫌疑)標記為正例。Y=(Y1匕Ym)=(1代碼實現(xiàn)我們先無恥地從第5章的代碼庫ch05中，把一些已經(jīng)寫好的函數(shù)copy過來，形成一個BaseClassification.py文件，其中會包括神經(jīng)網(wǎng)絡(luò)訓練的基本過程函

6、數(shù)，加載數(shù)據(jù)，數(shù)據(jù)的歸一化函數(shù)，結(jié)果顯示函數(shù)等等。加載數(shù)據(jù)基本的加載數(shù)據(jù)和對樣本數(shù)據(jù)的歸一化工作，都可以用前一章的代碼來完成，統(tǒng)一集成在BaseClassification.py中了，下面代碼中的fromBaseClassificationimport*就是完成了代碼引入的工作。但是對于標簽數(shù)據(jù)，需要一個特殊處理。遍歷標簽數(shù)據(jù)YData中所有記錄，設(shè)置類別為1的標簽為負例0,設(shè)置類別為2的標簽為正例1。下載的數(shù)據(jù)中，被標記為1和2,表示第1類和第2類,需要轉(zhuǎn)換成0/1。上述函數(shù)在本例中并沒有用，因為樣本本身就是0/1標記的。前向計算前向計算需要增加分類函數(shù)調(diào)用：前向計算計算損失函數(shù)值損失函數(shù)不再是均方差了，而是交叉熵函數(shù)對于二分類的形式。推理函數(shù)主程序運行結(jié)果打印出來的W,B的值對我們來說是幾個很神秘的數(shù)字，下一節(jié)再解釋。result值是返回結(jié)果，經(jīng)緯度相對值為(5,1)時，概率為0.33