人工智能-第7章-參考答案

1、第7章 機器學習參考答案7-6 設訓練例子集如下表所示：序號屬性分類x1x21TT+2TT+3TF-4FF+5FT_6FT_請用ID3算法完成其學習過程。解：設根節(jié)點為S，盡管它包含了所有的訓練例子，但卻沒有包含任何分類信息，因此具有最大的信息熵。即：H(S)= - (P(+)log2 P(+) + P(-)log2 P(-)式中P(+)=3/6，P(-)=3/6分別是決策方案為“+”或“-”時的概率。因此有H(S)= - (3/6)log2(3/6) + (3/6)log2(3/6) =1按照ID3算法，需要選擇一個能使S的期望熵為最小的一個屬性對根節(jié)點進行擴展，因此我們需要先計算S關(guān)于每個

2、屬性的條件熵：H(S|xi)= ( |ST| / |S|)* H(ST) + ( |SF| / |S|)* H(SF)其中，T和F為屬性xi的屬性值，ST和SF分別為xi=T或xi=F時的例子集，|S|、| ST|和|SF|分別為例子集S、ST和SF 的大小。下面先計算S關(guān)于屬性x1的條件熵：在本題中，當x1=T時，有： ST=1，2，3當x1=F時，有： SF=4，5，6其中，ST 和SF中的數(shù)字均為例子集S中的各個例子的序號，且有|S|=6，| ST |=| SF |=3。由ST可知，其決策方案為“+”或“-”的概率分別是：PST(+)=2/3PST (-)=1/3因此有：H(ST)= -

3、 (PST (+)log2 PST (+) + PST (-)log2 PST (- )= - (2/3)log2(2/3) + (1/3)log2(1/3) =0.9183再由SF可知，其決策方案為“+”或“-”的概率分別是：PSF (+)=1/3PSF (-)=2/3則有：H (SF)= - (PSF (+)log2 PSF (+) + PSF (-)log2 PSF (- )= - (1/3)log2(1/3)+ (2/3)log2(2/3) =0.9183將H(ST)和H (SF)代入條件熵公式，有：H(S|x1)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(

4、3/6)0.9183 + (3/6)0.9183=0.9183下面再計算S關(guān)于屬性x2的條件熵：在本題中，當x2=T時，有： ST=1，2，5，6當x2=F時，有： SF=3，4其中，ST 和SF中的數(shù)字均為例子集S中的各個例子的序號，且有|S|=6，| ST |=4，| SF |=2。由ST可知：PST (+) = 2/4P ST (-) = 2/4則有：H(ST)= - (P ST (+)log2 P ST (+) + P ST (-)log2 P ST (- )= - (2/4)log2(2/4) + (2/4)log2(2/4) =1再由SF可知：P SF (+)=1/2P SF (-

5、)=1/2則有：H(SF)= - (P(+)log2 P(+) + P(-)log2 P(- )= - (1/2)log2(1/2)+ (1/2)log2(1/2) =1將H(ST)和H (SF)代入條件熵公式，有：H(S|x2)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(4/6)1 + (2/6)1=1可見，應該選擇屬性x1對根節(jié)點進行擴展。用x1對S擴展后所得到的部分決策樹如下圖所示。S(+,+,-)(+,-,-)x1=Tx1=F擴展x1后的部分決策樹 在該決策樹中，其2個葉節(jié)點均不是最終決策方案，因此還需要繼續(xù)擴展。而要繼續(xù)擴展，只有屬性x2可選擇，因此不需要

6、再進行條件熵的計算，可直接對屬性x2進行擴展。對x2擴展后所得到的決策樹如下圖所示：S(+,+,-)(+,-,-)x1=Tx2=F擴展x2后得到的完整決策樹(+,+)(-)(-,-)(+)x2=Tx2=Fx2=Tx2=F7-9假設w1(0)=0.2, w2(0)=0.4, (0)=0.3, =0.4，請用單層感知器完成邏輯或運算的學習過程。解：根據(jù)“或”運算的邏輯關(guān)系，可將問題轉(zhuǎn)換為：輸入向量：X1=0, 0, 1, 1 X2=0, 1, 0, 1輸出向量：Y=0, 1, 1, 1由題意可知，初始連接權(quán)值、閾值，以及增益因子的取值分別為：w1(0)=0.2, w2(0)=0.4, (0)=0.

7、3，=0.4即其輸入向量X(0)和連接權(quán)值向量W(0)可分別表示為： X(0)=(-1, x1 (0), x2 (0)W(0)=(0), w1(0), w2 (0)根據(jù)單層感知起學習算法，其學習過程如下：設感知器的兩個輸入為x1(0)=0和x2(0)=0，其期望輸出為d(0)=0，實際輸出為：y(0)=f(w1(0) x1(0)+ w2(0) x2(0)-(0) =f(0.2*0+0.4*0-0.3)=f(-0.3)=0實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(0)=0和x2(0)=1，其期望輸出為d(0)=1，實際輸出為：y(0)=f(w1(0) x1(0)+ w2(0)

8、 x2(0)-(0) =f(0.2*0+0.4*1-0.3)=f(0.1)=1實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(0)=1和x2(0)=0，其期望輸出為d(0)=1，實際輸出為：y(0)=f(w1(0) x1(0)+ w2(0) x2(0)-(0) =f(0.2*1+0.4*0-0.3)=f(-0.1)=0實際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：(1)=(0)+(d(0)- y(0)*(-1)=0.3+0.4*(1-0)*(-1)= -0.1w1(1)=w1(0)+(d(0)- y(0)x1(0)=0.2+0.4*(1-0)*1=0.6w2(1)=w2(0)

9、+(d(0)- y(0)x2(0)=0.4+0.4*(1-0)*0=0.4再取下一組輸入：x1(1)=1和x2(1)=1，其期望輸出為d(1)=1，實際輸出為：y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.6*1+0.4*1+0.1)=f(1.1)=1實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(1)=0和x2(1)=0，其期望輸出為d(0)=0，實際輸出為：y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.6*0+0.4*0 + 0.1)=f(0.1)=1實際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：(2

10、)=(1)+(d(1)- y(1)*(-1)= -0.1+0.4*(0-1)*(-1)= 0.3w1(2)=w1(1)+(d(1)- y(1)x1(1)=0.6+0.4*(0-1)*0=0.6w2(2)=w2(1)+(d(1)- y(1)x2(1)=0.4+0.4*(0-1)*0=0.4再取下一組輸入：x1(2)=0和x2(2)=1，其期望輸出為d(2)=1，實際輸出為：y(2)=f(w1(2) x1(2)+ w2(2) x2(2)-(2) =f(0.6*0+0.4*1 - 0.3)=f(0.1)=1實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(2)=1和x2(2)=0，其期望輸出為d(2)=1，實際輸出為：y(2)=f(w1(2) x1(2)+ w2(2) x2(2)-(2) =f(0.6*1+0.4*0 - 0.3)=f(0.3)=1實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(2)=1和x2(2)=1，其期望輸出為d(2)=1，實際輸出為：y(2)=f(w1(2) x1(2)+ w2(2) x2(2)-(2) =f(0.6*1+0.4*1 - 0.3)=f(0.7)=1實際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。 至此，學習過程結(jié)束。最后的得到的閾值和連接權(quán)值分別為：(2)= 0.3w1(2)=0.6w2(