模式識別復(fù)習(xí)題

數(shù)據(jù)獲取特征提取和選擇數(shù)據(jù)獲取特征提取和選擇預(yù)處理分類決策分類器設(shè)計數(shù)據(jù)獲?。河糜嬎銠C(jī)可以運(yùn)算的符號來表示所研究的對象二維圖像：文字、指紋、地圖、照片等一維波形：腦電圖、心電圖、季節(jié)震動波形等物理參量和邏輯值：體溫、化驗數(shù)據(jù)、參量正常與否的描述預(yù)處理單元：去噪聲，提取有用信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進(jìn)行復(fù)原特征提取和選擇：對原始數(shù)據(jù)進(jìn)行變換，得到最能反映分類本質(zhì)的特征測量空間：原始數(shù)據(jù)組成的空間特征空間：分類識別賴以進(jìn)行的空間模式表示：維數(shù)較高的測量空間->維數(shù)較低的特征空間分類決策：在特征空間中用模式識別方法把被識別對象歸為某一類別基本做法：在樣本訓(xùn)練集基礎(chǔ)上確定某個判決規(guī)則，使得按這種規(guī)則對被識別對象進(jìn)行分類所造成的錯誤識別率最小或引起的損失最小寫出K-均值聚類算法的基本步驟,例子見布置的作業(yè)題.算法：第一步：選K個初始聚類中心，z1(1)，z2(1)，…，zK(1)，其中括號內(nèi)的序號為尋找聚類中心的迭代運(yùn)算的次序號。聚類中心的向量值可任意設(shè)定，例如可選開始的K個模式樣本的向量值作為初始聚類中心。第二步：逐個將需分類的模式樣本{x}按最小距離準(zhǔn)則分配給K個聚類中心中的某一個zj(1)。假設(shè)i=j時，，則，其中k為迭代運(yùn)算的次序號，第一次迭代k=1，Sj表示第j個聚類，其聚類中心為zj。第三步：計算各個聚類中心的新的向量值，zj(k+1)，j=1,2,…,K求各聚類域中所包含樣本的均值向量：其中Nj為第j個聚類域Sj中所包含的樣本個數(shù)。以均值向量作為新的聚類中心，可使如下聚類準(zhǔn)則函數(shù)最小：在這一步中要分別計算K個聚類中的樣本均值向量，所以稱之為K-均值算法。第四步：若，j=1,2,…,K，則返回第二步，將模式樣本逐個重新分類，重復(fù)迭代運(yùn)算；若，j=1,2,…,K，則算法收斂，計算結(jié)束。例子：已知{x1(0,0),x2(1,0),x3(0,1),x4(1,1),x5(2,1),x6(1,2),x7(2,2),x8(3,2),x9(6,6),x10(7,6),x11(8,6),x12(6,7),x13(7,7),x14(8,7),x15(9,7),x16(7,8),x17(8,8),x18(9,8),x19(8,9),x20(9,9)}，用K-均值算法進(jìn)行聚類分析解：選，，第一步：選取第二步：根據(jù)聚類中心進(jìn)行聚類，得到第三步：計算新的聚類中心第四步：因，故回到第二步第二步：根據(jù)新的聚類中心重新進(jìn)行聚類，得到第三步：計算新的聚類中心第四步：，所以算法收斂，得聚類中心為迭代結(jié)束。3、最、剪輯、壓縮近鄰法的基本思想。 最近鄰法的基本思想：以全部訓(xùn)練樣本作為“代表點(diǎn)”，計算測試樣本與這些“代表點(diǎn)”，即所有樣本的距離，并以最近鄰者的類別作為決策。剪輯近鄰法基本思想是，利用現(xiàn)有樣本集對其自身進(jìn)行剪輯，將不同類別交界處的樣本以適當(dāng)方式篩選，可以實現(xiàn)既減少樣本數(shù)又提高正確識別率的雙重目的。壓縮近鄰法：利用現(xiàn)有樣本集，逐漸生成一個新的樣本集，使該樣本集在保留最少量樣本的條件下，仍能對原有樣本的全部用最近鄰法正確分類，那末該樣本集也就能對待識別樣本進(jìn)行分類，并保持正常識別率。4、設(shè)有6個5維模式樣本如下，按最小/大距離準(zhǔn)則進(jìn)行聚類分析（直到分成三個類別為止，距離度量采用歐氏距離）x1:0,3,1,2,0x2:1,3,0,1,0x3:3,3,0,0,1x4:1,1,0,2,0x5:3,2,1,2,1x6:4,1,1,1,0按最大距離準(zhǔn)則進(jìn)行聚類分析：第1步：將每一樣本看成單獨(dú)一類，得計算各類之間的歐式距離，可得距離矩陣000000第2步：矩陣中最大元素為，它是和之間的距離，將他們合并為一個新類為計算聚類后的距離矩陣00000第3步：由于中距離最大者為，它是與之間的距離，于是合并和，得新的分類為同樣，按最大距離準(zhǔn)則計算距離矩陣，得0000第4步：：由于中距離最大者為，它是與之間的距離，于是合并得新的分類為滿足聚類要求，如聚為3類，聚類完畢。5、設(shè)有5個6維模式樣本如下，按最小/大距離準(zhǔn)則進(jìn)行聚類分析（距離度量采用歐氏距離）x1:0,1,3,1,3,4x2:3,3,3,1,2,1x3:1,0,0,0,1,1x4:2,1,0,2,2,1x5:0,0,1,0,1,0用最小聚類準(zhǔn)則進(jìn)行系統(tǒng)聚類分析：第1步：將每一樣本看成單獨(dú)一類，得計算各類之間的歐式距離，可得距離矩陣00000第2步：矩陣中最小元素為，它是和之間的距離，將他們合并為一類，得新的分類為計算聚類后的距離矩陣0000第3步：由于中距離最小者為，它是與之間的距離，于是合并和，得新的分類為同樣，按最小距離準(zhǔn)則計算距離矩陣，得000第4步：同理得滿足聚類要求，如聚為2類，聚類完畢。6、一個三類問題，其判別函數(shù)如下：d1(x)=-x1,d2(x)=x1+x2-1,d3(x)=x1-x2-1設(shè)這些函數(shù)是在多類情況1條件下確定的。1)繪出其判別界面和每一個模式類別的區(qū)域。2)對如下三個樣本所屬模式作出判決：A=(45)T,B=(-25)T,C=(2-5)T例子：一個三類問題，其判別函數(shù)如下： d1(x)=-x1,d2(x)=x1+x2-1,d3(x)=x1-x2-11、設(shè)這些函數(shù)是在多類情況1條件下確定的，繪出其判別界面和每一個模式類別的區(qū)域。2、設(shè)為多類情況2，并使：d12(x)=d1(x),d13(x)=d2(x),d23(x)=d3(x)。繪出其判別界面和多類情況2的區(qū)域。3、設(shè)d1(x),d2(x)和d3(x)是在多類情況3的條件下確定的，繪出其判別界面和每類的區(qū)域解：（1）其判別界面和每一個模式類別的區(qū)域如圖中所示：A=(45)T屬于ω1,B=(-25)T屬于不確定區(qū)域,C=(2-5)T屬于ω3.（2）其判別界面和每一個模式類別的區(qū)域如圖中所示：（3）其判別界面和每一個模式類別的區(qū)域如圖中所示：7、已知：ω1:{x1,x2}={(101)T,(011)T}，ω2:{x3,x4}={(110)T,(010)T}。給定初始增廣權(quán)向量w1=(1111)T，C=1。要求：1)用感知器算法求模式分類的解向量w。2)寫出判別函數(shù)和決策面方程。解：先求四個樣本的增值模式x1=(1,0,1,1)Tx2=(0,1,1,1)Tx3=(1,1,0,1)Tx4=(0,1,0,1)T假設(shè)初始權(quán)向量w1=(1,1,1,1)TC=1第一次迭代：w1Tx1=(1,1,1,1)T(1,0,1,1)=3>0所以不修正w1Tx2=(1,1,1,1)T(0,1,1,1)=3>0所以不修正w1Tx3=(1,1,1,1)T(1,1,0,1)=3>0所以修正w1w2=w1-x3=(0,0,1,0)Tw2Tx4=(0,0,1,0)T(0,1,0,1)=0所以修正w2w3=w2-x4=(0,-1,1,-1)T第一次迭代后,權(quán)向量w3=(0,-1,1,-1)T,再進(jìn)行第2,3,…次迭代如下表：直到在一個迭代過程中權(quán)向量相同，訓(xùn)練結(jié)束。w6=w=(0,-1,3,0)判別函數(shù)決策面方程：即8、已知：ω1:X1=(0,2)T,X3=(2,0)T,X5=(-1,-1)Tω2:X2=(1,1)T,X4=(0,-2)T,X6=(-2,0)T給定初始增廣權(quán)向量w1=(111)T，C=1。要求：用感知器算法求模式分類的解向量w。解：此為線性不可分問題，利用感知器法求權(quán)向量權(quán)向量產(chǎn)生循環(huán)(1,1,1)T,(0,0,0)T,(2,0,1)T,(2,2,0)T,(1,1,1)T因此算法不收斂，我們可以取循環(huán)中任一權(quán)值，例如取W=(2,2,0)T則判別函數(shù)為：g(x)=2x1+2x2判別面方程為：g(x)=2x1+2x2＝0所以：x1+x2＝0由圖看出判別面H把二類分開，但其中x2錯分到ω1類，而x1錯分到ω2類，但大部分分類還是正確的。9、對一大批人進(jìn)行癌癥普查，患癌者以ω1類代表，正常人以ω2類代表。已知P(ω1，當(dāng)然P(ω2)=1-0.005=0.995.設(shè)有一種診斷癌癥的試驗，其結(jié)果為“陽性”和“陰性”兩種反應(yīng)。假設(shè)根據(jù)臨床記錄發(fā)現(xiàn)這種方法有以下統(tǒng)計結(jié)果:患有癌癥的人試驗反應(yīng)為陽性的概率，即p(x=陽|ω1患有癌癥的人試驗反應(yīng)為陰性的概率，即p(x=陰|ω1正常人試驗反應(yīng)為陽性的概率，即p(x=陽|ω2正常人試驗反應(yīng)為陰性的概率，即p(x=陰|ω2問：若被化驗的人具有陽性反應(yīng)，他患癌癥的概率為多少？解：因為，P(w2|x=陽)=1-P(w1P(w1|x=陽)<P(w2|x=陽)故判決：正常。10、已知P(ω1，P(ω2)=0.1，p(x|ω1)=0.2，p(x|ω2)=0.4。且有如下決策表：損失狀態(tài)決策ω1ω2α106α210請按最小風(fēng)險貝葉斯決策進(jìn)行分類。解：已知條件為P(ω1，P(ω2)=0.1，p(x|ω1)=0.2，p(x|ω2)=0.4。利用貝葉斯公式分別計算出ω1及ω2的后驗概率再計算條件風(fēng)險:由于即決策為ω2的條件風(fēng)險小于決策為ω1的條件風(fēng)險，因此我們采取決策行動，即判斷待識別的細(xì)胞x為ω2類——異常細(xì)胞。11、設(shè)有如下三類模式樣本集ω1，ω2和ω3，其先驗概率相等，求Sw和Sbω1：{(10)T,(20)T,(11)T}ω2：{(-10)T,(01)T,(-11)T}ω3：{(-1-1)T,(0-1)T,(0-2)T}解：由于本題中有三類模式，因此我們利用下面的公式：=,即:為第i類樣本樣本均值12試用感知器算法實現(xiàn)邏輯“與”、“或”功能。（初始加權(quán)值、閾值和訓(xùn)練速率系數(shù)自己設(shè)定）一、用感知器算法實現(xiàn)邏輯“與”功能真值表：x1x2T00-1(0)01-1(0)10-1(0)111設(shè)，，，，轉(zhuǎn)移函數(shù)為符號函數(shù)則有，則有，則有則有，重復(fù)上述（1）～（4），則有，則有，則有，則有，最后所得加權(quán)值為，用感知器算法實現(xiàn)邏輯“或”功能真值表：x1x2T00-1(0)011101111仍設(shè)，，，，轉(zhuǎn)移函數(shù)為符號函數(shù)(1)則有，(2)則有(3)則有，(4)則有，重復(fù)上述（1）～（4），(5)則有，則有，則有，則有，最后所得加權(quán)值為，13.掌握BP算法.前饋與反饋網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練過程.BP訓(xùn)練算法實現(xiàn)步驟準(zhǔn)備：訓(xùn)練數(shù)據(jù)組。設(shè)網(wǎng)絡(luò)具有m層，表示第m層中第j個結(jié)點(diǎn)的輸出，（零層輸出）等于xj，即第j個輸入。表示從到的連接加權(quán)。這里，m代表層號，而不是向量的類號。將各加權(quán)隨機(jī)置為小的隨機(jī)數(shù)?？捎镁鶆蚍植嫉碾S機(jī)數(shù)，以保證網(wǎng)絡(luò)不被大的加權(quán)值所飽和。從訓(xùn)練數(shù)據(jù)組中選一數(shù)據(jù)對(xk,Tk)，將輸入向量加到輸入層（m=0），使得對所有端點(diǎn)i：，k表示向量類號信號通過網(wǎng)絡(luò)向前傳播，即利用關(guān)系式：計算從第一層開始的各層內(nèi)每個結(jié)點(diǎn)i的輸出，直到輸出層的每個結(jié)點(diǎn)的輸出計算完為止。計算輸出層每個結(jié)點(diǎn)的誤差值（利用公式(1)）（對Sigmod函數(shù)）它是由實際輸出和要求目標(biāo)值之差獲得。計算前面各層各結(jié)點(diǎn)的誤差值（利用公式(2)）這里逐層計算反傳誤差，直到將每層內(nèi)每個結(jié)點(diǎn)的誤差值算出為止。利用加權(quán)修正公式和關(guān)系修正所有連接權(quán)。一般η=0.01~1，稱為訓(xùn)練速率系數(shù)。返回第2步，為下一個輸入向量重復(fù)上述步驟，直至網(wǎng)絡(luò)收斂。（2）前饋網(wǎng)絡(luò)通過許多具有簡單處理能力的神經(jīng)元的復(fù)合作用，使整個網(wǎng)絡(luò)具有復(fù)雜的非線性映射能力。反饋網(wǎng)絡(luò)通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷，最終穩(wěn)定于某一狀態(tài)，得到聯(lián)想存儲或神經(jīng)計算的結(jié)果。感知器訓(xùn)練算法準(zhǔn)備：收集一組訓(xùn)練對，即一組輸入向量，其中每個都有一個對應(yīng)的目標(biāo)向量。輸入：二進(jìn)制值或連續(xù)值（-1~+1）輸出：目標(biāo)向量（二進(jìn)制值）訓(xùn)練步驟：將所有網(wǎng)絡(luò)加權(quán)隨機(jī)置為較小的值（均勻分布隨機(jī)數(shù)）加入一個輸入量)，計算各結(jié)點(diǎn)的輸入加權(quán)和：將信號通過符號函數(shù)，得：計算每個結(jié)點(diǎn)的輸出誤差值：調(diào)節(jié)各加權(quán)值：重復(fù)步驟2~5，直到所有誤差達(dá)到所要求的最小值（如零值）為止。Hopfield網(wǎng)絡(luò)學(xué)習(xí)過程假設(shè)共有p個模式，即網(wǎng)絡(luò)面臨的學(xué)習(xí)任務(wù)為集合{x1,x2,…,xp}，其中。先考慮Hopfield網(wǎng)絡(luò)對一個模式學(xué)習(xí)和回憶的情況。對一個模式的學(xué)習(xí)，此時p=1，即學(xué)習(xí)任務(wù)集合只有一個模式x1。設(shè)網(wǎng)絡(luò)權(quán)矩陣為W，對于初始模式x1，若網(wǎng)絡(luò)穩(wěn)定，則應(yīng)有：x1=sgn(x1W)，x1為網(wǎng)絡(luò)的不動點(diǎn)上式展開可寫成：，其中 (1)式(1)可用于神經(jīng)網(wǎng)絡(luò)狀態(tài)的任何更新方式。由sgn函數(shù)的性質(zhì)，若條件（即式(1)左右兩邊同號）滿足，則式(1)成立，從而有：因，則由He