學(xué)習(xí)向量量化網(wǎng)絡(luò)

學(xué)習(xí)向量量化網(wǎng)絡(luò)第1頁，共23頁，2023年，2月20日，星期六目錄概述1向量量化2LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理3LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)4第2頁，共23頁，2023年，2月20日，星期六1.概述學(xué)習(xí)向量量化（LearnigVectorQuantization，LVQ）網(wǎng)絡(luò)：（1）在競爭網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上提出的；（2）將競爭學(xué)習(xí)思想與有監(jiān)督學(xué)習(xí)算法結(jié)合在一起；（3）在網(wǎng)絡(luò)學(xué)習(xí)過程中，通過教師信號(hào)對(duì)輸入樣本的分配類別進(jìn)行規(guī)定；（4）克服了自組織網(wǎng)絡(luò)采用無監(jiān)督學(xué)習(xí)算法帶來的缺乏分類信息的弱點(diǎn)。第3頁，共23頁，2023年，2月20日，星期六2.向量量化在信號(hào)處理領(lǐng)域，量化是針對(duì)標(biāo)量進(jìn)行的，將信號(hào)的連續(xù)取值近似為有限多個(gè)或較少的離散值的過程。向量量化是對(duì)標(biāo)量量化的擴(kuò)展，適用于高維數(shù)據(jù)。向量量化的思路：將高維輸入空間分成若干不同區(qū)域，對(duì)每個(gè)區(qū)域確定一個(gè)中心向量作為聚類中心，與其處于同一區(qū)域的輸入向量可作為該中心向量來代表，從而形成以各中心向量為聚類中心的點(diǎn)集。第4頁，共23頁，2023年，2月20日，星期六2.向量量化第5頁，共23頁，2023年，2月20日，星期六2.向量量化自適應(yīng)解決模式分類問題的步驟：第一步：自組織映射——起聚類的作用，但不能直接分類或識(shí)別；第二步：學(xué)習(xí)向量量化——采用有監(jiān)督方法，在訓(xùn)練中加入教師信號(hào)作為分類信息對(duì)權(quán)值進(jìn)行細(xì)調(diào)，并對(duì)輸出神經(jīng)元預(yù)先指定其類型。第6頁，共23頁，2023年，2月20日，星期六3.LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理3.1LVQ網(wǎng)絡(luò)結(jié)構(gòu)第7頁，共23頁，2023年，2月20日，星期六3.LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理組成：輸入層神經(jīng)元、競爭層神經(jīng)元和輸出層神經(jīng)元輸入層：有n個(gè)神經(jīng)元接受輸入向量，與競爭層之間完全連接；競爭層：有m個(gè)神經(jīng)元，分為若干組并呈一維線陣排列輸入層：每個(gè)神經(jīng)元只與競爭層中的一組神經(jīng)元連接，連接權(quán)值固定為1.第8頁，共23頁，2023年，2月20日，星期六3.LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理3.2LVQ網(wǎng)絡(luò)工作原理(1)在LVQ網(wǎng)絡(luò)的訓(xùn)練過程中，輸入層和競爭層之間的連接權(quán)值被逐漸調(diào)整為聚類中心。(2)當(dāng)一個(gè)輸入樣本被送到LVQ網(wǎng)時(shí)，競爭層的神經(jīng)元通過勝者為王競爭學(xué)習(xí)規(guī)則產(chǎn)生獲勝神經(jīng)元，容許其輸出為1，而其他神經(jīng)元輸出為0.(3)與獲勝神經(jīng)元所在組相連接的輸出神經(jīng)元，其輸出也為1，其他的輸出為0，從而給出當(dāng)前輸入樣本的模式類。子類：競爭層學(xué)習(xí)得到的類目標(biāo)類：輸出層學(xué)習(xí)得到的類第9頁，共23頁，2023年，2月20日，星期六3.LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理LVQ網(wǎng)絡(luò)各層的數(shù)學(xué)描述：輸入向量X=(x1，x2，…，xn)T；競爭層的輸出Y=(y1，y2，…，ym)T,yi∈{0,1}，i=1,2，…，M；輸出層的輸出O=(o1，oj，…，ol)T；網(wǎng)絡(luò)的期望輸出d=(d1，d2，…，dl)T；輸入層到競爭層之間的權(quán)值矩陣W1=(W11，W21，…,Wj1，…,WM1)其中列向量Wj1為隱層第j個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)值向量；第10頁，共23頁，2023年，2月20日，星期六3.LVQ網(wǎng)絡(luò)結(jié)構(gòu)與工作原理

競爭層到輸出層之間的權(quán)值矩陣W2=(W12，W22，…,Wk2，…,Wl2)其中列向量Wk2為輸出層第k個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)值向量。第11頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)4.1LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法LVQ網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則結(jié)合了競爭學(xué)習(xí)和有導(dǎo)師學(xué)習(xí)規(guī)則，需要一組有教師信號(hào)的樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。設(shè)訓(xùn)練樣本集：{(X1,d1),…,(Xp,dp),…,(XP,dP)},其中每個(gè)教師向量dp（p=1,2，…,P）中只有一個(gè)分量為1，其他分量均為0。通常把競爭層的每一個(gè)神經(jīng)元指定給一個(gè)輸出神經(jīng)元，相應(yīng)的權(quán)值為1，從而得到輸出層的權(quán)值矩陣W2。第12頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)假設(shè)某個(gè)LVQ網(wǎng)絡(luò)競爭層有6個(gè)神經(jīng)元，輸出層有3個(gè)神經(jīng)元，代表3個(gè)類；將競爭層的1、3號(hào)神經(jīng)元指定為第1個(gè)輸出神經(jīng)元，第2、5號(hào)神經(jīng)元指定為第2個(gè)輸出神經(jīng)元，第4、6號(hào)神經(jīng)元指定為第3個(gè)神經(jīng)元，則權(quán)值矩陣W2定義為第13頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)W2的列表示類，行表示子類，每一行只有一個(gè)元素為1，該元素所在的列表示這個(gè)子類所屬的類。對(duì)任一輸入樣本，網(wǎng)絡(luò)的輸出為O=(W2)TYLVQ網(wǎng)絡(luò)在訓(xùn)練前預(yù)先定義好W2，從而指定了輸出神經(jīng)元的類別。訓(xùn)練中W2不再改變，網(wǎng)絡(luò)的學(xué)習(xí)是通過改變W1來進(jìn)行的。根據(jù)輸入樣本的類別（教師信號(hào)）和獲勝神經(jīng)元所屬類別，可判斷當(dāng)前分類是否正確。若分類正確，則將獲勝神經(jīng)元的權(quán)向量向輸入方向調(diào)整；

若分類錯(cuò)誤，則向相反方向調(diào)整。第14頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)第15頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)LVQ網(wǎng)絡(luò)學(xué)習(xí)算法的步驟：(1)初始化：競爭層各神經(jīng)元權(quán)值向量Wj1(0)，(j=1,...,M)賦小的隨機(jī)數(shù)，確定初始學(xué)習(xí)速率?(0)和訓(xùn)練次數(shù)K.(2)輸入樣本向量X.(3)尋找獲勝神經(jīng)元j*：║X-Wj*1║=min║X-Wj1║j=1,2，…,M(4)根據(jù)分類是否正確按不同規(guī)則調(diào)整獲勝神經(jīng)元的權(quán)值。當(dāng)網(wǎng)絡(luò)分類結(jié)果與教師信號(hào)一致時(shí)，向輸入樣本方向調(diào)整權(quán)值：第16頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)Wj*1（k+1）=Wj*1（k）+?（k）[X-Wj*1(k)]；否則將向逆輸入樣本方向調(diào)整權(quán)值：Wj*1（k+1）=Wj*1（k）-?（k）[X-Wj*1(k)]；其他非神經(jīng)元的權(quán)值保持不變。(5)更新學(xué)習(xí)速率?（k）=?（0）*（1-）當(dāng)k<K時(shí)，k←k+1，轉(zhuǎn)到步驟(2)輸入下一個(gè)樣本，重復(fù)各步驟直到k=K.在上述訓(xùn)練過程中，需保證?(k)為單調(diào)下降函數(shù)，此外，尋找獲勝神經(jīng)元時(shí)直接用最小歐式距離來判別。第17頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)4.2LVQ網(wǎng)絡(luò)在MATLAB上的實(shí)現(xiàn)MATLAB中與LVQ相關(guān)的重要函數(shù)和功能第18頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)newlvq（）功能：建立一個(gè)向量量化神經(jīng)網(wǎng)絡(luò)函數(shù)格式：net=newlvqnet=newlvq（PR,S1,PC,LR,LF）說明：式返回一個(gè)沒有定義結(jié)構(gòu)的空對(duì)象，并顯示函數(shù)nntool的幫助文字；式中，net為生成的學(xué)習(xí)向量量化網(wǎng)絡(luò)；PR為一個(gè)Rx2維的網(wǎng)絡(luò)輸入向量的取值范圍的矩陣[Pmin，Pmax]；S1表示隱層神經(jīng)元的數(shù)目；PC表示在第二層的權(quán)值中列所屬類別的百分比；LR表示學(xué)習(xí)速率，默認(rèn)值為0.01；LF表示學(xué)習(xí)函數(shù)，默認(rèn)值為learnlv1.第19頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)ind2vec（）功能：將下標(biāo)矢量變換成單值矢量組函數(shù)格式：vec=ind2vec（ind）說明：ind為包含n個(gè)下標(biāo)的行向量x；vec為m行n列的向量組矩陣，矩陣中的每個(gè)向量i，除有x中的第i個(gè)元素指定的位置為1外，其他元素均為0，矩陣的行數(shù)m等于x中最大的下標(biāo)值。其中(1,10):第10個(gè)測試樣本數(shù)據(jù)，1號(hào)神經(jīng)元獲勝第20頁，共23頁，2023年，2月20日，星期六4.LVQ網(wǎng)絡(luò)的學(xué)習(xí)算法及其在MATLAB上的實(shí)現(xiàn)learnlv1（）功能：LVQ1權(quán)值學(xué)習(xí)函數(shù)格式：[dW,LS]=learnlv1（W,P,Z,N,A,T,E,gW,gA,D,LP,LS）說明：dW為S×R權(quán)值變化矩陣；LS為當(dāng)前學(xué)習(xí)狀態(tài)；W為S×R權(quán)值矩陣；P為R×Q的輸入矢量；Z為S×Q的輸入層的權(quán)值矢量（可省略）；N為S×Q的網(wǎng)絡(luò)輸入矢量；A為S×Q的輸出矢量；T為S×Q的目標(biāo)輸出矢量；E為S×Q誤差矢量；gW為S×R、與性能相關(guān)的權(quán)重梯度矩陣；gA為S×Q、與性能相關(guān)的輸出梯度矩陣；D為S×S的神經(jīng)元距離矩陣；LP為學(xué)習(xí)參數(shù)，該函數(shù)的學(xué)習(xí)參數(shù)由LP、Ir構(gòu)成，默認(rèn)值為0.01；LS為學(xué)習(xí)函數(shù)申明。第21頁，共23頁，2023年