作為SVR模型優(yōu)劣的評(píng)價(jià)參數(shù)課件

使用優(yōu)化SVR模型進(jìn)行組效研究周培培使用優(yōu)化SVR模型進(jìn)行組效研究周培培一、課題研究背景和理論基礎(chǔ)1.支持向量機(jī)的提出人的智慧機(jī)器學(xué)習(xí)支持向量機(jī)一、課題研究背景和理論基礎(chǔ)1.支持向量機(jī)的提出人的智慧機(jī)器學(xué)一、課題研究背景和理論基礎(chǔ)20世紀(jì)60年代V.N.Vapnik等人開(kāi)始究支持向量機(jī)。隨著機(jī)器學(xué)習(xí)理論不斷發(fā)展和成熟，同時(shí)由于神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)模型的研究進(jìn)展遇到阻礙，20世紀(jì)90年代，支持向量機(jī)的研究取得了突破性進(jìn)展。目前，支持向量機(jī)算法被認(rèn)為是針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。優(yōu)點(diǎn)：適用范圍廣、魯棒性強(qiáng)、操作簡(jiǎn)單……2.支持向量機(jī)的發(fā)展一、課題研究背景和理論基礎(chǔ)20世紀(jì)60年代V.N.V一、課題研究背景和理論基礎(chǔ)支持向量分類(lèi)機(jī)SVC（supportvectorclassification）支持向量回歸機(jī)SVR（supportvectorregression）支持向量機(jī)

定量分析定性分析3.支持向量機(jī)的分類(lèi)ε-SVR,ν-SVR一、課題研究背景和理論基礎(chǔ)支持向量分類(lèi)機(jī)SVC（suppo一、課題研究背景和理論基礎(chǔ)低維空間向高維空間映射核函數(shù)尋求最優(yōu)超平面4.支持向量機(jī)的理論基礎(chǔ)。一、課題研究背景和理論基礎(chǔ)低維空間向高維空間映射核函數(shù)尋求最一、課題研究背景和理論基礎(chǔ)參數(shù)的優(yōu)化至關(guān)重要：基于梯度下降的參數(shù)選擇方法、基于蟻群算法的參數(shù)選擇方法、基于網(wǎng)格的參數(shù)優(yōu)化方法、基于粒子群優(yōu)化算法的參數(shù)選擇方法、基于遺傳算法的參數(shù)優(yōu)化方法、基于基因表達(dá)式編程的參數(shù)優(yōu)化方法?！Ｗ尤簝?yōu)化算法(ParticleSwarmOptimization，PSO)5.支持向量機(jī)的參數(shù)優(yōu)化一、課題研究背景和理論基礎(chǔ)參數(shù)的優(yōu)化至關(guān)重要：粒子群優(yōu)化算法一、課題研究背景和理論基礎(chǔ)PSO源于對(duì)鳥(niǎo)群捕食行為的研究：它是一種通過(guò)群體中粒子之間的合作與競(jìng)爭(zhēng)產(chǎn)生的群體智能指導(dǎo)優(yōu)化搜索方法。在PSO算法中，首先系統(tǒng)初始化為一組隨機(jī)解，在迭代中搜尋最優(yōu)值，在解空間中追隨最優(yōu)的粒子。每個(gè)粒子通過(guò)迭代過(guò)程中自身的最優(yōu)值和群體的最優(yōu)值來(lái)不斷的修正自己的前進(jìn)速度和方向，從而形成群體尋優(yōu)的正反饋機(jī)制。5.PSO算法介紹一、課題研究背景和理論基礎(chǔ)PSO源于對(duì)鳥(niǎo)群捕食行為的研究：它一、課題研究背景和理論基礎(chǔ)計(jì)算粒子適應(yīng)度值輸入處理后數(shù)據(jù)開(kāi)始設(shè)置粒子和速度初始值尋找個(gè)體機(jī)制和群體極值N滿(mǎn)足結(jié)束條件Y個(gè)體極值和群體極值更新更新速度和位置計(jì)算粒子適應(yīng)度值得到優(yōu)化參數(shù)結(jié)束一、課題研究背景和理論基礎(chǔ)計(jì)算粒子適應(yīng)度值輸入處理后數(shù)據(jù)開(kāi)始二、模型構(gòu)建和算法實(shí)現(xiàn)1.開(kāi)發(fā)平臺(tái)libsvm-mat-2.89-3工具箱matlab2010bMicrosoftVisualC++2010windows7二、模型構(gòu)建和算法實(shí)現(xiàn)1.開(kāi)發(fā)平臺(tái)libsvm-mat-2.二、模型構(gòu)建和算法實(shí)現(xiàn)2.建模步驟Libsvm編譯數(shù)據(jù)預(yù)處理挑選訓(xùn)練集和測(cè)試集PSO優(yōu)化參數(shù)構(gòu)建SVR模型其他相關(guān)程序參數(shù)尋優(yōu)、模型建立、結(jié)果預(yù)測(cè)、繪制圖形、保存數(shù)據(jù)、存儲(chǔ)圖形。二、模型構(gòu)建和算法實(shí)現(xiàn)2.建模步驟Libsvm編譯數(shù)據(jù)預(yù)處理二、模型構(gòu)建和算法實(shí)現(xiàn)(1).Libsvm編譯在正式的模型設(shè)計(jì)和運(yùn)行前，應(yīng)當(dāng)對(duì)libsvm進(jìn)行編譯。Attention:安裝時(shí),把libsvm作為當(dāng)前的工作目錄,在后面使用時(shí)并將其加為工作目錄(setpath…)。添加至搜索目錄搜素編譯環(huán)境選擇VC++設(shè)置當(dāng)前文件夾編譯二、模型構(gòu)建和算法實(shí)現(xiàn)(1).Libsvm編譯在正式的模型設(shè)在進(jìn)行建模之前，對(duì)訓(xùn)練集和測(cè)試集進(jìn)行歸一化處理。本課題中采用的方法是：經(jīng)處理后，原始數(shù)據(jù)被規(guī)整到[0,1]之間，便于以后的建模。二、模型構(gòu)建和算法實(shí)現(xiàn)(2).數(shù)據(jù)預(yù)處理程序代碼如下：Q=csvread('filename.csv');[m,n]=size(Q);maxy=max(Q(:,n));miny=min(Q(:,n));fori=1:ntemp=Q(:,i);temp=(temp-min(temp))/(max(temp)-min(temp));Q_scale(:,i)=temp;end在進(jìn)行建模之前，對(duì)訓(xùn)練集和測(cè)試集進(jìn)行歸一化處理。本課題中采用使用交叉驗(yàn)證（CrossValidation）的思想，采用其中最簡(jiǎn)單的Hold-Out方法把輸入的數(shù)據(jù)隨機(jī)分為兩部分，一部分為作為訓(xùn)練集（約占70%），一部分作為測(cè)試集（約占30%）。此種方法簡(jiǎn)單方便。二、模型構(gòu)建和算法實(shí)現(xiàn)(3).挑選訓(xùn)練集和測(cè)試集程序代碼如下：[train,test]=crossvalind('HoldOut',m,0.3);train_x=P(train,:);train_y=T(train,:);test_x=P(test,:);test_y=T(test,:);使用交叉驗(yàn)證（CrossValidation）的思想，采用此程序調(diào)用libsvm工具箱中的psoSVMcgForRegress.m，直接對(duì)C,g優(yōu)化。為了評(píng)價(jià)參數(shù)C、和參數(shù)g的優(yōu)劣，使用訓(xùn)練集作為訓(xùn)練和預(yù)測(cè)數(shù)據(jù)，選取計(jì)算預(yù)測(cè)結(jié)果的均方誤差（MSE）作為適應(yīng)度函數(shù)，每個(gè)粒子都包含一個(gè)C值和一個(gè)g值，個(gè)體通過(guò)適應(yīng)度函數(shù)計(jì)算適應(yīng)度值，PSO通過(guò)不斷的迭代、比較、尋優(yōu)，不斷的更新群體，從而尋找到最優(yōu)的懲罰參數(shù)C、精度。在參數(shù)優(yōu)化過(guò)程中，采用了交叉驗(yàn)證的K-fold方法。二、模型構(gòu)建和算法實(shí)現(xiàn)(4).PSO優(yōu)化參數(shù)程序代碼如下：pso_option.c2=1.7;pso_option.maxgen=200;pso_option.sizepop=20;pso_option.k=0.6;pso_option.wV=1;pso_option.wP=1;pso_option.v=5;pso_option.popcmax=100;pso_option.popcmin=0.1;pso_option.popgmax=1000;pso_option.popgmin=0.01;[bestCVmse,bestc,bestg]=psoSVMcgForRegress(TrainL,Train,pso_option,stype,ttype)此程序調(diào)用libsvm工具箱中的psoSVMcgForReg二、模型構(gòu)建和算法實(shí)現(xiàn)(5).構(gòu)建SVR模型把參數(shù)集和訓(xùn)練集帶入函數(shù)svmtrain獲得SVR模型model把模型賦予測(cè)試函數(shù)svmpredict獲得預(yù)測(cè)結(jié)果設(shè)定模型參數(shù)集cmdcmd是模型參數(shù)集，確定了模型的決策函數(shù)、核函數(shù)、模型擬合的基準(zhǔn)要求，以及相應(yīng)的參數(shù)。model是模型結(jié)構(gòu)，是svmtrain的返回值。以均方誤差（MSE）、相關(guān)系數(shù)（R）、標(biāo)準(zhǔn)偏差（RSE）作為SVR模型優(yōu)劣的評(píng)價(jià)參數(shù)。程序代碼如下：cmd=['-c',num2str(bestc),'-g',num2str(bestg),'-s',num2str(stype),'–t',num2str(stype),'-p0.01'];model=svmtrain(train_y,train_x,cmd);[ptrain,train_mse]=svmpredict(train_y,train_x,model);[ptest,test_mse]=svmpredict(test_y,test_x,model);mse=zeros(1,2);r=zeros(1,2);mse(1)=train_mse(2);mse(2)=test_mse(2);r(1)=train_mse(3);r(2)=test_mse(3);二、模型構(gòu)建和算法實(shí)現(xiàn)(5).構(gòu)建SVR模型把參數(shù)集和訓(xùn)練集二、模型構(gòu)建和算法實(shí)現(xiàn)反歸一化在訓(xùn)練和預(yù)測(cè)結(jié)束后，對(duì)預(yù)測(cè)結(jié)果進(jìn)行反歸一化。公式為：作圖為了更為形象的表示預(yù)測(cè)結(jié)果，畫(huà)出真實(shí)值和預(yù)測(cè)值的曲線，即SVR模型的擬合圖像。二、模型構(gòu)建和算法實(shí)現(xiàn)反歸一化二、模型構(gòu)建和算法實(shí)現(xiàn)保存數(shù)據(jù)為了以后的比較選擇，需對(duì)所有的訓(xùn)練結(jié)果進(jìn)行保存，存入matlab的工作空間。程序代碼如下：e_train=Train_y-Ptrain;e_test=Test_y-Ptest;K=length(Train_y);I=length(Test_y);RSE_train=sqrt(sum(e_train.^2)/(K-1))/mean(Train_y)*100;RSE_test=sqrt(sum(e_test.^2)/(I-1))/mean(Test_y)*100;A(i,:)=[i,bestCVmse,bestc,bestg,mse(1),RSE_train,r(1),mse(2),RSE_test,r(2)];A1(i,:)=[i,mse(1),RSE_train,r(1),mse(2),RSE_test,r(2)];(5).附加程序二、模型構(gòu)建和算法實(shí)現(xiàn)保存數(shù)據(jù)程序代碼如下：(5).附加程序二、模型構(gòu)建和算法實(shí)現(xiàn)保存圖像在程序功能需求中，要求保存其中最優(yōu)的一組圖形。保存的組號(hào)部分保存名稱(chēng)自動(dòng)保存（保存途徑為當(dāng)前工作文件夾）程序代碼如下：mnumber=43；name=1023;mturn=a+1-mnumber;fori=1:aforii=1:3ifi==mturnsaveas(gca,num2str(name*10-ii+4),'fig');close(gcf);elseclose(gcf);endendend二、模型構(gòu)建和算法實(shí)現(xiàn)保存圖像保存的組號(hào)部分保存名稱(chēng)自動(dòng)保存三、適用性驗(yàn)證1.數(shù)據(jù)來(lái)源31批購(gòu)自不同單位的姜黃三、適用性驗(yàn)證1.數(shù)據(jù)來(lái)源31批購(gòu)自不同單位的姜黃三、適用性驗(yàn)證序號(hào)簡(jiǎn)稱(chēng)模型選擇核函數(shù)1LESVRε-SVR線性核函數(shù)（linear）2PESVR多項(xiàng)式核函數(shù)（polynomial）3RESVR徑向基核函數(shù)（RBF）4LNSVRν-SVR線性核函數(shù)（linear）5PNSVR多項(xiàng)式核函數(shù)（polynomial）6RNSVR徑向基核函數(shù)（RBF）2.構(gòu)建模型在姜黃的組效關(guān)系建模中，構(gòu)建如下幾個(gè)模型三、適用性驗(yàn)證序號(hào)簡(jiǎn)稱(chēng)模型選擇核函數(shù)1LESVRε-SVR線三、適用性驗(yàn)證名稱(chēng)BestCBestgMSE-trianRSE-trianR-trainMSE-testRSE-testR-testLESVR0.143230.08570.01770.09650.81720.01890.13470.8939PESVR6.75610.10000.01470.08740.83440.02800.21730.8796RESVR1.99420.10000.00500.16180.94050.00920.17000.9326LNSVR0.100035.99020.00820.08800.87240.00980.14930.8917PNSVR2.25430.10000.00200.01200.97440.01060.16470.9248RNSVR0.94630.10000.00170.14330.97280.01930.22340.9551各模型的結(jié)果值如下表所示模型擬合結(jié)果表從表中可以看出，兩種模型的測(cè)試結(jié)果的相關(guān)系數(shù)均大于0.9，且均方誤差和標(biāo)準(zhǔn)偏差都較小，懲罰參數(shù)C值也都不大?？梢?jiàn)PSO-SVR模型在預(yù)測(cè)姜黃的生物活性時(shí)，效果良好。名稱(chēng)BestCBestgMSE-trianRSE-trianR-trainMSE-testRSE-testR-testRESVR1.99420.10000.0050