試驗四支持向量機

1、實驗四：支持向量機班級姓名學號指導老師.實驗目的1 .了解基有關(guān)支持向量機的根本原理2 .能夠使用支持向量機的代碼解決分類與回歸問題3 .了解圖像分類的根本原理二、實驗的硬件、軟件平臺硬件：計算機軟件：操作系統(tǒng)win10應用軟件：Java三、實驗原理1. LIBSVM使用方法簡介LibSVM是以源代碼和可執(zhí)行文件兩種方式給出的.如果是Windows系列操作系統(tǒng),可以直接使用軟件包提供的程序,也可以進行修改編譯；如果是Unix類系統(tǒng),必須自己編譯.LIBSVM在給出源代碼的同時還提供了Windows操作系統(tǒng)下的可執(zhí)行文件,包括：進行支持向量機練習的svmtrain.exe；根據(jù)已獲得的支持向量機

2、模型對數(shù)據(jù)集進行預測的svmpredict.exe；以及對練習數(shù)據(jù)與測試數(shù)據(jù)進行簡單縮放操作的svmscale.exe.它們都可以直接在DOS環(huán)境中使用.如果下載的包中只有C+勺源代碼,那么也可以自己在VC等軟件上編譯生成可執(zhí)行文件.2. LIBSVM使用的一般步驟是：1) 根據(jù)LIBSVM軟件包所要求的格式準備數(shù)據(jù)集；2) 對數(shù)據(jù)進行簡單的縮放操作；3) 考慮選用RBF核函數(shù)；4) 采用交叉驗證選擇最正確參數(shù)C與g;5) 采用最正確參數(shù)C與g對整個練習集進行練習獲取支持向量機模型；6) 利用獲取的模型進行測試與預測.3. LIBSVM使用的數(shù)據(jù)格式1)練習數(shù)據(jù)和檢驗數(shù)據(jù)文件格式如下：<

3、label><index1>:<value1><index2>:<value2>.其中<label>是練習數(shù)據(jù)集的目標值,對于分類,它是標識某類的整數(shù)(支持多個類)；對于回歸,是任意實數(shù).<index>是以1開始的整數(shù),可以是不連續(xù)的；<value>為實數(shù),也就是我們常說的自變量.檢驗數(shù)據(jù)文件中的label只用于計算準確度或誤差,如果它是未知的,只需用一個數(shù)填寫這一欄,也可以空著不填.在程序包中,還包括有一個練習數(shù)據(jù)實例：heart_scale,方便參考數(shù)據(jù)文件格式以及練習使用軟件.可以編寫小程序,將自己

4、.的數(shù)據(jù)格式轉(zhuǎn)換成這種格式2Svmtrain和Svmpredict的用法L舊SVM軟件提供的各種功能都是DO階令執(zhí)行方式.我們主要用到兩個程序,svmtrain訓I練建模和svmpredict使用已有的模型進行預測,下面分別對這兩個程序的使用方法、各參數(shù)的意義以及設置方法做一個簡單介紹：1Svmtrain的用法：svmtrainoptionstraining_set_filemodel_file一一一Options:可用的選項即表示的涵義如下-ssvm類型：SV根置類型默認00-C-SVC1-v-SVC2-一類SVM3-e-SVR4-v-SVR-t核函數(shù)類型：核函數(shù)設置類型默認20-線性：u&

5、#39;v1 -多項式：r*u'v+coef0Adegree2 -RBF函數(shù)：exp-r|u-v|A23 -sigmoid:tanhr*u'v+coef0- ddegree：核函數(shù)中的degree設置默認3- g函數(shù)設置默認1/k?rgama:核函數(shù)中的- rcoef0：核函數(shù)中的coefO設置默認0?-ccost:設置C-SVC-SVR的參數(shù)默認1?-SVR和- SVR勺參數(shù)默認0.5?-SVC,一類SVMff口-nnu:設置- SVR?-pe：設置的值默認0.1?中損失函數(shù)- mcachesize:設置cache內(nèi)存大小,以MB為單位默認40- e:設置允許的終止判據(jù)默認0

6、.001?- hshrinking:是否使用啟發(fā)式,0或1默認1- wiCC-SVCt的C默認1?weight：設置第幾類的參數(shù)C為weight- vn:n-fold交互檢驗模式其中-g選項中的k是指輸入數(shù)據(jù)中的屬性數(shù).option-v隨機地將數(shù)據(jù)剖分為n局部并計算交互檢驗準確度和均方根誤差.以上這些參數(shù)設置可以根據(jù)SVM勺類型和核函數(shù)所支持的參數(shù)進行任意組合,如果設置的參數(shù)在函數(shù)或SVM類型中沒有也不會產(chǎn)生影響,程序不會接受該參數(shù)；如果應有的參數(shù)設置不正確,參數(shù)將采用默認值.training_set_file是要進行練習的數(shù)據(jù)集；model_file是練習結(jié)束后產(chǎn)生的模型文件,文件中包括支持

7、向量樣本數(shù)、支持向量樣采以及l(fā)agrange系數(shù)等必須的參數(shù)；該參數(shù)如果不設置將采用默認的文件名,也可以設置成自己慣用的文件名.（2） Svmpredict的用法：svmpredicttest_filemodel_fileoutput_filemodel_file是由svmtrain產(chǎn)生的模型文件；test_file是要進行預測的數(shù)據(jù)文件；Output_file是svmpredict的輸出文件.svm-predict沒有其它的選項.四、實驗內(nèi)容及步驟支持向量機算法練習分類器：1 .練習數(shù)據(jù)集：見文檔“分類數(shù)據(jù)集.doc,前150個數(shù)據(jù)作為練習數(shù)據(jù),其他數(shù)據(jù)作為測試數(shù)據(jù),數(shù)據(jù)中“+1“-1分別表

8、示正負樣本.2 .使用代碼中的C-SVCB法和默認參數(shù)來練習分類數(shù)據(jù)集.doc中所有的數(shù)據(jù)包括練習數(shù)據(jù)和測試數(shù)據(jù),統(tǒng)計分類查準率.m命令握示衿：'IsersMIdiiinistratDrXDesktopXlibsui3-20windowa>5vn-train,exe1.txt2ptimizationFinished,Biter=16*u-n,431029bj=-100.877288,rha=D.424462SU=132,nBSU=107DLdln£l>133：JJsersMldniinistratorXDesktopXlibsui3-20windows>sv

9、n-ppedict1.txt23ccuracy86.ftf>67vi<234/2?B)<c1ass1Ficatlon3 .在2的根底上使用k-折交叉驗證思想來練習分類器并統(tǒng)計分類查準率：:BsersAdnini£tpatorDesktoplihsuin-3.20windov>s>s«n-train.exe-v10i.txt2ptimlsationfinljhtdjttltfri-133u=0.4S7663bj=-96,023257,rho=0.360977SU-1雙nBEU-IBUotalnSU=125ptimlaattanfinl3htd,t

10、titfri,-172u=0.439324bj=-91.326460,rho=0.419186SU-120,nB£U-92otalnSU=120ptimlzattanrtuished,ttltfri1lb?u=0.449487bj=-9.364450.rho=0.475975EU-124,nB£U-96otalnSU=124ptimlsatianfinl4htd,ttltfti-132u=0.419548bj=-86,660809,rho=0.248152SU-115*nB£U-91otalnSU=115CrvSsUalidationAccurcv81,8519&

11、gt;4 .使用2中的設置在練習數(shù)據(jù)的根底上學習分類器,將得到的分類器在測試數(shù)據(jù)上進行分類預測,統(tǒng)計查準率5 .在4上嘗試不同的C值“-c參數(shù)來調(diào)節(jié)分類器的性能并繪制查準率曲線.m晶令媼示符口：sersMldniinistratorDes<CopXlibsunt-3-20windows>su(ntrain.exe-c0.51.txt2ptinlzationfinishedAlter'131u=0.492462bj=-56.S2S4H1.pho=0.239152SU-14,nBSU-125otaln£U=144MsepssAdminL£tratDrxDes

12、ktopMihsum-320uindous>sumtpain.ext-c11.txt2ptinizati.anFin-1b2u=0.431029bj=-100.877288,rhu=0,424462EU-13Z,nBSU-107tainSU=132：MJ£apsAdnlnistv&tai*Deskt：dpMihsun-3«20uindnu&>sun-tnain-e1*51,txt2ptinizationFinished,ttiter=166u-0.,的6ysbj=-142.131581,pho=0.474903SU=126knBSV=97ot&#

13、171;ln£U-±2&C：ilsersdministFatorXDesktopXlihsuii-3.20windows>suin-train.exe-c21.txt2*aptimlzatianfiniislied,ttitar22t)nu=0.388793obj=-181,110841,rho=F),433596i£U-123.nBSU-90FotalnSU=123C：UseP5AdministFatDrxDe5ktoplihsuii-3.20uindous>sun)-trLain.exe-c2.51.txt2*aptinizationFin

14、ished*=239nu=0.377fll5obj=-218.307424,rho=0.453258iSU-12燈,nBSU-84FotalnSU=1206 .嘗試不同的kernel函數(shù)“-t參數(shù)來調(diào)節(jié)分類器的性能并繪制查準率曲線,對每種kernel函數(shù)嘗試調(diào)節(jié)其參數(shù)值并評估查準率.：MlsepsMldniinistpatc*rDesktQplibsui3,20windows>svn-tpain.exe-t01,txt2*ptifiizationfinishedrttiter=1010u=35另371bj-92,4733Et,pRb-SU=101,nBSU=88n“l(fā)nSU=101：SU

15、sepsdministratorSDesktopXlihsuii-3-20windows>sum-tpain.exe-t11.txt2ptimlEationfinishEd,ttitar14日u=0.605080bj=-131.800243,r加=-0,16568B£U-177,nBSU-15totalnSU=17?：U5ersAdministpatDrxDesktaplihsuin-3.20uindaus>Gun)-trLain.exe-t21.txt2ptinizationfinished,=162u-0.431029bj=-100.877288,rho=0.4244

16、62SU=132,nBSU=107ot«ln£U-132UverssAdministratDrXDesktapMibsum-3.20w±ndaws>svmtrain-t31«txt2Eiptimizationfinished,ttiter=157iu-0.43£762ibj=-110.099362,pho=-0.333939iSU=124,nBSU=11&otaln£U-124支持向量機算法練習回歸方程：(1) .回歸數(shù)據(jù)集：見文檔回歸數(shù)據(jù)集.doc,總共506個數(shù)據(jù),數(shù)據(jù)中前13個屬性作為輸入,最后一個屬性作為輸出.：

17、MisersMflldninistratDrxDesJctopXlibsum-3.2Hwinidows>su>iTi-piiedict.exe2.txt2.txt.mode1;eansquarederror=9.681692<resjiressio>fi>quaredcorrelationcoefficicnt-0203485(repression>(2) .使用代碼中的epsilon-SVR算法和默認參數(shù)來練習回歸數(shù)據(jù)集.doc中所有的數(shù)據(jù),統(tǒng)計回歸方程在每個數(shù)據(jù)點輸出的誤差并進行誤差分析.:：XJersHdministratorJ)eskltaibsvm

18、-3.20windawESun-train-exe-s3txtSptinizatianFinished,ttiter=90u=0.885835bj=-89,070542,rho=0.3B1291£U-125.nBSU-112.在2上嘗試不同的epsilon值(“-p參數(shù))來調(diào)節(jié)epsilon-SVR算法的性能.C：IJseFsMldiinistpatDrvJ)esktQplib3Ui3,20windows>5vn-trflin.ext-s3-p0.22.txt5N ptimizationfinisbed,ttiter=82nu=0.864823 bj-77.S34421,pBd

19、-0.339066nGU=121,nBSU=1的C：Jlsei*5dmlni£tpatDrLJ)esktapXlib£um-3.20uindnus>sum-train.exe-s3-p0.32.txt5* ptinizationfinishedPttitei'=75nu-0.847488 bj=-66.240874,rho=0.298788nSU=nBSV=107C：MIsepsMIdninitratorDesktopMibsuii-3_20windows>sv(n-tpain.exe-s3-p0.42.txt5K ptimizationfinislie

20、d,Kiter=81nu=0.830030 bj-55,164745Frho-&.233221nSU=114*nBSU=1&4C-SlllgarsAdministratDrM)esktaDlibsvin_3.2QwindawE>S'Jn_train-exer3-p052«txtSM ptinizatianfinisiedFttiter=86nu=0.?99?57 bj=-44.395639Arho=0.228635nSU-112,nBSU-95五、思考題：1 .闡述k-折交叉驗證的思想,比擬1.2和1.3的性能.答：k-折交叉驗證(k-foldcrossValidation)就是在機器學習中,將數(shù)據(jù)集A分為練習集(trainingset)B和測試集(testse