ls- svmlab1.6工具箱用戶指南中文版

最小二乘支持向量機(jī)16版前言對(duì)于以前的版本15版的工具箱和更新現(xiàn)有的一些命令我們?cè)黾恿诵鹿δ?。由于許多讀者都是熟悉的版本15布局，我們?cè)噲D盡可能少地改變它。主要的區(qū)別加速了一些方法的實(shí)現(xiàn)。這里是一個(gè)簡(jiǎn)要的主要變化CHAPTER/SOLVER/FUNCTIONWHATSNEWWHATSNEW2LSSVMLABTOOLBOXEXAMPLESLSSVM的路線圖增添更多的回歸和分類的例子界面更容易，多級(jí)分類改變執(zhí)行了健全LSSVM。3MATLABFUNCTIONS回歸或分類的可能性只使用一條命令即可，功能驗(yàn)證已經(jīng)被刪除，更快（強(qiáng)勁）訓(xùn)練和（強(qiáng)大）模型選擇標(biāo)準(zhǔn)被提供給用戶，以防萬(wàn)一，穩(wěn)健回歸不同的函數(shù)必須要和與迭代重加權(quán)LSSVM一起使用。4LSSVMSOLVER所有CMEX和/或C文件已被刪除。求解線該性系統(tǒng)通過(guò)使用MATLAB命令“反斜杠”（）第一章引言在解決非線性分類，函數(shù)估計(jì)和密度估計(jì)問(wèn)題中，支持向量機(jī)是一個(gè)很強(qiáng)大的方法，支持向量機(jī)也致使了其核心的新動(dòng)向，最新發(fā)展事基于一般學(xué)習(xí)方法的。支持向量機(jī)應(yīng)經(jīng)被引入統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化之中。這些方法中，凸優(yōu)化問(wèn)題,解決了一個(gè)典型的二次規(guī)劃問(wèn)題。LSSVM是標(biāo)準(zhǔn)SVM的改進(jìn)，這樣就可以解決線性KKT系統(tǒng)的問(wèn)題了。最小二乘支持向量機(jī)與正規(guī)化網(wǎng)絡(luò)和高斯過(guò)程密切相關(guān)，但更加重視和利用原始對(duì)偶的規(guī)范條款解釋。經(jīng)典的模式識(shí)別算法的內(nèi)核版本如判別分析的內(nèi)核FISHER，以非監(jiān)督學(xué)習(xí)、循環(huán)式網(wǎng)絡(luò)擴(kuò)展和控制之間的鏈接是可用的。健全性、稀疏性、權(quán)重可以被應(yīng)用到LSSVM上，并具有三個(gè)層次的推理貝葉斯框架已經(jīng)制定。LSSVM像原始對(duì)偶那樣配方給予核PCA，核CCA和PLS。對(duì)于非常大的規(guī)模問(wèn)題和在線學(xué)習(xí)，一個(gè)固定大小的LSSVM方法被提出，它基于NYSTROM在原始空間中支持向量的積極選擇和估計(jì)的近似值。原始對(duì)偶申述的方法被開(kāi)發(fā)為核心譜聚類，數(shù)據(jù)可視化，降維和生存分析。目前LSSVMLAB工具箱用戶指南包含了大量MATALAB中LSSVM算法的實(shí)現(xiàn)，其中涉及分類，回歸，時(shí)間序列預(yù)測(cè)和無(wú)監(jiān)督學(xué)習(xí)。所有的功能都已經(jīng)用MATLAB從R2008A，R2008B，R2009A測(cè)試，工具箱中參考命令都以打印字體書(shū)寫(xiě)。LSSVMLAB主頁(yè)HTTP/WWWESATKULEUVENBE/SISTA/LSSVMLAB/第二章LSSVMLAB一窺該工具箱主要用于商業(yè)用MATLAB軟件包使用。MATLAB的工具箱已經(jīng)在不同的計(jì)算機(jī)體系結(jié)構(gòu)編譯和測(cè)試，包括LINUX和WINDOWS。大部分函數(shù)可以處理的數(shù)據(jù)集可高達(dá)20，000或更多點(diǎn)的數(shù)據(jù)。LSSVMLAB對(duì)MATLAB接口包括一個(gè)適合初學(xué)者的基本版本，以及一個(gè)多類編碼技術(shù)和貝葉斯框架的更先進(jìn)的版本。未來(lái)版本將逐步加入新成果的和額外的功能。大量功能受到最小二乘支持向量機(jī)的限制（其中包括“最小二乘支持向量機(jī)在函數(shù)中”的擴(kuò)展名），其余的都是一般使用。大量的演示說(shuō)明如何使用工具箱中的不同功能。MATLAB的函數(shù)接口以兩種方式組織例如在網(wǎng)絡(luò)實(shí)驗(yàn)室人們可以根據(jù)自己的選擇將函數(shù)既可以按照功能性方式調(diào)用又可以按照面向?qū)ο蟮慕Y(jié)構(gòu)方式調(diào)用。21分類和優(yōu)化調(diào)用函數(shù)TRAINLSSVM,SIMLSSVM,PLOTLSSVM,PRELSSVM,POSTLSSVM演示SUBSECTIONSDEMOFUN,DEMOCLASSMATLAB的工具箱是圍繞一個(gè)快速LSSVM的訓(xùn)練和模擬算法而建立的。相應(yīng)的函數(shù)調(diào)用可用于分類以及函數(shù)估計(jì)。函數(shù)PLOTLSSVM顯示該模型在培訓(xùn)點(diǎn)區(qū)域模擬結(jié)果。通過(guò)執(zhí)行MATLAB中靈活和簡(jiǎn)單代碼（LSSVMMATLABM）來(lái)求解線性系統(tǒng)，它基于MATLAB矩陣分解（反斜杠命令為準(zhǔn)）。對(duì)單個(gè)和多個(gè)輸出回歸和分類的函數(shù)都可以使用。訓(xùn)練和模擬可以做到為每個(gè)輸出分別通過(guò)傳遞不同的核函數(shù)，內(nèi)核和/或作為列向量正規(guī)化參數(shù)。執(zhí)行工具箱中其他核函數(shù)也是簡(jiǎn)單的。一個(gè)模型的性能依賴于輸入數(shù)據(jù)和輸出數(shù)據(jù)的縮放。一個(gè)適當(dāng)?shù)乃惴z測(cè)，適當(dāng)?shù)闹匦抡{(diào)整重設(shè)比例，分類和二進(jìn)制變量。211分類擴(kuò)展調(diào)用函數(shù)CODELSSVM,CODE,DELTABLSSVM,ROC,LATENTLSSVM演示SUBSECTION,DEMOCLASS大量附加功能的文件是可用于分類工作的。對(duì)于模擬分類模型的潛變量是通過(guò)模擬得到的連續(xù)的結(jié)果，這個(gè)結(jié)果最終是離散的。受試者工作特征曲線（ROC）可以用來(lái)衡量一個(gè)分類器的性能。多類分類問(wèn)題分解成多個(gè)二元分類任務(wù)。幾種編碼方案可以用在了這一點(diǎn)最小輸出，一比一，一對(duì)多和糾錯(cuò)編碼方案?？梢杂煤Ｃ骶嚯x，損失函數(shù)距離和貝葉斯損解碼來(lái)解碼一個(gè)給定的結(jié)果。一個(gè)偏差期限校正是可以做，然而對(duì)于小數(shù)據(jù)集是特別有趣的。212調(diào)諧，稀疏，完整性調(diào)用函數(shù)TUNELSSVM,CROSSVALIDATELSSVM,LEAVEONEOUTLSSVM,ROBUSTLSSVM,SPARSELSSVM演示SUBSECTIONS，DEMOFUN,DEMOCLASS,DEMOMODEL估算訓(xùn)練模式的泛化性能的很多方法都包括在內(nèi)。對(duì)于分類，可以用錯(cuò)誤分類率（MISCLASS）來(lái)表述。對(duì)重復(fù)培訓(xùn)和驗(yàn)證為基礎(chǔ)的估計(jì)都是通過(guò)CROSSVALIDATELSSVM和LEAVEONEOUTLSSVM來(lái)實(shí)現(xiàn)的。一個(gè)強(qiáng)大的CROSSVALIDATION（關(guān)于迭代重加權(quán)LSSVM的）分?jǐn)?shù)由RCROSSVALIDATELSSVM函數(shù)被調(diào)用。這些績(jī)效措施，可用于確定調(diào)整參數(shù)（如正規(guī)化和內(nèi)核參數(shù)的LSSVM的（TUNELSSVM）。減少一個(gè)LSSVM的模型的復(fù)雜性可以通過(guò)反復(fù)修剪較重要支持值（SPARSELSSVM）在數(shù)據(jù)中的異常值的情況下，支持?jǐn)?shù)值的更正將改進(jìn)模型（ROBUSTLSSVM）213貝葉斯框架調(diào)用函數(shù)BAY_LSSVM,BAY_OPTIMIZE,BAY_LSSVMARD,BAY_ERRORBAR,BAY_MODOUTCLASS,KPCA,EIGN演示SUBSECTIONS計(jì)算模型的后驗(yàn)概率和不同層次的推理中超參數(shù)的函數(shù)是可以用的。通過(guò)考慮模型和超參數(shù)的不確定性得到誤差線。進(jìn)行分類，一類可以估算后概率（這也被稱為主持輸出）（BAY_MODOUTCLASS）。在貝葉斯框架中使用特征值分解核矩陣。矩陣的大小會(huì)隨著數(shù)據(jù)點(diǎn)的數(shù)量而增長(zhǎng)。因此，人們需要逼近技術(shù)處理大型數(shù)據(jù)集。眾所周知，主要特征值和相應(yīng)的特征向量是相關(guān)的。因此，迭代逼近方法，如作為NYSTROM方法包括在內(nèi)，這也是高斯過(guò)程中經(jīng)常使用。輸入選擇可以通過(guò)自動(dòng)關(guān)聯(lián)的測(cè)定（BAY_LSSVMARD）。對(duì)于一個(gè)落后的變量的選擇，貝葉斯框架推斷的第三個(gè)層次對(duì)這個(gè)問(wèn)題來(lái)說(shuō)最合適的運(yùn)用。22NARX模型及預(yù)測(cè)調(diào)用函數(shù)PREDICT,WINDOWIZE演示SUBSECTION對(duì)非線性NARX時(shí)間序列應(yīng)用系統(tǒng)可以擴(kuò)散。一個(gè)NARX模型能夠建立基于非線性回歸量，這是通過(guò)對(duì)過(guò)去數(shù)據(jù)的輸出（或輸入）的測(cè)量來(lái)估計(jì)下一次迭代輸出的值。使一個(gè)數(shù)據(jù)集通過(guò)窗口和NARX窗口轉(zhuǎn)變?yōu)橐粋€(gè)新的輸入（過(guò)去測(cè)量的）和輸出集（未來(lái)的輸出），這兩個(gè)窗口分別為時(shí)間序列事件和一般的外部輸入NARX事件。迭代預(yù)測(cè)（在遞歸方法中）下一個(gè)輸出，該輸出是基于先前的預(yù)測(cè)，及初始值都是由預(yù)測(cè)來(lái)工作。23非監(jiān)督學(xué)習(xí)調(diào)用函數(shù)KPCA,DENOISE_KPCA,PREIMAGE_RBF演示SUBSECTION非監(jiān)督學(xué)習(xí)可以基于主成分分析（KPCA）所描述的內(nèi)核進(jìn)行工作，為此，一種對(duì)最小二乘支持向量機(jī)的原始雙重的解釋得到屈服，這也將進(jìn)一步擴(kuò)展到內(nèi)核典型相關(guān)分析和內(nèi)核偏最小二乘法。24通過(guò)固定大小的最小二乘支持矢量機(jī)解決大型規(guī)模問(wèn)題調(diào)用函數(shù)DEMO_FIXEDSIZE,AFEM,KENTROPY演示SUBSECTION,DEMO_FIXEDSIZE,DEMO_FIXEDCLASS例如喜歡基于最小二乘支持向量機(jī)算法的典型內(nèi)核通常具有記憶功能和算法復(fù)雜度為ON2的計(jì)算要求。為繞過(guò)這個(gè)瓶頸，對(duì)大規(guī)模的工作方法提出了解決方案。對(duì)于大型數(shù)據(jù)集，將有利于在原始權(quán)空間解決最小二乘問(wèn)題，這是由于當(dāng)時(shí)未知數(shù)向量大小是與特征向量大小是成比例的，而不是數(shù)據(jù)點(diǎn)的數(shù)量。但是，該特征空間映射是由內(nèi)核誘導(dǎo)的，而內(nèi)核又需要獲得非線性，因此，提出了一種固定大小的最小二乘支持向量機(jī)的方法。首先，NYSTROM方法能夠用來(lái)估計(jì)特征空間的映射。NYSTROM近似值，內(nèi)核主成分分析和密度估計(jì)之間的聯(lián)系已被討論。在固定大小的最小二乘支持向量機(jī)中，聘請(qǐng)了明確的原始對(duì)偶LSSVM的解釋，將它們聯(lián)系起來(lái)。根據(jù)二次RENYI熵準(zhǔn)則選擇支持向量機(jī)。最后一步，在原始空間中完成回歸，原始空間為求解大規(guī)模非線性函數(shù)估計(jì)和分類問(wèn)題提供了適當(dāng)?shù)姆椒ā６潭ù笮〉淖钚《酥С窒蛄繖C(jī)的方法正適合處理非常大的數(shù)據(jù)集。另一個(gè)選擇子集的標(biāo)準(zhǔn)由41AND24提出，并與之有很緊密的聯(lián)系。它衡量特征空間和由子集引起的空間逼近的質(zhì)量（視為自動(dòng)特征提取或AFEM）。該子集被認(rèn)為是從數(shù)據(jù)（子樣本）提取的隨機(jī)子樣本。第三章LSSVMLAB工具箱舉例31LSSVM布局在這節(jié)中，我們簡(jiǎn)單地概括一下如何獲得的LSSVM模型（用于分類和回歸有效），見(jiàn)圖311面向功能或面向?qū)ο蠼涌冢↖NITLSSVM）之間進(jìn)行選擇，見(jiàn)圖A3152尋找合適的優(yōu)化參數(shù)（TUNELSSVM搜索），見(jiàn)圖A3353訓(xùn)練原先確定優(yōu)化參數(shù)的給定模型TRAINLSSVM，見(jiàn)圖A3344A例如模擬模型測(cè)試數(shù)據(jù)（SIMLSSVM），見(jiàn)圖A3324B必要的時(shí)候?qū)⒔Y(jié)果可視化（PLOTLSSVM），見(jiàn)圖A32432分類首先，對(duì)工具箱中進(jìn)行任務(wù)分類的可能性說(shuō)明。321HELLOWORLD一個(gè)簡(jiǎn)單的例子說(shuō)明如何開(kāi)始使用工具箱中的分類任務(wù)。我們首先我們按照正確的格式構(gòu)建一個(gè)簡(jiǎn)單的數(shù)據(jù)集示例。數(shù)據(jù)表示為矩陣，每個(gè)矩陣包含一個(gè)數(shù)據(jù)點(diǎn)行X2RAND100,21YSIGNSINX,1X,2XX09003096950537704936021370109800280086360782600680052420162704556070730602401871YY11111111為了建立一個(gè)LSSVM模型（帶有高斯RBF核）我們需要兩個(gè)調(diào)整參數(shù)（GAM）的是正則參數(shù)，它取決與訓(xùn)練誤差最小化和平滑程度之間的權(quán)衡程度。通常情況下在高斯RBF核中，2（SIG2）是平方帶寬GAM10SIG204TYPECLASSIFICATIONALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL參數(shù)和與LSSVM相關(guān)的變量是通過(guò)為一個(gè)單元聯(lián)系起來(lái)。此單元允許LSSVM的參數(shù)和相關(guān)參數(shù)的默認(rèn)處理句法分類一致。這個(gè)定義應(yīng)該由整個(gè)統(tǒng)一使用該LSSVM的模型使用。相應(yīng)的LSSVMLAB面向?qū)ο蠼涌趯?dǎo)致短函數(shù)調(diào)用（見(jiàn)DEMOMODEL）。默認(rèn)情況下，數(shù)據(jù)是由適用于原始數(shù)據(jù)預(yù)處理功能的函數(shù)PRELSSVM和對(duì)模型進(jìn)行預(yù)測(cè)的函數(shù)POSTLSSVM來(lái)處理的。此選項(xiàng)在調(diào)用中可以進(jìn)行顯式切換ALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,ORIGINALORBESWITCHEDONBYDEFAULTALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,PREPROCESS一定要始終使用相同的選項(xiàng)在所有連續(xù)調(diào)用中。為了評(píng)估這個(gè)模型中新的點(diǎn)，需要使用函數(shù)SIMLSSVM。XT2RAND10,21YTESTSIMLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,ALPHA,B,XT如果輸入數(shù)據(jù)的維數(shù)是2，LSSVM的結(jié)果就可以顯示。PLOTLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,ALPHA,B所有的繪制是通過(guò)這個(gè)簡(jiǎn)單的命令。它查找結(jié)果中顯示的最佳方式見(jiàn)圖32322示例著名的里普利數(shù)據(jù)集的問(wèn)題包括兩個(gè)類，在每個(gè)類中的數(shù)據(jù)是由兩個(gè)混合正態(tài)分布生成的（見(jiàn)圖33A）首先，我們基于某數(shù)據(jù)集建立一個(gè)LSSVM模型并確定合適的優(yōu)化參數(shù)。在這種情況下，調(diào)整參數(shù)，例如103，105和帶寬2001，3平方內(nèi)核。LOADDATASETTYPECLASSIFICATIONL_FOLD10LFOLDCROSSVALIDATIONGAM,SIG2TUNELSSVMX,Y,TYPE,RBF_KERNEL,1E31E50013,CROSSVALIDATELSSVM,L_FOLD,MISCLASSALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNELPLOTLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,ALPHA,B默認(rèn)情況下，為優(yōu)化參數(shù)的最低和最高值都設(shè)置為005，148和帶寬2008，12平方內(nèi)核。GAM,SIG2TUNELSSVMX,Y,TYPE,RBF_KERNEL,CROSSVALIDATELSSVM,L_FOLD,MISCLASS受試者工作特征（ROC）曲線提供了有關(guān)的質(zhì)量信息分類ALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNELLATENTVARIABLESARENEEDEDTOMAKETHEROCCURVEY_LATENTLATENTLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,ALPHA,B,XAREA,SE,THRESHOLDS,ONEMINUSSPEC,SENSROCY_LATENT,YTHRESHOLDSONEMINUSSPECSENSANS2191510000100001191509920100001126809840100001082309760100000269901840093600255401760093600227701760092800181101680092801118400008011220002122000相應(yīng)的ROC曲線如圖33B所示。圖33ROC曲線的里普利分類任務(wù)（一）原LSSVM的分類器（二）接收器工作特性曲線323使用面向?qū)ο蟮慕涌诔跏蓟钚《酥С窒蛄繖C(jī)（INITLSSVM）另一種可能獲得相同的結(jié)果是使用面向?qū)ο蠼涌?。如下所示LOADDATASETGATEWAYTOTHEOBJECTORIENTEDINTERFACEMODELINITLSSVMX,Y,TYPE,RBF_KERNELMODELTUNELSSVMMODEL,1E31E50013,CROSSVALIDATELSSVM,L_FOLD,MISCLASSMODELTRAINLSSVMMODELPLOTLSSVMMODELLATENTVARIABLESARENEEDEDTOMAKETHEROCCURVEY_LATENTLATENTLSSVMMODEL,XAREA,SE,THRESHOLDS,ONEMINUSSPEC,SENSROCY_LATENT,Y324最小二乘支持向量機(jī)的分類只有一個(gè)命令行用簡(jiǎn)單的方法獲得一個(gè)最小二乘支持向量機(jī)模型如下（二進(jìn)制分類問(wèn)題和一對(duì)一多類編碼）LOADDATASETTYPECLASSIFICATIONYPLSSVMX,Y,TYPE該最小二乘支持向量機(jī)命令通過(guò)十倍交叉驗(yàn)證（簡(jiǎn)稱CV）或留出一個(gè)依賴于樣本大小的交叉驗(yàn)證來(lái)自動(dòng)調(diào)整參數(shù)。此功能將自動(dòng)的解決（如有可能）問(wèn)題。默認(rèn)情況下，高斯RBF將會(huì)被采用。更多信息，請(qǐng)參見(jiàn)圖A323。325貝葉斯推理的分類針對(duì)322節(jié)的結(jié)果，本節(jié)將做進(jìn)一步的分析。貝葉斯框架被用來(lái)調(diào)整優(yōu)化參數(shù)，以獲得適當(dāng)?shù)妮敵?。最?yōu)正規(guī)化參自由亞齊運(yùn)動(dòng)的參數(shù)和內(nèi)核參數(shù)SIG2可分別通過(guò)優(yōu)化成本推理的第二層和第三層獲得。建議采用合適的初始值來(lái)初始化模型GAM,SIG2BAY_INITLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNELOPTIMIZATIONONTHESECONDLEVELLEADSTOANOPTIMALREGULARIZATIONPARAMETERMODEL,GAM_OPTBAY_OPTIMIZEX,Y,TYPE,GAM,SIG2,RBF_KERNEL,2OPTIMIZATIONONTHETHIRDLEVELLEADSTOANOPTIMALKERNELPARAMETERCOST_L3,SIG2_OPTBAY_OPTIMIZEX,Y,TYPE,GAM_OPT,SIG2,RBF_KERNEL,3THEPOSTERIORCLASSPROBABILIESAREFOUNDBYINCORPORATINGTHEUNCERTAINTYOFTHEMODELPARAMETERSGAM10SIG21YMODOUTBAY_MODOUTCLASSX,Y,TYPE,10,1,RBF_KERNEL,FIGUREONECANSPECIFYAPRIORCLASSPROBABILITYINTHEMODERATEDOUTPUTINORDERTOCOMPENSATEFORANUNBALANCEDNUMBEROFTRAININGDATAPOINTSINTHETWOCLASSESWHENTHETRAININGSETCONTAINSNPOSITIVEINSTANCESANDNNEGATIVEONES,THEMODERATEDOUTPUTISCALCULATEDASNPRIORNNNP10NN50PRIORNP/NNNPPOSTERIOR_CLASS_PBAY_MODOUTCLASSX,Y,TYPE,10,1,RBF_KERNEL,FIGURE,PRIORTHERESULTSARESHOWNINFIGURE34結(jié)果如圖34所示圖34（A）展示的是基于里普利數(shù)據(jù)LSSVM的分類器輸出設(shè)置。該顏色表示的概率屬于某一個(gè)類。（B）這個(gè)例子說(shuō)明了一個(gè)不平衡的里普利數(shù)據(jù)子集主持輸出。人們可以彌補(bǔ)在主持輸出數(shù)據(jù)計(jì)算不平衡。需要注意到在用陽(yáng)性標(biāo)本的藍(lán)區(qū)面積增加補(bǔ)償而紅色區(qū)相應(yīng)縮小。326多級(jí)編碼下面的示例將演示如何使用多級(jí)編碼方案的問(wèn)題。編碼和解碼分別被視為一個(gè)單獨(dú)的和獨(dú)立的預(yù)處理和后處理步驟（圖35AAND35B一個(gè)名為DEMOMULTICLASS的演示文件包含在工具箱中。LOADMULTICLASSDATAYCODE,CODEBOOK,OLD_CODEBOOKCODEY,CODE_MOCALPHA,BTRAINLSSVMX,YCODE,CLASSIFIER,GAM,SIG2YHCSIMLSSVMX,YCODE,CLASSIFIER,GAM,SIG2,ALPHA,B,XTESTYHCCODEYH,OLD_CODEBOOK,CODEBOOK,CODEDIST_HAMMING在多類分類問(wèn)題，它是最容易使用的面向?qū)ο蠼涌诩渲屑闪薒SSVM訓(xùn)練和模擬調(diào)用的編碼LOADMULTICLASSDATAMODELINITLSSVMX,Y,CLASSIFIER,RBF_KERNELMODELTUNELSSVMMODEL,1E31E500115,LEAVEONEOUTLSSVM,MISCLASS,CODE_ONEVSONEMODELTRAINLSSVMMODELPLOTLSSVMMODEL該TUNELSSVM例行的最后一個(gè)參數(shù)可以設(shè)置CODE_ONEVSONE一對(duì)一編碼CODE_MOC最小輸出編碼CODE_ECOC糾錯(cuò)輸出碼CODE_ONEVSALL一對(duì)多編碼圖35LSSVM的多類的例子（A）一對(duì)一編碼（B）糾錯(cuò)輸出碼（C）最小輸出編碼（D）一對(duì)多編碼33回歸331一個(gè)簡(jiǎn)單的例子這是一個(gè)簡(jiǎn)單的演示，使用LSSVMLAB解決一個(gè)簡(jiǎn)單的回歸任務(wù)。以正確的格式構(gòu)建數(shù)據(jù)集。這些數(shù)據(jù)被表示為矩陣的每一行包含的一個(gè)數(shù)據(jù)點(diǎn)。XLINSPACE1,1,50Y15X212X4EXPXNORMRND0,01,LENGTHX,1XX10000095920918408776079590959210000YY0013802953068471157215844199350061300298為了獲得一個(gè)LSSVM模型（帶有RBF內(nèi)核）我們需要兩個(gè)額外的優(yōu)化參數(shù)（GAM）的是正則參數(shù)，取決于對(duì)訓(xùn)練誤差最小化和估計(jì)函數(shù)平滑的權(quán)衡。2（SIG2）是內(nèi)核函數(shù)的參數(shù)，在這種情況下，我們進(jìn)行用十倍交叉驗(yàn)證的方法分析以確定優(yōu)化參數(shù)。TYPEFUNCTIONESTIMATIONGAM,SIG2TUNELSSVMX,Y,TYPE,RBF_KERNEL,1E31E50013,LEAVEONEOUTLSSVM,MSEALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNELPLOTLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,ALPHA,B參數(shù)和LSSVM的變量是通過(guò)為一個(gè)單元相關(guān)聯(lián)的。此單元格允許LSSVM的參數(shù)和相關(guān)默認(rèn)參數(shù)處理句法分類一致。這個(gè)定義應(yīng)該由整個(gè)統(tǒng)一使用該LSSVM的模型使用。LSSVMLAB所面向?qū)ο蟮慕涌趯?dǎo)致了較短的函數(shù)調(diào)用。默認(rèn)情況下，對(duì)應(yīng)用程序的原始數(shù)據(jù)數(shù)據(jù)可以使用PRELSSVM進(jìn)行預(yù)處理，對(duì)模型的預(yù)測(cè)用函數(shù)POSTLSSVM。在調(diào)用中此選項(xiàng)可以進(jìn)行顯式關(guān)閉ALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,ORIGINALORCANBESWITCHEDONBYDEFAULTALPHA,BTRAINLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,PREPROCESS一定要始終使用相同的選項(xiàng)在所有連續(xù)調(diào)用中。為了評(píng)估這個(gè)模型中新的點(diǎn)，需要使用函數(shù)SIMLSSVM。XTRAND10,1SIGNRANDN10,1然后，我們得到基于模擬測(cè)試數(shù)據(jù)的模型YTSIMLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,PREPROCESS,ALPHA,B,XTANS00847003781986204688037731983202658025151557103130如果輸入數(shù)據(jù)的維數(shù)是1或2，最小二乘支持向量機(jī)的結(jié)果可以顯示出來(lái)。PLOTLSSVMX,Y,TYPE,GAM,SIG2,RBF_KERNEL,PREPROCESS,ALPHA,B所有的繪制是通過(guò)這個(gè)簡(jiǎn)單的命令實(shí)現(xiàn)的。它是顯示結(jié)果的最佳方式（如圖36）。332最小二乘支持向量機(jī)的回歸只有一個(gè)命令行作為一種替代方式，它可以使用一行最小二乘支持向量機(jī)命令TYPEFUNCTIONESTIMATIONYPLSSVMX,Y,TYPE默認(rèn)情況下，采用高斯徑向基函數(shù)內(nèi)核，其坐標(biāo)的范圍設(shè)置為005,148，它的平方內(nèi)核帶寬設(shè)置為2008,12。更多信息見(jiàn)A323中所示。圖36簡(jiǎn)單的回歸問(wèn)題。實(shí)線表示估計(jì)輸出，虛線代表真實(shí)的基本函數(shù)。點(diǎn)代表訓(xùn)練的數(shù)據(jù)點(diǎn)。333貝葉斯推斷回歸TYPEFUNCTIONAPPROXIMATIONXLINSPACE22,22,250YSINCXNORMRND0,1,SIZEX,1,1YP,ALPHA,B,GAM,SIG2LSSVMX,Y,TYPE對(duì)訓(xùn)練數(shù)據(jù)的計(jì)算誤差線使用貝葉斯推理SIG2EBAY_ERRORBARX,Y,TYPE,GAM,SIG2,FIGURE所產(chǎn)生的誤差線如圖37所示。圖37該圖給出最小二乘支持向量機(jī)估計(jì)（實(shí)線）的68誤差線（綠色虛線和綠色雙虛線）和95誤差線（紅色虛線和紅色雙虛線）在接下來(lái)的例子中，說(shuō)明了該自動(dòng)相關(guān)確定的過(guò)程XNORMRND0,2,100,3YSINCX,1005X,2NORMRND0,1,SIZEX,1,1自動(dòng)相關(guān)確定被用來(lái)確定提出的模型的最相關(guān)的輸入子集INPUTSBAY_LSSVMARDX,Y,TYPE,10,3ALPHA,BTRAINLSSVMX,INPUTS,Y,TYPE,10,1334使用面向?qū)ο竽Ｐ徒涌谶@一事例說(shuō)明了如何使用模型接口。在這里，涉及到回歸，但這與分類拓展是相似的。TYPEFUNCTIONAPPROXIMATIONXNORMRND0,2,100,1YSINCXNORMRND0,1,SIZEX,1,1KERNELRBF_KERNELGAM10SIG202定義一個(gè)模型MODELINITLSSVMX,Y,TYPE,GAM,SIG2,KERNELMODELMODELTYPEFX_DIM1Y_DIM1NB_DATA100KERNEL_TYPERBF_KERNELPREPROCESSPREPROCESSPRESTATUSOKXTRAIN100X1DOUBLEYTRAIN100X1DOUBLESELECTOR1X100DOUBLEGAM10KERNEL_PARS02000X_DELAYS0Y_DELAYS0STEPS1LATENTNOCODEORIGINALCODETYPENONEPRE_XSCHEMECPRE_YSCHEMECPRE_XMEAN00690PRE_XSTD18282PRE_YMEAN02259PRE_YSTD03977STATUSCHANGEDWEIGHTSWHUBER通過(guò)以下調(diào)用進(jìn)行訓(xùn)練，模擬和決策執(zhí)行MODELTRAINLSSVMMODELXTNORMRND0,2,150,1YTSIMLSSVMMODEL,XTPLOTLSSVMMODEL貝葉斯框架推理的第二層可以被用來(lái)優(yōu)化調(diào)整自由亞齊涌動(dòng)的參數(shù)。在這種情況下，需要用到NYSTROM的20個(gè)特征向量的逼近MODELBAY_OPTIMIZEMODEL,2,EIGN,50與推理第三層相關(guān)的成本優(yōu)化提供了一種優(yōu)化內(nèi)核參數(shù)。這種優(yōu)化是基于MATLAB的優(yōu)化工具箱實(shí)現(xiàn)的。這可能需要一段時(shí)間。MODELBAY_INITLSSVMMODELMODELBAY_OPTIMIZEMODEL,3,EIGN,50335穩(wěn)健回歸首先，構(gòu)建一個(gè)含15異常值的數(shù)據(jù)集X5075EPSILON015SELRANDLENGTHX,1EPSILONYSINCXSELNORMRND0,1,LENGTHX,11SELNORMRND0,2,LENGTHX,1穩(wěn)健的調(diào)整參數(shù)的調(diào)整工作由最小二乘支持向量機(jī)的交叉有效數(shù)據(jù)實(shí)現(xiàn)。同時(shí)注意到首選的損失函數(shù)是L1。選擇成本函數(shù)中的加權(quán)函數(shù)作為胡貝爾加權(quán)。在工具箱內(nèi)可能還有邏輯加權(quán)，極大加權(quán)和漢佩爾加權(quán)。MODELINITLSSVMX,Y,F,RBF_KERNELL_FOLD1010FOLDCVMODELTUNELSSVMMODEL,1E31E50013,RCROSSVALIDATELSSVM,L_FOLD,MAE,WHUBER由ROBUSTLSSVM執(zhí)行訓(xùn)練任務(wù)MODELROBUSTLSSVMMODELPLOTLSSVMMODEL圖38以一個(gè)具有15擾動(dòng)的SINC數(shù)據(jù)內(nèi)集進(jìn)行實(shí)驗(yàn)。（A）應(yīng)用標(biāo)準(zhǔn)的訓(xùn)練和超參數(shù)選擇技術(shù)（B）應(yīng)用迭代重加權(quán)最小二乘支持向量機(jī)的訓(xùn)練加上一個(gè)強(qiáng)大的CROSSVALIDATION評(píng)分功能，提高了測(cè)試設(shè)備的性能。第二，更極端的例子，我們已采取污染分布是一個(gè)立方米的標(biāo)準(zhǔn)柯西分布和03X5075EPSILON03SELRANDLENGTHX,1EPSILONYSINCXSELNORMRND0,1,LENGTHX,11SELTRND1,LENGTHX,13一如以往，我們使用了可以進(jìn)行交叉驗(yàn)證的完整版本。成本函數(shù)中的加權(quán)函數(shù)被選為無(wú)窮大。所有的加權(quán)函數(shù)WR0,1其中WRR/R滿足W01，如表31所示的相應(yīng)損失函數(shù)L（R）和得分函數(shù)（R）DL（R）/DR這種經(jīng)過(guò)特別設(shè)計(jì)的加權(quán)函數(shù)類型是來(lái)處理極端的異常值。結(jié)果顯示在圖39中。四權(quán)函數(shù)包含三個(gè)參數(shù)。在下面的參數(shù)設(shè)置（五表示殘差工具箱，瘋狂的中位數(shù)絕對(duì)偏差和IQR為是跨階層的范圍）HUBERWEIGHTS1345MADEHAMPELWEIGHTSB125并且B23MYRIADWEIGHTS05IQREMODELINITLSSVMX,Y,F,RBF_KERNELL_FOLD1010FOLDCVMODELTUNELSSVMMODEL,1E31E50013,RCROSSVALIDATELSSVM,L_FOLD,MAE,WMYRIADMODELROBUSTLSSVMMODELPLOTLSSVMMODEL圖39以一個(gè)具有擾動(dòng)的SINC數(shù)據(jù)內(nèi)集進(jìn)行實(shí)驗(yàn)。（A）應(yīng)用了標(biāo)準(zhǔn)的訓(xùn)練和調(diào)整技術(shù)參數(shù)的選擇（B）應(yīng)用一個(gè)迭代重加權(quán)LSSVM的訓(xùn)練（無(wú)數(shù)的權(quán)重）加上一個(gè)強(qiáng)大的交叉驗(yàn)證評(píng)分功能，提高了測(cè)試設(shè)備的性能表31胡貝爾，漢普爾，邏輯斯蒂和無(wú)數(shù)（帶參數(shù)的定義0）權(quán)函數(shù)瓦（）。的相應(yīng)損失的L（）和得分函數(shù)（）也分別給出。336多輸出回歸多個(gè)輸出的情況下一個(gè)數(shù)據(jù)可以分別對(duì)應(yīng)不同的輸出。其中之一可以讓工具箱通過(guò)傳遞正確的參數(shù)來(lái)完成。這一案例說(shuō)明如何處理多重輸出LOADDATAINX,XTANDYWHERESIZEYISNX3GAM1SIG21ALPHA,BTRAINLSSVMX,Y,CLASSIFICATION,GAM,SIG2YHSSIMLSSVMX,Y,CLASSIFICATION,GAM,SIG2,ALPHA,B,XT每路輸出使用尺寸不同的內(nèi)核參數(shù)GAM1SIGS1215ALPHA,BTRAINLSSVMX,Y,CLASSIFICATION,GAM,SIGSYHSSIMLSSVMX,Y,CLASSIFICATION,GAM,SIGS,ALPHA,B,XT每個(gè)輸出使用不同的正規(guī)化參數(shù)和尺寸的內(nèi)核KERNELSLIN_KERNEL,RBF_KERNEL,RBF_KERNELKPARS022GAMS123ALPHA,BTRAINLSSVMX,Y,CLASSIFICATION,GAMS,KPARS,KERNELSYHSSIMLSSVMX,Y,CLASSIFICATION,GAMS,KPARS,KERNELS,ALPHA,B,XT調(diào)諧可以做到每個(gè)輸出尺寸TUNETHEDIFFERENTPARAMETERSSIGS,GAMTUNELSSVMX,Y,CLASSIFICATION,GAM,KPARS,KERNELS337一個(gè)時(shí)間序列的例子圣達(dá)菲激光數(shù)據(jù)預(yù)測(cè)使用靜態(tài)回歸技術(shù)，建立一個(gè)前饋非線性預(yù)測(cè)模型。這個(gè)NARX模型以過(guò)去的測(cè)量數(shù)據(jù)模型的輸入。LOADTIMESERIESINXANDXTLAG50XUWINDOWIZEX,1LAG1XTRAXU1ENDLAG,1LAGTRAININGSETYTRAXU1ENDLAG,ENDTRAININGSETXSXENDLAG1END,1STARTINGPOINTFORITERATIVEPREDICTION基于前饋交叉驗(yàn)證設(shè)置仿真模型,利用FEEDFORWARDLY訓(xùn)練。GAM,SIG2TUNELSSVMXTRA,YTRA,F,RBF_KERNEL,0515004600,CROSSVALIDATELSSVM,10,MAE用一個(gè)周期性方式完成下100點(diǎn)的預(yù)測(cè)ALPHA,BTRAINLSSVMXTRA,YTRA,F,GAM,SIG2,RBF_KERNELPREDICTNEXT100POINTSPREDICTIONPREDICTXTRA,YTRA,F,GAM,SIG2,RBF_KERNEL,XS,100PLOTPREDICTIONXT表310為SANTAFE激光數(shù)據(jù)的顯示結(jié)果。圖310實(shí)線表示的圣達(dá)菲激光數(shù)據(jù)混亂。虛線顯示了使用迭代預(yù)測(cè)與最佳超通過(guò)調(diào)整參數(shù)得到RBF核的LSSVM。338固定大小的LSSVM固定大小的LSSVM的是基于兩個(gè)想法（見(jiàn)24節(jié)）首先是利用了最小二乘支持向量機(jī)逼近尼斯特倫原始對(duì)偶的方法。（見(jiàn)圖311）圖311固定尺寸LSSVM的是解決大規(guī)?；貧w和分類方法問(wèn)題的一種方法。支持向量的數(shù)量是預(yù)先設(shè)定的，并且根據(jù)訓(xùn)練池中的數(shù)據(jù)選擇支持向量機(jī)。在估算與NYSTOM相似的特征函數(shù)（根據(jù)一個(gè)熵判據(jù)選擇）LSSVM的模型估計(jì)就位于其原始空間。第二個(gè)是選擇活躍的支持向量（這里基于熵標(biāo)準(zhǔn)）。第一步實(shí)施如下X,YCONTAINSTHEDATASET,SVXISASUBSETOFXSIG21FEATURESAFEMSVX,RBF_KERNEL,SIG2,XCL3,GAM_OPTIMALBAY_RRFEATURES,Y,1,3W,BRIDGEREGRESSFEATURES,Y,GAM_OPTIMALYHFEATURESWB最優(yōu)值的內(nèi)核參數(shù)和固定大小的LSSVM的性能，可通過(guò)一個(gè)簡(jiǎn)單的蒙特卡羅實(shí)驗(yàn)來(lái)獲得。對(duì)于不同的內(nèi)核參數(shù)和能力（選擇的支持向量的數(shù)目），對(duì)支持向量的隨機(jī)子集的性能進(jìn)行了評(píng)價(jià)。實(shí)現(xiàn)的方法是由窮舉搜索減到最小（如圖312B）CAPS102050100200SIG2S12512410NB10FORI1LENGTHCAPS,FORJ1LENGTHSIG2S,FORT1NB,SELRANDPERMSIZEX,1SVXXSEL1CAPSIFEATURESAFEMSVX,RBF_KERNEL,SIG2SJ,XCL3,GAM_OPTBAY_RRFEATURES,Y,1,3W,BRIDGEREGRESSFEATURES,Y,GAM_OPTYHFEATURESWBPERFORMANCESTMSEYYHENDMINIMAL_PERFORMANCESI,JMEANPERFORMANCESENDEND與內(nèi)核參數(shù)和性能相對(duì)應(yīng)的最好的參數(shù)就可以被搜索到MINP,ICMINMINIMAL_PERFORMANCES,1MINMINP,ISMINMINPCAPACITYCAPSICSIG2SIG2SIS下面的方法是根據(jù)二次RENYI熵優(yōu)化選擇的支持向量LOADDATAXANDY,CAPACITYANDTHEKERNELPARAMETERSIG2SV1CAPACITYMAX_CINFFORI1SIZEX,1,REPLACECEILRANDC