統(tǒng)計學習理論與支持向量機

統(tǒng)計學習理論

和支持向量機

13720915刁志蕙2023/2/11內(nèi)容提要統(tǒng)計學習理論的基本概念與原理支持向量機支持向量機在性別分類中的應(yīng)用總結(jié)與展望2023/2/12統(tǒng)計學習方法概述

統(tǒng)計方法是主要研究如何從一些觀測（樣本）出發(fā)得出目前尚不能規(guī)律，利用這些規(guī)律去分析客觀現(xiàn)象，對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測。就是說，觀測一些自然現(xiàn)象或?qū)ｉT安排的實驗所得資料，是否與理論相符、在多大的程度上相符、偏離可能是朝哪個方向等等問題，都需要用統(tǒng)計分析的方法處理。2023/2/13統(tǒng)計學習方法概述

統(tǒng)計學習方法：傳統(tǒng)方法:統(tǒng)計學在解決機器學習問題中起著基礎(chǔ)性的作用。傳統(tǒng)的統(tǒng)計學所研究的主要是漸近理論，即當樣本趨向于無窮多時的統(tǒng)計性質(zhì)。統(tǒng)計學中關(guān)于估計的一致性，無偏性和估計方差的界等以及關(guān)于分類錯誤率都屬于漸進特性。統(tǒng)計方法主要考慮測試預(yù)想的假設(shè)和數(shù)據(jù)模型擬合。它依賴于顯式的基本概率模型。

模糊集粗糙集支持向量機2023/2/14統(tǒng)計學習方法概述統(tǒng)計方法處理過程可以分為三個階段：（1）搜集數(shù)據(jù)：采樣、實驗設(shè)計（2）分析數(shù)據(jù)：建模、知識發(fā)現(xiàn)、可視化（3）進行推理：預(yù)測、分類

常見的統(tǒng)計方法有:回歸分析（多元回歸、自回歸等）判別分析（貝葉斯判別、費歇爾判別、非參數(shù)判別等）聚類分析（系統(tǒng)聚類、動態(tài)聚類等）

2023/2/15統(tǒng)計學習理論的發(fā)展VladimirN.Vapnik等人早在20世紀60年代就開始研究有限樣本情況下的機器學習問題，由于當時這些研究尚不十分完善，在解決模式識別問題上趨于保守，且數(shù)學上比較艱澀，而直到90世紀以前并沒有能夠?qū)⑵淅碚摳吨T實現(xiàn)的較好方法，直到90年代中，有限樣本情況下的機器學習理論逐漸成熟起來，形成了一個完善的理論體系---統(tǒng)計學習理論（StatisticalLearningTheory簡稱SLT)2023/2/16統(tǒng)計學習理論統(tǒng)計學習理論是小樣本統(tǒng)計估計和預(yù)測學習的最佳理論。統(tǒng)計識別模式問題可以看作一個更廣義問題的特例，就是基于數(shù)據(jù)的機器學習問題。假設(shè)輸出變量Y與輸入變量X之間存在某種對應(yīng)的依賴關(guān)系,即一未知概率分布F(X,Y)，F(xiàn)(X,Y)反映了某種知識。學習問題可以概括為:根據(jù)l個獨立同分布(independentlydrawnandidenticallydistributed)的觀測樣本trainset，

(x1,y1),(x2,y2),…,(xn,yn)

2023/2/17函數(shù)估計模型學習樣本的函數(shù):GSLMxyy^y-輸出系統(tǒng)學習機預(yù)測輸出假設(shè)輸出變量Y與輸入變量X之間存在某種對應(yīng)的依賴關(guān)系,即一未知概率分布F(X,Y)，學習問題可以概括為:根據(jù)n個獨立同分布(的觀測樣本訓練集，

(x1,y1),(x2,y2),…,(xn,yn)

機器學習就是根據(jù)上面的n個獨立同分布的觀測樣本，在一組函數(shù){f(x,w)}求一個最優(yōu)的函數(shù){f(x,w0)},使期望風險最小。2023/2/18期望風險學習到一個假設(shè)H=f(x,w)作為預(yù)測函數(shù),其中w是廣義參數(shù).它對F(X,Y)的期望風險R(w)是(即統(tǒng)計學習的實際風險)：

其中，{f(x,w)}稱作預(yù)測函數(shù)集，w為函數(shù)的廣義參數(shù)，故{f(x,w)}可以表示任何函數(shù)集。L(y,f(x,w))為由于用f(x,w)對y進行預(yù)測而造成的損失。不同類型的學習問題有不同形式的損失函數(shù)。

2023/2/19有三類基本的機器學習問題，它們是模式識別，函數(shù)逼近和概率密度估計。對于模式識別問題（這里僅討論監(jiān)督模式識別問題），系統(tǒng)輸出就是類別符號。在這兩類情況下，y={0,1}or{-1,1}是二值函數(shù)，這時預(yù)測函數(shù)稱作指示函數(shù)，基本定義是：在這個預(yù)測函數(shù)中期望風險就是平均錯誤率，使它最小的模式識別方法就是貝葉斯決策在函數(shù)擬合問題中，y是連續(xù)變量（設(shè)為單值）是x的函數(shù)損失函數(shù)定義為2023/2/110預(yù)測函數(shù)實際上，只要把函數(shù)的輸出通過一個域值轉(zhuǎn)化為二值函數(shù)，函數(shù)擬合問題就變成模式識別問題了。對概率密度估計問題，學習的目的是根據(jù)訓練樣本確定x的概率分布。記估計的密度函數(shù)為p(x,w),則損失函數(shù)定義為2023/2/111

而對訓練集上產(chǎn)生的風險Remp(w)被稱為經(jīng)驗風險(學習的訓練誤差)也就是用算術(shù)平均的方法來逼近期望風險:

經(jīng)驗風險由于Remp(w)是用已知的訓練樣本（即經(jīng)驗數(shù)據(jù)）定義的，因此稱為經(jīng)驗風險，用對參數(shù)w求經(jīng)驗風險Remp(w)的最小值代替求期望風險R(w)的最小值，就是所謂的經(jīng)驗風險最小化（ERM)原則.2023/2/112經(jīng)驗風險最小化首先Remp(w)和R(w)都是w的函數(shù)，傳統(tǒng)概率論中大數(shù)定理只說明了(在一定條件下)當樣本趨于無窮多時Remp(w)將在概率意義上趨近于R(w)，卻沒有保證使Remp(w)最小的點w*與使R(w)

最小的w’*是同一個點(同步最小)，更不能保證Remp(w*)能夠趨于Remp(w’*)。其次，即使我們有辦法找到這些條件在樣本數(shù)無窮大時得到保證，我們也無法認定這些前提下得到的經(jīng)驗風險最小化方法在樣本數(shù)有限時仍能得到最好的結(jié)果。2023/2/113根據(jù)統(tǒng)計學習理論中關(guān)于函數(shù)集的推廣性的界的結(jié)論，對于兩類分類問題中的指示函數(shù)集f(x,w)的所有函數(shù)(當然也包括使經(jīng)驗風險最小的函數(shù))，經(jīng)驗風險Remp(w)和實際風險R(w)之間至少以不下于1-η(0≤η≤1)的概率存在這樣的關(guān)系:

經(jīng)驗風險2023/2/114過學習在早期的神經(jīng)網(wǎng)絡(luò)研究中，人們總是把注意力集中到如何使Remp（w)最小，但很快發(fā)現(xiàn)，一味的訓練誤差小并不是總是能達到很好的預(yù)測效果，人們將學習機器對未來輸出進行正確預(yù)測能力稱為推廣性，某些情況下，當訓練誤差過小反而會導致推廣能力的降低，這幾乎是所有神經(jīng)網(wǎng)絡(luò)遇到的所謂的過學習問題（overfitting）。從理論上看模式識別也存在同樣的問題，但因為所用的分類器模型是相對比較簡單的，所以學習問題不像神經(jīng)網(wǎng)絡(luò)出。之所以出現(xiàn)過學習現(xiàn)象，一是因為學習樣本不充分，二是學習機器設(shè)計不合理，這兩個問題是相互關(guān)聯(lián)的2023/2/115

一般的學習方法(如神經(jīng)網(wǎng)絡(luò))是基于Remp(w)最小,滿足對已有訓練數(shù)據(jù)的最佳擬和,在理論上可以通過增加算法（如神經(jīng)網(wǎng)絡(luò)）的規(guī)模使得Remp(w)不斷降低以至為0。但是,這樣使得算法（神經(jīng)網(wǎng)絡(luò)）的復(fù)雜度增加,VC維h增加,從而φ(h/l)增大,導致實際風險R(w)增加,這就是學習算法的過擬合(Overfitting).

過學習2023/2/116過學習OverfittingandunderfittingProblem:

用幾階分類是合適的underfittingoverfittinggoodfitProblemofgeneralization:一個小的經(jīng)驗風險并不意味著小的期望風險2023/2/117統(tǒng)計學習理論的核心內(nèi)容統(tǒng)計學習理論被認為是目前針對小樣本統(tǒng)計估計和預(yù)測學習的最佳理論。它從理論上較為系統(tǒng)的研究了經(jīng)驗風險最小化原則成立的條件，有限樣本下經(jīng)驗風險與期望風險的關(guān)系及如何利用這些理論找到新的學習原則和方法等問題，其主要包括下面四個方面（1)經(jīng)驗風險最小化原則統(tǒng)計學習一致性的條件；（2）在這些條件下關(guān)于統(tǒng)計學習方法推廣性的界的結(jié)論；（3)在這些界的基礎(chǔ)上建立小樣本歸納推理準則（4）實現(xiàn)這些新的原則的實際方法（算法）2023/2/118學習過程的一致性問題學習過程一致性訓練樣本數(shù)n時，有

Remp(w)R(w)，經(jīng)驗風險的最優(yōu)值可以收斂到真實風險最優(yōu)值。稱該學習過程是一致的，又稱該學習過程滿足一致性。一個學習過程，只有滿足學習過程一致性的條件，才可以保證在經(jīng)驗風險最小化原則下得到的最優(yōu)方法，在訓練樣本數(shù)n時，得到期望風險最小的最優(yōu)結(jié)果。2023/2/119學習過程的一致性問題期望風險——R(w*|n)，在L(y,f(x,w*|n))下的，由式

得到的真實風險值。如果滿足其中為實際真實風險的下確界。則稱為經(jīng)驗風險最小化學習過程是一致的。2023/2/120經(jīng)驗風險和真實風險的關(guān)系示意圖2023/2/121統(tǒng)計學習理論的關(guān)鍵定理如果損失函數(shù)有界，則經(jīng)驗風險最小化學習一致的充分必要條件是即經(jīng)驗風險一致收斂于真實風險其中：P —— 表示概率Remp(w)——經(jīng)驗風險R(w) —— 同一w的真實風險2023/2/122函數(shù)集的學習性能與VC維為了研究函數(shù)集在經(jīng)驗風險最小化原則下的學習一致性問題和一致性收斂速度，統(tǒng)計學習理論定義了一系列有關(guān)函數(shù)集學習性能的指標。1指示函數(shù)集的熵和生長函數(shù)設(shè)指示函數(shù)集和訓練樣本集為函數(shù)集中的函數(shù)能夠?qū)颖炯瘜崿F(xiàn)不同的分類方法數(shù)目，記為N(Zn)定義1：隨機熵將上述不同的分類方法數(shù)目的對數(shù)定義為隨機熵H(Zn)=lnN(Zn)說明：隨機熵與分類函數(shù)集合有關(guān)，且與樣本集有關(guān)。2023/2/123函數(shù)集的學習性能定義2：指示函數(shù)的熵將隨機熵取期望，稱為指示函數(shù)的熵H(n)=E[lnN(Zn)]定義3生長函數(shù)函數(shù)集的生長函數(shù)定義為，在所有可能的樣本集上的最大隨機熵說明：1生長函數(shù)描述了函數(shù)集把n個樣本分成兩類的最大可能的分法數(shù)目2最大值：3由于是在所有可能的樣本集中取最大，因此與樣本分布無關(guān)。2023/2/124h是函數(shù)H=f(x,w)的VC維,l是樣本數(shù).

VC維(Vapnik-ChervonenkisDimension)。模式識別方法中VC維的直觀定義是：對一個指示函數(shù)集，如果存在h個樣本能夠被函數(shù)集里的函數(shù)按照所有可能的2h種形式分開，則稱函數(shù)集能夠把h個樣本打散。函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h。VC維2023/2/125VC維如果存在有h個樣本的樣本集能夠被函數(shù)集中的函數(shù)“打散”，而不存在有h+1個樣本的樣本集能夠被函數(shù)集中的函數(shù)“打散”，則函數(shù)集的VC維就是h。如果對于任意的樣本數(shù)，總能找到一個樣本集能夠被這個函數(shù)集“打散”，則該函數(shù)集的VC維就是無窮大。由此： 如果對于一個指示函數(shù)集，其生長函數(shù)是線性的，則其VC維即為無窮大。 如果生長函數(shù)以參數(shù)h的對數(shù)函數(shù)為上界，則函數(shù)集的VC維是有限的且其VC維等于h。由此：由前面的定理，經(jīng)驗風險最小化學習過程一致的充分必要條件是函數(shù)集的VC是有限的，且收斂速度是快的。2023/2/126VC維1可以證明，損失函數(shù)集與預(yù)測函數(shù)集2d維空間中的閾值分類器的VC維是d+1有相同的VC維2023/2/127結(jié)構(gòu)風險最小化歸納原則(SRM)結(jié)構(gòu)風險最小化原則首先把函數(shù)S={f(x,w),w}.分解為一個函數(shù)子集序列S1S2…Sn…S:每個子集的VC維都是有限的且滿足h1≤h2≤…≤hn≤…≤hk每個子集中的函數(shù)對應(yīng)的損失函數(shù)或者是有界的非負整數(shù)或者是一定的參數(shù)對(p,k)滿足2023/2/128在結(jié)構(gòu)風險最小化原則下，一個分類器設(shè)計要包括兩方面任務(wù)：（1）選擇一個適當?shù)暮瘮?shù)子集（使之對問題有最優(yōu)的分類能力）（2）從這個子集中選擇一個判別函數(shù)（使經(jīng)驗風險最?。┙Y(jié)構(gòu)風險最小化歸納原則(SRM)2023/2/129結(jié)構(gòu)風險最小化歸納原則(SRM結(jié)構(gòu)風險最小化原則給我們提供了一種不同于經(jīng)驗風險最小化的更科學的學習機器設(shè)計原則，但是由于其最終目的是在上式中兩個求和項之間進行折衷，因此實際上原則并不容易如果能夠找到一種子集劃分的方法，使得不必足以計算就可以知道每個子集中所取得的最小經(jīng)驗風險（比如所有子集都能把訓練樣本完全正確分類，即最小經(jīng)驗分線都為0）則上面兩步就可以分開進行，即先選擇使置信范圍最小的子集。然后再其中選擇最優(yōu)函數(shù)?？梢婈P(guān)鍵是如何構(gòu)造函數(shù)子集結(jié)構(gòu)，下面我們介紹的支持向量機是一種較好的實現(xiàn)了有序風險最小化思想的方法2023/2/130支持向量機SVM基于統(tǒng)計學習理論的支持向量機(Supportvectormachines,SVM)以其優(yōu)秀的學習能力受到廣泛的關(guān)注。但傳統(tǒng)支持向量機在處理大規(guī)模二次規(guī)劃問題時會出現(xiàn)訓練時間長、效率低下等問題。支持向量機是Vapnik等人于1995年首先提出的它是基于VC維理論和結(jié)構(gòu)風險最小化原則的學習機器。它在解決小樣本、非線性和高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢,并在一定程度上克服了維數(shù)災(zāi)難和過學習等傳統(tǒng)困難,再加上它具有堅實的理論基礎(chǔ),簡單明了的數(shù)學模型,使得支持向量機從提出以來受到廣泛的關(guān)注,并取得了長足的發(fā)展。2023/2/131最優(yōu)分類面與支持向量設(shè)線性可分樣本集為d維向量，2類樣本，y為類別標簽，則線性判別函數(shù)為分類面方程為2023/2/132最優(yōu)分類面與支持向量作判別函數(shù)歸一化，即滿足|g(x)|1，即距離分類面最近的樣本距離為|g(x)|=1，則兩類的分類間隔為2/||w||。如圖所示分類間隔就是H1和H2之間的距離2023/2/133最優(yōu)分類面與支持向量最優(yōu)分類面令分類間隔2/||w||最大，等價于||w||或者||w||2最小，使得分類面對于所有的樣本能正確分類，支持向量過兩類樣本中離分類面最近的點，且平行于最優(yōu)分類面的超平面H1,H2上的訓練樣本則稱為支持向量，顯見，最優(yōu)分類面是由支持向量來“支撐”的2023/2/134最優(yōu)分類面與支持向量最優(yōu)分類面的求取由最優(yōu)分類面的條件建立目標函數(shù)，為二次型由滿足條件作為約束條件（樣本條件）則有約束優(yōu)化問題

2023/2/135最優(yōu)分類面與支持向量由拉格朗日乘子法求解最優(yōu)分類面的條件。定義拉格朗日函數(shù)為式中i>0，為拉格朗日乘子。L對w，b求極小值。由得到最優(yōu)化條件

2023/2/136最優(yōu)分類面與支持向量求原約束優(yōu)化問題的對偶問題，可以得到單一變量的優(yōu)化函數(shù)為（Q的求極大值）如果i*為最優(yōu)解，則有最優(yōu)分類面的權(quán)系數(shù)向量為訓練樣本向量的線性組合。該最優(yōu)解滿足2023/2/137最優(yōu)分類面與支持向量因此有：對于多數(shù)樣本xi來說，i*為零，而不為零的i*對應(yīng)于使等號成立的樣本xi即支持向量。通常支持向量的個數(shù)很少。對應(yīng)于最優(yōu)權(quán)系數(shù)向量，則最優(yōu)分類函數(shù)為上式中，只對支持向量進行作求和運算。分類閾值b*則由任意一個支持向量滿足等式解出。如何處理高維特征空間中維數(shù)災(zāi)難?研究發(fā)現(xiàn)在特征空間Z中構(gòu)造最優(yōu)超平面,并不需要以顯式形式來考慮特征空間,而只需要能夠計算支持向量與特征空間中向量的內(nèi)積,但是如何計算特征空間中的內(nèi)積?SVM不直接進行計算該內(nèi)積,而是用滿足Mercer定理的核函數(shù)來代替,如下:2023/2/138Φ(x)·Φ(xj)=K(x·xj)式中,Φ(·)是輸入向量到特征空間的一個非線性映射。因此,只要將原空間中對偶問題表達式的內(nèi)積形式用核函數(shù)K(x·xj)代替,即是特征空間中對偶問題的表達形式。2023/2/139廣義最優(yōu)分類面前面的最優(yōu)分類面式在線性可分條件下推導出來的。不能應(yīng)用于線性不可分情況。改造。約束條件1：對于線性不可分情況，許多樣本不能滿足正確分類條件式因此，增加松弛項，分類條件式為約束條件2：線性可分條件下的分類間隔最大，線性不可分時引入約束

在兩個約束條件下對錯分樣本最小函數(shù)求極小值

2023/2/140支持向量機SVM支持向量機的數(shù)學表達最優(yōu)分類的優(yōu)化函數(shù)與最優(yōu)分類函數(shù)表達式中都含有內(nèi)積運算

如果將表達式中的內(nèi)積運算由內(nèi)積函數(shù)來代替，將原來的特征空間作非線性變換，算法的其他條件不變，這就是SVM.2023/2/141支持向量機SVM使用非線性的內(nèi)積函數(shù)，將輸入空間作非線性變換，變換到一個高維空間，然后在高維空間中確定最優(yōu)分類面。非線性變換是通過定義適當?shù)膬?nèi)積函數(shù)實現(xiàn)的,支持向量機的基本思想Mercer條件，對于任意的對稱函數(shù)K(X,X’),它是某個特征空間的內(nèi)積運算的充分必要條件是，對于任意的φ（x)不等于0，且K(xi,xj)=φ(xi)?φ(xj),2023/2/142支持向量機的拓撲結(jié)構(gòu)支持向量機的拓撲結(jié)構(gòu)類似一個RBF神經(jīng)網(wǎng)絡(luò)。2023/2/143常用的內(nèi)積函數(shù)

常用的內(nèi)積函數(shù)不同的內(nèi)積函數(shù)表現(xiàn)為不同的支持向量機算法，常用的內(nèi)積函數(shù)有以下幾類（1）多項式內(nèi)積函數(shù)此時得到的支持向量機是一個q階多項式分類器（2)采用核函數(shù)內(nèi)積得到的支持向量機是一種徑向基函數(shù)分類器，它與傳統(tǒng)的的徑向基函數(shù)（RBF)方法的基本區(qū)別是，這里每一個基函數(shù)的中心對應(yīng)一個支持量，它們以及輸出權(quán)重都是由算法自動確定的（3）S型內(nèi)積函數(shù)

則支持向量機實現(xiàn)的就是一個兩層的多層感知器的神經(jīng)網(wǎng)絡(luò)，只是在這里不但網(wǎng)絡(luò)的權(quán)值，而且網(wǎng)絡(luò)的隱層節(jié)點數(shù)目也是由算法自動確定的2023/2/144SVM舉例這是一個二維合成的數(shù)據(jù)實驗，圖中的小圓圈和點分別表示兩類的訓練樣本，虛線畫出了q=2的多項式內(nèi)積函數(shù)求得的支持向量機分類線，而畫圓圈的樣本點是求得的支持向量，而畫叉的樣本點為錯分的樣本。2023/2/145SVM訓練算法支持向量機的訓練算法歸結(jié)為求解一個受約束的二次規(guī)劃問題（QP）問題。對于小規(guī)模的QP問題,它體現(xiàn)出了十分優(yōu)秀的學習能力,但當將其應(yīng)用到大規(guī)模的QP問題時,就會表現(xiàn)出訓練速度慢、算法復(fù)雜、效率低下等問題?，F(xiàn)在主要的訓練算法都是將原有大規(guī)模的QP問題分解成一系列小的QP問題。但是如何進行分解以及選擇合適的工作集是這些算法面臨的主要問題,并且這也是各個算法優(yōu)劣的表現(xiàn)所在。另外一些算法主要是增加函數(shù)項、變量或系數(shù)等方法使公式變形,使其具有某一方面的優(yōu)勢,或者有一定應(yīng)用范圍。經(jīng)過上面的討論,我們知道QP問題的解僅依賴于與支持向量對應(yīng)的那些訓練樣本點,但是當訓練樣本增大時,就會過多占用內(nèi)存,從而導致訓練時間過長和效果不佳,因此設(shè)計適合于大量樣本的算法成為SVM研究中的重要內(nèi)容。2023/2/146

SVM算法研究進展chunking算法分解算法SMO算法增量學習方法粒度支持向量機模糊支持向量機2023/2/147粒度支持向量機粒度支持向量機是近年來興起的一種新的訓練算法,它是由Y.C.Tang首先提出來的。它是以粒度計算(GrC)理論和統(tǒng)計學習理論為基礎(chǔ)的一種新型學習模型?；舅枷胧牵和ㄟ^常用的粒劃分方法構(gòu)建?？臻g獲得一系列信息粒,然后在每個信息粒上進行學習,最后通過聚合信息粒上的信息(如數(shù)據(jù)、規(guī)則、知識、屬性等)獲得最終的SVM決策函數(shù)。這一學習機制通過數(shù)據(jù)粒化可以將一個線性不可分問題轉(zhuǎn)化為一系列線性可分問題,也就是說將一個大規(guī)模的QP問題,通過粒度劃分,分解為一系列小的QP問題;同時,也使得數(shù)據(jù)的泛化性能增強,即可在SVM訓練中得到間隔更寬的超平面。2023/2/148粒度支持向量機粒度支持向量機進行粒度劃分基于關(guān)聯(lián)規(guī)則的粒度支持向量機：其基本思想是通過將徑向基核函數(shù)進行麥克勞林展開,從展開式中學習關(guān)聯(lián)關(guān)系,通過這些關(guān)聯(lián)關(guān)系進行粒度劃分,進而在各個粒上進行SV訓練?；诰垲惖牧６戎С窒蛄繖C的基本思想是通過常用的聚類方法對訓練樣本集進行粒度劃分,然后選擇包含支持向量較多的粒參與分類或回歸?；陟乜臻g的粒度支持向量機的基本思想是首先對訓練樣本集進行粗粒度的選擇SV,去除一部分對構(gòu)造最優(yōu)分類超平面無用的樣本點,然后再對粗選后的樣本進行細粒度的SV訓練2023/2/149模糊支持向量機模糊SVM(FSVM)是將模糊數(shù)學和支持向量機相結(jié)合的學習方法,主要用來處理訓練樣本中的噪聲數(shù)據(jù)?；舅枷胧牵河嬎忝總€樣本屬于各類的隸屬度,噪聲數(shù)據(jù)屬于該類的隸屬度較低,由此來降低噪聲對最優(yōu)超平面的影響。模糊支持向量機中,訓練數(shù)據(jù)中多了一項si,它表示樣本xi

屬于yi

的隸屬度。其目標函數(shù)變?yōu)閷ε夹问街兄皇铅羒的范圍變成0≤αi

≤C·si.。FSVM主要存在的問題是如何確定隸屬度值,即如何確定各個樣本的權(quán)重。雖然不少研究者在這方面做了很多的工作,但還沒有一個可遵循的一般性準則,這其中主要有兩類方法:一類是基于時間序列的度量方法,這類方法以訓練樣本的采集時間順序來確定模糊隸屬度,然而該類方法缺乏堅實的理論依據(jù),并且僅僅使用于序列學習的情況。另一類是基于樣本空間的度量方法,其中比較有代表性的是基于KNN的模糊隸屬度度量方法,該方法具有較少的計算量及較強的魯棒性。2023/2/150SVM應(yīng)用SVM主要運用在模式分類,回歸問題兩方面。其中在分類問題中,主要有線性分類和非線性分類,線性分類中又分為線性可分和線性不可分兩種情況。線性不可分相對于線性可分來說,就是引入了一個松弛變量ξ。線性分類是在原空間中進行樣本分類,而非線性分類是將向量從原空間映射到特征空間,并用核函數(shù)代替內(nèi)積運算,在特征空間中進行樣本分類?；貧w問題是通過把樣本集因變量進行上下平移ε,將回歸問題轉(zhuǎn)化為分類問題?；貧w問題有線性回歸和非線性回歸,非線性回歸是在線性回歸的基礎(chǔ)上引入兩個松弛變量ξξ*,來控制誤差大小。2023/2/151SVM在性別分類介紹這篇文獻主要只有主面部縮略圖（不含頭發(fā)）的性別分類問題的研究。使用這樣圖片的動機有兩個：一，發(fā)型很容易改變外觀；二，我們希望通過調(diào)查最小的面部信息并通過不同分類器來學習男性和女性面部。在以前的性別分類研究實驗中使用高分辨率頭發(fā)的信息和相對較小的數(shù)據(jù)集的圖像。在這篇文獻中我們證明SVM分類器能夠?qū)W習和分類一大組的無頭發(fā)的低分辨率的圖像仍然具有很高的精度。

近年來，支持向量機已經(jīng)成功地應(yīng)用于在計算面部處理各種任務(wù)。這些

包括人臉檢測，人臉姿態(tài)識別和人臉識別。在本文中，我們采用支持向量機為圖像的性別縮略圖臉分類，與傳統(tǒng)的分類比較它們的性能（例如，線性，二次，F(xiàn)isher線性判別，以及最近鄰居），也包括更現(xiàn)代的技術(shù)RBF網(wǎng)絡(luò)和大集合-RBF分類器。我們也比較支持向量機分類器的性能到人類測試受試者的高和低分辨率圖像。盡管人類能相當不錯從普通的照片分辨性別，我們的測試性別表明他們在識別沒有頭發(fā)的高分辨率圖像上有困難。然而，人類的性能在高分辨率（6.5％誤差）認為是適當?shù)?，但下降與低分辨率圖像（31％誤差）。SVM分類平均誤差率的變化可以忽略不計。在我們的研究中，很少或根本沒有頭發(fā)信息在人類使用和機器實驗同時使用。這不同于以前的文獻，在性別分類中都包括頭發(fā)信息。2023/2/152背景介紹性別觀念和歧視從心理和計算的角度已被研究。盡管性別分類心理學文獻已經(jīng)引起很大關(guān)注，但是很少的基于視覺學習方法被提出。Gollomb等訓練了完全連接兩層神經(jīng)網(wǎng)SEXNET，來從900張人臉圖像中鑒定性別。其上的一組90張照片實驗（45男，女45例），得到8.1％的平均錯誤率相比平均錯誤率11.6％的研究在五種人類受試者中。CottrellandMetcalfe也將神經(jīng)網(wǎng)絡(luò)應(yīng)用人臉情感和性別分類。一組160張64乘64的人臉圖像的維數(shù)在自動編碼器（10男10女）從4096減少到40。這些載體則表現(xiàn)為輸入到另一個層網(wǎng)絡(luò)進行訓練。2023/2/153BrunelliandPoggio發(fā)明HyperBF網(wǎng)絡(luò)進行性別分類，其中兩個競爭的RBF網(wǎng)絡(luò)，一個用于男性，另一個用于女性，使用16種幾何特征作為輸入進行了訓練（例如，瞳孔分離眉，眉厚度，鼻子的寬度）。對168圖像數(shù)據(jù)集的結(jié)果（男21例，女21例）顯示的平均錯誤率21％。使用類似的技術(shù)如Golombetal.andCottrellandMetcalfeTamuraetal.用于多層神經(jīng)網(wǎng)絡(luò)，在多種分辨率（從32×32到8×8像素）對人臉圖像進行性別分類。他們對30張測試圖像實驗表明，其網(wǎng)絡(luò)能夠從8×8的圖像確定性別平均錯誤率是7％。2023/2/154背景介紹Wiskott等人。用于二維視圖來描述的面孔標號圖，而不是采用了矢量的的灰度級來表示的面。該節(jié)點是通過基于小波變換的局部“噴氣機”為代表并且邊緣被標記相似的距離矢量在幾何特征。他們用一小部分男性和女性對編碼的遙控模型圖為了生成的圖表“一般的臉知識”新的面孔由彈性圖匹配。對于每一個新的臉，使用中的節(jié)點生成復(fù)合重建模型圖。大多數(shù)使用節(jié)點的性別在用于分類的復(fù)合圖像。錯誤他們的實驗對112人臉圖像畫廊率為9.8％。最近，杜仲等。提出了一種混合動力分類基于神經(jīng)網(wǎng)絡(luò)（的RBFs）和電感決策樹與昆蘭的C4.5算法。實驗在3000FERET人進行了面大小64乘72像素。最好平均出錯率為4％。2023/2/155性別分類器性別分類器如圖1所示輸入一個x，輸出一個f（x),它的極性或者說符號決定了類的成員，它的幅度可以解釋為在做決定時的確定性。幾乎所有的二元分類器可以在這些方面加以觀察;基于密度分類器（線性，二次和Fisher）的輸出函數(shù)f（x）是一個對數(shù)似然比，而對于基于內(nèi)核分類器（近鄰，RBF和支持向量機的）輸出是一個“勢場”從相關(guān)的距離到分界點。

2023/2/156支持向量機是一種學習算法模式分類和回歸。支持向量機基本訓練原則是尋求最優(yōu)線性超平面，使得預(yù)期對于看不見的測試樣品分類誤差最小化-即良好泛化性能。根據(jù)該結(jié)構(gòu)風險最小化歸納原則，一個函數(shù)，訓練數(shù)據(jù)準確，屬于分類一組具有最低VC維函數(shù)將產(chǎn)生最好效果不管輸入空間的維度?；谶@個原理，線性支持向量機的使用系統(tǒng)的方法來找到最低的線性函數(shù)VC維。對于線性不可分的數(shù)據(jù)，可支持向量機（非線性）映射輸入到一個可以找到線性超平面高維特征空間，雖然沒有保證線性解決方案將一直存在在高維空間中，但是在實踐中構(gòu)建一個工作方案是相當可行的。2023/2/157對于線性支持向量機，核函數(shù)只是一個簡單的積在輸入空間，同時在一個核函數(shù)非線性支持向量機通過映射函數(shù)（可能是無限的）有效的映射到高維特征空間。然后構(gòu)造一個超平面在F中。這種映射后面動機是它更有可能找到一個線性超平面在高維特征空間。運用Mercer的定理在預(yù)測樣品的昂貴的計算就可以通過高維特征空間中的一個非常簡單的核函數(shù)代替滿足條件這里Φ是一個非線性投影功能函數(shù)，幾個內(nèi)核函數(shù)諸如多項式和徑向基函數(shù)已經(jīng)顯示出滿足Mercer’s原理，并且已經(jīng)成功地應(yīng)用到非線性支持向量機。事實上，采用不同的核函數(shù)，支持向量機可以實現(xiàn)各種學習機，其中一些與經(jīng)典建筑重合。然而，自動選擇“正確”的核函數(shù)及其相關(guān)參數(shù)的仍然是個問題，一般的在模型選擇上要進行反反復(fù)復(fù)的訓練2023/2/158RBF(RadialBasisFunction)徑向基函數(shù)（RBF）網(wǎng)絡(luò)也基于一個內(nèi)核技術(shù)改進的綜合，但它是基于而不是在正則化理論。一個典型的RBF網(wǎng)絡(luò)具有K個高斯基函數(shù)由下式給出Ci是高斯基函數(shù)的中心，σi2是方差，ωi是權(quán)值函數(shù)，b是偏移項（1）參加訓練的高斯RBF網(wǎng)絡(luò)給定學習任務(wù)包括確定的總?cè)藬?shù),高斯基函數(shù)，定位自己的中心，計算其相應(yīng)的方差，并解出重量系數(shù)和偏差。合適的選擇K,Ci，σi能夠產(chǎn)生一個在分類和線性回歸都很強大的RBF神經(jīng)網(wǎng)絡(luò)。（2）在傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)中徑向基函數(shù)是預(yù)定的，而在大集合RBF網(wǎng)絡(luò)中數(shù)量迭代增加，直到錯誤降到設(shè)定的閾值一下。在這兩類情況下，RBF中心可以由k-均值聚類決定。2023/2/159RBF與此相反，一個SVM與同RBF核會自動判斷該中心的數(shù)目和位置，以及權(quán)重和閾值，最大限度地減少一個上界預(yù)期風險。最近，Evgeniou等人表明支持向量機與RBF網(wǎng)絡(luò)可以在一個統(tǒng)一的制定框架中的統(tǒng)計Vapnik統(tǒng)計學習理論。因此，支持向量機提供了較為系統(tǒng)的分類方法相比較于傳統(tǒng)的RBF和各種其他的神經(jīng)網(wǎng)絡(luò)。2023/2/160FLDFisher線性判別（FLD）在特定的子空間中發(fā)現(xiàn)最佳線性投影的一種方法的一個例子，不同于尋找投影能夠最大限度地提高預(yù)測的方差作為主成分分析，F(xiàn)LD確定投影，Y=WT

FX，即最大化類間之間的比例散射和類內(nèi)散布。因此，分類被簡化到投影空間?？紤]一個c類的問題，由類間散布矩陣求出和類內(nèi)散布矩陣在這里μ是所有平均，μi是第i類的平均，Ni是第i類的樣本數(shù)目2023/2/161FLD最優(yōu)投影WF是一個投影矩陣能夠最大化類內(nèi)散射和類間散射的比率，公式如下其中{wi|i=1,2…m}是一組廣義SB和SW的特征向量，對應(yīng)于m個最大廣義特征值{λi|i=1,2….m}。但是，SB的秩為c-1或更少，因為它是C矩陣的總和為一級或更小的矩陣。因此，該上界為c-1。為了避免奇點，我們可以先用PCA以降低特征空間到N-C的維數(shù)，并且然后用熒光檢測器進行降維到c-1。這兩步程序是用在計算“的Fisherfaces，比如在我們的實驗中，我們使用一個單一的高斯來模擬男性和女性類的分布得到的一維空間。這個樣品的類成員能夠通過測定用最大后驗概率，或等效地通過似然比測試決定。2023/2/162LinearandQuadraticClassiers二次分類器的決策邊界是由二次型x中決定的，通過貝葉斯錯誤而得最小化。假設(shè)每個類的分布是高斯，分類器的輸出由下式給出其中μi和（i=1,2）是相對應(yīng)的高斯分布的平均值和方差線性分類器是二次分類的一種特殊形式，假設(shè)這樣就簡化了判別式對于這兩種分類器，f(x)的符號決定類成員，也相當于一個似然比檢驗2023/2/163Experiments2023/2/164Experiments在我們的研究中，256×384像素通過使用自動面部處理系統(tǒng)進行來補償平移，縮放以及輕微的旋轉(zhuǎn)進行預(yù)處理。如上圖所示，并使用最大似然估計人臉檢測，仿射變形用于幾何形狀對齊和用于環(huán)境照明亮度歸一化的變化。輸出結(jié)果如圖“面印痕”被標準化到80×40（滿）的分辨率。這些“面印痕”進一步分采樣21×12像素“縮略圖”為了我們的低分辨率實驗。2023/2/165Experiments上圖示出了已經(jīng)加工好的面輸出（注意的幾個例子這些面孔含有很少或根本沒有發(fā)信息）。在我們的試驗中總共有1755幅縮略圖（1044名男性和711女性）。對于每個分類器的平均錯誤率估計與5-fold交叉驗證（CV）-也就是說，5路數(shù)據(jù)集剖分，4/5用于訓練和五分之一用于測試，然后后面四組依次旋轉(zhuǎn)。該訓練集的平均大小為1496（793名男性和713只雌性）和測試集的平均大小為259（133雄性和雌性126）

2023/2/166MachineClassication支持向量機分類器最初是隨不同的內(nèi)核進行測試為了探索可能性，