機(jī)器學(xué)習(xí) 第8章-基于實(shí)例的學(xué)習(xí)課件

1、第8章 基于實(shí)例的學(xué)習(xí)( Instance Based Learning )概述已知一系列的訓(xùn)練樣例，許多學(xué)習(xí)方法為目標(biāo)函數(shù)建立起明確的一般化描述；基于實(shí)例的學(xué)習(xí)方法只是簡(jiǎn)單地把訓(xùn)練樣例存儲(chǔ)起來，從這些實(shí)例中泛化的工作被推遲到必須分類新的實(shí)例時(shí)；每當(dāng)學(xué)習(xí)器遇到一個(gè)新的查詢實(shí)例，它分析這個(gè)新實(shí)例與以前存儲(chǔ)的實(shí)例的關(guān)系，并據(jù)此把一個(gè)目標(biāo)函數(shù)值賦給新實(shí)例。概述（2）基于實(shí)例的學(xué)習(xí)方法包括：假定實(shí)例可以表示成歐氏空間中的點(diǎn)最近鄰法局部加權(quán)回歸法對(duì)實(shí)例采用更復(fù)雜的符號(hào)表示基于案例的推理基于實(shí)例的學(xué)習(xí)方法有時(shí)被稱為消極學(xué)習(xí)法，它把處理工作延遲到必須分類新的實(shí)例時(shí)；這種延遲的學(xué)習(xí)方法有一個(gè)優(yōu)點(diǎn)：不是在整個(gè)實(shí)

2、例空間上一次性地估計(jì)目標(biāo)函數(shù)，而是針對(duì)每個(gè)待分類新實(shí)例作出局部的和相異的估計(jì)。簡(jiǎn)介基于實(shí)例的學(xué)習(xí)方法的學(xué)習(xí)過程只是簡(jiǎn)單地存儲(chǔ)已知的訓(xùn)練數(shù)據(jù)，當(dāng)遇到新的查詢實(shí)例時(shí)，一系列相似的實(shí)例從存儲(chǔ)器中取出，用來分類新的查詢實(shí)例；與其他方法相比，基于實(shí)例的學(xué)習(xí)方法的一個(gè)關(guān)鍵差異是：可以為不同的待分類查詢實(shí)例建立不同的目標(biāo)函數(shù)逼近；許多技術(shù)不建立目標(biāo)函數(shù)在整個(gè)實(shí)例空間上的逼近，只建立局部逼近，并將其用于與新實(shí)例鄰近的實(shí)例；這樣做的好處是：有時(shí)目標(biāo)函數(shù)很復(fù)雜，但具有不太復(fù)雜的局部逼近描述。簡(jiǎn)介（2）基于案例的學(xué)習(xí)（基于實(shí)例的學(xué)習(xí)的一種）使用復(fù)雜的符號(hào)表示法來描述實(shí)例，也按照這種方式確定鄰近實(shí)例基于實(shí)例的方法的不

3、足：分類新實(shí)例的開銷可能很大。幾乎所有的計(jì)算都發(fā)生在分類時(shí)，而不是在第一次遇到訓(xùn)練樣例時(shí)。如何有效地索引訓(xùn)練樣例是一個(gè)重要的問題當(dāng)從存儲(chǔ)器中檢索相似的訓(xùn)練樣例時(shí)，一般考慮實(shí)例的所有屬性，如果目標(biāo)概念僅依賴于很多屬性中的幾個(gè)，那么真正最“相似”的實(shí)例之間可能相距甚遠(yuǎn)。k-近鄰算法k-近鄰算法是最基本的基于實(shí)例的學(xué)習(xí)方法k-近鄰算法假定所有的實(shí)例對(duì)應(yīng)于n維空間Rn中的點(diǎn)，任意的實(shí)例表示為一個(gè)特征向量根據(jù)歐氏距離定義實(shí)例的距離。兩個(gè)實(shí)例xi和xj的距離d(xi,xj)定義為在最近鄰學(xué)習(xí)中，目標(biāo)函數(shù)值可以是離散的也可以是連續(xù)的，本節(jié)先考慮離散的情況。k-近鄰算法（2）考慮離散目標(biāo)函數(shù)f: RnV，V=

4、v1,.,vs逼近離散值函數(shù)f: RnV的k-近鄰算法訓(xùn)練算法將每個(gè)訓(xùn)練樣例加入到列表training_examples分類算法給定一個(gè)要分類的查詢實(shí)例xq在training_examples中選出最靠近xq的k個(gè)實(shí)例，并用x1.xk表示返回其中k-近鄰算法（4）k-近鄰算法不形成關(guān)于目標(biāo)函數(shù)f的明確的一般假設(shè)，僅在需要時(shí)計(jì)算每個(gè)新查詢實(shí)例的分類，但依然可以問：k-近鄰算法隱含的一般函數(shù)是什么？下圖畫出了1-近鄰算法在整個(gè)實(shí)例空間上導(dǎo)致的決策面形狀。這種圖稱為訓(xùn)練樣例集合的Voronoi圖k-近鄰算法（5）離散的k-近鄰算法作簡(jiǎn)單修改后可用于逼近連續(xù)值的目標(biāo)函數(shù)。即計(jì)算k個(gè)最接近樣例的平均值，

5、而不是計(jì)算其中的最普遍的值，為逼近f: RnR，計(jì)算式如下：距離加權(quán)最近鄰算法對(duì)k-近鄰算法的一個(gè)改進(jìn)是對(duì)k個(gè)近鄰的貢獻(xiàn)加權(quán)，越近的距離賦予越大的權(quán)值，比如：為了處理查詢點(diǎn)xq恰好匹配某個(gè)訓(xùn)練樣例xi，從而導(dǎo)致d(xq,xi)2為0的情況，令這種情況下的 等于f(xi)，如果有多個(gè)這樣的訓(xùn)練樣例，我們使用它們占多數(shù)的分類也可以用類似的方式對(duì)實(shí)值目標(biāo)函數(shù)進(jìn)行距離加權(quán)，用下式替代表8-1中的計(jì)算式，wi的定義與前相同(8.4)對(duì)k-近鄰算法的說明距離加權(quán)的k-近鄰算法對(duì)訓(xùn)練數(shù)據(jù)中的噪聲有很好的健壯性，通過取k個(gè)近鄰的加權(quán)平均，可以消除孤立的噪聲樣例的影響；k-近鄰的歸納偏置是：一個(gè)實(shí)例的分類xq與

6、在歐氏空間中它附近的實(shí)例的分類相似；k-近鄰方法的一個(gè)實(shí)踐問題：維度災(zāi)害許多學(xué)習(xí)方法，比如決策樹方法，選擇部分屬性作出判斷，而k-近鄰方法中實(shí)例間的距離是根據(jù)實(shí)例的所有屬性計(jì)算的；實(shí)例間距離會(huì)被大量的不相關(guān)屬性所支配，可能導(dǎo)致相關(guān)屬性的值很接近的實(shí)例相距很遠(yuǎn)。對(duì)k-近鄰算法的說明（2）維度災(zāi)害的解決方法：對(duì)屬性加權(quán)，相當(dāng)于按比例縮放歐氏空間中的坐標(biāo)軸，縮短對(duì)應(yīng)不太相關(guān)的屬性的坐標(biāo)軸，拉長對(duì)應(yīng)更相關(guān)屬性的坐標(biāo)軸；每個(gè)坐標(biāo)軸應(yīng)伸展的數(shù)量可以通過交叉驗(yàn)證的方法自動(dòng)決定，具體做法如下：假定使用因子zj伸展第j個(gè)根坐標(biāo)軸，選擇各個(gè)zj的值，使得學(xué)習(xí)算法的真實(shí)分類錯(cuò)誤率最小化；這個(gè)真實(shí)錯(cuò)誤率可以使用交叉驗(yàn)

7、證來估計(jì)；可以多次重復(fù)這個(gè)處理過程，使得加權(quán)因子的估計(jì)更加準(zhǔn)確。另一種更強(qiáng)有力的方法是從實(shí)例空間中完全消除最不相關(guān)的屬性，等效于設(shè)置某個(gè)縮放因子為0術(shù)語解釋來自統(tǒng)計(jì)模式識(shí)別領(lǐng)域的術(shù)語回歸：逼近一個(gè)實(shí)數(shù)值的目標(biāo)函數(shù)殘差：逼近目標(biāo)函數(shù)時(shí)的誤差核函數(shù)：一個(gè)距離函數(shù)，用來決定每個(gè)訓(xùn)練樣例的權(quán)值，就是使wi=K(d(xi,xq)的函數(shù)K局部加權(quán)回歸前面描述的最近鄰方法可以被看作在單一的查詢點(diǎn)x=xq上逼近目標(biāo)函數(shù)f(x)局部加權(quán)回歸是上面方法的推廣，它在環(huán)繞xq的局部區(qū)域內(nèi)為目標(biāo)函數(shù)f建立明確的逼近局部加權(quán)回歸使用附近的或距離加權(quán)的訓(xùn)練樣例來形成對(duì)f的局部逼近例如，使用線性函數(shù)、二次函數(shù)、多層神經(jīng)網(wǎng)絡(luò)在

8、環(huán)繞xq的鄰域內(nèi)逼近目標(biāo)函數(shù)局部加權(quán)回歸的名稱解釋局部：目標(biāo)函數(shù)的逼近僅僅根據(jù)查詢點(diǎn)附近的數(shù)據(jù)加權(quán)：每個(gè)訓(xùn)練樣例的貢獻(xiàn)由它與查詢點(diǎn)間的距離加權(quán)得到回歸：表示逼近實(shí)數(shù)值函數(shù)的問題局部加權(quán)回歸（2）給定一個(gè)新的查詢實(shí)例xq，局部加權(quán)回歸的一般方法是：建立一個(gè)逼近 ，使 擬合環(huán)繞xq的鄰域內(nèi)的訓(xùn)練樣例用 計(jì)算 的值刪除 的描述梯度下降和delta法則把delta訓(xùn)練法則理解為訓(xùn)練一個(gè)無閾值的感知器(線性函數(shù)f(x)指定一個(gè)度量標(biāo)準(zhǔn)來衡量假設(shè)相對(duì)于訓(xùn)練樣例的訓(xùn)練誤差可視化假設(shè)空間根據(jù)E的定義，誤差曲面是一個(gè)拋物面，存在一個(gè)單一全局最小值梯度下降搜索從一個(gè)任意的初始權(quán)向量開始，然后沿誤差曲面最陡峭下降的

9、方向，以很小的步伐反復(fù)修改這個(gè)向量，直到得到全局的最小誤差點(diǎn)梯度下降法則的推導(dǎo)如何發(fā)現(xiàn)沿誤差曲面最陡峭下降的方向？通過計(jì)算E相對(duì)向量 的每個(gè)分量的導(dǎo)數(shù)，這個(gè)向量導(dǎo)數(shù)被稱為E對(duì)于 的梯度，記作當(dāng)梯度被解釋為權(quán)空間的一個(gè)向量時(shí)，它確定了使E最陡峭上升的方向，所以這個(gè)向量的反方向給出了最陡峭下降的方向梯度訓(xùn)練法則其中，局部加權(quán)線性回歸使用如下形式的線性函數(shù)來逼近xq鄰域的目標(biāo)函數(shù)f利用梯度下降方法，在擬合以上形式的線性函數(shù)到給定的訓(xùn)練集合時(shí)，它被用來找到使誤差最小化的系數(shù)w0.wn，當(dāng)時(shí)我們感興趣的是目標(biāo)函數(shù)的全局逼近，即得到的梯度下降訓(xùn)練法則是 (8.5)局部加權(quán)線性回歸（2）三種重新定義誤差準(zhǔn)則

10、E，以著重于擬合局部訓(xùn)練樣例，記為E(xq)只對(duì)在k個(gè)近鄰上的誤差平方最小化使整個(gè)訓(xùn)練樣例集合D上的誤差平方最小化，但對(duì)每個(gè)訓(xùn)練樣例加權(quán)，權(quán)值為關(guān)于相距xq距離的某個(gè)遞減函數(shù)K綜合1和2局部加權(quán)回歸的說明大多數(shù)情況下，通過一個(gè)常量、線性函數(shù)或二次函數(shù)來局部逼近目標(biāo)函數(shù)，更復(fù)雜的函數(shù)形式不太常見，原因是：對(duì)每個(gè)查詢實(shí)例用更復(fù)雜的函數(shù)來擬合，其代價(jià)十分高昂在足夠小的實(shí)例空間子域上，使用這些簡(jiǎn)單的近似已能很好地模擬目標(biāo)函數(shù)徑向基函數(shù)徑向基函數(shù)是另一種實(shí)現(xiàn)函數(shù)逼近的方法，它與距離加權(quán)回歸和人工神經(jīng)網(wǎng)絡(luò)都有著緊密聯(lián)系待學(xué)習(xí)的假設(shè)是一個(gè)以下形式的函數(shù)xu是X中一個(gè)實(shí)例，核函數(shù)Ku(d(xu,x)被定義為隨

11、距離d(xu,x)的增加而減小，k是用戶提供的常量，用來指定要包含的核函數(shù)的數(shù)量盡管 是對(duì)f(x)的全局逼近，但來自每個(gè)Ku(d(xu,x)項(xiàng)的貢獻(xiàn)被局部化到點(diǎn)xu附近的區(qū)域一種很常見的做法是選擇每個(gè)核函數(shù)Ku(d(xu,x)為高斯函數(shù)（表示正態(tài)分布的函數(shù)）(8.8)高斯函數(shù)xu為核函數(shù)中心為函數(shù)的寬度參數(shù) , 控制了函數(shù)的徑向作用范圍。 徑向基函數(shù)（2）Hartman et al.1990指出，式子8.8的函數(shù)形式能夠以任意小的誤差逼近任何函數(shù)，只要以上高斯核的數(shù)量足夠大，并且可以分別指定每個(gè)核的寬度下頁圖徑向基函數(shù)網(wǎng)絡(luò)（RBF），式子8.8給出的函數(shù)可以看作是描述了一個(gè)兩層的網(wǎng)絡(luò)，第一層計(jì)

12、算不同的Ku(d(xu,x)，第二層計(jì)算第一層單元值的線性組合給定了目標(biāo)函數(shù)的訓(xùn)練樣例集合，一般分兩個(gè)階段來訓(xùn)練RBF網(wǎng)絡(luò)決定隱藏單元的數(shù)量k，并通過定義核函數(shù)中心點(diǎn)和方差來定義每個(gè)隱藏單元使用式子8.5誤差平方和最小給出的全局誤差準(zhǔn)則來訓(xùn)練權(quán)值wu，使網(wǎng)絡(luò)擬合訓(xùn)練數(shù)據(jù)程度最大化f(x)1wkw0w1w2a1(x)a2(x)an(x)徑向基函數(shù)網(wǎng)絡(luò)（RBF）徑向基函數(shù)（3）已經(jīng)提出了幾種方法來選取適當(dāng)?shù)碾[藏單元或核函數(shù)的數(shù)量：為每一個(gè)訓(xùn)練樣例分配一個(gè)高斯核函數(shù)，中心點(diǎn)設(shè)為xi，所有高斯函數(shù)的寬度可被賦予同樣的值RBF網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)函數(shù)的全局逼近，其中每個(gè)訓(xùn)練樣例都只在xi的鄰域內(nèi)影響 的值這種核

13、函數(shù)的一個(gè)優(yōu)點(diǎn)是允許RBF網(wǎng)絡(luò)精確地?cái)M合訓(xùn)練數(shù)據(jù)對(duì)于任意m個(gè)訓(xùn)練樣例集合，合并m個(gè)高斯核函數(shù)的權(quán)值w0.wm，可以被設(shè)置為使得對(duì)于每個(gè)訓(xùn)練樣例都滿足徑向基函數(shù)（4）選取一組數(shù)量少于訓(xùn)練樣例數(shù)量的核函數(shù)，這種方法更有效，特別是訓(xùn)練樣例數(shù)量巨大時(shí)核函數(shù)分布在整個(gè)實(shí)例空間X上，它們中心之間有均勻的間隔或者也可以非均勻地分布核函數(shù)中心，特別是在實(shí)例本身在X上非均勻分布的時(shí)候可以隨機(jī)選取訓(xùn)練樣例的一個(gè)子集作為核函數(shù)的重心，從而對(duì)實(shí)例的基準(zhǔn)分布進(jìn)行采樣或者可以標(biāo)識(shí)出實(shí)例的原始聚類，然后以每個(gè)聚類為中心加入一個(gè)核函數(shù)把訓(xùn)練實(shí)例擬合到混合高斯，第6章討論的EM算法提供了一種從k個(gè)高斯函數(shù)的混合中選擇均值，以最

14、佳擬合觀察到實(shí)例的方法徑向基函數(shù)（5）總而言之，用多個(gè)局部核函數(shù)的線性組合表示的徑向基函數(shù)網(wǎng)絡(luò)提供了一種目標(biāo)函數(shù)的全局逼近僅當(dāng)輸入落入某個(gè)核函數(shù)的中心和寬度所定義的區(qū)域時(shí)，這個(gè)核函數(shù)的值才是不可忽略的RBF網(wǎng)絡(luò)可以被看作目標(biāo)函數(shù)的多個(gè)局部逼近的平滑線性組合RBF網(wǎng)絡(luò)的一個(gè)優(yōu)點(diǎn)是，與反向傳播算法訓(xùn)練的前饋網(wǎng)絡(luò)相比，它的訓(xùn)練更加高效，這是因?yàn)镽BF網(wǎng)絡(luò)的輸入層和輸出層可以被分別訓(xùn)練基于案例的推理k-近鄰算法和局部加權(quán)回歸具有三個(gè)共同的關(guān)鍵特性：消極學(xué)習(xí)方法通過分析相似的實(shí)例來分類新的查詢實(shí)例，而忽略與查詢極其不同的實(shí)例實(shí)例表示為n維歐氏空間中的實(shí)數(shù)點(diǎn)基于案例的推理（CBR）滿足前2個(gè)原則，但不滿足

15、第3個(gè)CBR使用更豐富的符號(hào)描述來表示實(shí)例，用來檢索實(shí)例的方法也更加復(fù)雜基于案例的推理（2）CBR已被用于解決很多問題根據(jù)數(shù)據(jù)庫中存儲(chǔ)的以前的設(shè)計(jì)圖紙，來進(jìn)行機(jī)械設(shè)備的總體設(shè)計(jì)根據(jù)以前的裁決來對(duì)新的法律案件進(jìn)行推理通過對(duì)以前的相似問題的解決方案的復(fù)用或合并，解決規(guī)劃和調(diào)度問題設(shè)備的故障診斷與預(yù)報(bào)基于案例的推理（3）一個(gè)例子：CADET系統(tǒng)采用基于案例的推理來輔助簡(jiǎn)單機(jī)械設(shè)備的總體設(shè)計(jì)（圖8-3）條件使用一個(gè)數(shù)據(jù)庫，其中包含大約75個(gè)以前的設(shè)計(jì)或設(shè)計(jì)片斷內(nèi)存中每一個(gè)實(shí)例是通過它的結(jié)構(gòu)和定性的功能來表示的，新的設(shè)計(jì)問題通過所要求的功能和結(jié)構(gòu)來表示方法給定新設(shè)計(jì)問題的功能說明，CADET從它的案例庫

16、中搜索存儲(chǔ)的案例，使它的功能描述和新設(shè)計(jì)問題相匹配如果發(fā)現(xiàn)了一個(gè)精確的匹配，表明某個(gè)存儲(chǔ)案例精確地實(shí)現(xiàn)了所要求的功能，那么可以返回這個(gè)案例作為新設(shè)計(jì)問題的建議方案否則，CADET可能找到匹配所需功能的不同子圖的案例在兩個(gè)功能圖間搜索同構(gòu)子圖，以發(fā)現(xiàn)一個(gè)案例的某部分，使它匹配更多的案例加工原始的功能說明圖，產(chǎn)生等價(jià)的子圖以匹配更多的案例一個(gè)存儲(chǔ)的案例：T型接頭管結(jié)構(gòu)：功能：功能：一個(gè)問題的規(guī)格說明：水龍頭結(jié)構(gòu)：？Q1,T1Q2,T2Q3,T3Q1Q2T1T2+Q3T3CtCf+QcQfTcTfQmTm+_基于案例的推理（4）通過檢索匹配不同子圖的多個(gè)案例，有時(shí)可以拼接得到整個(gè)設(shè)計(jì)但是，從多個(gè)檢索

17、到的案例產(chǎn)生最終方案的過程可能很復(fù)雜為了合并存儲(chǔ)案例中檢索到的部分，可能需要從頭設(shè)計(jì)系統(tǒng)的各個(gè)部分，也可能需要回溯以前的設(shè)計(jì)子目標(biāo)，從而丟棄前面檢索到的案例CADET合并和自適應(yīng)已檢索到案例并形成最終設(shè)計(jì)的能力有限，它主要依賴用戶來做自適應(yīng)階段的處理基于案例的推理（5）CADET的問題框架在CADET中每個(gè)存儲(chǔ)的訓(xùn)練樣例描繪了一個(gè)功能圖以及實(shí)現(xiàn)該功能的結(jié)構(gòu)實(shí)例空間定義為所有功能圖的空間，目標(biāo)函數(shù)f映射到實(shí)現(xiàn)這些功能的結(jié)構(gòu)每個(gè)存儲(chǔ)訓(xùn)練樣例是一個(gè)序偶，描述某個(gè)功能圖x和實(shí)現(xiàn)x的結(jié)構(gòu)f(x)系統(tǒng)通過學(xué)習(xí)訓(xùn)練樣例，以輸出滿足功能圖查詢輸入xq的結(jié)構(gòu)f(xq)基于案例的推理（6）CADET系統(tǒng)區(qū)別于k-

18、近鄰方法的一般特征實(shí)例（或稱案例）可以用豐富的符號(hào)描述表示，因此可能需要不同于歐氏距離的相似性度量檢索到的多個(gè)案例可以合并形成新問題的解決方案，合并案例的過程與k-近鄰方法不同，依賴于知識(shí)推理而不是統(tǒng)計(jì)方法案例檢索、基于知識(shí)的推理、問題求解是緊密耦合在一起的概括而言，基于案例的推理是一種基于實(shí)例的學(xué)習(xí)方法，在這個(gè)方法中實(shí)例可以是豐富的關(guān)系的描述案例檢索和合并過程可能依賴于知識(shí)推理和搜索密集的問題求解方法一個(gè)研究課題：改進(jìn)索引案例的方法句法相似度量僅能近似地指出特定案例與特定問題的相關(guān)度，而不能捕捉其他難點(diǎn)，比如多個(gè)設(shè)計(jì)片斷的不兼容性發(fā)現(xiàn)這些難點(diǎn)后，可以回溯，并且可用來改進(jìn)相似性度量對(duì)消極學(xué)習(xí)和

19、積極學(xué)習(xí)的評(píng)價(jià)本章考慮了三種消極學(xué)習(xí)方法：k-近鄰、局部加權(quán)回歸、基于案例的推理本章考慮了一種積極學(xué)習(xí)方法：學(xué)習(xí)徑向基函數(shù)網(wǎng)絡(luò)的方法消極方法和積極方法的差異：計(jì)算時(shí)間的差異消極算法在訓(xùn)練時(shí)需要較少的計(jì)算，但在預(yù)測(cè)新查詢的目標(biāo)值時(shí)需要更多的計(jì)算時(shí)間對(duì)新查詢的分類的差異（歸納偏置的差異）消極方法在決定如何從訓(xùn)練數(shù)據(jù)D中泛化時(shí)考慮查詢實(shí)例xq積極方法在見到xq之前，就完成了泛化核心觀點(diǎn)：消極學(xué)習(xí)可以通過很多局部逼近的組合表示目標(biāo)函數(shù)，積極學(xué)習(xí)必須在訓(xùn)練時(shí)提交單個(gè)的全局逼近對(duì)消極學(xué)習(xí)和積極學(xué)習(xí)的評(píng)價(jià)（2）使用多個(gè)局部逼近的積極方法，可以產(chǎn)生與消極方法的局部逼近同樣的效果嗎？徑向基函數(shù)網(wǎng)絡(luò)是對(duì)這個(gè)目標(biāo)的嘗試RBF學(xué)習(xí)方法是在訓(xùn)練時(shí)提交目標(biāo)函數(shù)全局逼近的積極方法，然而，一個(gè)RBF網(wǎng)絡(luò)把這個(gè)全局函數(shù)表示為多個(gè)目標(biāo)局部核函數(shù)的線性組合RBF學(xué)習(xí)方法創(chuàng)建的局部逼近不能達(dá)到像消極學(xué)習(xí)方法中那樣特別針對(duì)查詢點(diǎn)小結(jié)基于實(shí)例的學(xué)習(xí)方法推遲處理訓(xùn)練樣例，直到必須分類一個(gè)新查詢實(shí)例時(shí)才進(jìn)行。它們不必形成一個(gè)明確的假設(shè)來定義整個(gè)實(shí)例空間上的完整目標(biāo)函數(shù)，而是