機(jī)器學(xué)習(xí)算法及其應(yīng)用new

1、機(jī)器學(xué)習(xí)方法及應(yīng)用1、機(jī)器學(xué)習(xí)學(xué)習(xí)是生物中樞神經(jīng)系統(tǒng)的高級整合技能之一,是人類獲取知識的重要途徑和人類智能的重要標(biāo)志,按照人工智能大師HSimon的觀點(diǎn)1:學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強(qiáng)或改進(jìn),使得系統(tǒng)在下一次執(zhí)行同樣或相類似的任務(wù)時,會比原來做得更好或效率更高。機(jī)器學(xué)習(xí)則是計(jì)算機(jī)獲取知識的重要途徑和人工智能的重要標(biāo)志,是一門研究怎樣用計(jì)算機(jī)來模擬或?qū)崿F(xiàn)人類學(xué)習(xí)活動的學(xué)科,是研究如何使機(jī)器通過識別和利用現(xiàn)有知識來獲取新知識和新技能。一般認(rèn)為,機(jī)器學(xué)習(xí)是一個有特定目的的知識獲取過程,其內(nèi)部表現(xiàn)為從未知到已知這樣一個知識增長過程,其外部表現(xiàn)為系統(tǒng)的某些性能和適應(yīng)性的改善,使得系統(tǒng)能

2、完成原來不能完成或更好地完成原來可以完成的任務(wù)。它既注重知識本身的增加,也注重獲取知識的技能的提高。1.1 機(jī)器學(xué)習(xí)基本模型以HSimon的學(xué)習(xí)定義作為出發(fā)點(diǎn),建立如圖1的基本模型。在機(jī)器學(xué)習(xí)的過程中,首要的因素是外部環(huán)境向系統(tǒng)提供信息的質(zhì)量。外部環(huán)境是以某種形式表達(dá)的外界信息集合,它代表外界信息來源;學(xué)習(xí)是將外界信息加工為知識的過程,先從環(huán)境獲取外部信息,然后對這些信息加工形成知識,并把這些知識放入知識庫中;知識庫中存放指導(dǎo)執(zhí)行部分動作的一般原則,由于環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息形形色色,信息質(zhì)量的優(yōu)劣直接影響到學(xué)習(xí)部分容易實(shí)現(xiàn)還是雜亂無章。而知識庫則是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個因素,由于知識庫可

3、能不同,表達(dá)方式各有特點(diǎn),在選擇表示方式上要兼顧表達(dá)能力強(qiáng)、易于推理、易于完善及擴(kuò)展知識表示等幾個方面的要求。執(zhí)行環(huán)節(jié)是利用知識庫中的知識完成某種任務(wù)的過程,并把完成任務(wù)過程中所獲得的一些信息反饋給學(xué)習(xí)環(huán)節(jié),以指導(dǎo)進(jìn)一步的學(xué)習(xí)。1.2機(jī)器學(xué)習(xí)的發(fā)展和研究目標(biāo)機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支,它的發(fā)展過程大體上分為四個時期2。第一階段是20世紀(jì)50年代中葉到60年代中葉,屬于熱烈時期。在這個時期,所研究的是“沒有知識”的學(xué)習(xí),即“無知”學(xué)習(xí)。其研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng),其主要研究方法是不斷修改系統(tǒng)的控制參數(shù)和改進(jìn)系統(tǒng)的執(zhí)行能力,不涉及與具體任務(wù)有關(guān)的知識。本階段的代表性工作是:塞

4、繆爾(Samuel)的下棋程序。但這種學(xué)習(xí)的結(jié)果遠(yuǎn)不能滿足人們對機(jī)器學(xué)習(xí)系統(tǒng)的期望。第二階段是在60年代中葉到70年代中葉,被稱為機(jī)器學(xué)習(xí)的冷靜時期。本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過程,并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。本階段的代表性工作有溫斯頓(Winston)的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯羅思(Hayes-Roth)等的基本邏輯的歸納學(xué)習(xí)系統(tǒng)。第三階段從20世紀(jì)70年代中葉到80年代中葉,稱為復(fù)興時期。在此期間,人們從學(xué)習(xí)單個概念擴(kuò)展到學(xué)習(xí)多個概念,探索不同的學(xué)習(xí)策略和方法,且在本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來,并取得很大的成功,促進(jìn)機(jī)器學(xué)習(xí)的發(fā)展。1980年,在美國的卡內(nèi)基梅隆

5、(CMU)召開了第一屆機(jī)器學(xué)習(xí)國際研討會,標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。當(dāng)前機(jī)器學(xué)習(xí)圍繞三個主要研究方向進(jìn)行:1.面向任務(wù):在預(yù)定的一些任務(wù)中,分析和開發(fā)學(xué)習(xí)系統(tǒng),以便改善完成任務(wù)的水平,這是專家系統(tǒng)研究中提出的研究問題;2.認(rèn)識模擬:主要研究人類學(xué)習(xí)過程及其計(jì)算機(jī)的行為模擬,這是從心理學(xué)角度研究的問題;3.理論分析研究:從理論上探討各種可能學(xué)習(xí)方法的空間和獨(dú)立于應(yīng)用領(lǐng)域之外的各種算法。這三個研究方向各有自己的研究目標(biāo),每一個方向的進(jìn)展都會促進(jìn)另一個方向的研究。這三個方面的研究都將促進(jìn)各方面問題和學(xué)習(xí)基本概念的交叉結(jié)合,推動了整個機(jī)器學(xué)習(xí)的研究。機(jī)器學(xué)習(xí)的研究目標(biāo)大致有三個方向,一個方向是

6、基礎(chǔ)性訓(xùn)究,發(fā)展各種適合機(jī)器特點(diǎn)的學(xué)習(xí)理淪,探討所有可能的學(xué)習(xí)方法,比較人類學(xué)習(xí)與機(jī)器學(xué)習(xí)的異同與聯(lián)系;一個方向是以模擬人類的學(xué)習(xí)過程出發(fā),試圖建立學(xué)習(xí)的認(rèn)識生理學(xué)模型,這個方向與認(rèn)知科學(xué)的發(fā)展密切相關(guān);一個方向是應(yīng)用研究,建立各種實(shí)用的學(xué)習(xí)系統(tǒng)或知識獲取輔助工具,在人工智能科學(xué)的應(yīng)用領(lǐng)域建立自動獲取知識系統(tǒng),積累經(jīng)驗(yàn),完善知識庫與控制知識,進(jìn)而能使機(jī)器的智能水平像人類一樣。2.機(jī)器學(xué)習(xí)方法2.1機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)就是記憶,即把新的知識存儲起來,供需要時檢索調(diào)用,而無須計(jì)算和推理。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識。在機(jī)械學(xué)習(xí)系統(tǒng)中,知識的獲取以較為穩(wěn)定和直接的方式進(jìn)行,不需要系統(tǒng)進(jìn)行過多的加

7、工。而對于其他學(xué)習(xí)系統(tǒng),需要對各種建議和訓(xùn)練例子等信息進(jìn)行加工處理后,才能存儲起來。當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問題之后,系統(tǒng)就記住該問題及其解。可以把學(xué)習(xí)系統(tǒng)的執(zhí)行部分抽象地看成某個函數(shù),該函數(shù)在得到自變量輸入值(X1,X2,Xn)之后,計(jì)算并輸出函數(shù)值(Y1,Y2,Yp)。機(jī)械學(xué)習(xí)在存儲器中簡單地記憶存儲對(X1,X2,Xn),(Y1,Y2,Yp)。當(dāng)需要f(X1,X2,Xn)時,執(zhí)行部分就從存儲器中把(Y1,Y2,Yp)簡單地檢索出來而不是重新計(jì)算它。這種簡單的學(xué)習(xí)模式如下:對于機(jī)械學(xué)習(xí),需要注意:采用適當(dāng)?shù)拇鎯Ψ绞?使檢索速度盡可能地快;保證所保存的信息適應(yīng)于外界環(huán)境變化的需要;不能

8、降低系統(tǒng)的效率。2.2歸納學(xué)習(xí)歸納推理是應(yīng)用歸納方法,從足夠多的具體事例中歸納出一般性知識,提取事物的一般規(guī)律,是從個別到一般的推理。歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的方法,根據(jù)歸納學(xué)習(xí)有無教師指導(dǎo),可分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。前者屬于有師學(xué)習(xí),后者屬于無師學(xué)習(xí)。歸納學(xué)習(xí)系統(tǒng)的模型如圖2所示。實(shí)驗(yàn)規(guī)劃過程通過對實(shí)例空間的搜索完成實(shí)例選擇,并將這些選中的活躍實(shí)例提交給解釋過程。解釋過程對實(shí)例加以適當(dāng)轉(zhuǎn)換,把活躍實(shí)例變換為規(guī)則空間中的特定概念,以引導(dǎo)規(guī)則空間的搜索。2.2.1示例學(xué)習(xí)示例學(xué)習(xí)又稱實(shí)例學(xué)習(xí),是通過環(huán)境中若干與某概念有關(guān)的例子,經(jīng)歸納得出一般性概念的學(xué)習(xí)方法。在這種學(xué)習(xí)方法中,外部環(huán)

9、境提供的是一組例子,每一個例子表達(dá)了僅適用于該例子的知識。示例學(xué)習(xí)就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識,以覆蓋所有的正例并排除所有反例。例如,如果用一批動物作為示例,并且告訴學(xué)習(xí)系統(tǒng)哪一個動物是馬,哪一個動物不是。當(dāng)示例足夠多時,學(xué)習(xí)系統(tǒng)就能概括出關(guān)于馬的概念模型,使自己能夠識別馬,并且能將馬與其他動物區(qū)別開來。2.2.2觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)又稱描述性概括,其目標(biāo)是確定一個定律或理論的一般性描述,刻畫觀察集,指定某類對象的性質(zhì)。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā)現(xiàn)兩種。前者用于對事例進(jìn)行聚類,形成概念描述;后者用于發(fā)現(xiàn)規(guī)律,產(chǎn)生定律或規(guī)則。概念聚類的基本思想是把事例按照一

10、定的方式和準(zhǔn)則分組,如劃分為不同的類或不同的層次等,使不同的組代表不同的概念,并對每一個組進(jìn)行特征概括,得到一個概念的語義符號描述。機(jī)器發(fā)現(xiàn)是指從觀察事例或經(jīng)驗(yàn)數(shù)據(jù)中歸納出規(guī)律或規(guī)則的學(xué)習(xí)方法,也是最困難且最富創(chuàng)造性的一種學(xué)習(xí)。機(jī)器發(fā)現(xiàn)又可分為經(jīng)驗(yàn)發(fā)現(xiàn)與知識發(fā)現(xiàn)兩種,前者是指從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和定律,后者是指從已觀察的事例中發(fā)現(xiàn)新的知識。2.3類比學(xué)習(xí)類比能清晰、簡潔地描述對象間的相似性。類比學(xué)習(xí)就是通過類比,即通過對相似事物加以比較所進(jìn)行的一種學(xué)習(xí)。例如,當(dāng)教師要向?qū)W生講授一個較難理解的新概念時,總是用一些學(xué)生已經(jīng)掌握且與新概念有許多相似之處的例子作為比喻,使學(xué)生通過類比加深對新概念的理解

11、。像這樣通過對相似事物的比較所進(jìn)行的學(xué)習(xí)就是類比學(xué)習(xí)。類比學(xué)習(xí)主要包括4個過程:(1)輸入一組已知條件和一組未完全確定的條件。(2)對輸入的兩組條件,根據(jù)其描述,按某種相似性的定義尋找兩者可類比的對應(yīng)關(guān)系。(3)根據(jù)相似變換的方法,將已有問題的概念、特性、方法、關(guān)系等映射到新問題上,以獲得待求解新問題所需的新知識。(4)對類推得到的新問題的知識進(jìn)行校驗(yàn)。驗(yàn)證正確的知識存入知識庫中,而暫時還無法驗(yàn)證的知識只能作為參考性知識,置于數(shù)據(jù)庫中。類比學(xué)習(xí)的關(guān)鍵是相似性的定義與相似變換的方法。相似定義所依據(jù)的對象隨著類比學(xué)習(xí)的目的發(fā)生變化,如果學(xué)習(xí)目的是獲得新事物的某種屬性,那么定義相似時應(yīng)依據(jù)新、舊事物

12、的其他屬性間的相似對應(yīng)關(guān)系。如果學(xué)習(xí)目的是獲得求解新問題的方法,那么應(yīng)依據(jù)新問題的各個狀態(tài)間的關(guān)系與老問題的各個狀態(tài)間的關(guān)系來進(jìn)行類比。相似變換一般要根據(jù)新、老事物間以何種方式對問題進(jìn)行相似類比而決定2.4解釋學(xué)習(xí)基于解釋的學(xué)習(xí)簡稱解釋學(xué)習(xí)。解釋學(xué)習(xí)根據(jù)任務(wù)所在領(lǐng)域知識和正在學(xué)習(xí)的概念知識,對當(dāng)前實(shí)例進(jìn)行分析和求解,得出一個表征求解過程的因果解釋樹,以獲取新的知識。在獲取新知識的過程中,通過對屬性、表征現(xiàn)象和內(nèi)在關(guān)系等進(jìn)行解釋而學(xué)習(xí)到新的知識。1986年Mitchell等人提出了基于解釋的概括方法,該算法建立了基于解釋的概括過程,并運(yùn)用知識的邏輯表示和演繹推理進(jìn)行問題求解,如圖3所示。在解釋學(xué)

13、習(xí)中,為了對某一目標(biāo)概念進(jìn)行學(xué)習(xí),從而得到相應(yīng)的知識,必須為學(xué)習(xí)系統(tǒng)提供完善的領(lǐng)域知識以及能夠說明目標(biāo)概念的一個訓(xùn)練實(shí)例。在系統(tǒng)進(jìn)行學(xué)習(xí)時,首先運(yùn)用領(lǐng)域知識找出訓(xùn)練實(shí)例為什么是目標(biāo)概念之實(shí)例的證明,然后根據(jù)操作準(zhǔn)則對證明進(jìn)行推廣,從而得到關(guān)于目標(biāo)概念的一般性描述,即可供以后使用的形式化表示的一般性知識。2.5基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的性質(zhì)主要取決于兩個因素:網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu);網(wǎng)絡(luò)的權(quán)值、工作規(guī)則。二者結(jié)合起來就可以構(gòu)成一個網(wǎng)絡(luò)的主要特征。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題就是網(wǎng)絡(luò)的權(quán)值調(diào)整問題。神經(jīng)網(wǎng)絡(luò)的連接權(quán)值的確定一般有兩種方式:一種是通過設(shè)計(jì)計(jì)算確定即所謂死記式學(xué)習(xí);另一種是網(wǎng)絡(luò)按一定的規(guī)則通過學(xué)習(xí)得到

14、的。大多數(shù)神經(jīng)網(wǎng)絡(luò)使用后一種方法確定其網(wǎng)絡(luò)權(quán)值。比較出名的網(wǎng)絡(luò)模型和學(xué)習(xí)算法有反向傳播算法、Hopfield網(wǎng)絡(luò)等。2.5.1基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)誤差反向傳播學(xué)習(xí)由兩次通過網(wǎng)絡(luò)不同層的傳播組成:一次前向傳播和一次反向傳播。在前向傳播中,一個活動模式作用于網(wǎng)絡(luò)感知結(jié)點(diǎn),它的影響通過網(wǎng)絡(luò)一層接一層地傳播,最后產(chǎn)生一個輸出作為網(wǎng)絡(luò)的實(shí)際響應(yīng)。在前向傳播中,網(wǎng)絡(luò)的突觸權(quán)值全被固定了。在反向傳播中,突觸權(quán)值全部根據(jù)突觸修正規(guī)則來調(diào)整。特別是網(wǎng)絡(luò)的目標(biāo)響應(yīng)減去實(shí)際響應(yīng)而產(chǎn)生誤差信號,這個誤差信號反向傳播通過網(wǎng)絡(luò),與突觸連接方向相反,因此叫誤差反向傳播。突觸權(quán)值被調(diào)整使得網(wǎng)絡(luò)的實(shí)際響應(yīng)從統(tǒng)計(jì)意義上接近目標(biāo)

15、響應(yīng)。誤差反向傳播算法通常稱為反向傳播算法,由算法執(zhí)行的學(xué)習(xí)過程稱為反向傳播學(xué)習(xí)。反向傳播算法的發(fā)展是神經(jīng)網(wǎng)絡(luò)發(fā)展史上的一個里程碑,因?yàn)榉聪騻鞑ニ惴橛?xùn)練多層感知器提供了一個有效的計(jì)算方法。2.5.2基于Hopfield網(wǎng)絡(luò)模型的學(xué)習(xí)前向神經(jīng)網(wǎng)絡(luò),從學(xué)習(xí)的觀點(diǎn)看,是強(qiáng)有力的學(xué)習(xí)系統(tǒng),結(jié)構(gòu)簡單,易于編程。從系統(tǒng)的觀點(diǎn)看,屬于靜態(tài)的非線性映射,通過簡單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力,但它們因缺乏反饋,所以并不是一個強(qiáng)有力的動力學(xué)系統(tǒng)。Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò),從計(jì)算的角度講,具有很強(qiáng)的計(jì)算能力。系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問題。穩(wěn)定性是這類具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)

16、模型的核心,學(xué)習(xí)記憶的過程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展的過程。Hopfield網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問題的求解。2.6知識發(fā)現(xiàn)數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識出有效的、新穎的、潛在有用的、可被理解的模式的高級處理過程。知識發(fā)現(xiàn)過程如圖4所示:數(shù)據(jù)選擇是根據(jù)用戶需求從數(shù)據(jù)庫中提取相關(guān)數(shù)據(jù)。數(shù)據(jù)預(yù)處理是對數(shù)據(jù)進(jìn)行再加工,檢查數(shù)據(jù)的完整性及一致性,對其中的噪音數(shù)據(jù)進(jìn)行處理,對丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行填補(bǔ),形成發(fā)掘數(shù)據(jù)庫。數(shù)據(jù)變換即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)。變換的方法主要是利用聚類分析和判別分析。數(shù)據(jù)挖掘是根據(jù)用戶要求,確定知識發(fā)現(xiàn)的目標(biāo)是發(fā)現(xiàn)何種類型的知識,運(yùn)用選定的知識發(fā)現(xiàn)算法,從數(shù)據(jù)庫中

17、提取用戶所需要的知識。知識評價(jià)主要用于對所獲得的規(guī)則進(jìn)行價(jià)值評定,以決定所得到的規(guī)則是否存入基礎(chǔ)知識庫。上述知識發(fā)現(xiàn)過程可以進(jìn)一步歸納為3個步驟,即數(shù)據(jù)挖掘預(yù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理。知識發(fā)現(xiàn)已在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和娛樂業(yè)等行業(yè)和部門得到成功應(yīng)用,為人們的科學(xué)決策提供了很大幫助。3.機(jī)器學(xué)習(xí)方法的應(yīng)用研究表明,目前在眾多涉及計(jì)算機(jī)處理的技術(shù)應(yīng)用中,機(jī)器學(xué)習(xí)在許多領(lǐng)域都取得了很大的進(jìn)步,如用于人工智能、數(shù)據(jù)挖掘、自然語言處理、漢字識別、機(jī)器翻譯、專家系統(tǒng)以及商業(yè)領(lǐng)域等?？梢哉f,一個系統(tǒng)是否具有“學(xué)習(xí)”功能己成為是否具有“智能”的一個重要標(biāo)志。

18、20世紀(jì)90年代逐漸成熟的基于機(jī)器學(xué)習(xí)的文本分類方法,更注重分類器的模型自動挖掘和生成及動態(tài)優(yōu)化能力,在分類效果和靈活性上都比之前基于知識工程和專家系統(tǒng)的文本分類模式有所突破,成為相關(guān)領(lǐng)域研究和應(yīng)用的經(jīng)典范例3,4。近年來,機(jī)器學(xué)習(xí)與自然語言處理的結(jié)合越來越緊密,相應(yīng)的自然語言學(xué)習(xí)技術(shù)的發(fā)展也越來越快。在自然語言處理及機(jī)器翻譯方而,比較流行和傳統(tǒng)的機(jī)器學(xué)習(xí)方法是基于實(shí)例的學(xué)習(xí)。這種方法給定一些有代表性的實(shí)例,從中總結(jié)出一些規(guī)律,使其具有代表性和高精確度,并把學(xué)習(xí)得到的這些特性作為系統(tǒng),賦給另一個從未見過的新事物。比較典型的應(yīng)用有基于機(jī)器學(xué)習(xí)方法的自動文摘問題以及用于進(jìn)行智能中文關(guān)聯(lián)詞語識別,中

19、文語句生成和診斷系統(tǒng)等。機(jī)器學(xué)習(xí)方法在專家系統(tǒng)及智能決策系統(tǒng)方而的典型應(yīng)用也很普遍,這方面的研究有:機(jī)械設(shè)備智能診斷系統(tǒng)的機(jī)器學(xué)習(xí)機(jī)制、故障診斷專家系統(tǒng)中機(jī)器學(xué)習(xí)方法的研究、基于機(jī)器學(xué)習(xí)理論的智能決策支持系統(tǒng)模型操縱方法的研究,智能制造系統(tǒng)中機(jī)器學(xué)習(xí)方法的應(yīng)用研究等。機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于市場營銷、金融、網(wǎng)絡(luò)分析和電信領(lǐng)域5。在市場營銷領(lǐng)域,機(jī)器學(xué)習(xí)技術(shù)較廣泛地應(yīng)用于分類型和關(guān)聯(lián)型任務(wù);在金融領(lǐng)域,機(jī)器學(xué)習(xí)技術(shù)較廣泛地應(yīng)用于預(yù)測型任務(wù);在網(wǎng)絡(luò)分析領(lǐng)域,機(jī)器學(xué)習(xí)技術(shù)應(yīng)用較為廣泛的是關(guān)聯(lián)型任務(wù)。在電信領(lǐng)域,機(jī)器學(xué)習(xí)技術(shù)在分類、預(yù)測、偵查的任務(wù)方面均有廣泛的應(yīng)用。此外,機(jī)器學(xué)習(xí)應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域5或與其

20、它應(yīng)用技術(shù)的結(jié)合,比較典型的有基于機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)初始化方法、進(jìn)化計(jì)算在機(jī)器學(xué)習(xí)中的應(yīng)用研究、層次分類中的機(jī)器學(xué)習(xí)方法研究、基于Rough集方法的數(shù)據(jù)約簡與機(jī)器學(xué)習(xí)、預(yù)測支持系統(tǒng)中的人機(jī)界面Agent及其機(jī)器學(xué)習(xí)。目前,我們試圖把機(jī)器學(xué)習(xí)應(yīng)用到用戶模型的建立更新中。但仍然存在很多難點(diǎn),如在用戶建模中需要什么樣的機(jī)器學(xué)習(xí)方法,怎樣獲得大量的機(jī)器學(xué)習(xí)所需要的訓(xùn)練樣本,怎樣既能提高用戶模型的精度又能降低運(yùn)算的復(fù)雜度等,這些都還有待進(jìn)一步研究和探討。4.小結(jié)與展望機(jī)器學(xué)習(xí)是人工智能發(fā)展中一個十分活躍的領(lǐng)域,其研究目的是希望計(jì)算機(jī)具有如同人類一樣從現(xiàn)實(shí)世界中獲取知識的能力,同時,以模擬人類的學(xué)習(xí)過程出發(fā)點(diǎn),建立學(xué)習(xí)的計(jì)算理論,構(gòu)造各種學(xué)習(xí)系統(tǒng)并將之應(yīng)用到各個領(lǐng)域中去。發(fā)展各種適合機(jī)器特點(diǎn)的學(xué)習(xí)理論,進(jìn)行基礎(chǔ)性研究。當(dāng)前,機(jī)器學(xué)習(xí)的研究仍繼續(xù)向縱深方向發(fā)展,研究者從各自不同的研究環(huán)境和領(lǐng)域提出多種學(xué)習(xí)體制、學(xué)習(xí)方法。但總體來看,為了使機(jī)器學(xué)習(xí)達(dá)到較高水平,應(yīng)該采用多種學(xué)習(xí)體制下的集成學(xué)習(xí)系統(tǒng),以便解決復(fù)雜任務(wù)和模擬人腦的思維過程,同時在學(xué)習(xí)機(jī)制和學(xué)習(xí)方法上爭取有質(zhì)的突破。在算法研究方面，由于集成學(xué)習(xí)(Ensemble Learning)可以有效地提高模型的推廣能力,