機器學習的研究

機器學習的研究學號：1406110202姓名：曹塬班級：電信14-2學院：電子與信息工程學院2015.5.25【摘要】:本文首先簡要概述機器學習的早期研究情況，接著介紹當前機器學習的算法，并介紹幾個機器學習的例子?！厩把浴?機器學習是繼專家系統(tǒng)之后人工智能應用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計算的核心研究課題之一?，F(xiàn)有的計算機系統(tǒng)和人工智能系統(tǒng)沒有什么學習能力，至多也只有非常有限的學習能力，因而不能滿足科技和生產(chǎn)提出的新要求。對機器學習的討論和機器學習研究的進展，必將促使人工智能和整個科學技術(shù)的進一步發(fā)展。機器學習的發(fā)展1.1機器學習的背景及意義學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛紜。社會學家、邏輯學家和心理學家都各有其不同的看法。按照人工智能大師西蒙的觀點，學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或相同類似的任務時，會比現(xiàn)在做得更好或效率更高。西蒙對學習給出的定義本身，就說明了學習的重要作用。在人類社會中，不管一個人有多深的學問，多大的本領(lǐng)，如果他不善于學習，我們都不必過于看重他。因為他的能力總是停留在一個固定的水平上，不會創(chuàng)造出新奇的東西。但一個人若具有很強的學習能力，則不可等閑視之了。機器具備了學習能力，其情形完全與人類似。什么是機器學習？迄今尚沒有統(tǒng)一的定義，由其名字可理解為機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍微嚴格的提法是機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。這里所說的“機器”，指的就是計算機，現(xiàn)在是電子計算機，以后還可能是種子計算機、光子計算機或神經(jīng)計算機等等。機器能否像人類一樣能具有學習能力呢？1959年美國的塞繆爾(Samuel)設計了一個下棋程序，這個程序具有學習能力，它可以在不斷的對弈中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機器學習的能力，提出了許多令人深思的社會問題與哲學問題。機器的能力是否能超過人的，很多持否定意見的人的一個主要論據(jù)是：機器是人造的，其性能和動作完全是由設計者規(guī)定的，因此無論如何其能力也不會超過設計者本人。這種意見對不具備學習能力的機器來說的確是對的，可是它相當于基于學習策略分類中的類比學習。在這一類型的學習中比較引人注目的研究是通過與過去經(jīng)歷的具體事例作類比來學習，稱為基于范例的學習(case_basedlearning)，或簡稱范例學習。4）遺傳算法（geneticalgorithm）遺傳算法模擬生物繁殖的突變、交換和達爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問題可能的解編碼為一個向量，稱為個體，向量的每一個元素稱為基因，并利用目標函數(shù)（相應于自然選擇標準）對群體（個體的集合）中的每一個個體進行評價，根據(jù)評價值（適應度）對個體進行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用于非常復雜和困難的環(huán)境，比如，帶有大量噪聲和無關(guān)數(shù)據(jù)、事物不斷更新、問題目標不能明顯和精確地定義，以及通過很長的執(zhí)行過程才能確定當前行為的價值等。同神經(jīng)網(wǎng)絡一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個獨立分支，其代表人物為霍勒德（J.H.Holland）。5）聯(lián)接學習典型的聯(lián)接模型實現(xiàn)為人工神經(jīng)網(wǎng)絡，其由稱為神經(jīng)元的一些簡單計算單元以及單元間的加權(quán)聯(lián)接組成。6）增強學習（reinforcementlearning）增強學習的特點是通過與環(huán)境的試探性（trialanderror）交互來確定和優(yōu)化動作的選擇，以實現(xiàn)所謂的序列決策任務。在這種任務中，學習機制通過選擇并執(zhí)行動作，導致系統(tǒng)狀態(tài)的變化，并有可能得到某種強化信號（立即回報），從而實現(xiàn)與環(huán)境的交互。強化信號就是對系統(tǒng)行為的一種標量化的獎懲。系統(tǒng)學習的目標是尋找一個合適的動作選擇策略，即在任一給定的狀態(tài)下選擇哪種動作的方法，使產(chǎn)生的動作序列可獲得某種最優(yōu)的結(jié)果（如累計立即回報最大）。在綜合分類中,經(jīng)驗歸納學習、遺傳算法、聯(lián)接學習和增強學習均屬于歸納學習，其中經(jīng)驗歸納學習采用符號表示方式，而遺傳算法、聯(lián)接學習和加強學習則采用亞符號表示方式；分析學習屬于演繹學習。實際上，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學習策略只有歸納和演繹。從學習內(nèi)容的角度看，采用歸納策略的學習由于是對輸入進行歸納，所學習的知識顯然超過原有系統(tǒng)知識庫所能蘊涵的范圍,所學結(jié)果改變了系統(tǒng)的知識演繹閉包,因而這種類型的學習又可稱為知識級學習;而采用演繹策略的學習盡管所學的知識能提高系統(tǒng)的效率，但仍能被原有系統(tǒng)的知識庫所蘊涵,即所學的知識未能改變系統(tǒng)的演繹閉包,因而這種類型的學習又被稱為符號級學習。2.2機器學習的十大經(jīng)典算法2.2.1C4.5算法：C4.5是機器學習算法中的一個分類決策樹算法，它是決策樹(決策樹也就是做決策的節(jié)點間的組織方式像一棵樹，其實是一個倒樹)核心算法。ID3的改進算法，所以基本上了解了一半決策樹構(gòu)造方法就能構(gòu)造它。決策樹構(gòu)造方法其實就是每次選擇一個好的特征以及分裂點作為當前節(jié)點的分類條件。C4.5相比于ID3改進的地方有：用信息增益率來選擇屬性。ID3選擇屬性用的是子樹的信息增益，這里可以用很多方法來定義信息，ID3使用的是熵(entropy，熵是一種不純度度量準則),也就是熵的變化值.而C4.5用的是信息增益率。對，區(qū)別就在于一個是信息增益，一個是信息增益率。一般來說率就是用來取平衡用的，就像方差起的作用差不多，比如有兩個跑步的人，一個起點是10m/s的人、其10s后為20m/s；另一個人起速是1m/s、其1s后為2m/s。如果緊緊算差值那么兩個差距就很大了，如果使用速度增加率(加速度，即都是為1m/s^2)來衡量，2個人就是一樣的加速度。因此，C4.5克服了ID3用信息增益選擇屬性時偏向選擇取值多的屬性的不足。2)在樹構(gòu)造過程中進行剪枝，在構(gòu)造決策樹的時候，那些掛著幾個元素的節(jié)點，不考慮最好，不然容易導致overfitting。3)對非離散數(shù)據(jù)也能處理。4)能夠?qū)Σ煌暾麛?shù)據(jù)進行處理。2.2.2Thek-meansalgorithm即K-Means算法：k-meansalgorithm算法是一個聚類算法，把n的對象根據(jù)他們的屬性分為k個分割(k<n)。它與處理混合正態(tài)分布的最大期望算法(本十大算法第五條)很相似，因為他們都試圖找到數(shù)據(jù)中自然聚類的中心。它假設對象屬性來自于空間向量，并且目標是使各個群組內(nèi)部的均方誤差總和最小。2.2.3樸素貝葉斯算法：樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法。算法的基礎是概率問題，分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。樸素貝葉斯假設是約束性很強的假設，假設特征條件獨立，但樸素貝葉斯算法簡單，快速，具有較小的出錯率。在樸素貝葉斯的應用中，主要研究了電子郵件過濾以及文本分類研究。2.2.4K最近鄰分類算法（KNN）分類思想比較簡單，從訓練樣本中找出K個與其最相近的樣本，然后看這k個樣本中哪個類別的樣本多，則待判定的值（或說抽樣）就屬于這個類別。缺點：1）K值需要預先設定，而不能自適應2）當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)。該算法適用于對樣本容量比較大的類域進行自動分類。2.2.5EM最大期望算法EM算法是基于模型的聚類方法，是在概率模型中尋找參數(shù)最大似然估計的算法，其中概率模型依賴于無法觀測的隱藏變量。E步估計隱含變量，M步估計其他參數(shù)，交替將極值推向最大。EM算法比K-means算法計算復雜，收斂也較慢，不適于大規(guī)模數(shù)據(jù)集和高維數(shù)據(jù)，但比K-means算法計算結(jié)果穩(wěn)定、準確。EM經(jīng)常用在機器學習和計算機視覺的數(shù)據(jù)集聚（DataClustering）領(lǐng)域。2.2.6PageRank算法是google的頁面排序算法，是基于從許多優(yōu)質(zhì)的網(wǎng)頁鏈接過來的網(wǎng)頁，必定還是優(yōu)質(zhì)網(wǎng)頁的回歸關(guān)系，來判定所有網(wǎng)頁的重要性。（也就是說，一個人有著越多牛X朋友的人，他是牛X的概率就越大。）優(yōu)點：完全獨立于查詢，只依賴于網(wǎng)頁鏈接結(jié)構(gòu)，可以離線計算。缺點：1）PageRank算法忽略了網(wǎng)頁搜索的時效性。2）舊網(wǎng)頁排序很高，存在時間長，積累了大量的in-links，擁有最新資訊的新網(wǎng)頁排名卻很低，因為它們幾乎沒有in-links。2.2.7AdaBoostAdaboost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器(強分類器)。其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的準確率，來確定每個樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進行訓練，最后將每次訓練得到的分類器最后融合起來，作為最后的決策分類器。整個過程如下所示：1.先通過對N個訓練樣本的學習得到第一個弱分類器；2.將分錯的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個新的N個的訓練樣本，通過對這個樣本的學習得到第二個弱分類器；3.將和都分錯了的樣本加上其他的新樣本構(gòu)成另一個新的N個的訓練樣本，通過對這個樣本的學習得到第三個弱分類器；4.如此反復，最終得到經(jīng)過提升的強分類器。目前AdaBoost算法廣泛的應用于人臉檢測、目標識別等領(lǐng)域。2.2.8Apriori算法Apriori算法是一種挖掘關(guān)聯(lián)規(guī)則的算法，用于挖掘其內(nèi)含的、未知的卻又實際存在的數(shù)據(jù)關(guān)系，其核心是基于兩階段頻集思想的遞推算法。Apriori算法分為兩個階段：1）尋找頻繁項集2）由頻繁項集找關(guān)聯(lián)規(guī)則2.2.9SVM支持向量機支持向量機是一種基于分類邊界的方法。其基本原理是（以二維數(shù)據(jù)為例）：如果訓練數(shù)據(jù)分布在二維平面上的點，它們按照其分類聚集在不同的區(qū)域。基于分類邊界的分類算法的目標是，通過訓練，找到這些分類之間的邊界（直線的――稱為線性劃分，曲線的――稱為非線性劃分）。對于多維數(shù)據(jù)（如N維），可以將它們視為N維空間中的點，而分類邊界就是N維空間中的面，稱為超面（超面比N維空間少一維）。線性分類器使用超平面類型的邊界，非線性分類器使用超曲面。支持向量機的原理是將低維空間的點映射到高維空間，使它們成為線性可分，再使用線性劃分的原理來判斷分類邊界。在高維空間中是一種線性劃分，而在原有的數(shù)據(jù)空間中，是一種非線性劃分。SVM在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。2.2.2CART分類與回歸樹是一種決策樹分類方法，采用基于最小距離的基尼指數(shù)估計函數(shù)，用來決定由該子數(shù)據(jù)集生成的決策樹的拓展形。如果目標變量是標稱的，稱為分類樹；如果目標變量是連續(xù)的，稱為回歸樹。分類樹是使用樹結(jié)構(gòu)算法將數(shù)據(jù)分成離散類的方法。3.機器學習在生活中的實例機器學習問題到處都是，它們組成了日常使用的網(wǎng)絡或桌面軟件的核心或困難部分。推特上“想來試試嗎”的建議和蘋果的Siri語音理解系統(tǒng)就是實例。以下，是十個真正有關(guān)機器學習到底是什么的的實例：1）垃圾郵件檢測：根據(jù)郵箱中的郵件，識別哪些是垃圾郵件，哪些不是。這樣的模型，可以程序幫助歸類垃圾郵件和非垃圾郵件。這個例子，我們應該都不陌生。2)信用卡欺詐檢測：根據(jù)用戶一個月內(nèi)的信用卡交易，識別哪些交易是該用戶操作的，哪些不是。這樣的決策模型，可以幫助程序退還那些欺詐交易。3)數(shù)字識別：根據(jù)信封上手寫的郵編，識別出每一個手寫字符所代表的數(shù)字。這樣的模型，可以幫助程序閱讀和理解手寫郵編，并根據(jù)地利位置分類信件。4）語音識別：從一個用戶的話語，確定用戶提出的具體要求。這樣的模型，可以幫助程序能夠并嘗試自動填充用戶需求。帶有Siri系統(tǒng)的iPhone就有這種功能。5）人臉識別：根據(jù)相冊中的眾多數(shù)碼照片，識別出那些包含某一個人的照片。這樣的決策模型，可以幫助程序根據(jù)人臉管理照片。某些相機或軟件，如iPhoto，就有這種功能。6）產(chǎn)品推薦：根據(jù)一個用戶的購物記錄和冗長的收藏清單，識別出這其中哪些是該用戶真正感興趣，并且愿意購買的產(chǎn)品。這樣的決策模型，可以幫助程序為客戶提供建議并鼓勵產(chǎn)品消費。登錄Facebook或GooglePlus，它們就會推薦可能有關(guān)聯(lián)的用戶給你。7）醫(yī)學分析：根據(jù)病人的癥狀和一個匿名的病人資料數(shù)據(jù)庫，預測該病人可能患了什么病。這樣的決策模型，可以程序為專業(yè)醫(yī)療人士提