機(jī)器學(xué)習(xí)經(jīng)典算法課件

經(jīng)典算法經(jīng)典算法1機(jī)器學(xué)習(xí)十大經(jīng)典算法C4.52.分類與回歸樹3.樸素貝葉斯4.支持向量機(jī)(SVM5.K近鄰(KNN)6.Adaboost7.K均值(K-means)8.最大期望(EM)9.Apriori算法10.Pagerank機(jī)器學(xué)習(xí)十大經(jīng)典算法2機(jī)器學(xué)習(xí)方法的分類基于學(xué)習(xí)方式的分類(1)有監(jiān)督學(xué)習(xí):輸入數(shù)據(jù)中有導(dǎo)師信號,以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型,采用迭代計(jì)算方法,學(xué)習(xí)結(jié)果為函數(shù)。(2)無監(jiān)督學(xué)習(xí):輸入數(shù)據(jù)中無導(dǎo)師信號,采用聚類方法,學(xué)習(xí)結(jié)果為類別。典型的無導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類競爭學(xué)習(xí)等。(3)強(qiáng)化學(xué)習(xí)(增強(qiáng)學(xué)習(xí)):以環(huán)境反饋(獎(jiǎng)/懲信號)作為輸入,以統(tǒng)計(jì)和動(dòng)態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習(xí)方法。機(jī)器學(xué)習(xí)方法的分類3有監(jiān)督學(xué)習(xí)(用于分類)標(biāo)定的訓(xùn)練數(shù)據(jù)訓(xùn)練過程:根據(jù)目標(biāo)輸出與實(shí)際輸出的誤差信號來調(diào)節(jié)參典型方法全局:BN,NN.SVM,DecisionTree局部:KNN、CBR(Case-basereasoning)ObjectFeatureRepresentationX2(areaS(x)s(x)<0→ClassBs(×)=0Obiects有監(jiān)督學(xué)習(xí)(用于分類)4無監(jiān)督學(xué)習(xí)(用于聚類)不存在標(biāo)定的訓(xùn)練數(shù)據(jù)學(xué)習(xí)機(jī)根據(jù)外部數(shù)據(jù)的統(tǒng)計(jì)規(guī)律(e.g.Cohension&divergence)來調(diào)節(jié)系統(tǒng)參數(shù),以使輸出能反映數(shù)據(jù)的某種特性。典型方法K-means、SOM示例:聚類無監(jiān)督學(xué)習(xí)(用于聚類)5半監(jiān)督學(xué)習(xí)·結(jié)合(少量的)標(biāo)定訓(xùn)練數(shù)據(jù)和(大量的)未標(biāo)定數(shù)據(jù)來進(jìn)行學(xué)習(xí)典型方法Co-training、EM、Latentvariables半監(jiān)督學(xué)習(xí)6C4.5C45由J.RossQuinlan在|D3的基礎(chǔ)上提出的ID3算法用來構(gòu)造決策樹。決策樹是一種類似流程圖的樹結(jié)構(gòu),其中每個(gè)內(nèi)部節(jié)點(diǎn)(非樹葉節(jié)點(diǎn))表示在一個(gè)屬性上的測試,每個(gè)分枝代表一個(gè)測試輸出,而每個(gè)樹葉節(jié)點(diǎn)存放一個(gè)類標(biāo)號。一旦建立好了決策樹,對于一個(gè)未給定類標(biāo)號的元組,跟蹤條有根節(jié)點(diǎn)到葉節(jié)點(diǎn)的路徑,該葉節(jié)點(diǎn)就存放著該元組的預(yù)測。決策樹的優(yōu)勢在于不需要任何領(lǐng)域知識或參數(shù)設(shè)置,產(chǎn)生的分類規(guī)則易于理解,準(zhǔn)確率較高。適合于探測性的知識發(fā)現(xiàn)。缺點(diǎn)是:在構(gòu)造樹的過程中,需要對數(shù)據(jù)集進(jìn)行多次的順序掃描和排序,因而導(dǎo)致算法的低效,C4.57增益比率度量是用增益度量Gain(S,A)和分裂信息度量Sp|Information(S,A)來共同定義的設(shè)代表訓(xùn)練數(shù)據(jù)集,由s個(gè)樣本組成。是S的某個(gè)屬性,有m個(gè)不同的取值,根據(jù)這些取值可以把S劃分為m個(gè)子集,S表示第個(gè)子集(-1,2,…,m),S2|表示子集S,中的樣本數(shù)量。GainRatio(S,4)≡Gain(s,4)Splitlnformatiors,1)其中,分裂信息度量被定義為分裂信息用來衡里屬性分裂數(shù)據(jù)的廣度和均勻)SplitlinformationS.A)=-sISi1og,Sa增益比率度量是用增益度量Gain(S,A)和分裂信息度8數(shù)據(jù)集如圖1所示,它表示的是天氣情況與去不去打高爾夫球之間的關(guān)系DayOutlookTemperatureHumidityWindyPlayGolf?SunOvercast508%8m6TrueNoFalseYesOutlook7OvercastluNny2θ萬萬FalseYeOvercastTrueYes12Overcast72Windy13Overcast81FalseLy14Rainy71TrueNoFalseYesY圖2在藏?fù)?jù)集上通過C45生成的軍稠數(shù)據(jù)集如圖1所示,它表示的是天氣情況與去不去打高爾夫球之間的9、分類和回歸樹(ClassificationandRegressionreesCART,可簡寫為C&RT)CART算法中的每一次分裂把數(shù)據(jù)分為兩個(gè)子集,每個(gè)子集中的樣本比被劃分之前具有更好的一致性它是一個(gè)遞歸的過程,也就是說,這些子集還會(huì)被繼續(xù)劃分,這個(gè)過程不斷重復(fù),直到滿足終止準(zhǔn)則然后通過修剪和評估,得到一棵最優(yōu)的決策樹。、分類和回歸樹(Classificationand10機(jī)器學(xué)習(xí)經(jīng)典算法課件11機(jī)器學(xué)習(xí)經(jīng)典算法課件12機(jī)器學(xué)習(xí)經(jīng)典算法課件13機(jī)器學(xué)習(xí)經(jīng)典算法課件14機(jī)器學(xué)習(xí)經(jīng)典算法課件15機(jī)器學(xué)習(xí)經(jīng)典算法課件16機(jī)器學(xué)習(xí)經(jīng)典算法課件17機(jī)器學(xué)習(xí)經(jīng)典算法課件18機(jī)器學(xué)習(xí)經(jīng)典算法課件19機(jī)器學(xué)習(xí)經(jīng)典算法課件20機(jī)器學(xué)習(xí)經(jīng)典算法課件21機(jī)器學(xué)習(xí)經(jīng)典算法課件22機(jī)器學(xué)習(xí)經(jīng)典算法課件23機(jī)器學(xué)習(xí)經(jīng)典算法課件24機(jī)器學(xué)習(xí)經(jīng)典算法課件25機(jī)器學(xué)習(xí)經(jīng)典算法課件26機(jī)器學(xué)習(xí)經(jīng)典算法課件27機(jī)器學(xué)習(xí)經(jīng)典算法課件28機(jī)器學(xué)習(xí)經(jīng)典算法課件29機(jī)器學(xué)習(xí)經(jīng)典算法課件30機(jī)器學(xué)習(xí)經(jīng)典算法課件31機(jī)器學(xué)習(xí)經(jīng)典算法課件32機(jī)器學(xué)習(xí)經(jīng)典算法課件33機(jī)器學(xué)習(xí)經(jīng)典算法課件34機(jī)器學(xué)習(xí)經(jīng)典算法課件35機(jī)器學(xué)習(xí)經(jīng)典算法課件36機(jī)器學(xué)習(xí)經(jīng)典算法課