機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘復(fù)習(xí)

1、 類(lèi)器進(jìn)行投票。他適用于不穩(wěn)定的學(xué)習(xí)過(guò)程，即數(shù)據(jù)集的一個(gè)小變動(dòng)會(huì)產(chǎn)生大的差別，例如 決策樹(shù)、多層感知器。 6. Boosting 方法：它能提高弱分類(lèi)器的性能。它是帶權(quán)值的抽樣，改變數(shù)據(jù)對(duì)象的權(quán)值，分 類(lèi)好的數(shù)據(jù)給與小權(quán)值， 分類(lèi)不好的數(shù)據(jù)給與大權(quán)值， 最終集成分類(lèi)結(jié)果用加權(quán)投票的方法。 7. 一些經(jīng)驗(yàn)： a 如果分類(lèi)器不穩(wěn)定用 bagging。 b 如果分類(lèi)器穩(wěn)定且簡(jiǎn)單用 boosting。 c 如果分類(lèi)器穩(wěn)定且復(fù)雜用隨機(jī)注入。 d 如果數(shù)據(jù)有很多類(lèi)，但是分類(lèi)器只能處理兩個(gè)類(lèi)時(shí)，用錯(cuò)誤糾正編碼。 8. 為什么集成學(xué)習(xí)有效： a 從統(tǒng)計(jì)學(xué)角度來(lái)說(shuō)當(dāng)假設(shè)空間很大時(shí)， 有可能有一些假設(shè)有著相同的精

2、度， 單一的 學(xué)習(xí)器只能找出他們中的一個(gè)假設(shè)。 然而集成多個(gè)假設(shè)就有可能找到最可能的假設(shè)。 b 從計(jì)算角度來(lái)講， 很多單一學(xué)習(xí)算法都只能找到一個(gè)局部最優(yōu)假設(shè)， 當(dāng)數(shù)據(jù)集很大 時(shí)，可能很難找到一個(gè)最優(yōu)假設(shè)，集成學(xué)習(xí)可以從多個(gè)起始點(diǎn)去局部逼近，這樣就 有可能得到一個(gè)全局最優(yōu)的假設(shè)。 c 從表示角度來(lái)說(shuō)， 很多情況下最好的假設(shè)并不存在于假設(shè)空間中， 當(dāng)用集成方法對(duì) 多個(gè)假設(shè)空間加權(quán)集成時(shí)就有可能突破假設(shè)空間找到最符合的假設(shè)。 第十一章 聚類(lèi)分析 1. 什么叫聚類(lèi)分析：從給定對(duì)象中找出一些簇，使在同一簇中的對(duì)象要相似，類(lèi)與類(lèi)之間 的對(duì)象要不相似。我們希望類(lèi)內(nèi)部越緊越好，類(lèi)之間界限要越明顯越好。 2.

3、聚類(lèi)的三類(lèi)方法和其代表算法思想： a 分層聚類(lèi)： 簇之間是一個(gè)嵌套的形式， 沒(méi)有必要定義有多少個(gè)類(lèi)， 需要幾個(gè)都可以。 且他可以定義多個(gè)含義，具體含義和問(wèn)題有關(guān)。 兩種方法：聚合方法：每個(gè)數(shù)據(jù)點(diǎn)都看為一個(gè)類(lèi)，兩兩合并直到合并為一個(gè)類(lèi)。 分裂方法： 將所有的對(duì)象看做一個(gè)簇， 分類(lèi)直到每個(gè)類(lèi)里包含一個(gè)點(diǎn)時(shí) 停下。 此方法一旦將兩個(gè)簇合并后就不能再更改， 它也沒(méi)有定義一個(gè)明確的目標(biāo)函數(shù)， 即 不是全局最優(yōu)化；每種方法都有各種缺點(diǎn)。 b 分區(qū)聚類(lèi)：一個(gè)數(shù)據(jù)對(duì)象只屬于一個(gè)簇。 K-means：1. 隨機(jī)選擇 k 個(gè)點(diǎn)作為初始中心點(diǎn)。 2. 計(jì)算每個(gè)點(diǎn)到不同中心點(diǎn)的距離，將點(diǎn)劃分到幾個(gè)簇里。 3. 重新計(jì)

4、算每個(gè)簇的中心點(diǎn)。 4. 重復(fù)簇的劃分直到簇的分布基本不變時(shí)停止。 c 基于密度的聚類(lèi)：對(duì)類(lèi)的定義不同，他認(rèn)為類(lèi)是由一些密集的點(diǎn)組成，這些密集的 點(diǎn)被一些稀疏的點(diǎn)分開(kāi)。 DBSCAN：認(rèn)為類(lèi)是基于密度的，它認(rèn)為一個(gè)簇是由密度連接的點(diǎn)組成的最大的集 合。 3. 層次局類(lèi)中計(jì)算距離的方法： a 兩簇之間的最近距離：可以劃分大小不同的類(lèi)；對(duì)噪聲和例外點(diǎn)敏感。 b 兩簇之間的最遠(yuǎn)距離： 對(duì)噪聲和例外點(diǎn)不是那么敏感單不易劃分大小相差很大的類(lèi)。 c 組內(nèi)平均距離：對(duì)噪聲不是很敏感但是偏愛(ài)球形類(lèi)。 d 中心點(diǎn)之間的距離。 11 / 13 null置信度閾值。置信度具有后件反彈調(diào)性，前提是他們都是從同一頻繁項(xiàng)集中生成的。 9. 生成頻繁項(xiàng)集的其他方法： a 項(xiàng)集格遍歷：一般到特殊（頻繁項(xiàng)集的最大長(zhǎng)度不是太長(zhǎng)） 、特殊到一般（對(duì)發(fā)現(xiàn) 稠密事務(wù)中最大頻繁項(xiàng)集有用） 、雙向（加快確定頻繁項(xiàng)集的邊界） 。 b 等價(jià)類(lèi)。 c 寬度優(yōu)先與深度優(yōu)先。 10. FP 算法的基本思想： a 使用一種稱(chēng)作 FP 樹(shù)的緊湊數(shù)據(jù)結(jié)構(gòu)組織數(shù)據(jù)，并直接從該結(jié)構(gòu)中提取頻繁項(xiàng)集。 b FP 樹(shù)是一種輸入數(shù)據(jù)的壓縮表示，它通過(guò)逐個(gè)讀入事務(wù)然后將各事務(wù)映射到 FP 樹(shù) 中，