能源大數(shù)據(jù)分析理論與實(shí)踐 課件 5.聚類分析

聚類分析05ClusterAnalysis5.1聚類的特征提取定義：聚類分析指將物理或抽象對象的集合分組為由類似的對象組成的多個(gè)類的分析過程。聚類分析就是給定一個(gè)元素集合D，其中每一個(gè)元素具有n個(gè)觀測屬性，對這些屬性使用某種算法將地劃分成K個(gè)子集，要求每個(gè)子集內(nèi)部的元素之間的相似度盡可能高，而不同子集之間的元素相似度盡可能的低。分類學(xué)習(xí)的對象有類別標(biāo)記，聚類無類別標(biāo)記，是觀察式學(xué)習(xí)，而不是示例式的學(xué)習(xí)。聚類分析（ClusterAnalysis）5.1聚類的特征提取聚類分析的挑戰(zhàn)：噪聲和無效特征影響聚類結(jié)果準(zhǔn)確性。解決方案：特征提取——剔除不相關(guān)或冗余特征，找到能表現(xiàn)聚類結(jié)構(gòu)的特征子集。特征提取的四個(gè)階段為什么要進(jìn)行特征提?。刻崛。菏褂盟阉鞑呗裕ㄈ缤耆阉?、順序搜索和順序浮動搜索）提取特征子集。評估：根據(jù)標(biāo)準(zhǔn)評估特征子集。停止：滿足停止準(zhǔn)則后，從所有可能的特征子集中選擇評估值最好的特征子集。驗(yàn)證：對所選特征子集進(jìn)行驗(yàn)證，確保特征子集在聚類中的有效性。兩個(gè)主要用于進(jìn)行特征提取的模型：過濾器模型和包裝器模型5.1聚類的特征提取原理：基于相似性標(biāo)準(zhǔn)篩選特征（將特征和分?jǐn)?shù)進(jìn)行關(guān)聯(lián)），剔除與聚類無關(guān)的特征。特性：量化特征子集質(zhì)量，可評估單個(gè)特征和組合特征的貢獻(xiàn)?？紤]特征間的增量影響，優(yōu)化特征子集。目標(biāo)：找到更優(yōu)特征子集，更準(zhǔn)確反映數(shù)據(jù)聚類結(jié)構(gòu)。過濾器模型的常用標(biāo)準(zhǔn)：術(shù)語強(qiáng)度、預(yù)測特征依賴、熵、霍普金斯統(tǒng)計(jì)量1.過濾器模型5.1聚類的特征提取術(shù)語強(qiáng)度

5.1聚類的特征提取預(yù)測特征依賴原理：利用相關(guān)特征預(yù)測某一特征，量化其相關(guān)性。方法：步驟一：用分類算法預(yù)測特征??的值，將其視為人為的類別變量。步驟二：分類準(zhǔn)確性作為特征相關(guān)性的指標(biāo)。算法選擇：數(shù)值型特征：使用回歸算法；非數(shù)值型特征：使用分類算法。推薦算法：最近鄰分類算法（天然適用于相似度計(jì)算和聚類）5.1聚類的特征提取熵圖1聚類數(shù)據(jù)對距離分布熵的影響-1（a)均勻數(shù)據(jù)數(shù)據(jù)分布數(shù)據(jù)對之間的距離分布均勻數(shù)據(jù)的距離分布呈鐘形曲線狀5.1聚類的特征提取熵圖1聚類數(shù)據(jù)對距離分布熵的影響-2（b)聚類數(shù)據(jù)數(shù)據(jù)分布數(shù)據(jù)對之間的距離分布聚類數(shù)據(jù)的分布則有兩個(gè)不同的峰值，分別對應(yīng)聚類之間和聚類內(nèi)部的距離分布。這種峰值的數(shù)量通常會隨著簇的數(shù)量增加而增加。5.1聚類的特征提取熵圖5-1聚類數(shù)據(jù)對距離分布熵的影響（a)均勻數(shù)據(jù)（b)聚類數(shù)據(jù)數(shù)據(jù)分布數(shù)據(jù)對之間的距離分布5.1聚類的特征提取熵

5.1聚類的特征提取熵

5.1聚類的特征提取霍普金斯統(tǒng)計(jì)量

5.1聚類的特征提取思想：通過聚類有效性標(biāo)準(zhǔn)結(jié)合特征子集，評估特征子集的聚類質(zhì)量，并不斷搜索特征組合，找到最優(yōu)子集。優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：與聚類算法緊密結(jié)合，優(yōu)化特征選擇。缺點(diǎn)：計(jì)算復(fù)雜度高，對有效性標(biāo)準(zhǔn)敏感。特征選擇方法：（1）使用已選擇的特征子集F運(yùn)行聚類算法，以確定數(shù)據(jù)點(diǎn)的標(biāo)簽集合L。（2）使用任意監(jiān)督標(biāo)準(zhǔn)來量化單個(gè)特征相對于L的質(zhì)量，根據(jù)這個(gè)結(jié)果選擇排名前k的特征。上述框架具有很大的靈活性，每一步都可以使用不同種類的聚類算法和特征選擇標(biāo)準(zhǔn)。此外，可以將這兩步進(jìn)行迭代，這時(shí)，第（1）步不再選擇前k個(gè)特征，而是將前k個(gè)特征的權(quán)重設(shè)置為1，將其余特征的權(quán)重設(shè)置為α(α<1)。經(jīng)過數(shù)次迭代，在最后一步時(shí)，再選擇前k個(gè)特征。2.包裝器模型5.1聚類的特征提取通常，包裝器模型會與過濾器模型結(jié)合，以創(chuàng)建更高效的混合模型。先用過濾器模型構(gòu)建候選特征子集，再用聚類算法來評估每個(gè)候選特征子集的質(zhì)量。對于特征選擇的質(zhì)量，可以采用兩種方法來進(jìn)行評估。使用聚類有效性標(biāo)準(zhǔn);將聚類標(biāo)簽作為監(jiān)督學(xué)習(xí)問題的類別標(biāo)簽，使用分類算法來評估特征質(zhì)量。由于混合模型結(jié)合了兩種方法的優(yōu)點(diǎn)，因此通常能夠提供更好的準(zhǔn)確性，同時(shí)比包裝器模型更加高效。3.兩個(gè)模型結(jié)合5.2基于代表的聚類概念：一種簡單直觀的聚類算法，直接基于距離或相似性對數(shù)據(jù)點(diǎn)聚類；使用一組數(shù)據(jù)點(diǎn)代表簇，這些數(shù)據(jù)點(diǎn)稱為分區(qū)代表。核心思路：找到一組高質(zhì)量的分區(qū)代表。通過距離函數(shù)將其他數(shù)據(jù)點(diǎn)分配到最近的分區(qū)代表。完成聚類。創(chuàng)建分區(qū)代表的方法：根據(jù)簇中數(shù)據(jù)點(diǎn)的屬性（如均值）計(jì)算代表。直接從現(xiàn)有數(shù)據(jù)點(diǎn)中選取。基于代表的聚類5.2基于代表的聚類

1.K-Means算法2.2無監(jiān)督學(xué)習(xí)（UnsupervisedLearning）流程：輸入:初始數(shù)據(jù)集DATA和簇的數(shù)目k輸出:k個(gè)簇，滿足平方誤差準(zhǔn)則函數(shù)收斂（1）任意選擇k個(gè)數(shù)據(jù)對象作為初始聚類中心；（2）計(jì)算各個(gè)數(shù)據(jù)到所選出來的各個(gè)中心的距離，將數(shù)據(jù)對象指派到最近的簇中；然后計(jì)算每個(gè)簇的均值；（3）根據(jù)簇中對象的平均值，將每個(gè)對象賦給最類似的簇；（4）更新簇的平均值；（5）計(jì)算聚類準(zhǔn)則函數(shù)E，不收斂則返回（2）；（6）直到準(zhǔn)則函數(shù)E值不再進(jìn)行變化，輸出聚類結(jié)果。1.K-Means算法5.2基于代表的聚類

1.K-Means算法5.2基于代表的聚類1.K-Means算法圖2K-Means算法的優(yōu)缺點(diǎn)K-Means算法在簇具有不規(guī)則形狀時(shí)表現(xiàn)不佳，因?yàn)樗蛴趯ふ仪蛐未?。如圖（a）所示，由于簇A具有非凸形狀，所以K-Means算法將其不恰當(dāng)?shù)胤殖闪藘蓚€(gè)部分，并將其中的一部分與簇B合并，以使其劃分更符合球形簇的特性。即使使用馬氏K-Means算法進(jìn)行了改進(jìn)，能更好地適應(yīng)聚類的伸展性，在這種情況下也表現(xiàn)不佳。如圖（b）所示，由于馬氏K-Means算法通過使用聚類特定的協(xié)方差矩陣對局部距離進(jìn)行了標(biāo)準(zhǔn)化，考慮了數(shù)據(jù)點(diǎn)之間的相關(guān)性，因此能夠很好地適應(yīng)不同的聚類密度。5.2基于代表的聚類

2.核K-Means算法5.2基于代表的聚類

3.

K-Medians算法5.2基于代表的聚類與K-Means相比：K-Medoids算法也使用分區(qū)代表的概念，但其算法結(jié)構(gòu)不同于K-Means算法，只是聚類的目標(biāo)函數(shù)與K-Means算法具有相同的形式。主要特點(diǎn)：總是從數(shù)據(jù)集D中選擇分區(qū)代表。通用K-Medoids算法的步驟：4.

K-Medoids算法5.2基于代表的聚類為什么從數(shù)據(jù)集D中選擇分區(qū)代表？在K-Means算法中簇的分區(qū)代表可能會受到簇中異常值的影響而產(chǎn)生扭曲，分區(qū)代表落在空區(qū)域，不能真實(shí)地反映該簇中大多數(shù)數(shù)據(jù)點(diǎn)的特征。導(dǎo)致不同簇之間出現(xiàn)重疊，這是不理想的。有時(shí)很難計(jì)算復(fù)雜數(shù)據(jù)類型的數(shù)據(jù)集的最佳分區(qū)代表。優(yōu)勢：只要可以在數(shù)據(jù)類型上定義適當(dāng)?shù)南嗨菩曰蚓嚯x函數(shù)，就幾乎可以適用于任何數(shù)據(jù)類型。因此，K-Medoids算法直接將距離函數(shù)的設(shè)計(jì)與聚類相關(guān)聯(lián)。4.

K-Medoids算法5.2基于代表的聚類

4.

K-Medoids算法5.3層次聚類概念：根據(jù)數(shù)據(jù)點(diǎn)的距離或相似性逐步建立層次聚類結(jié)構(gòu)，無需強(qiáng)制使用距離函數(shù)；提供分層的聚類體系，捕捉數(shù)據(jù)點(diǎn)間的多層次相似性。應(yīng)用意義：提供不同聚類粒度的信息，便于分析數(shù)據(jù)點(diǎn)在不同層次的聚類結(jié)構(gòu)。構(gòu)建方式：自下而上（凝聚聚類）：將單個(gè)數(shù)據(jù)點(diǎn)逐步合并成更大的簇，適合用于合并目標(biāo)數(shù)較少的情況。自上而下（分裂聚類）：將數(shù)據(jù)點(diǎn)依次劃分為樹狀結(jié)構(gòu)，靈活性高，可調(diào)整樹結(jié)構(gòu)和葉子節(jié)點(diǎn)的數(shù)量以優(yōu)化效果。優(yōu)點(diǎn)：靈活適用于不同類型的數(shù)據(jù)點(diǎn)，能捕捉多層次關(guān)系。缺點(diǎn)：樹結(jié)構(gòu)復(fù)雜時(shí)，可能導(dǎo)致不同層次上的節(jié)點(diǎn)數(shù)據(jù)量不均衡。層次聚類算法5.3層次聚類概念：數(shù)據(jù)點(diǎn)從單個(gè)簇開始，逐步合并相似簇，形成更大的簇，直至所有數(shù)據(jù)點(diǎn)歸屬一個(gè)大簇。計(jì)算過程：選擇最近的兩個(gè)簇合并：每次迭代都從距離矩陣中選取最小距離的簇并合并。更新距離矩陣：每次合并后，重新計(jì)算簇與簇之間的距離。終止條件：根據(jù)簇的數(shù)量或簇間的最大距離決定停止合并。關(guān)鍵點(diǎn)：不同方法對簇間距離計(jì)算的處理不同，如最小距離法或最大距離法。距離矩陣的存儲和計(jì)算在大規(guī)模數(shù)據(jù)中可能成為計(jì)算瓶頸。1.自下而上的聚類（凝聚層次聚類）5.3層次聚類1.自下而上的聚類（凝聚層次聚類）圖3自下而上的聚類步驟樹狀圖概念：數(shù)據(jù)點(diǎn)通過聚類順序逐步合并，形成層次化的樹狀結(jié)構(gòu)，展示不同簇之間的關(guān)系。圖(a)：??,??,??,??,??,??六個(gè)數(shù)據(jù)點(diǎn)逐步合并的過程；圖(b)：演示簇間距離計(jì)算的邏輯關(guān)系。應(yīng)用價(jià)值：樹狀圖可視化層次聚類結(jié)果，幫助理解數(shù)據(jù)點(diǎn)的合并順序和簇間相似性。5.3層次聚類1.自下而上的聚類（凝聚層次聚類）

5.3層次聚類1.自下而上的聚類（凝聚層次聚類）聚類距離計(jì)算方法：最佳（單個(gè)）連接：定義：兩簇之間的距離等于兩簇中最近的對象間的距離。優(yōu)缺點(diǎn)：適合發(fā)現(xiàn)任意形狀的簇，但可能受噪聲影響，導(dǎo)致錯(cuò)誤合并。最差（完整）連接：定義：兩簇之間的距離等于兩簇中最遠(yuǎn)的對象間的距離。優(yōu)缺點(diǎn)：形成緊密的小簇，避免跨越較大距離，但可能過于關(guān)注極端值，忽略內(nèi)部結(jié)構(gòu)。組平均連接：定義：兩簇之間的距離為所有對象間距離的平均值。優(yōu)缺點(diǎn)：平衡效果，適用于大多數(shù)數(shù)據(jù)分布，但計(jì)算復(fù)雜度較高。公式：(對于行）（對于列）5.3層次聚類1.自下而上的聚類（凝聚層次聚類）

5.3層次聚類1.自下而上的聚類（凝聚層次聚類）聚類標(biāo)準(zhǔn)的優(yōu)缺點(diǎn)：最佳（單個(gè)）連接：能逐步合并相近的“鏈對”，適合任意形狀的簇，但對噪聲敏感，可能錯(cuò)誤地合并無關(guān)簇。最差（完整）連接：傾向于形成緊密的小簇，適合分布更均勻的簇形特征，但對重視簇邊緣數(shù)據(jù)點(diǎn)的噪聲表現(xiàn)不佳，魯棒性較差。組平均連接與基于方差標(biāo)準(zhǔn)：適合在多重連接的復(fù)雜場景中應(yīng)用，能平衡簇中心與邊緣數(shù)據(jù)點(diǎn)。圖4最佳（單個(gè)）連接聚類的正反案例5.3層次聚類概念：自上而下的聚類算法從整體結(jié)構(gòu)入手，通過逐步拆分?jǐn)?shù)據(jù)集，構(gòu)建樹狀結(jié)構(gòu)；適合實(shí)現(xiàn)簇間的平衡與控制。方法特點(diǎn)：通用平面聚類算法A作為子程序，即對樹的所有節(jié)點(diǎn)進(jìn)行拆分，直到每個(gè)節(jié)點(diǎn)包含預(yù)定數(shù)量的數(shù)據(jù)對象。二分K-Means算法：在每次分裂中，隨機(jī)嘗試多次聚類并選擇最優(yōu)分裂點(diǎn)，將節(jié)點(diǎn)分裂為兩個(gè)子節(jié)點(diǎn)；使用增長策略決定優(yōu)先分裂點(diǎn)，例如優(yōu)先分裂影響樹高度的節(jié)點(diǎn)。算法步驟：2.自上而下的聚類5.4基于網(wǎng)格和密度的聚類核心問題：底層距離或概率分布隱藏了簇的形狀，傳統(tǒng)方法如K-Means和EM假設(shè)簇為球形或橢圓形，但實(shí)際簇可能為復(fù)雜的非正形狀。密度聚類的核心思路：識別數(shù)據(jù)集中特定高密度區(qū)域，視為潛在簇的“構(gòu)建塊”。結(jié)合這些“構(gòu)建塊”，形成任意形狀的簇。方法特點(diǎn)：第一層：通過分析高密度區(qū)域，劃分“構(gòu)建塊”；第二層：將構(gòu)建塊聚合成簇，適配復(fù)雜形狀。算法示例：DBSCAN：通過密度閾值聚類，適合檢測任意形狀簇。DENCLUE：基于密度函數(shù)估計(jì)，用于多尺度密度分析。應(yīng)用場景：適用于處理復(fù)雜形狀和多密度分布數(shù)據(jù)，尤其在大數(shù)據(jù)場景中具有高效性?；诰W(wǎng)格和密度的聚類5.4基于網(wǎng)格和密度的聚類

1.基于網(wǎng)格的聚類算法5.4基于網(wǎng)格和密度的聚類1.基于網(wǎng)格的聚類算法圖5形狀不規(guī)則的簇和不同粒度的網(wǎng)格分區(qū)(b)粗粒度網(wǎng)絡(luò)p=3(a)形狀不規(guī)則的簇(d)細(xì)粒度網(wǎng)絡(luò)p=50(c)中等粒度網(wǎng)絡(luò)p=25選擇合適粒度是網(wǎng)格聚類算法的核心5.4基于網(wǎng)格和密度的聚類網(wǎng)格聚類不僅考慮直接相鄰的網(wǎng)格，還可基于密度連接，將間接相鄰的網(wǎng)格視為同一簇。若兩個(gè)網(wǎng)格間存在一條路徑，且路徑上的相鄰網(wǎng)格均直接相連，則它們密度相連。網(wǎng)格聚類的目標(biāo)是識別連接區(qū)域，可通過基于圖的建模實(shí)現(xiàn)：網(wǎng)格對應(yīng)圖中的節(jié)點(diǎn)，相鄰網(wǎng)格間的連接形成邊。采用廣度優(yōu)先或深度優(yōu)先遍歷，確定圖中的連接組件，最終形成聚類。下圖說明了如何從“構(gòu)建塊”中創(chuàng)建任意形狀的簇。在使用基于網(wǎng)格的聚類算法進(jìn)行聚類時(shí)，簇的邊界會受到網(wǎng)格的限制而被矩形化。1.基于網(wǎng)格的聚類算法圖6從“構(gòu)建塊”中創(chuàng)建任意形狀的簇?cái)?shù)據(jù)點(diǎn)和網(wǎng)絡(luò)聚集相鄰的網(wǎng)絡(luò)5.4基于網(wǎng)格和密度的聚類基于網(wǎng)格的聚類算法無需預(yù)定義簇?cái)?shù)，與K-Means不同，其目標(biāo)是識別數(shù)據(jù)的自然聚類結(jié)構(gòu)。然而，該方法依賴粒度??

和密度閾值，參數(shù)選擇不當(dāng)可能影響聚類效果：網(wǎng)格數(shù)過少：多個(gè)簇的數(shù)據(jù)點(diǎn)被歸為同一網(wǎng)格，導(dǎo)致錯(cuò)誤合并;網(wǎng)格數(shù)過多：簇可能被人為分開，增加計(jì)算成本。密度閾值選擇過大：邊界噪聲點(diǎn)可能被誤合并，簇過大;密度閾值選擇過?。翰糠执乜赡鼙徊鸱郑瑹o法完整覆蓋聚類?；诰W(wǎng)格的聚類算法的步驟：1.基于網(wǎng)格的聚類算法5.4基于網(wǎng)格和密度的聚類核心思想：基于密度劃分?jǐn)?shù)據(jù)點(diǎn)，無需預(yù)定義簇?cái)?shù)；通過密度閾值??

和半徑??????識別簇。數(shù)據(jù)點(diǎn)分類：核心點(diǎn)（CorePoint）：其半徑??????內(nèi)至少包含??個(gè)數(shù)據(jù)點(diǎn)。邊界點(diǎn)（BorderPoint）：??????內(nèi)數(shù)據(jù)點(diǎn)少于??，但鄰近至少一個(gè)核心點(diǎn)。噪聲點(diǎn)（NoisePoint）：既不是核心點(diǎn)，也不是邊界點(diǎn)。2.

DBSCAN算法圖7??=10時(shí)的核心點(diǎn)、邊界點(diǎn)和噪聲點(diǎn)5.4基于網(wǎng)格和密度的聚類DBSCAN聚類步驟

構(gòu)建核心點(diǎn)連接圖：核心點(diǎn)之間若距離≤??????，則建立邊，形成連接圖。不同于網(wǎng)格聚類，該連接基于數(shù)據(jù)點(diǎn)，而非網(wǎng)格區(qū)域。

識別連接組件：尋找最大連接組，視為聚類簇。噪聲點(diǎn)單獨(dú)存放，不納入任何簇。

邊界點(diǎn)和噪聲點(diǎn)處理：采用單鏈接自下而上聚類，但僅應(yīng)用于核心點(diǎn)，避免異常點(diǎn)影響。

最終聚類結(jié)果：噪聲點(diǎn)不會聚類，即使在聚類范圍內(nèi)，DBSCAN也能正確識別簇結(jié)構(gòu)。2.

DBSCAN算法5.4基于網(wǎng)格和密度的聚類

3.

DENCLUE算法5.4基于網(wǎng)格和密度的聚類密度閾值對DENCLUE聚類的影響：核心概念：密度閾值??

影響聚類數(shù)量和合并情況。密度吸引子：高密度區(qū)域吸引數(shù)據(jù)點(diǎn)，形成聚類。(a)較少的峰值→較少的簇，部分簇可能合并。(b)高密度閾值：更多的峰值→更多的簇，數(shù)據(jù)點(diǎn)劃分更精細(xì)。影響分析：密度閾值過低：多個(gè)簇可能被合并，減少聚類數(shù)量；密度閾值過高：部分簇可能被拆分，或因密度不足而視為噪聲簇。3.

DENCLUE算法圖8包含三個(gè)自然簇的數(shù)據(jù)集的核密度估計(jì)示例5.4基于網(wǎng)格和密度的聚類DENCLUE算法的梯度上升法：核心思路：通過梯度上升使數(shù)據(jù)點(diǎn)向密度峰值靠攏，形成聚類。更新公式：，其中?f(X)：密度梯度，指向密度增加最快的方向，??：步長參數(shù)，控制更新速率。聚類過程：（1）數(shù)據(jù)點(diǎn)不斷更新，最終收斂到密度吸引子或密度峰值。（2）密度吸引子達(dá)到密度閾值??，則形成一個(gè)簇，否則視為噪聲點(diǎn)。（3）連接的吸引子合并，解決多個(gè)密度峰合并問題。3.

DENCLUE算法5.5聚類的有效性聚類有效性驗(yàn)證是在聚類分析后，對結(jié)果進(jìn)行評估的方法。常見方法包括：內(nèi)部驗(yàn)證：基于數(shù)據(jù)集本身信息評估聚類質(zhì)量；外部驗(yàn)證：將聚類結(jié)果與已知類別對比評估。方法選擇取決于數(shù)據(jù)集性質(zhì)和聚類目標(biāo)。1.內(nèi)部驗(yàn)證方法適用于無外部標(biāo)簽的數(shù)據(jù)集，通過聚類目標(biāo)函數(shù)或相似性指標(biāo)評估聚類質(zhì)量。常用的內(nèi)部驗(yàn)證方法包括4種。方法一：離心距離的平方和（SSQ)計(jì)算數(shù)據(jù)點(diǎn)到簇中心的平方和，SSQ越小，聚類質(zhì)量越好。適用于