自然語言及語音處理項(xiàng)目式教程 課件3.2.3-2文本聚類常用算法

熟悉文本分類與聚類

深入文本進(jìn)階處理文本挖掘簡介文本分類與聚類的步驟用戶可獲得的信息包含技術(shù)資料、商業(yè)信息、新聞報(bào)道、娛樂資訊等，可構(gòu)成一個(gè)異常龐大的具有異構(gòu)性、開放性等特性的分布式數(shù)據(jù)庫。結(jié)合人工智能研究領(lǐng)域中的NLP技術(shù)，從數(shù)據(jù)挖掘中派生出了文本挖掘這個(gè)新興的數(shù)據(jù)挖掘研究領(lǐng)域。文本挖掘簡介文本挖掘概念文本分類常用算法文本聚類常用算法文本聚類常用算法文本聚類思想：對無類別標(biāo)識的文本集合進(jìn)行分析。實(shí)質(zhì)：就是將相似度高的樣本聚為一類，并且期望同類樣本之間的相似度盡可能高，不同類別之間的樣本相似度盡可能低。聚類算法基于劃分的聚類算法基于層次的聚類算法基于密度的聚類算法基于模型的聚類算法文本聚類常用算法基于劃分的聚類算法基于劃分的聚類算法思想：給定一個(gè)有n個(gè)記錄的數(shù)據(jù)集，將數(shù)據(jù)集劃分為K個(gè)分組，每一個(gè)分組稱為一個(gè)簇。對于給定的K個(gè)分組，同一個(gè)分組內(nèi)的數(shù)據(jù)記錄距離越近越好，不同分組之間的距離則越遠(yuǎn)越好。方法：K-Means、Single-Pass增量聚類算法、K-Medoids和CLARANS基于隨機(jī)選擇的聚類算法（ClusteringAlgorithmbasedonRandomizedSearch，CLARANS）?；趧澐值木垲愃惴ɑ趧澐值木垲愃惴ā狵-Means優(yōu)化目標(biāo)：基于劃分的聚類算法基于劃分的聚類算法——K-Means輸入樣本集合及聚類簇?cái)?shù)。從樣本集中隨機(jī)選擇k個(gè)樣本點(diǎn)作為k個(gè)簇中心。計(jì)算每個(gè)樣本點(diǎn)到每個(gè)簇中心的距離。按照距離遠(yuǎn)近將每個(gè)樣本點(diǎn)歸入相應(yīng)的簇內(nèi)。更新每個(gè)簇的中心。重復(fù)步驟2～5，直至簇中心不再變化。輸出聚類結(jié)果?；趯哟蔚木垲愃惴ɑ趯哟蔚木垲愃惴ㄋ枷耄簩颖炯虾喜⒊赡鄱雀呋蚍至殉筛?xì)致的子樣本集合，最終樣本集合形成一棵層次樹。方法：變色龍算法、嵌套層次聚類算法（AgglomerativeNesting，AGNES）、基于代表的聚類算法（ClusteringUsingRepresentatives，CURE）?；趯哟蔚木垲愃惴ɑ趯哟蔚木垲愃惴ɑ具^程：基于層次的聚類算法基于層次的聚類算法輸入樣本集合、對聚類簇函數(shù)做出規(guī)定，給出聚類的簇?cái)?shù)。將每個(gè)樣本點(diǎn)作為單獨(dú)的一簇。計(jì)算任何兩個(gè)簇之間的距離。按照距離最近原則合并簇。若當(dāng)前聚類簇?cái)?shù)未到達(dá)規(guī)定的聚類簇?cái)?shù)，則返回步驟3，否則聚類結(jié)束。輸出聚類結(jié)果?；诿芏鹊木垲愃惴ɑ诿芏鹊木垲愃惴ㄋ枷耄赫页雒芏容^高的樣本點(diǎn)，再將周圍相近的密度較高的樣本點(diǎn)連成一片，最后形成各類簇。方法：具有噪聲的基于密度的聚類（Density-BasedSpatialClusteringofApplicationswithNoise，DBSCAN）、基于排序點(diǎn)識別的聚類結(jié)構(gòu)（OrderingPointstoIdentifytheClustering，OPTICS）?；诿芏鹊木垲愃惴ɑ诿芏鹊木垲愃惴ā狣BSCAN：基于密度的聚類算法基于密度的聚類算法——DBSCAN輸入樣本集合、初始化距離參數(shù)，數(shù)目參數(shù)MinPts。確定核心對象集合。在核心對象集合中，隨機(jī)選擇一個(gè)核心對象作為種子。依據(jù)簇劃分原則生成一個(gè)簇，并更新核心對象集合。若核心對象集合為空，則算法結(jié)束，否則返回步驟3。輸出聚類結(jié)果。基于模型的聚類算法基于模型的聚類算法思想：假設(shè)每個(gè)類為一個(gè)模型，尋找與該模型擬合最好的數(shù)據(jù)。方法：基于概率（概率生成模型）：高斯混合模型（GaussianMixtureModels，GMM）基于神經(jīng)網(wǎng)絡(luò)基于模型的聚類算法基于模型的聚類算法——GMM：基于模型的聚類算法基于模型的聚類算法——GMM假設(shè)空間概率分布由k個(gè)高斯分布混合組成，初始化高斯分布，即初始化混合系數(shù)、均值和方差。計(jì)算各混合生成的后驗(yàn)概率。通過EM算法計(jì)算參數(shù)更新。重復(fù)2、3步驟，直到滿足停止條件。將樣本按照最大化劃入相應(yīng)的簇中，最終得到k個(gè)聚類。文本分類與聚類的步驟文本分類與聚類的步驟：數(shù)據(jù)準(zhǔn)備：文本數(shù)據(jù)一般是非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)或多或少會存在數(shù)據(jù)缺失、數(shù)據(jù)異常、數(shù)據(jù)格式不規(guī)范等情況，這時(shí)需要對其進(jìn)行預(yù)處理數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)標(biāo)準(zhǔn)化、缺失值和異常值處理等，貫徹高質(zhì)量發(fā)展精神文本分類與聚類的步驟文本分類與聚類的步驟：特征提取：BOW模型：擁有過大的特征維數(shù)，數(shù)據(jù)過于稀疏TF、TF-IDF：運(yùn)用統(tǒng)計(jì)的方法，將詞匯的統(tǒng)計(jì)特征作為特征集，但效果與BOW模型相差不大n-gramWord2Vec文本分類與聚類的步驟文本分類與聚類的步驟：模型選擇與訓(xùn)練：對處理好的數(shù)據(jù)進(jìn)行分析，選擇適合用于訓(xùn)練的模型判斷數(shù)據(jù)中是否存在類標(biāo)簽有：歸為監(jiān)督學(xué)習(xí)問題無：劃分為無監(jiān)督學(xué)習(xí)問題文本分類與聚類的步驟文本分類與聚類的步驟：模型測試：通過測試數(shù)據(jù)可以對模型進(jìn)行驗(yàn)證，分析產(chǎn)生誤差的原因數(shù)據(jù)來源、特征、算法等尋找在測試數(shù)據(jù)中的