《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件7.2.1 K-Means聚類

構(gòu)建新聞文本聚類模型新聞文本聚類——聚類分析任務(wù)描述聚類是針對(duì)給定的樣本，依據(jù)它們特征的相似度或度量，將其歸并到若干個(gè)“類”或“簇”的數(shù)據(jù)分析問題。一個(gè)類是樣本的一個(gè)子集。直觀上，相似的樣本聚集在相同的類，不相似的樣本分散在不同的類。新聞文本聚類是將大量新聞文本根據(jù)其相似性劃分到不同的類別中，以便更好地理解和分析這些文本。本任務(wù)將使用K-Means算法和DBSCAN算法，對(duì)任務(wù)7.1中處理好的文本進(jìn)行聚類分析并進(jìn)行可視化展示。任務(wù)要求使用sklearn庫構(gòu)建K-Means模型。使用sklearn庫構(gòu)建DBSCAN模型。使用Matplotlib庫實(shí)現(xiàn)結(jié)果的可視化。K-MeansDBSCANK-Means聚類的目的是在沒有標(biāo)簽或類別信息的情況下，將數(shù)據(jù)樣本歸為幾個(gè)不同的群組，以便更好地理解數(shù)據(jù)、識(shí)別數(shù)據(jù)的模式和規(guī)律，并進(jìn)行更有效的數(shù)據(jù)分析。通過聚類，可以識(shí)別出數(shù)據(jù)中的不同類別或簇，這些簇可能具有相似的屬性、特征或行為。K-MeansK-Means聚類是基于樣本集合劃分的聚類算法。它將樣本集合劃分為k個(gè)子集，每個(gè)子集為一類。將n個(gè)樣本分到k個(gè)類中，使得每個(gè)樣本到其所屬類的中心的距離最短。在K-Means聚類中，每個(gè)樣本只能屬于一個(gè)類。將樣本分為了5類，可以從圖中看到，每個(gè)樣本只能屬于一個(gè)類，一個(gè)類的樣本都聚集在一起。K-MeansK-Means聚類算法是一個(gè)迭代的過程，過程如下。1選擇k個(gè)類的中心，將樣本分類到距離最近的類中2將每個(gè)類中樣本的均值作為新的類中心3重復(fù)以上步驟，直到每個(gè)類中樣本不再改變?yōu)橹筀-Means目標(biāo)是最小化每個(gè)數(shù)據(jù)點(diǎn)與其所屬簇中心之間的距離的總和。其中，Xi表示第i個(gè)樣本，μj表示第j個(gè)類的中心。K-Means使用sklearn庫中的KMeans類建立K-Means模型，其基本使用格式如下。classsklearn.cluster.KMeans(n_clusters=8,init='k-means++',n_init=10,max_iter=300,tol=0.0001,precompute_distances='deprecated',verbose=0,random_state=None,copy_x=True,n_jobs='deprecated',algorithm='auto')K-MeansKMeans類常用參數(shù)及其說明如下。參數(shù)名稱說明n_clusters接收int。表示要形成的簇?cái)?shù)以及生成的質(zhì)心數(shù)。默認(rèn)為8init接收方法名。表示所選擇的初始化方法，可選'k-means++'，'random'，ndarray，callable。默認(rèn)為'k-means++'n_init接收int。表示K均值算法將在不同質(zhì)心種子下運(yùn)行的次數(shù)。默認(rèn)為10max_iter接收int。表達(dá)單次運(yùn)行的K均值算法的最大迭代次數(shù)。默認(rèn)為300tol接收float。表示兩個(gè)連續(xù)迭代的聚類中心的差異，以聲明收斂。默認(rèn)為1e-4random_state接收int。表示所確定的質(zhì)心初始化的隨機(jī)數(shù)的生成。默認(rèn)為NoneK-MeansK-Means聚類初始化類中心的選擇方法如下。1k-means++是默認(rèn)的方法，也是最常用的方法，它會(huì)智能地選擇初始聚類中心，使它們?cè)谡麄€(gè)數(shù)據(jù)集中更加均勻地分布。2random會(huì)從數(shù)據(jù)集中隨機(jī)選擇K個(gè)數(shù)據(jù)點(diǎn)作為初始聚類中心。相比于'k-means++'，這種方法更加簡單和隨機(jī)。3ndarray可以傳入一個(gè)形狀為(K,n_features)的NumPy數(shù)組作為初始聚類中心。K代表數(shù)據(jù)點(diǎn)的個(gè)數(shù)，n_features代表數(shù)據(jù)的維度。4callable可以傳入一個(gè)可調(diào)用對(duì)象（如函數(shù)）作為初始聚類中心的選擇方法。該可調(diào)用對(duì)象應(yīng)接受數(shù)據(jù)集作為輸入，并返回形狀為(K,n_features)的數(shù)組作為初始聚類中心。K-Means對(duì)于應(yīng)用程序開發(fā)者而言，用戶的反饋至關(guān)重要。針對(duì)不同使用習(xí)慣、不同使用強(qiáng)度的顧客進(jìn)行的問卷調(diào)查，有助于幫助開發(fā)者開發(fā)出好的產(chǎn)品。實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，理論只有來源于實(shí)踐、作用于實(shí)踐，才會(huì)具有強(qiáng)大的生命力。某應(yīng)用軟件想要對(duì)客戶進(jìn)行問卷調(diào)查，客戶的使用信息儲(chǔ)存在客戶數(shù)據(jù)集（customer.csv）中，包括客戶的年齡（歲）、應(yīng)用使用時(shí)間（小時(shí)）。年齡