《數(shù)據(jù)挖掘與機器學(xué)習(xí)》 課件7.2.1 K-Means聚類

構(gòu)建新聞文本聚類模型新聞文本聚類——聚類分析任務(wù)描述聚類是針對給定的樣本，依據(jù)它們特征的相似度或度量，將其歸并到若干個“類”或“簇”的數(shù)據(jù)分析問題。一個類是樣本的一個子集。直觀上，相似的樣本聚集在相同的類，不相似的樣本分散在不同的類。新聞文本聚類是將大量新聞文本根據(jù)其相似性劃分到不同的類別中，以便更好地理解和分析這些文本。本任務(wù)將使用K-Means算法和DBSCAN算法，對任務(wù)7.1中處理好的文本進行聚類分析并進行可視化展示。任務(wù)要求使用sklearn庫構(gòu)建K-Means模型。使用sklearn庫構(gòu)建DBSCAN模型。使用Matplotlib庫實現(xiàn)結(jié)果的可視化。K-MeansDBSCANK-Means聚類的目的是在沒有標簽或類別信息的情況下，將數(shù)據(jù)樣本歸為幾個不同的群組，以便更好地理解數(shù)據(jù)、識別數(shù)據(jù)的模式和規(guī)律，并進行更有效的數(shù)據(jù)分析。通過聚類，可以識別出數(shù)據(jù)中的不同類別或簇，這些簇可能具有相似的屬性、特征或行為。K-MeansK-Means聚類是基于樣本集合劃分的聚類算法。它將樣本集合劃分為k個子集，每個子集為一類。將n個樣本分到k個類中，使得每個樣本到其所屬類的中心的距離最短。在K-Means聚類中，每個樣本只能屬于一個類。將樣本分為了5類，可以從圖中看到，每個樣本只能屬于一個類，一個類的樣本都聚集在一起。K-MeansK-Means聚類算法是一個迭代的過程，過程如下。1選擇k個類的中心，將樣本分類到距離最近的類中2將每個類中樣本的均值作為新的類中心3重復(fù)以上步驟，直到每個類中樣本不再改變?yōu)橹筀-Means目標是最小化每個數(shù)據(jù)點與其所屬簇中心之間的距離的總和。其中，Xi表示第i個樣本，μj表示第j個類的中心。K-Means使用sklearn庫中的KMeans類建立K-Means模型，其基本使用格式如下。classsklearn.cluster.KMeans(n_clusters=8,init='k-means++',n_init=10,max_iter=300,tol=0.0001,precompute_distances='deprecated',verbose=0,random_state=None,copy_x=True,n_jobs='deprecated',algorithm='auto')K-MeansKMeans類常用參數(shù)及其說明如下。參數(shù)名稱說明n_clusters接收int。表示要形成的簇數(shù)以及生成的質(zhì)心數(shù)。默認為8init接收方法名。表示所選擇的初始化方法，可選'k-means++'，'random'，ndarray，callable。默認為'k-means++'n_init接收int。表示K均值算法將在不同質(zhì)心種子下運行的次數(shù)。默認為10max_iter接收int。表達單次運行的K均值算法的最大迭代次數(shù)。默認為300tol接收float。表示兩個連續(xù)迭代的聚類中心的差異，以聲明收斂。默認為1e-4random_state接收int。表示所確定的質(zhì)心初始化的隨機數(shù)的生成。默認為NoneK-MeansK-Means聚類初始化類中心的選擇方法如下。1k-means++是默認的方法，也是最常用的方法，它會智能地選擇初始聚類中心，使它們在整個數(shù)據(jù)集中更加均勻地分布。2random會從數(shù)據(jù)集中隨機選擇K個數(shù)據(jù)點作為初始聚類中心。相比于'k-means++'，這種方法更加簡單和隨機。3ndarray可以傳入一個形狀為(K,n_features)的NumPy數(shù)組作為初始聚類中心。K代表數(shù)據(jù)點的個數(shù)，n_features代表數(shù)據(jù)的維度。4callable可以傳入一個可調(diào)用對象（如函數(shù)）作為初始聚類中心的選擇方法。該可調(diào)用對象應(yīng)接受數(shù)據(jù)集作為輸入，并返回形狀為(K,n_features)的數(shù)組作為初始聚類中心。K-Means對于應(yīng)用程序開發(fā)者而言，用戶的反饋至關(guān)重要。針對不同使用習(xí)慣、不同使用強度的顧客進行的問卷調(diào)查，有助于幫助開發(fā)者開發(fā)出好的產(chǎn)品。實踐是檢驗真理的唯一標準，理論只有來源于實踐、作用于實踐，才會具有強大的生命力。某應(yīng)用軟件想要對客戶進行問卷調(diào)查，客戶的使用信息儲存在客戶數(shù)據(jù)集（customer.csv）中，包括客戶的年齡（歲）、應(yīng)用使用時間（小時）。年齡