K-means算法原理及功能介紹(共5頁(yè))

1、精選優(yōu)質(zhì)文檔-傾情為你奉上K-means聚類算法一、K-means聚類原理1.1 聚類算法的原理我們經(jīng)常接觸到的聚類分析，一般都是數(shù)值聚類，一種常見(jiàn)的做法是同時(shí)提取 N 種特征，將它們放在一起組成一個(gè) N 維向量，從而得到一個(gè)從原始數(shù)據(jù)集合到 N 維向量空間的映射總是需要顯式地或者隱式地完成這樣一個(gè)過(guò)程，然后基于某種規(guī)則進(jìn)行分類，在該規(guī)則下，同組分類具有最大的相似性。聚類屬于無(wú)監(jiān)督學(xué)習(xí)，以往的回歸、樸素貝葉斯、SVM等都是有類別標(biāo)簽y的，也就是說(shuō)樣例中已經(jīng)給出了樣例的分類。而聚類的樣本中卻沒(méi)有給定y，只有特征x，比如假設(shè)宇宙中的星星可以表示成三維空間中的點(diǎn)集。聚類的目的是找到每個(gè)樣本x潛在的類

2、別y，并將同類別y的樣本x放在一起。比如上面的星星，聚類后結(jié)果是一個(gè)個(gè)星團(tuán)，星團(tuán)里面的點(diǎn)相互距離比較近，星團(tuán)間的星星距離就比較遠(yuǎn)了。1.2 K-means聚類原理假設(shè)我們提取到原始數(shù)據(jù)的集合為(x1, x2, , xn)，并且每個(gè)xi為d維的向量（d維向量由原始數(shù)據(jù)的d個(gè)特征組成），K-means聚類的目的就是，在給定分類組數(shù)k（k  n）值的條件下，將原始數(shù)據(jù)分成k類 S = S1, S2, , Sk， 1.3 K-means聚類步驟算法步驟一般如下：1、從D中隨機(jī)取k個(gè)元素，作為k個(gè)簇的各自

3、的中心。2、分別計(jì)算剩下的元素到k個(gè)簇中心的相異度，將這些元素分別劃歸到相異度最低的簇。3、根據(jù)聚類結(jié)果，重新計(jì)算k個(gè)簇各自的中心，計(jì)算方法是取簇中所有元素各自維度的算術(shù)平均數(shù)。4、將D中全部元素按照新的中心重新聚類。5、重復(fù)第4步，直到每個(gè)簇的中心基本不再變化。6、將結(jié)果輸出。1.4 K-means聚類簡(jiǎn)單實(shí)例對(duì)數(shù)據(jù)點(diǎn)進(jìn)行聚類，詳細(xì)步驟如下所示：首先 3 個(gè)中心點(diǎn)被隨機(jī)初始化，所有的數(shù)據(jù)點(diǎn)都還沒(méi)有進(jìn)行聚類，默認(rèn)全部都標(biāo)記為紅色，如下圖所示：然后進(jìn)入第一次迭代：按照初始的中心點(diǎn)位置為每個(gè)數(shù)據(jù)點(diǎn)著上顏色，重新計(jì)算 3 個(gè)中心點(diǎn)，結(jié)果如下圖所示：可以看到，由于初始的中心點(diǎn)是隨機(jī)選的，這樣得出來(lái)的結(jié)

4、果并不是很好，接下來(lái)是下一次迭代的結(jié)果：可以看到大致形狀已經(jīng)出來(lái)了。再經(jīng)過(guò)兩次迭代之后，基本上就收斂了，最終結(jié)果如下：二、k-means聚類算法的應(yīng)用聚類就是按照一定的標(biāo)準(zhǔn)將事物進(jìn)行區(qū)分和分類的過(guò)程，該過(guò)程是無(wú)監(jiān)督的，即事先并不知道關(guān)于類分的任何知識(shí)。聚類分析又稱為數(shù)據(jù)分割，它是指應(yīng)用數(shù)學(xué)的方法研究和處理給定對(duì)象的分類，使得每個(gè)組內(nèi)部對(duì)象之間的相關(guān)性比其他對(duì)象之間的相關(guān)性高，組間的相異性較高。聚類算法被用于許多知識(shí)領(lǐng)域，這些領(lǐng)域通常要求找出特定數(shù)據(jù)中的“自然關(guān)聯(lián)”。自然關(guān)聯(lián)的定義取決于不同的領(lǐng)域和特定的應(yīng)用，可以具有多種形式。典型的應(yīng)用例如：1. 商務(wù)上，幫助市場(chǎng)分析人員從客戶基本資料庫(kù)中發(fā)現(xiàn)不同的客戶群，并用購(gòu)買模式來(lái)刻畫不同客戶群的特征；2. 聚類分析是細(xì)分市場(chǎng)的有效工具，同時(shí)也可用于研究消費(fèi)者行為，尋找新的潛在市場(chǎng)、選擇實(shí)驗(yàn)的市場(chǎng)，并作為多元分析的預(yù)處理。3. 生物學(xué)上，用于推導(dǎo)植物和動(dòng)物的分類，對(duì)基因進(jìn)行分類，獲得對(duì)種群固有結(jié)構(gòu)的認(rèn)識(shí)；4. 地理信息方面，在地球觀測(cè)數(shù)據(jù)庫(kù)中相似區(qū)域的確定、汽車保險(xiǎn)單持有者的分組，及根據(jù)房子的類型、價(jià)值和地理位置對(duì)一個(gè)城市中房屋的分組上可以發(fā)揮作用；5. 聚類也能用于在網(wǎng)上進(jìn)行文檔歸類來(lái)修復(fù)信息；6. 在電子商務(wù)網(wǎng)站建設(shè)數(shù)據(jù)挖掘中的應(yīng)用，通過(guò)分組聚類出具有相似瀏覽行為的客戶，并分析客戶的共同特征，可以更好的幫助