12-第七章-聚類分析

第七章聚類分析

第7章聚類分析第3章判別分析

分類學(xué)是人類認(rèn)識世界的基礎(chǔ)科學(xué)。聚類分析和判別分析是研究事物分類的基本方法,廣泛地應(yīng)用于自然科學(xué)研究、社會科學(xué)研究、工農(nóng)業(yè)生產(chǎn)各個領(lǐng)域。

在大氣科學(xué)研究中，存在著兩種不同的分類問題：

1）事先不知道分類的類別和分類數(shù)目，也不清楚樣本的屬性，需要根據(jù)一定的規(guī)則進(jìn)行分類—聚類問題；

2）事先已經(jīng)知道分類的類別，用因子判定預(yù)報量的可能屬于的類別—判別分類。分類問題1）氣候區(qū)的劃分：干旱、半干旱2）天氣過程的分類：根據(jù)多個氣象要素(溫度，氣壓，濕度等)的時間演變曲線分類。3）大氣環(huán)流分型：緯向型（西風(fēng)），經(jīng)向型先確定典型，然后根據(jù)與“典型”的相似程度進(jìn)行類型劃分。利用相關(guān)、相似性度量，考察樣品之間的親疏關(guān)系。思路聚類分析的原則是同一類中的個體有較大的相似性，不同類中的個體差異很大。根據(jù)分類對象的不同，分為樣本聚類和變量聚類。1．樣品聚類

樣品聚類在統(tǒng)計學(xué)中又稱為Q型聚類。就是對事件Cases(或稱樣品或稱觀測量）進(jìn)行聚類。是根據(jù)被觀測的對象的各種特征，即反映被觀測對象特征的各變量值進(jìn)行分類。樣品聚類是進(jìn)行判別分析的之前的必要工作。根據(jù)樣品聚類的結(jié)果進(jìn)行判別分折。得出判別函數(shù)，進(jìn)而對其他研究對象屬于哪一類作出判斷。[例]在選拔少年運動員時首先要根據(jù)少年的身體形態(tài)、身體素質(zhì)、生理功能的各種指標(biāo)(變量)進(jìn)行測試，得到各種指標(biāo)的測試值(變量值)，據(jù)此對少年進(jìn)行分類。根據(jù)分類結(jié)果再求出選材的判別函數(shù)，作為選材的依據(jù)。又比如，可以根據(jù)啤酒中含有的酒精成分、鈉成分、熱量的“卡路里”數(shù)值對啤酒進(jìn)行分類。

應(yīng)該注意的是，不同的目的選用不同的指標(biāo)作為分類的依據(jù)。例如，對少年為選拔運動員所選用的指標(biāo)就不同于為分課外活動小組所選用的指標(biāo)，對啤酒按價格進(jìn)行分類和按成分進(jìn)行分類所選用的指標(biāo)也是不同的。2．變量聚類

變量聚類在統(tǒng)計學(xué)中又稱為R型聚類。反映同一事物特點的變量有很多，我們往往根據(jù)所研究的問題選擇部分變量對事物的某一方面進(jìn)行研究。由于人類對客觀事物的認(rèn)識是有限的，往往難以找出真正彼此獨立的有代表性的變量，而影響對問題的進(jìn)一步認(rèn)識和研究。

例如，在回歸分析中由于自變量的共線性導(dǎo)致偏回歸系數(shù)不能真正反映自變量對因變量的影響，等等。因此，往往先要進(jìn)行變量聚類，找出彼此獨立且有代表性的自變量，而又不丟失大部分信息（如主成分分析）。在生產(chǎn)活動中也有很多需要進(jìn)行變量聚類的實例：制衣業(yè)制定衣服型號就是根據(jù)人體各部分尺寸數(shù)據(jù)找出最有代表性的指標(biāo)，如身長、胸圍、褲長、腰圍等作為上衣及褲子的代表性指標(biāo)。制鞋業(yè)中制定鞋的型號也是如此。

變量聚類使批量生產(chǎn)成為可能。

無論哪種聚類分析得出的結(jié)論都是為了某種目的所做的工作，往往并非在自然界真實存在。常用的聚類方法逐步并類法：一開始，每個樣品自成一類，然后按一定的規(guī)則每次縮小一類，直到所有的樣品都成為“一類”為止。又稱為“合二為一”逐步分解法：一開始，所有樣品的全體成為一類，然后按一定的規(guī)則每次將一類分為兩類，直到無法可分為止。又稱“一分為二”。調(diào)優(yōu)法：先給定一個初始分類，按照某種最優(yōu)準(zhǔn)則，不斷調(diào)整分類，最終得到合理的分類?！?相似性度量在聚類分析中，需要對不同個體（空間點或時間點）進(jìn)行相似分析，相似的就歸為一類，客觀地度量任兩個個體的相似程度大致有下面幾種指標(biāo)：相關(guān)距離系數(shù)相似系數(shù)1.相關(guān)距離系數(shù)

用來研究要素場中不同空間點之間的相似程度。設(shè)對p個空間點的要素場，抽取n個時間點的樣本資料，那么衡量第k個與第l個空間點之間的相似程度可用相關(guān)距離系數(shù)：相關(guān)系數(shù)2.相似系數(shù)

研究要素場不同時間點之間的相似程度。衡量第i個時間點與第j個時間點之間相似程度用：where

上面的sij衡量了兩個時間點之間的相關(guān)程度，它常在Q型因子分析中用來代替兩個變量的相關(guān)系數(shù)。

在實際問題中，研究n個時間觀測點之間的相關(guān)系數(shù)沒有明顯的物理意義。因為，在計算兩時間點相關(guān)系數(shù)時，要用到空間點的平均值和方差，再加上如果變量是不同氣象要素時，在實際解釋上更為困難。雖然rkl和sij是衡量兩個空間點和時間點相關(guān)程度的，但還不能用它們作為聚類過程的相似性系數(shù)，因為一般的相似系數(shù)應(yīng)具有如下性質(zhì):其中，稱為個體A與B之間的相似系數(shù)，rkl和sij因為雖然滿足上述性質(zhì)（i），卻并不滿足性質(zhì)（ii），但是經(jīng)過7.1和7.2的變換后就滿足了。θ及α的數(shù)值變化在0到π之間，θ=0時為完全相似，θ=π時則為完全不相似。不同個體的相似系數(shù)還可以進(jìn)行相加或平均，這些在原來的rkl和sij中都是不能解釋的。IMinkovski距離(1)p=1，域塊距離（Block

distance）在聚類分析中，也可以使用距離系數(shù)進(jìn)行聚類，距離比較近的個體可以歸為一類。3.距離系數(shù)(2)p=2,歐氏距離（Euclidean距離）實際中更常用平方歐氏距離II平均距離IVMahalanobis距離IIIPearson距離上述距離系數(shù)是對時間點而言的，對空間點之間距離的度量可以類似地定義，只需將i，j換成空間點k，l即可。這些距離系數(shù)的性質(zhì)：非負(fù)性唯一性對稱性三角不等式§2

逐級歸并法1

基本原理一開始假定每一個體為獨立的一組(類)，設(shè)分析對象為空間中p個點，這樣就有p個組。

第一步要找兩個最相似的組把它們合并，得到(p-1)組。在這一步中要普查p(p-1)／2個相似系數(shù)中哪兩個最相似，最相似的兩個點的相似系數(shù)保留下來作為第一級歸并級的相似水平。

第二步把其余的組與第一步合并組進(jìn)行比較，以哪一組與它最相似為原則進(jìn)行歸并。由于相似系數(shù)具有可加性，可用平均相似系數(shù)作衡量判據(jù)。如此下去，每一次都將“最相似”(或“最近”)的兩組歸并，直到所有個體歸并為一組為止。歸并過程可制成枝形圖(或稱樹圖)?；驹?***********************空間中的p個點例:

設(shè)有p＝6個空間點的要素場，計算它們的相關(guān)陣及相關(guān)距離系數(shù)，表中上三角陣列出各點之間相關(guān)系數(shù)，下三角陣列出相關(guān)距離系數(shù)，系數(shù)以弧度為單位。從相關(guān)距離系數(shù)陣出發(fā)作逐級歸并。第一級根據(jù)相似系數(shù)最小為最相似的原則把l與2點歸為一類，其相似水平(記為α)定義為它們間的距離即為0.142。第二級考察在3，4，5，6點中哪一點與第一級的組最相似，即分別計算3*6*4*2*5*1*

其中以θ(1,2,3)為最小，故3點歸到1，2點的一類，相似水平為0.393。但比這一級距離還小的有θ56＝0.330，故實際上在這一水平下還應(yīng)有另一類，即5，6點組成的一類。第三級，余下的第4點應(yīng)歸哪一類，計算可見第4點與1，2，3點最相似，歸為一類，記此為I類；5，6點為II類。6個空間點可分為二類，分級水平為1.091．分類過程可繪成樹圖．由圖可見，若要把6個點分為三類，則1，2，3為一類，4點獨成一類，5，6點為另一類。分類水平為0.393．§3

平均權(quán)重串組法平均權(quán)重串組法與上節(jié)方法類似，只是在每一級歸并后重新考慮各組的相似系數(shù)陣。以北京1951-1956年12月-2月氣溫資料為例：研究對象是時間點（年）分類（相似系數(shù)），據(jù)7.4計算各年之間的距離陣。

第1步：在相似距離系數(shù)矩陣中找出6個時間點之間距離最小的兩個點歸為1類。在本例中，1，5點滿足這一要求，可歸為一類，這一過程稱為串組。

第2步：重新計算串組后的距離系數(shù)矩陣D（1）。做法是將已經(jīng)合并的1，5點看做時間空間中的一個新點，記為15。其與其它數(shù)據(jù)點之間的距離系數(shù)用前一步距離系數(shù)的平均值代替。例如，計算第K個點（k=2，3，4，6）與15點的新距離系數(shù)第3步：以新的相似距離系數(shù)矩陣為基礎(chǔ)，重復(fù)第2步的過程，做新的合并后，又重新計算串組后的距離系數(shù)矩陣。最后的結(jié)果是一個樹狀圖。其中的橫坐標(biāo)叫做“串組水平”。如果分為2類，則1951、1955和1953年為一類，代表氣溫是下降型；1952、1956和1954年為另一類，代表氣溫有上升趨勢類?！?最優(yōu)分割法最優(yōu)分割是有序樣本聚類分析的一種方法，可用于對某一階段氣象要素資料進(jìn)行分段，以確定不同時段的氣候特征。在對氣象要素時間序列分割中，總希望分割出的各段內(nèi)數(shù)據(jù)比較接近，而某段內(nèi)各數(shù)據(jù)的變化幅度則是用該段的方差來表示，或者用離差平方和來表示。在分割法中簡稱為變差，變差愈小表明各段數(shù)據(jù)愈接近。因此，要比較不同的分割，可以用分割后的各段變差之和作為某種分割的優(yōu)劣標(biāo)準(zhǔn)，以最小者為最優(yōu)。因此變差的計算是十分重要的。變差及其計算變差的計算設(shè)一變量的有序樣本x1，x2，…．xn，分為若干段，由第i個值到第j個值(j=1，2．…，n-1;j>i)的某段變差計算公式為區(qū)間離差平方和（1）由上式計算任意分割點i,j之間的變差,組成一變差矩陣V；（2）由矩陣V中元素計算各種可能的2分割對應(yīng)的各部分?jǐn)?shù)據(jù)的總變差；找出其中的最小值，以確定最佳分割點。最小值記為：最優(yōu)分割計算步驟

（3）由vm*(2)及V中的元素計算

在其中找出最小值，就是最優(yōu)3分割所對應(yīng)的總變差，確定它們的分割點。（4)完全類似(3)，在中找出最小值，當(dāng)m＝n時，就是n個數(shù)據(jù)的最優(yōu)k分割所對應(yīng)的總變差，由總變差的分割點確定n個數(shù)據(jù)的k分割。例子（p195）

以1961—1966年太陽黑子相對數(shù)的6個數(shù)據(jù)3分割為例來說明最優(yōu)分割方法步驟，這6個數(shù)據(jù)為：

112，54，38，28，10，15．最優(yōu)二分割：(112)(54，38，28，10，15)最優(yōu)三分割：(112)(54，38)(28，10，l5)

首先計算出變差陣V:最優(yōu)分割的顯著性檢驗SPSS應(yīng)用

當(dāng)要聚類的類數(shù)已知時，使用K-meanscluster

執(zhí)行快速聚類QuickCluster命令。

其特點是：處理速度快，占用內(nèi)存少，適合于大樣本的聚類分析。屬于樣品（case）動態(tài)聚類過程。K均值聚類法

首先要選擇用于聚類分析的變量和類數(shù)：參與聚類分析的變量必須是數(shù)值型變量，且至少要有1個。

聚類數(shù)必須大于等于2。但聚類數(shù)不能大于數(shù)據(jù)文件中的觀測量的數(shù)。為了清楚地表明各觀測量最后聚到哪一類，還應(yīng)該指定一個表明觀測量特征的變量作為標(biāo)識變量，例如編號（No.）、姓名（Name）等。

如果選擇了n個數(shù)值型變量參與聚類分析,最后要求聚類數(shù)為k。Step1:可以由系統(tǒng)首先選擇k個觀測量(也可以自己指定)作為聚類的種子，n個變量組成n維空間。每個觀測量在n維空間中是一個點。k個事先選定的觀測量就是k個聚類中心點，也稱為初始類中心。K均值聚類法步驟

Step2:按照距這幾個類中心的距離最小原則，把觀測量分派到各類中心所在的類中去，完成第一次迭代形成的k類。Step3:根據(jù)組成每一類的觀測量，計算各變量均值。每一類中的n個均值在n維空間中又形成k個點，這就是第二次迭代的類中心，按照這種方法依次迭代下去，直到達(dá)到指定的迭代次數(shù)或達(dá)到中止迭代的判據(jù)要求時，迭代停止。聚類過程結(jié)束。

注意事項：

1快速聚類分析使用的是歐氏距離平方，各變量的權(quán)重相等。如果使用其他統(tǒng)計量進(jìn)行聚類，則不能用這種方法。

2快速聚類變量必須是連續(xù)變量。如果測定變量的單位不同，應(yīng)該對聚類變量進(jìn)行標(biāo)準(zhǔn)化后，再進(jìn)行聚類，否則會得出錯誤的結(jié)論。

[例]對游泳運動員進(jìn)行分項。僅以10名運動員的三項測試數(shù)據(jù)為例。其中變量

Xl＝肩寬／髖寬×100；

X2＝胸厚／胸圍×100；

X3＝腿長／身長×100。預(yù)計按姿勢分為蝶泳、仰泳、蛙泳、自由泳4類。data13-02

（1）讀取數(shù)據(jù)。（2）按Statistics—Classify—K-meancluster順序逐一單擊，打開主對話框。

（3）指定分析變量和標(biāo)識變量。本例中標(biāo)識變量是“no”。因此,選擇主對活框中左面變量表中的“no”，使變量名移到“

LabelCasesby”框中。選據(jù)參與聚類分析的數(shù)值型變量（3個），單擊向右箭頭按鈕，使選中的變量名移到右面的“Variables:”矩形框中。（4）確定分類數(shù)系統(tǒng)默認(rèn)的分類數(shù)為2，顯示在“Numberof”后面的矩形框中。按分析要求應(yīng)該分為4類，將原數(shù)值2改為4。K-MeansClusterAnalysis主對話框

（5）選擇聚類方法在主對話標(biāo)小的“

Method”框中的兩項中可以選擇一種聚類方法。*其他參數(shù)全部選用系統(tǒng)默認(rèn)值，無需繼續(xù)操作其他按鈕或圖標(biāo)按鈕。（6）單擊按鈕“OK”，執(zhí)行QuickCluster命令。K-MeansClusterAnalysis主對話框

選擇一種聚類方法：Iterate

and

classify是默認(rèn)，聚類分析過程中不斷計算類中心，并根據(jù)結(jié)果更換類中心。Classify

only根據(jù)初始類中心進(jìn)行聚類，過程中不改變類中心。兩個二級對話框Iterate按鈕只有選擇Iterate

and

classify后才會被激活，用來指定迭代參數(shù)：系統(tǒng)默認(rèn)迭代次數(shù)為10次；或者收斂判據(jù)為0。迭代過程中滿足其中一個，迭代就停止。勾選復(fù)選框，則每個觀測量被分配到一類后即刻計算新的類中心，不選此項