市場調(diào)查教材第五講：數(shù)據(jù)分析之三（聚類分析）

第五講：數(shù)據(jù)分析之三

……聚類分析主講：梁滿發(fā)系統(tǒng)聚類分析快速聚類有序聚類其它聚類分析

例對10位應聘者做智能檢驗。3項指標X，Y和Z分別表示數(shù)學推理能力，空間想象能力和語言理解能力。其得分如下，選擇合適的統(tǒng)計方法對應聘者進行分類。應聘者12345678910X28181121262016142422Y29232223292322232927Z28181622262222242424§1什么是聚類分析我們直觀地來看，這個分類是否合理？計算4號和6號得分的離差平方和：

(21-20)2+(23-23)2+(22-22)2=1

計算1號和2號得分的離差平方和：

(28-18)2+(29-23)2+(28-18)2=236

計算1號和3號得分的離差平方和為482，由此可見一般，分類可能是合理的，歐氏距離很大的應聘者沒有被聚在一起。由此，我們的問題是如何來選擇樣品間相似的測度指標，如何將有相似性的類連接起來？

聚類分析根據(jù)一批樣品的許多觀測指標，按照一定的數(shù)學公式具體地計算一些樣品或一些參數(shù)(指標)的相似程度，把相似的樣品或指標歸為一類，把不相似的歸為一類。

例如對上市公司的經(jīng)營業(yè)績進行分類；據(jù)經(jīng)濟信息和市場行情，客觀地對不同商品、不同用戶及時地進行分類。又例如當我們對企業(yè)的經(jīng)濟效益進行評價時，建立了一個由多個指標組成的指標體系，由于信息的重疊，一些指標之間存在很強的相關性，所以需要將相似的指標聚為一類，從而達到簡化指標體系的目的。一、變量測量尺度的類型為了將樣本進行分類，就需要研究樣品之間的關系；而為了將變量進行分類，就需要研究變量之間的關系。但無論是樣品之間的關系，還是變量之間的關系，都是用變量來描述的，變量的類型不同，描述方法也就不同。通常，變量按照測量它們的尺度不同，可以分為三類。

(1)間隔尺度。指標度量時用數(shù)量來表示，其數(shù)值由測量或計數(shù)、統(tǒng)計得到，如長度、重量、收入、支出等。一般來說，計數(shù)得到的數(shù)量是離散數(shù)量，測量得到的數(shù)量是連續(xù)數(shù)量。在間隔尺度中如果存在絕對零點，又稱比例尺度。§2相似系數(shù)和距離

(2)順序尺度。指標度量時沒有明確的數(shù)量表示，只有次序關系，或雖用數(shù)量表示，但相鄰兩數(shù)值之間的差距并不相等，它只表示一個有序狀態(tài)序列。如評價酒的味道，分成好、中、次三等，三等有次序關系，但沒有數(shù)量表示。又如評價產(chǎn)品的質(zhì)量，雖可用一、二、三等來表示，但一等與二等之間、二等與三等之間的差距并不一定相等。

(3)名義尺度。指標度量時既沒有數(shù)量表示也沒有次序關系，只有一些特性狀態(tài)，如眼睛的顏色，化學中催化劑的種類等。在名義尺度中只取兩種特性狀態(tài)的變量是很重要的，如電路的開和關，天氣的有雨和無雨，人口性別的男和女，醫(yī)療診斷中的“十”和“一”，市場交易中的買和賣等都是此類變量。顯然，對于具有多個特性狀態(tài)的變量，可通過并類的方法將其轉化為二性狀態(tài)變量。

二、數(shù)據(jù)的變換處理

所謂數(shù)據(jù)變換，就是將原始數(shù)據(jù)矩陣中的每個元素，按照某種特定的運算把它變成為一個新值，而且數(shù)值的變化不依賴于原始數(shù)據(jù)集合中其它數(shù)據(jù)的新值。

1、中心化變換

中心化變換是一種坐標軸平移處理方法，它是先求出每個變量的樣本平均值，再從原始數(shù)據(jù)中減去該變量的均值，就得到中心化變換后的數(shù)據(jù)。設原始觀測數(shù)據(jù)矩陣為：中心化變換的結果是使每列數(shù)據(jù)之和均為0，即每個變量的均值為0，而且每列數(shù)據(jù)的平方和是該列變量樣本方差的(n—1)倍，任何不同兩列數(shù)據(jù)之交叉乘積是這兩列變量樣本協(xié)方差的(n—1)倍，所以這是一種很方便地計算方差與協(xié)方差的變換。

2、極差規(guī)格化變換

規(guī)格化變換是從數(shù)據(jù)矩陣的每一個變量中找出其最大值和最小值，這兩者之差稱為極差，然后從每個變量的每個原始數(shù)據(jù)中減去該變量中的最小值，再除以極差，就得到規(guī)格化數(shù)據(jù)。即有：

經(jīng)過規(guī)格化變換后，數(shù)據(jù)矩陣中每列即每個變量的最大數(shù)值為1，最小數(shù)值為0，其余數(shù)據(jù)取值均在0－1之間；并且變換后的數(shù)據(jù)都不再具有量綱，便于不同的變量之間的比較。3、標準化變換

標準化變換也是對變量的數(shù)值和量綱進行類似于規(guī)格化變換的一種數(shù)據(jù)處理方法。首先對每個變量進行中心化變換，然后用該變量的標準差進行標準化。即有：

經(jīng)過標準化變換處理后，每個變量即數(shù)據(jù)矩陣中每列數(shù)據(jù)的平均值為0，方差為1，且也不再具有量綱，同樣也便于不同變量之間的比較。變換后，數(shù)據(jù)短陣中任何兩列數(shù)據(jù)乘積之和是兩個變量相關系數(shù)的（n－1）倍，所以這是一種很方便地計算相關矩陣的變換。

4．對數(shù)變換

對數(shù)變換是將各個原始數(shù)據(jù)取對數(shù)，將原始數(shù)據(jù)的對數(shù)值作為變換后的新值。即：

三、樣品間親疏程度的測度

研究樣品或變量的親疏程度的數(shù)量指標有兩種，一種叫相似系數(shù)，性質(zhì)越接近的變量或樣品，它們的相似系數(shù)越接近于1或一l，而彼此無關的變量或樣品它們的相似系數(shù)則越接近于0，相似的為一類，不相似的為不同類；另一種叫距離，它是將每一個樣品看作p維空間的一個點，并用某種度量測量點與點之間的距離，距離較近的歸為一類，距離較遠的點應屬于不同的類。變量之間的聚類即只型聚類分析，常用相似系數(shù)來測度變量之間的親疏程度。而樣品之間的聚類即Q型聚類分析，則常用距離來測度樣品之間的親疏程度。

1、定義距離的準則

定義距離要求滿足第i個和第j個樣品之間的距離如下四個條件:2、常用距離的算法設和是第i和j個樣品的觀測值，則二者之間的距離為：明氏距離特別，歐氏距離(1)明氏距離測度

該距離的缺點明考夫斯基距離主要有以下兩個缺點：

①明氏距離的值與各指標的量綱有關，而各指標計量單位的選擇有一定的人為性和隨意性，各變量計量單位的不同不僅使此距離的實際意義難以說清，而且，任何一個變量計量單位的改變都會使此距離的數(shù)值改變從而使該距離的數(shù)值依賴于各變量計量單位的選擇。

②明氏距離的定義沒有考慮各個變量之間的相關性和重要性。實際上，明考夫斯基距離是把各個變量都同等看待，將兩個樣品在各個變量上的離差簡單地進行了綜合。(2)杰氏距離這是杰斐瑞和馬突斯塔(Jffreys8LMatusita)所定義的一種距離，其計算公式為：(3)蘭氏距離這是蘭思和維廉姆斯(LanceSLWilliams)所給定的一種距離，其計算公式為：

這是一個自身標準化的量，由于它對大的奇異值不敏感，這樣使得它特別適合于高度偏倚的數(shù)據(jù)。雖然這個距離有助于克服明氏距離的第一個缺點，但它也沒有考慮指標之間的相關性。

(4)馬氏距離這是印度著名統(tǒng)計學家馬哈拉諾比斯(P．C．’Mahalanobis)所定義的一種距離，其計算公式為：

分別表示第i個樣品和第j樣品的p指標觀測值所組成的列向量，即樣本數(shù)據(jù)矩陣中第i個和第j個行向量的轉置，表示觀測變量之間的協(xié)方差短陣。在實踐應用中，若總體協(xié)方差矩陣未知，則可用樣本協(xié)方差矩陣作為估計代替計算。馬氏距離又稱為廣義歐氏距離。顯然，馬氏距離與上述各種距離的主要不同就是馬氏距離考慮了觀測變量之間的相關性。如果假定各變量之間相互獨立，即觀測變量的協(xié)方差矩陣是對角矩陣，則馬氏距離就退化為用各個觀測指標的標準差的倒數(shù)作為權數(shù)進行加權的歐氏距離。因此，馬氏距離不僅考慮了觀測變量之間的相關性，而且也考慮到了各個觀測指標取值的差異程度，消除了各個觀測指標不同量綱的影響。這表明，馬氏距離對任何非奇異線性變換都具有不變性。為了對馬氏距離和歐氏距離進行一下比較，以便更清楚地看清二者的區(qū)別和聯(lián)系，現(xiàn)考慮一個例子。例如，假設有一個二維正態(tài)總體，它的分布為：

馬氏距離雖然考慮了觀測變量之間的相關性，并且也不受觀測變量量綱不同的影響，但是在聚類分析之前，如果用全部數(shù)據(jù)計算的均值向量和協(xié)方差矩陣來計算馬氏距離，效果并不是很好。比較合理的辦法是用各個類的樣本來計算各自的協(xié)方差矩陣，同一類樣本的馬氏距離應當用這一類的協(xié)方差短陣來計算。然而，類的形成要依賴于樣品之間的距離，反過來樣品間合理的馬氏距離又依賴于類，這就形成了一個惡性循環(huán)。因此，在實際聚類分析處理中，馬氏距離也不是理想的距離。5、斜交空間距離

由于各變量之間往往存在著不同的相關關系，用正交空間的距離來計算樣本間的距離易變形，所以可以采用斜交空間距離。

當各變量之間不相關時，斜交空間退化為歐氏距離。

四、變量間親疏程度的測度

1、準則

當對變量進行聚類時，最常見的相似系數(shù)是樣本相關系數(shù)。性質(zhì)越接近的變量，它們的相關系數(shù)的絕對值越接近1，而彼此無關的變量的相關系數(shù)則越接近0。滿足的條件：2、相似系數(shù)的算法（1）相似系數(shù)設和是第和個樣品的觀測值，則二者之間的相似測度為:其中（2）夾角余弦夾角余弦時從向量集合的角度所定義的一種測度變量之間親疏程度的相似系數(shù)。設在n維空間的向量

觀測向量在原點出的夾角的余弦，若變量之間的相關程度密切，則夾角接近0，其余弦接近1；反之接近0。五、距離和相似系數(shù)選擇的原則

一般說來，同一批數(shù)據(jù)采用不同的親疏測度指標，會得到不同的分類結果。產(chǎn)生不同結果的原因，主要是由于不同的親疏測度指標所衡量的親疏程度的實際意義不同，也就是說，不同的親疏測度指標代表了不同意義上的親疏程度。因此我們在進行聚類分析時，應注意親疏測度指標的選擇。通常，選擇親疏測度指標時，應注意遵循的基本原則主要有：(1)所選擇的親疏測度指標在實際應用中應有明確的意義。如在經(jīng)濟變量分析中，常用相關系數(shù)表示經(jīng)濟變量之間的親疏程度。

(2)親疏測度指標的選擇要綜合考慮已對樣本觀測數(shù)據(jù)實施了的變換方法和將要采用的聚類分析方法。如在標準化變換之下，夾角余弦實際上就是相關系數(shù)；又如若在進行聚類分析之前已經(jīng)對變量的相關性作了處理，則通常就可采用歐氏距離，而不必選用斜交空間距離。此外，所選擇的親疏測度指標，還須和所選用的聚類分析方法一致。如聚類方法若選用離差平方和法，則距離只能選用歐氏距離。

(3)適當?shù)乜紤]計算工作量的大小。如對大樣本的聚類問題，不適宜選擇斜交空間距離，因采用該距離處理時，計算工作量太大。樣品間或變量間親疏測度指標的選擇是一個比較復雜且?guī)е饕?guī)性的問題，我們應根據(jù)研究對象的特點作具體分折，以選擇出合適的親疏測度指標。實踐中，在開始進行聚類分析時，不妨試探性地多選擇幾個親疏測度指標，分別進行聚類，然后對聚類分析的結果進行對比分析，以確定出合適的親疏測度指標。六、類的連接方法單連接（最短距離）完全連接（最長距離）平均連接（平均距離）x21?x12?x22?x11????x11?x21??????????§3系統(tǒng)聚類方法

1、根據(jù)樣品的特征，規(guī)定樣品之間的距離，共有個。將所有列表，記為D（0）表，該表是一張對稱表。

2、選擇D（0）表中最小的非零數(shù)，不妨假設，于是將和合并為一類，記為。

3、利用遞推公式計算新類與其它類之間的距離。分別刪除D（0）表的第p，q行和第p，q列，并新增一行和一列添上的結果，產(chǎn)生D（1）表。（一）方法000（二）常用的種類

1、最短距離法設抽取五個樣品，每個樣品只有一個變量，它們是1，2，3.5，7，9。用最短距離法對5個樣品進行分類。首先采用絕對距離計算距離矩陣：

0

10

2.51.50

653.50

875.520然后和被聚為新類，得：

0

1.50

53.50

75.5202、最長距離法用最長距離法對5個樣品進行分類。首先采用絕對距離計算距離矩陣：

0

10

2.51.50

653.50

875.520然后和被聚為新類，得：

0

2.50

63.50

85.520

0

10

6.252.250

362512.250

644930.2540用中間距離法對5個樣品進行分類。首先采用絕對距離計算距離平方矩陣：

3、中間距離法

0

40

30.2512.250

56.2530.2540

4、類平均法類平均法定義類間的距離是兩類間樣品的距離的平均數(shù)。

0

10

6.252.250

362512.250

644930.2540然后和被聚為新類，得：

0

4.250

30.2512.250

56.2530.2540

5、可變類平均法

類平均法的遞推公式中，沒有反映Gp類和Gq類的距離有多大，進一步將其改進，加入D2Pq，并給定系數(shù)<1，則類平均法的遞推公式改為：

用此遞推公式進行聚類就是可變類平均法。6、離差平方和法

如和為一類，則離差平方和

如和為一類，則離差平方和

和被聚為新類，重心為

類似于方差分析的想法，如果類分得恰當，同類內(nèi)的樣品之間的離差平方和應較小，而類間的離差平方和應當較大。

離差平方和法的思路是，當k固定時，選擇使S達到最小的分類。先讓n個樣品各自成一類，然后縮小一類，每縮小一類離差平方和就要增大，選擇使S2增加最小的兩類合并，直到所有的樣品歸為一類為止。離差平方和法定義類間的平方距離為

0

0.50

3.1251.1250

1812.506.1250

3224.5015.12520其中是由Gp和Gq合并成的Gr類的類內(nèi)離差平方和?？梢宰C明離差平方和的聚類公式為7、可變方法

如果讓中間距離法的遞推公式前兩項的系數(shù)也依賴于，則遞推公式為：

用上式作為遞推公式的系統(tǒng)聚類法稱為可變法。8、重心法用重心法對5個樣品進行分類。首先采用絕對距離計算距離平方矩陣：

0

10

6.252.250

362512.250

644930.2540

重心法，也稱為樣品的均值法。設Gp和Gq

為兩個類分別為Gp和Gq的重心，類與類之間的距離定義為兩個類重心（類內(nèi)樣品平均值）間的平方距離。G4和G6的距離為設某一步Gp和Gq的重心分別為為和，類內(nèi)的樣品數(shù)分別為和，如果要把Gp和Gq合并為Gr類，則Gr類的樣品數(shù)nr=np+nq，Gr類的重心為和的加權算術平均數(shù)：遞推公式為：（三）確定類的個數(shù)

在聚類分析過程中類的個數(shù)如何來確定才合適呢？這是一個十分困難的問題，人們至今仍未找到令人滿意的方法。但是這個問題又是不可回避的。下面我們介紹幾種方法。

1、給定閾值——通過觀測聚類圖，給出一個合適的閾值T。要求類與類之間的距離不要超過T值。例如我們給定T=0.35，當聚類時，類間的距離已經(jīng)超過了0.35，則聚類結束?？傠x差平方和的分解（準備知識）如果著些樣品被分成兩類可以證明：總離差平方和＝組內(nèi)離差平方和＋組間離差平方和令T為總離差平方和令PG為分為G類的組內(nèi)離差平方和。

2、統(tǒng)計量其中T是數(shù)據(jù)的總離差平方和，是組內(nèi)離差平方和。比較大，說明分G個類時類內(nèi)的離差平方和比較小，也就是說分G類是合適的。但是，分類越多，每個類的類內(nèi)的離差平方和就越小，也就越大；所以我們只能取合適的G，使得足夠大，而G本生很小，隨著G的增加，的增幅不大。比如，假定分4類時，=0.8；下一次合并分三類時，下降了許多，=0.32，則分4類是合適的。

3、偽F統(tǒng)計量的定義為偽F統(tǒng)計量用于評價聚為G類的效果。如果聚類的效果好，類間的離差平方和相對于類內(nèi)的離差平方和大，所以應該取偽F統(tǒng)計量較大而類數(shù)較小的聚類水平。

PseudoFStatistic0102030405060708090100110120NumberofClusters123456789101112131415161718194、偽統(tǒng)計量的定義為其中和分別是的類內(nèi)離差平方和，是將K和L合并為第M類的離差平方和

=--為合并導致的類內(nèi)離差平方和的增量。用它評價合并第K和L類的效果，偽統(tǒng)計量大說明不應該合并這兩類，應該取合并前的水平。五、系統(tǒng)聚類法的基本性質(zhì)（一）單調(diào)性在聚類分析過程中，并類距離分別為l

k（k=1，2，3，…）若滿足，則稱該聚類方法具有單調(diào)性?？梢宰C明除了重心法和中間距離法之外，其他的系統(tǒng)聚類法均滿足單調(diào)性的條件。（二）空間的濃縮和擴張

1、定義矩陣的大小設同階矩陣D（A）和D（B），如果D（A）的每一個元素不小于D（B）的每一個元素，則記為。

2、空間的濃縮和擴張設有兩種系統(tǒng)聚類法A和B，他們在第i步的距離矩陣分別為Ai和Bi（I=1，2，3…），若Ai>Bi

，則稱第一種方法A比第二種方法B使空間擴張，或第二種方法比第一種方法濃縮。

3、方法的比較

D（短）D（平），D（重）D（平）；

D（長）D（平）；當，D（變平）D（平）；當，D（變平）D（平）。

六、主要的步驟1、選擇變量（1）和聚類分析的目的密切相關（2）反映要分類變量的特征（3）在不同研究對象上的值有明顯的差異（4）變量之間不能高度相關2、計算相似性相似性是聚類分析中的基本概念，他反映了研究對象之間的親疏程度，聚類分析就是根據(jù)對象之間的相似性來分類的。有很多刻畫相似性的測度

3、聚類選定了聚類的變量，計算出樣品或指標之間的相似程度后，構成了一個相似程度的矩陣。這時主要涉及兩個問題：（1）選擇聚類的方法（2）確定形成的類數(shù)4、聚類結果的解釋和證實

對聚類結果進行解釋是希望對各個類的特征進行準確的描述，給每類起一個合適的名稱。這一步可以借助各種描述性統(tǒng)計量進行分析，通常的做法是計算各類在各聚類變量上的均值，對均值進行比較，還可以解釋各類產(chǎn)別的原因。

如果是變量聚類分析，聚類分析做完之后，各類中仍有較多的指標。也就是說聚類分析并沒有達到降維的目的。這就需要在每類中選出一個代表指標，具體做法是：假設某類中有個指標，首先分別計算類內(nèi)指標之間的相關指數(shù)，然后計算某個指標與類內(nèi)其他指標之間相關指數(shù)的平均數(shù)，即

取最大的，做為該類的代表。例某公司下屬30個企業(yè)，公司為了考核下屬企業(yè)的經(jīng)濟效益，設計了8個指標。為了避免重復，需要對這8個指標進行篩選，建立一個恰當?shù)慕?jīng)濟效益指標體系。通過計算30個企業(yè)8個指標的相關系數(shù)距離，數(shù)據(jù)是1-r2。得如下表:

x1x2

x3

x4x5

x6

x7

x8

x10

0.600

0.430.460

0.470.450.120

0.570.450.230.220

0.380.400.210.290.220

0.310.790.650.700.800.660

0.450.450.270.230.140.190.770試用將它們聚類。x2

x3x4x5

x6

x7

x8根據(jù)美國等20個國家和地區(qū)的信息基礎設施的發(fā)展狀況進行分類。Call—每千人擁有的電話線數(shù)；movel—每千人戶居民擁有的蜂窩移動電話數(shù)；fee—高峰時期每三分鐘國際電話的成本；comp—每千人擁有的計算機數(shù)；mips—每千人計算機功率（每秒百萬指令）；

net—每千人互聯(lián)網(wǎng)絡戶主數(shù)。

國家callmovel

fee

comp

mips

netmeiguo631.6161.90.364032607335.34riben498.4143.23.57176102236.26deguo557.670.60284ruidian684.1281.81.42461666029.39ruishi64493.51.982341362122.68xinjiapo498.4147.52.52841357813.49taiwan469.456.13.6811969111.72hanguo434.5733.369957951.66baxi81.916.33.02198760.52zhili138.68.201.43114111.28moxige92.29.82.613117510.35eluosi174.955.122411010.48bolan1696.53.684017961.45xiongyali262.249.42.666830673.09malaixiya195.588.44.195327341.25taiguo78.627.84.952216620.11yindu13.60.306.2821010.01faguo559.142.91.27201117024.76yingguo521.10122.50.982481446111.91PseudoFStatistic0102030405060708090100110120NumberofClusters12345678910111213141516171819§2動態(tài)聚類一、思想 系統(tǒng)聚類法是一種比較成功的聚類方法。然而當樣本點數(shù)量十分龐大時，則是一件非常繁重的工作，且聚類的計算速度也比較慢。比如在市場抽樣調(diào)查中，有4萬人就其對衣著的偏好作了回答，希望能迅速將他們分為幾類。這時，采用系統(tǒng)聚類法就很困難，而動態(tài)聚類法就會顯得方便，適用。動態(tài)聚類解決的問題是：假如有個樣本點，要把它們分為類，使得每一類內(nèi)的元素都是聚合的，并且類與類之間還能很好地區(qū)別開。動態(tài)聚類使用于大型數(shù)據(jù)。選擇凝聚點分類修改分類分類是否合理分類結束YesNo用一個簡單的例子來說明動態(tài)聚類法的工作過程。例如我們要把圖中的點分成兩類?？焖倬垲惖牟襟E：

1、隨機選取兩個點和作為聚核。

2、對于任何點，分別計算

3、若，則將劃為第一類，否則劃給第二類。于是得圖（b）的兩個類。

4、分別計算兩個類的重心，則得和，以其為新的聚核，對空間中的點進行重新分類，得到新分類。（a）空間的群點(b)任取兩個聚核

(c)第一次分類(d)求各類中心

(e)第二次分類二、選擇凝聚點和確定初始分類凝聚點就是一批有代表性的點，是欲形成類的中心。凝聚點的選擇直接決定初始分類，對分類結果也有很大的影響，由于凝聚點的不同選擇，其最終分類結果也將出現(xiàn)不同。故選擇時要慎重．通常選擇凝聚點的方法有：

(1)人為選擇，當人們對所欲分類的問題有一定了解時，根據(jù)經(jīng)驗，預先確定分類個數(shù)和初始分類，并從每一類中選擇一個有代表性的樣品作為凝聚點。

(2)將數(shù)據(jù)人為地分為A類，計算每一類的重心，就將這些重心作為凝聚點。

(3)用密度法選擇凝聚點：以某個正數(shù)d為半徑，以每個樣品為球心，落在這個球內(nèi)的樣品數(shù)(不包括作為球心的樣品)就叫做這個樣品的密度。計算所有樣品點的密度后，首先選擇密度最大的樣品作為第一凝聚點，并且人為地確定一個正數(shù)D(一般D＞d，常取D＝2d)。然后選出次大密度的樣品點，若它與第一個凝聚點的距離大于D，則將其作為第二個凝聚點；否則舍去這點，再選密度次于它的樣品。這樣，按密度大小依次考查，直至全部樣品考查完畢為止．此方法中，d要給的合適，太大了使凝聚點個數(shù)太少，太小了使凝聚點個數(shù)太多。

(5)隨機地選擇，如果對樣品的性質(zhì)毫無所知，可采用隨機數(shù)表來選擇，打算分幾類就選幾個凝聚點?；蛘呔陀们癆個樣品作為凝聚點(假設分A類)。這方法一般不提倡使用。

(4)人為地選擇一正數(shù)d，首先以所有樣品的均值作為第一凝聚點。然后依次考察每個樣品，若某樣品與已選定的凝聚點的距離均大于d，該樣品作為新的凝聚點，否則考察下一個樣品。確定初始分類常用的方法有：

(1)人為分類，憑經(jīng)驗將樣品進行初步分類．

(2)選擇凝聚點后，每個樣品按與其距離最近的凝聚點歸類。

(3)選擇一批凝聚點后，每個凝聚點自成一類，將樣品依次歸入其距離最近的凝聚點所在的類，并重新計算該類的重心，以代替原來的凝聚點，再考慮下一個樣品的歸類，直至所有樣品都歸類為止．

(4)用某種聚類方法得到一個分類，這個分類就可作為初始分類．當樣本量大時，有時只用部分樣品按某種聚類方法進行分類．用每類重心作為凝聚點，再用(2)或(3)的方法對全部樣品歸類后得到初始分類．三、衡量聚類結果的合理性指標和算法終止的標準

定義設表示在第n次聚類后得到的第i類集合，，為第n次聚類所得到的聚核。定義

若分類不合理時，會很大，隨著分類的過程，逐漸下降，并趨于穩(wěn)定。定義第i類中所有元素與其重心的距離的平方和:

是事前給定的一個充分小量。為所有K個類中所有元素與其重心的距離的平方和。算法終止的標準是五、動態(tài)聚類步驟為：第一，選擇若干個觀測值點為“凝聚點”；第二，可選擇地，通過分配每個“凝聚點”最近的類里來形成臨時分類。每一次對一個觀測值點進行歸類，“凝聚點”更新為這一類目前的均值；第三，可選擇地，通過分配每個“凝聚點”最近的類里來形成臨時分類。所有的觀測值點分配完后，這些類的“凝聚點”用臨時類的均值代替。該步驟可以一直進行直到“凝聚點”的改變很小或為零時止；第四，最終的分類有分配每一個觀測到最近的“凝聚點”而形成。例我國經(jīng)濟發(fā)展的總目標是到2000年人民生活達到小康標準，因此，了解各地區(qū)目前對小康生活質(zhì)量的實現(xiàn)程度。對各地區(qū)實現(xiàn)小康生活質(zhì)量的狀況進行綜合評價，對各級政府部門具有重要意義。數(shù)據(jù)是1990年全國30個省在經(jīng)濟（jj）、教育（jy）、健康（jk）和居住環(huán)境（jz）四個方面對小康標準已經(jīng)實現(xiàn)的程度，1表示已經(jīng)達到或超過小康水平，0表示低于或多或少剛達到溫飽水平。希望利用該數(shù)據(jù)對15個地區(qū)進行分類研究。

jjjyjkjz類別距離beijngsh0.72580.94131.00000.500010.29550anghai0.53460.98481.00000.500010.14909

tianjin0.32460.97331.00000.500010.16173henna0.23010.46211.00001.000020.22252

zhejiang0.50250.23741.00000.888220.34448

jilin0.34460.77550.82800.500010.18212

helongji0.28910.78350.80800.500010.22322

fujian0.14060.35241.00000.710220.27468

guangxi0.09390.64980.44351.000020.51560

anhui0.11040.08021.00000.954520.34050

ningxia0.27080.31270.54250.905320.29445

hunan0.06180.56870.43850.500030.41704

jiangxi0.05490.30420.35200.615530.15540Qinghai0.07510.01180.00000.825830.37720

Guizhou0.02860.06000.05900.500030.25968

四、有序樣本聚類法

（一）功能范疇與數(shù)據(jù)類型有序樣本聚類法又稱為最優(yōu)分段法。該方法是由費歇在1958年提出的。它主要適用于樣本由一個變量描述的情況。或者將多變量綜合成為一個變量來分析。設是樣本點構成的集合，樣本點在函數(shù)上的取值為。若，則將視為一類。不妨假設。要將分為類；即，分類時不能打亂樣本點的順序，即每一類必須呈的形式，即有序樣本聚類。系統(tǒng)聚類開始n個樣品各自自成一類，然后逐步并類，直至所有的樣品被聚為一類為止。而有序聚類則相反，開始所有的樣品為一類，然后分為二類、三類等，直到分成n類。每次分類都要求產(chǎn)生的離差平方和的增量最小。例這里n=4，m=3。若將其分為兩類，其結果應該是對應中的點是。有序樣本聚類法常常被用于系統(tǒng)的評估問題，被用來對樣本點進行分類劃級。例如，十二個地區(qū)的經(jīng)濟發(fā)展指數(shù)，排列出來以后，需要劃分他們的等級。一種方法是按照行政命令。規(guī)定三個經(jīng)濟發(fā)達地區(qū)，四個中等發(fā)達的地區(qū)，三個一般地區(qū)，兩個發(fā)展較差地區(qū)。這種行政上的規(guī)定往往是不客觀、不合理的。合理的分類應該把發(fā)展情況最近似的地區(qū)劃入同一類。這就是有序樣本聚類的工作思路。（二）有序聚類的步驟

設有序樣品x(1),x(2),…,x(n)。

1、定義類的直徑設某類G中包含的樣品有

該類的均值向量為用D(i,j)表示這一類的直徑，常用的直徑有：當是單變量的時，也可以定義直徑為：2、定義分類的損失函數(shù)用b(n,k)表示將n個有序的樣品分為k類的某種分法：定義這種分類法的損失函數(shù)為

3、L[b(n,k)]的遞推公式當n和k固定時，L[b(n,k)]越小表示各類的離差平方和越小，分類是合理的。因此要尋找一種分法b(n,k)，使分類損失函數(shù)L[b(n,k)]達到最小。記該分法為p[n,k]。以上的兩個公式的含義是，如果要找到n個樣品分為k個類的最優(yōu)分割，應建立在將j-1（j＝2,3,…,n)個樣品分為k-1類的最優(yōu)分割的基礎上