多元統(tǒng)計(jì)課件：聚類分析

?

§3.1?

§3.2?

§3.3?

§3.4?

§3.5

聚類分析聚類分析的基本思想

相似性度量類和類的特征系統(tǒng)聚類法模糊聚類分析?

§3.6

K-均值聚類和有序樣本聚類?

§3.7?

§3.8計(jì)算步驟與上機(jī)實(shí)現(xiàn)

社會經(jīng)濟(jì)案例研究1

聚類分析?

聚類分析將個(gè)體或?qū)ο蠓诸悾沟猛?/p>

類中的對象之間的相似性比與其他類的

對象的相似性更強(qiáng)。目的在于使類間對

象的同質(zhì)性最大化和類與類間對象的異

質(zhì)性最大化。本章將介紹聚類分析的性

質(zhì)和目的，并且引導(dǎo)研究者使用各種聚

類分析方法。2目錄

上頁

下頁

返回

結(jié)束§3.1聚類分析的基本思想?

3.1.1

導(dǎo)言?

在古老的分類學(xué)中，人們主要靠經(jīng)驗(yàn)和專業(yè)知識，

很少利用統(tǒng)計(jì)方法。隨著生產(chǎn)技術(shù)和科學(xué)的發(fā)展，

分類越來越細(xì)，以致有時(shí)僅憑經(jīng)驗(yàn)和專業(yè)知識還

不能進(jìn)行確切分類，于是統(tǒng)計(jì)這個(gè)有用的工具逐

漸被引進(jìn)到分類學(xué)中，形成了數(shù)值分類學(xué)。近些

年來，數(shù)理統(tǒng)計(jì)的多元分析方法有了迅速的發(fā)展，

多元分析的技術(shù)自然被引用到分類學(xué)中，于是從

數(shù)值分類學(xué)中逐漸的分離出聚類分析這個(gè)新的分

支。數(shù)據(jù)挖掘、大數(shù)據(jù)中數(shù)據(jù)處理方法更是有聚

類方法。3目錄

上頁

下頁

返回

結(jié)束?

我們認(rèn)為，所研究的樣品或指標(biāo)（變量）之間是存在

著程度不同的相似性（親疏關(guān)系）。于是根據(jù)一批樣

品的多個(gè)觀測指標(biāo)，具體找出一些能夠度量樣品或指

標(biāo)之間的相似程度的統(tǒng)計(jì)量，以這些統(tǒng)計(jì)量為劃分類

型的依據(jù)，把一些相似程度較大的樣品（或指標(biāo)）聚

合為一類，把另外一些彼此之間相似程度較大的樣品

（或指標(biāo)）又聚合為另外一類，…。關(guān)系密切的聚合

到一個(gè)小的分類單位，關(guān)系疏遠(yuǎn)的聚合到一個(gè)大的分

類單位，直到把所有的樣品（或指標(biāo)）都聚合完畢，

把不同的類型一一劃分出來，形成一個(gè)由小到大的分

類系統(tǒng)。最后再把整個(gè)分類系統(tǒng)畫成一張分群圖（又

稱譜系圖），用它把所有的樣品（或指標(biāo)）間的親疏

關(guān)系表示出來。4目錄

上頁

下頁

返回

結(jié)束§3.1聚類分析的思想?

聚類分析可以用來對樣品進(jìn)行分類，也可以用來

對變量進(jìn)行分類。?

對樣品的分類常稱為Q型聚類分析，對變量的分類

常稱為R型聚類分析。?

與多元分析的其他方法相比，聚類分析的方法是

很粗糙的，理論上還不完善，但由于它能解決許

多實(shí)際問題，很受人們的重視，和回歸分析、判

別分析一起被稱為多元分析的三大方法。5目錄

上頁

下頁

返回

結(jié)束?

3.1.2

聚類的目的?

在一些社會、經(jīng)濟(jì)問題中，我們面臨的往往是比較

復(fù)雜的研究對象，如果能把相似的樣品（或指標(biāo)）

歸成類，處理起來就大為方便，聚類分析的目的就

是把相似的研究對象歸成類。?

【例3.1】若我們需要將下列11戶城鎮(zhèn)居民按戶主

個(gè)人的收入進(jìn)行分類，對每戶作了如下的統(tǒng)計(jì)，結(jié)

果列于表3.1。在表中，“標(biāo)準(zhǔn)工資收入”

、“職

工獎金”

、“職工津貼”

、“性別”

、“就業(yè)

身份”等稱為指標(biāo)，每戶稱為樣品。若對戶主進(jìn)行

分類，還可以采用其他指標(biāo)，如“子女個(gè)數(shù)”

、

“政治面貌”

等，指標(biāo)如何選擇取決于聚類的目的。6目錄

上頁

下頁

返回

結(jié)束7目錄

上頁

下頁

返回

結(jié)束?????例3.1中的8個(gè)指標(biāo)，前6個(gè)是定量的，后2個(gè)是定性

的。如果分得更細(xì)一些，指標(biāo)的類型有三種尺度

間隔尺度。變量用連續(xù)的量來表示。有序尺度。指標(biāo)用有序的等級來表示，有次序關(guān)系

，但沒有數(shù)量表示。名義尺度。指標(biāo)用一些類來表示，這些類之間沒有

等級關(guān)系也沒有數(shù)量關(guān)系。不同類型的指標(biāo)，在聚類分析中，處理的方式是大

不一樣的。總的來說，提供給間隔尺度的指標(biāo)的方

法較多，對另兩種尺度的變量處理的方法不多。8目錄

上頁

下頁

返回

結(jié)束?

聚類分析根據(jù)實(shí)際的需要可能有兩個(gè)方向，一

是對樣品（如例3.1中的戶主），一是對指標(biāo)聚

類。?

第一位重要的問題是“什么是類”？粗糙地講

，相似樣品（或指標(biāo)）的集合稱作類。由于經(jīng)

濟(jì)問題的復(fù)雜性，欲給類下一個(gè)嚴(yán)格的定義是

困難的，在§3.2中，我們將給類一些待探討的

定義。?

聚類分析給人們提供了豐富多采的方法進(jìn)行分

類，這些方法大致可歸納為：(1)

系統(tǒng)聚類法

。(2)模糊聚類法。(3)

K-均值法。(4)

有序樣

品的聚類。(5)

分解法。(6)

加入法。9目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量?

從一組復(fù)雜數(shù)據(jù)產(chǎn)生一個(gè)相當(dāng)簡單的類結(jié)構(gòu)，必然

要求進(jìn)行“相關(guān)性”或“相似性“度量。在相似性

度量的選擇中，常常包含許多主觀上的考慮，但是

最重要的考慮是指標(biāo)（包括離散的、連續(xù)的）性質(zhì)

或觀測的尺度（名義的、次序的、間隔的和比率的

）以及有關(guān)的知識。?

當(dāng)對樣品進(jìn)行聚類時(shí)，“靠近”往往由某種距離來

刻畫。另一方面，當(dāng)對指標(biāo)聚類時(shí)，根據(jù)相關(guān)系數(shù)

或某種關(guān)聯(lián)性度量來聚類。10目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量11目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量12目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量13目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量（1）當(dāng)各指標(biāo)的測量值相差懸殊時(shí)，先對

數(shù)據(jù)標(biāo)準(zhǔn)化，然后用標(biāo)準(zhǔn)化后的數(shù)據(jù)計(jì)

算距離，即蘭氏距離。（2）一種改進(jìn)的距離就是在前面曾討論過

的馬氏距離，它對一切線性變換是不變

的，不受指標(biāo)量綱的影響。它對指標(biāo)的

相關(guān)性也作了考慮，我們僅用一個(gè)例子

來說明。14目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量15目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量16目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量以上幾種距離均是適用于間隔尺度的變量，如果

指標(biāo)是有序尺度或名義尺度時(shí)也有一些定義距離

的方法。17目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量?

定義距離的較靈活的思想方法。?

【例3.3】

歐洲各國的語言有許多相似之處，有的十分相

似。為了研究這些語言的歷史關(guān)系，也許通過比較它們數(shù)

字的表達(dá)比較恰當(dāng)。表3.3列舉了英語、挪威語、丹麥語、

荷蘭語、德語、法語、西班牙語、意大利語、波蘭語、匈

牙利語和芬蘭語的1，2，…，10的拼法，希望計(jì)算這11種

語言之間的距離。18目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量?

顯然，此例無法直接用上述公式來計(jì)算距離，仔細(xì)觀察表

3.3，發(fā)現(xiàn)前三種文字（英、挪、丹）很相似，尤其每個(gè)單

詞的第一個(gè)字母，于是產(chǎn)生一種定義距離的辦法：用兩種

語言的10個(gè)數(shù)詞中的第一個(gè)字母不相同的個(gè)數(shù)來定義兩種

語言之間的距離，例如英語和挪威語中只有1和8的第一個(gè)

字母不同，故它們之間的距離為2。十一種語言之間兩兩的

距離列于表3.4中。19目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量20目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量對于間隔尺度，常用的相似系數(shù)有：(1)

夾角余弦。這是受相似形的啟發(fā)而來，圖3.1中的曲

線AB和CD盡管長度不一，但形狀相似，當(dāng)長度不是主要矛

盾時(shí)，應(yīng)定義一種相似系數(shù)使AB和CD呈現(xiàn)出比較密切的關(guān)

系。而夾角余弦適合這一要求。21目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量22目錄

上頁

下頁

返回

結(jié)束§3.2相似性度量(2)

相關(guān)系數(shù)。這是大家最熟悉的統(tǒng)計(jì)量，它

是將數(shù)據(jù)標(biāo)準(zhǔn)化后的夾角余弦。有時(shí)指標(biāo)之間也可用距離來描述它們的接近程度。

實(shí)際上距離和相似系數(shù)之間可以互相轉(zhuǎn)化，23目錄

上頁

下頁

返回

結(jié)束§

3.3類和類的特征目的是聚類，那么什么叫類呢？由于客觀事物的千

差萬別，在不同的問題中類的含義是不盡相同的。

給類下一個(gè)嚴(yán)格的定義，決非易事。下面給出類的適用于不同的場合幾個(gè)定義。閾24目錄

上頁

下頁

返回

結(jié)束§

3.3閾類和類的特征閾25目錄

上頁

下頁

返回

結(jié)束閾§

3.3類和類的特征易見，定義3.1的要求是最高的，凡符合它的類，

一定也是后三種定義的類。此外，凡符合定義3.2

的類，也一定是定義3.3的類。26目錄

上頁

下頁

返回

結(jié)束§

3.3類和類的特征L27目錄

上頁

下頁

返回

結(jié)束§

3.3類和類的特征在聚類分析中，不僅要考慮各個(gè)類的特征，而

且要計(jì)算類與類之間的距離。由于類的形狀是

多種多樣的，所以類與類之間的距離也有多種

計(jì)算方法。28目錄

上頁

下頁

返回

結(jié)束§

3.3類和類的特征(1)

最短距離法。(nearest

neighbor或single

linkage

method)29目錄

上頁

下頁

返回

結(jié)束§

3.3類和類的特征(2)

最長距離法（farthest

neighbor或complete

linkage

method）。30目錄

上頁

下頁

返回

結(jié)束§

3.3類和類的特征(3)

類平均法(group

average

method)。31目錄

上頁

下頁

返回

結(jié)束2§

3.3類和類的特征(4)

重心法(Centroid

method)。(5)

離差平方和法（Sum

of

Squares

method）。GDw

(

p

,

q

)

=

D

p

+

q

?

D

p

?

Dq32目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法系統(tǒng)聚類法(hierarchical

clustering

method)在聚類分析

中諸方法中用的最多，包含下列步驟：133目錄

上頁

下頁

返回

結(jié)束§3.4

系統(tǒng)聚類法不同的距離定義方式用到系統(tǒng)聚類程序中，得到

不同的系統(tǒng)聚類法。我們現(xiàn)在通過一個(gè)簡單的例

子，來說明各種系統(tǒng)聚類法?！纠?.4】

為了研究遼寧等5省份2000年城鎮(zhèn)居民

消費(fèi)支出的分布規(guī)律，根據(jù)調(diào)查資料作類型劃分。

指標(biāo)名稱及原始數(shù)據(jù)見表3.5。資料來源[10]34目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法35目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法3.4.1

最短距離法和最長距離法所謂最短距離法就是類與類之間的距離采用(3.12)的

系統(tǒng)聚類方法。36目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法37目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法38目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法39目錄

上頁

下頁

返回

結(jié)束閾§3.4系統(tǒng)聚類法40目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法所謂最長距離法是類與類之間的距離采用（3.13）的系

統(tǒng)聚類法。選擇最大的距離作為新類與其他類之間的距

離，然后將類間距離最小的兩類進(jìn)行合并，一直合并到

只有一類為止。上述兩方法中，主要的不同是計(jì)算新類與其他類的距離

的遞推公式不同。41目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法最短距離法也可用于對指標(biāo)的分類，分類時(shí)可以用距

離也可以用相似系數(shù)。但用相似系數(shù)時(shí)應(yīng)找最大的元

素并類，計(jì)算新類與其他類的距離應(yīng)使用公式(3.19)。最短距離法的主要缺點(diǎn)是它有鏈接聚合的趨勢，因?yàn)?/p>

類與類之間的距離為所有距離中的最短者，兩類合并

以后，它與其他類的距離縮小了，這樣容易形成一個(gè)

比較大的類，大部分樣品都被聚在一類中，在樹狀聚

類圖中，會看到一個(gè)延伸的鏈狀結(jié)構(gòu)，所以最短距離

法的聚類效果并不好，實(shí)際中不提倡使用。42目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法最長距離法克服了最短距離法鏈接聚合的缺陷，兩

類合并以后與其他類的距離是原來兩個(gè)類中的距離

最大者，加大了合并后的類與其他類的距離。本例中最短距離法與最長距離法得到的結(jié)果是相

同的。43目錄

上頁

下頁

返回

結(jié)束3-7圖最長距離法的譜系

聚類圖§3.4系統(tǒng)聚類法3.4.2

重心法和類平均法從物理的觀點(diǎn)看，一個(gè)類用它的重心（該類樣品的

均值）做代表比較合理，類與類之間的距離就

用重心之間的距離來代表。44目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法重心法雖有很好的代表性，但并未充分利用各樣

本的信息，有人建議將兩類之間的距離平方定義

為這兩類元素兩兩之間的平均平方距離，即類平

均法。類平均法是聚類效果較好、應(yīng)用比較廣泛的一種

聚類方法。它有兩種形式，一種是組間聯(lián)結(jié)法

（Between-groups

linkage），另一種是組內(nèi)聯(lián)結(jié)

法（Within-groups

linkage）。組間聯(lián)結(jié)法在計(jì)算

距離時(shí)只考慮兩類之間樣品之間距離的平均，組

內(nèi)聯(lián)結(jié)法在計(jì)算距離時(shí)把兩組所有樣品之間的距

離都考慮在內(nèi)。45目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法46目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法3.4.3

離差平方和法（或稱Ward方法）離差平方和方法是由Ward提出來的，許多資料上稱

做Ward法。他的思想是來于方差分析，如果類分得

正確，同類樣品的離差平方和應(yīng)當(dāng)較小，類與類之

間的離差平方和應(yīng)當(dāng)較大。47目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法48目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法離差平方和法放棄了在一切分類中求的極小值的

要求，而是設(shè)計(jì)出某種規(guī)格：找到一個(gè)局部最優(yōu)

解，Ward法就是找局部最優(yōu)解的一個(gè)方法。

其思想是先將n個(gè)樣品各自成一類，然后每次縮小

一類，每縮小一類離差平方和就要增大，選擇使

增加最小的兩類合并，直到所有的樣品歸為一類

為止。49目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法3.4.4

分類數(shù)的確定如何選擇分類數(shù)是各種聚類方法中的主要問題之一。

在K均值聚類法中聚類之前需要指定分類數(shù)，譜系聚

類法（系統(tǒng)聚類法）中我們最終得到的只是一個(gè)樹狀

結(jié)構(gòu)圖，從圖中可以看出存在很多類，但問題是如何

確定類的最佳個(gè)數(shù)。確定分類數(shù)的問題是聚類分析中迄今為止尚未完全解

決的問題之一，主要的障礙是對類的結(jié)構(gòu)和內(nèi)容很難

給出一個(gè)統(tǒng)一的定義，這樣就給不出從理論上和實(shí)踐

中都可行的虛無假設(shè)。實(shí)際應(yīng)用中人們主要根據(jù)研究的目的，從實(shí)用的角度

出發(fā)，選擇合適的分類數(shù)。50目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法Demir-men曾提出了根據(jù)樹狀結(jié)構(gòu)圖來分類的準(zhǔn)則：準(zhǔn)則1：任何類都必須在鄰近各類中是突出的，即各類重心

之間距離必須大。準(zhǔn)則2：各類所包含的元素都不要過分地多。準(zhǔn)則3：分類的數(shù)目應(yīng)該符合使用的目的。準(zhǔn)則4：若采用幾種不同的聚類方法處理，則在各自的聚類

圖上應(yīng)發(fā)現(xiàn)相同的類。系統(tǒng)聚類中每次合并的類與類之間的距離也可以作為確定類

數(shù)的一個(gè)輔助工具。首先把離得近的類合并，在并類過程中

聚合系數(shù)呈增加趨勢，聚合系數(shù)小，表示合并的兩類的相似

程度較大，兩個(gè)差異很大的類合到一起，會使該系數(shù)很大。

如果以y軸為聚合系數(shù)，x軸表示分類數(shù)，畫出聚合系數(shù)隨分

類數(shù)的變化曲線，會得到類似于因子分析中的碎石圖，可以

在曲線開始變得平緩的點(diǎn)選擇合適的分類數(shù)。51目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法3.4.5

系統(tǒng)聚類法的統(tǒng)一上面介紹的五種系統(tǒng)聚類法，并類的原則和步驟是完全

一樣的，所不同的是類與類之間的距離有不同的定

義，從而得到不同的遞推公式，如果能將它們統(tǒng)一

為一個(gè)公式，將大大有利于編制計(jì)算機(jī)程序。

Lance和Williams于1967年給出了一個(gè)統(tǒng)一的公式52目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法一般而言，不同的方法聚類的結(jié)果不完全相同。

最短距離法適用于條形的類。最長距離法、重心

法、類平均法、離差平方和法適用于橢圓形的

類。

.53目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法由于上述的聚類方法得到的結(jié)果是不完全相同的。

于是產(chǎn)生一個(gè)問題：我們應(yīng)當(dāng)選擇哪一個(gè)結(jié)果為

好？為了解決這個(gè)問題，需要研究系統(tǒng)聚類法的

性質(zhì)，現(xiàn)簡要介紹如下。54目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法55目錄

上頁

下頁

返回

結(jié)束§3.4系統(tǒng)聚類法系統(tǒng)聚類法的性質(zhì)，還可從其他角度提出了比較

優(yōu)與劣的原則。將n個(gè)樣品，欲分為k類，有人定

義一個(gè)分類函數(shù)（或叫損失函數(shù)），然后尋找這

個(gè)函數(shù)的最優(yōu)解，在某些條件下，最短距離法的

解是最優(yōu)的，而系統(tǒng)聚類法的其他方法都不具有

這個(gè)性質(zhì)（參見[6]、[7]），故最短距離法在實(shí)

際中也很被推崇。系統(tǒng)聚類法的各種方法的比較

仍是值得研究的一個(gè)課題，例如，有人用隨機(jī)模

擬作了研究，發(fā)現(xiàn)最長距離法不可取。56目錄

上頁

下頁

返回

結(jié)束§

3.5

模糊聚類分析模糊集的理論是二十世紀(jì)六十年代中期美國的自動控制專家

查德(L.A.Zadeh)教授首先提出的。模糊集的理論已廣泛應(yīng)用

于許多領(lǐng)域，將模糊集概念用到聚類分析中便產(chǎn)生了模糊聚

類分析。3.5.1

模糊聚類的幾個(gè)基本概念1.特征函數(shù)57目錄

上頁

下頁

返回

結(jié)束§

3.5模糊聚類分析2.

隸屬函數(shù)。當(dāng)我們要了解某企業(yè)完成年計(jì)劃利潤程度的大小時(shí)，僅

用特征函數(shù)就不夠了。模糊數(shù)學(xué)把它推廣到[0，1]

閉區(qū)間，即用0和1之間的一個(gè)數(shù)去度量它。這個(gè)數(shù)

就叫隸屬度。當(dāng)用函數(shù)來表示隸屬度的變化規(guī)律時(shí)，

就叫做隸屬函數(shù)。3.

模糊矩陣的運(yùn)算法則。58目錄

上頁

下頁

返回

結(jié)束§

3.5

3.5.2

模糊分類關(guān)系1.乘積空間模糊聚類分析2.分類關(guān)系59目錄

上頁

下頁

返回

結(jié)束§

3.5模糊聚類分析模糊聚類分析的實(shí)質(zhì)就是根據(jù)研究對象本身的

屬性而構(gòu)造模糊矩陣，在此基礎(chǔ)上根據(jù)一定的

隸屬度來確定其分類關(guān)系。60目錄

上頁

下頁

返回

結(jié)束§

3.5模糊聚類分析61目錄

上頁

下頁

返回

結(jié)束§

3.5模糊聚類分析62目錄

上頁

下頁

返回

結(jié)束§

3.5模糊聚類分析3.5.3

模糊聚類分析計(jì)算步驟1.對原始數(shù)據(jù)進(jìn)行變換。變換方法通常有標(biāo)準(zhǔn)化

變換、極差變換、對數(shù)變換等。63目錄

上頁

下頁

返回

結(jié)束§

3.5模糊聚類分析64目錄

上頁

下頁

返回

結(jié)束§

3.5模糊聚類分析65目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類3.6.1

K-均值法(快速聚類法)非譜系聚類法是把樣品（而不是變量）聚集成K個(gè)類

的集合。類的個(gè)數(shù)K可以預(yù)先給定，或者在聚類過程

中確定。非譜系方法可應(yīng)用于比系統(tǒng)聚類法大得多

的數(shù)據(jù)組。非譜系聚類法或者一開始就對元素分組，或者從一

個(gè)構(gòu)成各類核心的“種子”集合開始。選擇好的初

始構(gòu)形，將能免除系統(tǒng)的偏差。一種方法是從所有

項(xiàng)目中隨機(jī)地選擇“種子”點(diǎn)或者隨機(jī)地把元素分

成若干個(gè)初始類。66目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類K-均值法,

又叫快速聚類法，是Macqueen于1967年提

出的，其思想是把每個(gè)樣品聚集到其最近形心

（均值）類中去。在它的最簡單說明中，這個(gè)過

程由下列三步所組成：把樣品粗略分成K個(gè)初始類；進(jìn)行修改，逐個(gè)分派樣品到其最近均值的類中去（通

常用標(biāo)準(zhǔn)化數(shù)據(jù)或非標(biāo)準(zhǔn)化數(shù)據(jù)計(jì)算歐氏距離）。

重新計(jì)算接受新樣品的類和失去樣品的類的形心

（均值）；重復(fù)第2步，直到各類無元素進(jìn)出。67目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類若不在一開始就粗略地把樣品分到K個(gè)預(yù)先指定的

類（第1步），那我們也可以指定K個(gè)最初形心

（種子點(diǎn)），然后進(jìn)行第2步。樣品的最終聚類在某種程度上依賴于最初的劃分，

或種子點(diǎn)的選擇。為了檢驗(yàn)聚類的穩(wěn)定性，可用一個(gè)新的初始分類

重新檢驗(yàn)整個(gè)聚類算法。如最終分類與原來一樣，

則不必再行計(jì)算；否則，須另行考慮聚類算法。

見[11]68目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類3.6.2

有序樣品的聚類在前幾節(jié)的討論中，分類的樣品是相互獨(dú)立的，分

類時(shí)彼此是平等的。但在有些實(shí)際問題中，要研究

的現(xiàn)象與時(shí)間的順序密切相關(guān)。例如我們想要研究，

從1949年到2003年以來，國民收入可以劃分為幾個(gè)

階段，階段的劃分必須以年份順序?yàn)橐罁?jù)，總的想

法是要將國民收入接近的年份劃分到一個(gè)段內(nèi)，要

完成類似這樣的問題的研究，用前幾節(jié)分類的方法

顯然是不行了。69目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類對于這類有序樣品的分類，實(shí)質(zhì)上是需要找出一些

分點(diǎn)，將它們劃分成幾個(gè)分段，每個(gè)分段看作一類，

稱這種分類為分割。顯然，分點(diǎn)在不同位置可以得

到不同的分割。這樣就存在一個(gè)如何決定分點(diǎn)，使

達(dá)到所謂最優(yōu)分割的問題。即要求一個(gè)分割能使各

段內(nèi)部樣品間的差異最小，而各段之間樣品的差異

最大。這就是決定分割點(diǎn)的依據(jù)。70目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類1、可能的分類數(shù)目71目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類2、最優(yōu)分割法72目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類73目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類74目錄

上頁

下頁

返回

結(jié)束§

3.6K-均值聚類和有序樣品的聚類75目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐本書以SPSS22.0和S-Plus

8

兩種軟件來

說明前面講述的幾種聚類法的實(shí)現(xiàn)過程。

具體步驟如下：分析所需要研究的問題，確定聚類分

析所需要的多元變量；選擇對樣品聚類還是對指標(biāo)聚類；

選擇合適的聚類方法；選擇所需的輸出結(jié)果。我們將實(shí)現(xiàn)過程用邏輯框圖表示為圖

3.11。目錄

上頁

下頁

返回

結(jié)束76§3.11

計(jì)算步驟與上機(jī)實(shí)踐77目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐3.7.1

系統(tǒng)聚類法用World95.sav來做一個(gè)實(shí)例分析。為了研究亞洲國家的經(jīng)濟(jì)發(fā)展水平和文化教育水

平，以便于對亞洲國家進(jìn)行分類研究，這里我們

進(jìn)行聚類分析（在World95.sav數(shù)據(jù)中篩選出亞洲

國家，使用Data→Select

Cases→If

condition

is

satisfied中選入region=3）。詳細(xì)步驟如下：(1)

打開數(shù)據(jù)。使用菜單中File→Open命令，然后

選中要分析的數(shù)據(jù)World95.sav。78目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐(2)在菜單中的選項(xiàng)中選擇Analyze→Classify命令，

Classify命令下有兩個(gè)聚類分析命令，一是K-means

cluster（K-均值聚類），二是Hierarchical

cluster（系統(tǒng)聚類法）。這里我們選擇系統(tǒng)聚類法。

(3)

在系統(tǒng)聚類法中，我們看到Cluster下有兩個(gè)

選項(xiàng)，Cases（樣品聚類或Q型聚類）和Variables

(變量聚類或R型聚類)。這里我們選擇對樣品進(jìn)行

聚類。(4)

Display下面有兩個(gè)選項(xiàng)，分別是Statistics

(統(tǒng)計(jì)量)、Plots（輸出圖形），我們可以選擇所

需要輸出的統(tǒng)計(jì)量和圖形。79目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐(5)

在系統(tǒng)聚類法中底下有四個(gè)按紐，分別是Statistics、

Plots、Method、Save。（a）在Statistics中，有Agglomeration

schedule（每一階段

聚類的結(jié)果），Proximity

matrix（樣品間的相似性矩陣）。

由Cluster

membership可以指定聚類的個(gè)數(shù)，none選項(xiàng)不指定

聚類個(gè)數(shù)，Single

solution指定一個(gè)確定類的個(gè)數(shù)，Range

of

solution指定類的個(gè)數(shù)的范圍（如從分3類到分5類）。(b)在Plots中，有Dendrogram（譜系聚類圖，也稱樹狀聚類

圖）、Icicle(冰柱圖)、Orientation指冰柱圖的方向

（Horizontal

水平方向、Vertical垂直方向）。(c)在Method中，

Cluster可以選擇聚類方法，Measure中可以

選擇計(jì)算的距離。(d)在Save中，可以選擇保存聚類結(jié)果。選好每個(gè)選項(xiàng)后，點(diǎn)“OK”就可以執(zhí)行了。80目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐在這個(gè)數(shù)據(jù)文件中，我們選擇的變量(Variables(s))有

Urban（城市人口比例），Lifeexpf（女性平均壽命）、

Lifeexpm（男性平均壽命）、Literacy（有讀寫能力的人

所占比例）、Gdp_cap（人均國內(nèi)生產(chǎn)總值），以Country

（國家或地區(qū)）來標(biāo)識(Label

Cases)本例中的17個(gè)亞洲國

家或地區(qū)，并以其他5個(gè)變量進(jìn)行Q型聚類分析，即對國家

進(jìn)行聚類。這里我們將原始變量標(biāo)準(zhǔn)化（在Method選項(xiàng)下Transform

Values的Standardize空白框內(nèi)，選擇Z

Scores），在

Statistics選項(xiàng)中選擇Agglomeration

Schedule，聚類方

法選擇組內(nèi)聯(lián)結(jié)法(Within-group

linkage)，計(jì)算距離選

擇平方歐氏距離，輸出冰柱圖和樹狀聚類圖。得到的結(jié)果

如下：81目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐82目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐83目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐將表3-8的聚合系數(shù)利用Excel作出聚合系數(shù)隨分類

數(shù)變化曲線,如圖3-13.84目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐85目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐輸出結(jié)果中，表3.7表示接近度矩陣，是反映樣品之間相似性

或者相異性的矩陣。本例中由于計(jì)算距離使用的是平方歐氏距

離，所以樣品間距離越大，樣品越相異，如果我們計(jì)算距離選

擇Pearson相關(guān)系數(shù)，則接近度矩陣是相似性矩陣。由表中矩

陣可以看出，Bangladesh（孟加拉國）與Cambodia（柬埔寨）

的距離是最小的，因此它們最先聚為一類。圖3.12是冰柱圖，

也是反映樣品聚類情況的圖，如果按照設(shè)定的類數(shù)，在那類數(shù)

的行上從左到右就可以找到各類所包含的樣品。比如我們希望

分為三類，最左邊的類數(shù)應(yīng)選3，每個(gè)樣品右邊都有一列冰柱，

如果某個(gè)樣品右邊的冰柱長度少于3，那么它和前面冰柱長度

大于3的樣品聚為一類，如此下去，直到找到全部三類為止。

例如，Hong

Kong右邊的列冰柱長度為2,那么它就與Japan和

Singapore聚為一類了，而China右邊的列冰柱長度為1，那么

從Taiwan到China又被聚為一類，后面樣品聚為另一類。86目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐表3.8是反映每一階段聚類的結(jié)果，Coefficients表示

聚合系數(shù)，第2列和第3列表示聚合的類，比如第一階

段時(shí)（Stage=1）第2個(gè)樣品——Bangladesh（孟加拉

國）與第三個(gè)樣品——Cambodia（柬埔寨）聚為一類，

注意這時(shí)有16類（17-1=16）。因此某階段的分類數(shù)等

于總的樣品數(shù)減去這個(gè)階段的序號。圖3.13是聚合系數(shù)隨分類數(shù)變化的曲線。由圖可以看

出，當(dāng)分類數(shù)為3或4時(shí)，曲線變得比較平緩，這個(gè)分

類數(shù)也符合我們分類的目的。87目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐圖3.14是樹狀聚類圖，從圖中可以由分類個(gè)數(shù)得到

分類情況。如果我們選擇分類數(shù)為3，就從距離為

10的地方往下切，得到分類結(jié)果如下。{1：孟加

拉國、柬埔寨、阿富汗、印度、巴基斯坦}；{2：

香港、新加坡、日本}；{3：泰國、越南、中國、

印度尼西亞、馬來西亞、菲律賓、韓國、臺灣和

朝鮮}。我們可以從經(jīng)濟(jì)發(fā)展水平和文化教育水平

來理解所作的分類。第2類應(yīng)該是亞洲國家中經(jīng)濟(jì)

發(fā)達(dá)程度最高的國家或地區(qū)，第1類的經(jīng)濟(jì)水平和

文教水平都比較低，第3類國家的經(jīng)濟(jì)水平和文教

水平居中。88目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐3.7.2

快速聚類法（K-means

cluster）。

同樣我們使用上面的數(shù)據(jù)文件World95.sav，從中篩選出亞洲國家，試圖將亞洲國家按經(jīng)濟(jì)和文教

水平分為3類。可以使用快速聚類法對樣品進(jìn)

行聚類。我們使用的變量有Country（國家或地區(qū)）、Urban

（城市人口比例），Lifeexpf（女性平均壽

命）、Lifeexpm（男性平均壽命）、Literacy

（有讀寫能力的人所占比例）、Gdp_cap（人

均國內(nèi)生產(chǎn)總值），以Country來標(biāo)識本例中

的17個(gè)亞洲國家或地區(qū)，并以其他5個(gè)變量進(jìn)

行Q型聚類分析，即對國家進(jìn)行聚類。89目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐在SPSS軟件中選擇Analyze→Classify→K-Means

Cluster。

進(jìn)入K-均值聚類對話框以后，將上面5個(gè)變量選入Variable，

將Country用于標(biāo)識(Label

cases

by)。將分類數(shù)(Number

of

clusters)定為3。我們可以在Option選項(xiàng)中選擇Initial

cluster

center（最初分類重心），ANOVA(方差分析表)，

Cluster

information

for

each

case（每個(gè)樣品的分類信

息）。得到如下分類結(jié)果：90目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐91目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐92目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐輸出結(jié)果中表3.9表示最初各類的重心，也就是種子點(diǎn)。表

3.10是樣品的分類情況。這里我們看到快速聚類法將亞洲國

家或地區(qū)分為這樣3類。{1：阿富汗、孟加拉國、柬埔寨、

中國、印度、印度尼西亞、馬來西亞、朝鮮、巴基斯坦、泰

國、越南}。{2：香港、日本、新加坡}。{3：韓國、臺灣}。

我們也可以對分類結(jié)果做分析。第1類國家或地區(qū)經(jīng)濟(jì)和文

教衛(wèi)生水平較低。第2類國家或地區(qū)是亞洲國家或地區(qū)中的

佼佼者，其經(jīng)濟(jì)發(fā)達(dá)程度和文教衛(wèi)生水平都是很高的。第3

類國家或地區(qū)處于兩者中間。這個(gè)結(jié)果可以結(jié)合表3.13（最

后各類的重心）來分析，我們看到第2類的人均GDP比另外兩

組要高。表3.12是方差分析表，但是應(yīng)當(dāng)注意值只能作為描述所用，

而不能根據(jù)該值判斷各類均值是否有顯著差異。通過方差分

析表我們可以看出，有4個(gè)變量對分類貢獻(xiàn)顯著。93目錄

上頁

下頁

返回

結(jié)束§3.7三、模糊聚類法計(jì)算步驟與上機(jī)實(shí)踐繼續(xù)使用上面的例子，希望將亞洲國家或地區(qū)分成3類進(jìn)行分

析研究。這里我們使用S-Plus

8

軟件。1.

進(jìn)入S-Plus軟件以后，首先打開上述數(shù)據(jù)文件，可以用

File→Import

Data→From

File，然后選擇數(shù)據(jù)形式為*.sav(SPSS數(shù)據(jù))。打開數(shù)據(jù)后，使用Statistics→Cluster

Analysis→

Fuzzy

Partitioning實(shí)現(xiàn)模糊聚類分析。94目錄

上頁

下頁

返回

結(jié)束§3.7三、模糊聚類法計(jì)算步驟與上機(jī)實(shí)踐2.在Variables中選擇Urban（城市人口比例），Lifeexpf（女性平均壽命）、Lifeexpm（男性平均壽命）、Literacy

（有讀寫能力的人所占比例）、Gdp_cap（人均國內(nèi)生產(chǎn)總值）

進(jìn)行Q型聚類分析，即對國家或地區(qū)進(jìn)行聚類。在Option選項(xiàng)

中指定類的個(gè)數(shù)為3。在Subset

Rows

with選項(xiàng)中輸出

region==“Pacific/Asia”,選擇好變量以后,點(diǎn)擊“OK”就

可以得到結(jié)果。我們還選擇了Plot選項(xiàng)中的Cluster

Plot

（分類圖）和Silhouette

Plot（側(cè)影圖）兩個(gè)圖輸出。得到

以下結(jié)果。95目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐96目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐97目錄

上頁

下頁

返回

結(jié)束§3.7計(jì)算步驟與上機(jī)實(shí)踐表3.13是各類的分類系數(shù)，由于我們指定分為3類，某個(gè)樣

品在這3類中的某類上系數(shù)最大，則將該樣品聚為該類。比

如第1個(gè)樣品在第1類的系數(shù)最大，說明第1個(gè)樣品在第1類中。

表3.14是聚類結(jié)果。由結(jié)果可以看出，與K-均值快速聚類得

到的結(jié)果是完全一致的。圖3.15是樣品的分類圖，由圖可以看出，各類很明顯地被分

開。圖3.16是樣品的側(cè)影圖，類似于水平的冰柱圖或者樹形圖，

可以看出三類中，各類包含哪些樣品。我們看到此例中，由模糊聚類得到的結(jié)果與K-均值聚類得到

的結(jié)果是一樣的。同時(shí)我們應(yīng)該看到這種分類帶有較強(qiáng)的主

觀性，而且分類結(jié)果也比較粗糙。一般僅適合于對大量數(shù)據(jù)

的快速聚類。98目錄

上頁

下頁

返回

結(jié)束§3.8社會經(jīng)濟(jì)案例研究例3.5

城鎮(zhèn)居民消費(fèi)水平通常用表3.15中的八項(xiàng)

指標(biāo)來描述，八項(xiàng)指標(biāo)間存在一定的線性相關(guān)。

為研究城鎮(zhèn)居民的消費(fèi)結(jié)構(gòu)，需將相關(guān)性強(qiáng)的指

標(biāo)歸并到一起，這實(shí)際就是對指標(biāo)聚類。原始數(shù)

據(jù)列于表3.15。將原始數(shù)據(jù)錄入SPSS，并依次點(diǎn)擊“Analyze”→

“Correlate”

→“Bivariate”，打開Bivariate

Correlations對話框，把八個(gè)變量選入Variables

欄中，單擊“OK”，得到這八個(gè)指標(biāo)對應(yīng)的相關(guān)系

數(shù)，列于表3.16。99目錄

上頁

下頁

返回

結(jié)束§3.8社會經(jīng)濟(jì)案例研究100目錄

上頁

下頁

返回

結(jié)束§3.8社會經(jīng)濟(jì)案例研究表3.16中最大的相關(guān)系數(shù)為r4，8＝0.890，將G5和G6并成一新類G9，然后計(jì)算G9與各類的相關(guān)系數(shù)，再找最大的相關(guān)系數(shù)，每次縮小一

類得圖3－17。我們可以看出全國城鎮(zhèn)居民的消費(fèi)結(jié)構(gòu)大致分為四方面，一類是食

品、家庭設(shè)備及用品、交通通信和文教娛樂支出，這是在消費(fèi)結(jié)構(gòu)

中其主導(dǎo)作用的方面；一類是居住指出，一類是衣著支出，還有一

類是醫(yī)療保健支出。101目錄

上頁

下頁

返回

結(jié)束§3.8社會經(jīng)濟(jì)案例研究上面介紹的幾種系統(tǒng)聚類方法，并類的原則和步

驟基本一致，所不同的是類與類的距離有不同的

定義。其實(shí)可以把這幾種方法統(tǒng)一起來，有利于

在計(jì)算機(jī)上靈活地選擇更有意義的譜系圖。102目錄

上頁

下頁

返回

結(jié)束§3.8社會經(jīng)濟(jì)案例研究對例3.5，我們采用歐氏距離分別用類平均

法、最短距離法、最長距離法把31個(gè)省市

分類。類平均法聚類在SPSS中的操作為：點(diǎn)選

“Analyze”→“Classify”

→“Hierarchical

Cluster”，打開Hierarchical

Cluster

Analysis對話框，將八個(gè)聚類指標(biāo)選入

Variables欄中，將表示地區(qū)的變量選入

Label

Cases

By欄中，按“Plots”按鈕，在

彈出的窗口中選中Dendrogram（譜系圖）

選項(xiàng)，按“Continue”返回主對話框，在按

“Method”按鈕，在Cluster

Method下拉菜

單中選擇Between-groups

linkage（組間

連接法，即類平均法）選項(xiàng)，返回主對話

框后按“OK”即可得到聚類結(jié)果。103目錄

上頁

下頁

返回

結(jié)束§3.8社會經(jīng)濟(jì)案例研究最短距離法和最長距離法操作步驟與類平均法一樣，只不過

要在Cluster

Method下拉菜單中分別選擇Nearest

Neighbor

和Furthest

Neighbor選項(xiàng)。圖3.18、圖3.19、圖3.20分別

顯示了三種方法的分類結(jié)果。為便于對照，將三種方法分類

的結(jié)果綜合列于表3.18。從表3-17以及圖3—18、圖3-19和圖3-20看出，三種方法得

到的結(jié)果是一致的，即{9}為一類，{1，2，10，11，13，19}

為一類，其余的歸為一類。104目錄

上頁

下頁

返回

結(jié)束§3.8社會經(jīng)濟(jì)案例研究那么究竟采用哪一種分類為好呢？一種方法是根據(jù)分類問題本

身的知識來決定取舍。另一種方法是將幾種方法的共性取出來，

有爭議的樣品根據(jù)其實(shí)際情況再劃分。綜合考慮這兩點(diǎn)，筆者

認(rèn)為從全國各省、市、區(qū)的消費(fèi)情況來看，分為三類較為合適。

由分類結(jié)果可以看出，類平均法和最長距離法的分類結(jié)果基本

上一致，只是在西藏應(yīng)該劃入第二類還是第三類上存在差異，