數(shù)學(xué)建模聚類分析

數(shù)學(xué)建模聚類分析第1頁，共47頁，2023年，2月20日，星期五聚類分析（ClusterAnalysis）是研究“物以類聚”的一種多元統(tǒng)計方法。國內(nèi)有人稱它為群分析、點群分析、簇群分析等。第2頁，共47頁，2023年，2月20日，星期五一、聚類分析的基本概念研究對樣品或指標(biāo)進行分類的一種多元統(tǒng)計方法,是依據(jù)研究對象的個體的特征進行分類的方法。聚類分析把分類對象按一定規(guī)則分成若干類，這些類非事先給定的，而是根據(jù)數(shù)據(jù)特征確定的。在同一類中這些對象在某種意義上趨向于彼此相似，而在不同類中趨向于不相似。職能是建立一種能按照樣品或變量的相似程度進行分類的方法。第3頁，共47頁，2023年，2月20日，星期五聚類分析的基本思想是認(rèn)為我們所研究的樣本或指標(biāo)（變量）之間存在著程度不同的相似性（親疏關(guān)系）。于是根據(jù)一批樣本的多個觀測指標(biāo)，具體找出一些彼此之間相似程度較大的樣本（或指標(biāo)）聚合為一類，把另外一些彼此之間相似程度較大的樣本（或指標(biāo)）又聚合為另一類，關(guān)系密切的聚合到一個小的分類單位，關(guān)系疏遠(yuǎn)的聚合到一個大的分類單位，直到把所有樣本（或指標(biāo)）都聚合完畢，把不同的類型一一劃分出來，形成一個由小到大的分類系統(tǒng)。最后把整個分類系統(tǒng)畫成一張譜系圖，用它把所有樣本（或指標(biāo)）間的親疏關(guān)系表示出來。這種方法是最常用的、最基本的一種，稱為系統(tǒng)聚類分析。第4頁，共47頁，2023年，2月20日，星期五第5頁，共47頁，2023年，2月20日，星期五除此以外，還有動態(tài)聚類法、圖論聚類法、模糊聚類法、有序聚類法等。聚類分析有兩種：一種是對樣本的分類，稱為Q型，另一種是對變量（指標(biāo)）的分類，稱為R型。第6頁，共47頁，2023年，2月20日，星期五R型聚類分析的主要作用：

⒈不但可以了解個別變量之間的親疏程度，而且可以了解各個變量組合之間的親疏程度。⒉根據(jù)變量的分類結(jié)果以及它們之間的關(guān)系，可以選擇主要變量進行Q型聚類分析或回歸分析。（R2為選擇標(biāo)準(zhǔn)）Q型聚類分析的主要作用：

⒈可以綜合利用多個變量的信息對樣本進行分析。⒉分類結(jié)果直觀，聚類譜系圖清楚地表現(xiàn)數(shù)值分類結(jié)果。⒊聚類分析所得到的結(jié)果比傳統(tǒng)分類方法更細(xì)致、全面、合理。在課堂上主要討論Q型聚類分析,Q型聚類常用的統(tǒng)計量是距離.第7頁，共47頁，2023年，2月20日，星期五那么Q型系統(tǒng)聚類法則可以表述為：把樣本看成n維空間的點，而把變量看成n維空間的坐標(biāo)軸，m個樣本開始時自成一類，然后規(guī)定各類之間的距離，將距離最小的一對并成一類，然后再計算距離，直到所有單位全部合并為止。第8頁，共47頁，2023年，2月20日，星期五二、距離和相似系數(shù)在進行聚類分析時，樣本間的相似系數(shù)和距離有多種不同的定義，通常按特性來劃分。變量特征的測度尺度有三種類型：間隔尺度（由連續(xù)的實值變量表示）有序尺度（沒有明確的數(shù)量表示，只有次序關(guān)系，如產(chǎn)品等級）名義尺度（具有某種特性，如性別）第9頁，共47頁，2023年，2月20日，星期五從一組復(fù)雜數(shù)據(jù)產(chǎn)生一個相當(dāng)簡單的類結(jié)構(gòu)，必然要求進行“相關(guān)性”或“相似性”的度量。在相似性度量的選擇中，常常包含許多主觀上的考慮，但最重要的考慮是指標(biāo)的性質(zhì)或觀測的尺度（名義、次序、間隔）以及相關(guān)知識。課堂上主要討論的指標(biāo)測量為間隔尺度的情況。第10頁，共47頁，2023年，2月20日，星期五⒈距離每個樣本有p個指標(biāo)，因此每個樣本可以看成p維空間中的一個點，n個樣本就組成p維空間中的n個點，這時很自然想到用距離來度量n個樣本間的接近程度。用表示第i個樣本與第j個樣本之間的距離。一切距離應(yīng)滿足以下條件：第11頁，共47頁，2023年，2月20日，星期五常見的距離有：blockdistance絕對值距離：euclideandistance歐式距離squaredeuclideandistance平方歐式距離chebychevdistance切比雪夫距離minkowskidistance明考斯基距離（明氏距離）當(dāng)q=1,2時，為絕對值、歐式距離；若趨近無窮時，則為切比雪夫距離第12頁，共47頁，2023年，2月20日，星期五明氏距離在實際的運用很多，但有一些缺點。例如觀測值的單位問題；指標(biāo)間的相關(guān)問題，因此改進得到以下兩種距離：Lanberra蘭氏距離Mahalanobis馬氏距離以上都是樣本間距離的定義。第13頁，共47頁，2023年，2月20日，星期五⒉相似系數(shù)夾角余弦相關(guān)系數(shù)變量間的距離利用相似系數(shù)來定義距離利用樣本協(xié)差陣來定義距離把變量Xi的n次觀測值看成n維空間的點, 在n維空間中定義m個變量間的距離。第14頁，共47頁，2023年，2月20日，星期五①夾角余弦兩變量的夾角余弦定義為：

第15頁，共47頁，2023年，2月20日，星期五②相關(guān)系數(shù)兩變量的相關(guān)系數(shù)定義為：

第16頁，共47頁，2023年，2月20日，星期五三、系統(tǒng)聚類法基本步驟1.選擇樣本間距離的定義及類間距離的定義；2.計算n個樣本兩兩之間的距離，得到距離矩陣

3.構(gòu)造個類，每類只含有一個樣本；4.合并符合類間距離定義要求的兩類為一個新類；5.計算新類與當(dāng)前各類的距離。若類的個數(shù)為1，則轉(zhuǎn)到步驟6，否則回到步驟4;6.畫出聚類圖；

7.決定類的個數(shù)和類。第17頁，共47頁，2023年，2月20日，星期五系統(tǒng)聚類分析的方法系統(tǒng)聚類法的聚類原則決定于樣品間的距離以及類間距離的定義，類間距離的不同定義就產(chǎn)生了不同的系統(tǒng)聚類分析方法。以下用dij表示樣品X(i)和X(j)之間的距離，當(dāng)樣品間的親疏關(guān)系采用相似系數(shù)Cij時，令；以下用D(p,q)表示類Gp和Gq之間的距離。第18頁，共47頁，2023年，2月20日，星期五1.最短距離法(SINglemethod)第19頁，共47頁，2023年，2月20日，星期五2.最長距離法(COMpletemethod)第20頁，共47頁，2023年，2月20日，星期五最長距離最短距離ABCDEF第21頁，共47頁，2023年，2月20日，星期五例為了研究遼寧等5省1991年城鎮(zhèn)居民生活消費情況的分布規(guī)律，根據(jù)調(diào)查資料做類型分類，用最短距離做類間分類。數(shù)據(jù)如下：x1x2x3x4x5x6x7x8遼寧17.9039.778.4912.9419.2711.052.0413.29浙江27.6850.3711.3513.3019.2514.592.7514.87河南39.4227.938.208.1416.179.421.559.76甘肅49.1627.989.019.3215.999.101.8211.35青海510.0628.6410.5210.0516.188.391.9610.81第22頁，共47頁，2023年，2月20日，星期五將每一個省區(qū)視為一個樣本，先計算5個省區(qū)之間的歐式距離，用D0表示距離矩陣（對稱陣，故給出下三角陣）因此將3.4合并為一類，為類6，替代了3、4兩類類6與剩余的1、2、5之間的距離分別為：

d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06d(3,4)5=min(d35,d45)=min(3.51,2.21)=2.21第23頁，共47頁，2023年，2月20日，星期五得到新矩陣合并類6和類5，得到新類7類7與剩余的1、2之間的距離分別為：

d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.80d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54第24頁，共47頁，2023年，2月20日，星期五得到新矩陣合并類1和類2，得到新類8此時，我們有兩個不同的類：類7和類8。它們的最近距離d(7,8)

=min(d71,d72)=min(12.80,23.54)=12.80第25頁，共47頁，2023年，2月20日，星期五得到矩陣最后合并為一個大類。這就是按最短距離定義類間距離的系統(tǒng)聚類方法。最長距離法類似！第26頁，共47頁，2023年，2月20日，星期五3.重心法(CENtroidmethod)第27頁，共47頁，2023年，2月20日，星期五4.類平均法(AVEragemethod)第28頁，共47頁，2023年，2月20日，星期五中間距離第29頁，共47頁，2023年，2月20日，星期五5.離差平方和法(WARD)基本思想來源于方差分析。它認(rèn)為：如果分類正確，同類間的類差平方和應(yīng)較小，類與類之間的離差平方和應(yīng)較大.具體做法是，先將n個樣本分成一類,然后每次縮小一類,每縮小一類離差平方和就要增大.第30頁，共47頁，2023年，2月20日，星期五離差平方和法(WARD)第31頁，共47頁，2023年，2月20日，星期五⒍系統(tǒng)聚類方法的統(tǒng)一

第32頁，共47頁，2023年，2月20日，星期五⒎系統(tǒng)聚類法參數(shù)表

第33頁，共47頁，2023年，2月20日，星期五類的個數(shù)的確定由適當(dāng)?shù)拈撝荡_定；根據(jù)數(shù)據(jù)點的散布直觀地確定類的個數(shù)；根據(jù)統(tǒng)計量確定分類個數(shù)；第34頁，共47頁，2023年，2月20日，星期五類的個數(shù)的確定根據(jù)譜系圖確定分類個數(shù)的準(zhǔn)則：各類重心間的距離必須很大；類中保包含的元素不要太多；類的個數(shù)必須符合實際應(yīng)用；如果采用幾種不同的聚類方法處理，則在各種聚類圖中應(yīng)該發(fā)現(xiàn)相同的類。第35頁，共47頁，2023年，2月20日，星期五四、系統(tǒng)聚類的參數(shù)選擇㈠聚類類別：㈡統(tǒng)計㈢圖：樹型譜系圖冰柱譜系圖㈣聚類方法1.Between-groupslinkage類間平均法兩類距離為兩類元素兩兩之間平均平方距離2.Within-groupslinkage類內(nèi)平均法兩類距離為合并后類中可能元素兩兩之間平均平方距離3.Nearestneighbor最短距離法4.Furthestneighbor最長距離法5.Centroidclustering重心法(歐式距離)6.Medianclustering中間距離法(歐式距離)7.WardMethod離差平方法(歐式距離)第36頁，共47頁，2023年，2月20日，星期五SPSS界面指南第37頁，共47頁，2023年，2月20日，星期五五、系統(tǒng)聚類法之例：地區(qū)按經(jīng)濟效益分類某年全國28個省區(qū)經(jīng)濟效益指標(biāo)表，演示第38頁，共47頁，2023年，2月20日，星期五類間平均法第39頁，共47頁，2023年，2月20日，星期五類內(nèi)平均法第40頁，共47頁，2023年，2月20日，星期五最短距離法第41頁，共47頁，2023年，2月20日，星期五最長距離法第42頁，共47頁，2023年，2月20日，星期五重心法第43頁，共47頁，2023年，2月20日，星期五中間距離法第44頁，共47頁，2