《環(huán)境統(tǒng)計(jì)學(xué)》課件-第05周 環(huán)境系統(tǒng)聚類分析

環(huán)境系統(tǒng)聚類分析Clusteranalysisofenvironmentalsystem聚類分析概述1聚類數(shù)據(jù)的要素處理2距離的計(jì)算3系統(tǒng)聚類分析的常用方法4SPSS計(jì)算方法5環(huán)境應(yīng)用6第八章環(huán)境系統(tǒng)聚類分析一聚類分析概述一.聚類分析概述什么是聚類俗話說：“物以類聚，人以群分?！币?聚類分析概述什么是聚類聚類（Clustering）就是將數(shù)據(jù)分組成為多個(gè)類（Cluster）。在同一個(gè)類內(nèi)對(duì)象之間具有較高的相似度，不同類之間的對(duì)象差別較大。一.聚類分析概述什么是聚類早在孩提時(shí)代，人就通過不斷改進(jìn)下意識(shí)中的聚類模式來學(xué)會(huì)如何區(qū)分貓和狗，動(dòng)物和植物，男人和女人。環(huán)境中如水質(zhì)分類，污染類型，處理方法一.聚類分析概述聚類分析無處不在在商業(yè)上聚類分析被用來發(fā)現(xiàn)不同的客戶群，并且通過購(gòu)買模式刻畫不同的客戶群的特征。在生物上聚類分析被用來動(dòng)植物分類和對(duì)基因進(jìn)行分類，獲取對(duì)種群固有結(jié)構(gòu)的認(rèn)識(shí)在地理上聚類能夠幫助在地球中被觀察的數(shù)據(jù)庫(kù)商趨于的相似性在保險(xiǎn)行業(yè)上聚類分析通過一個(gè)高的平均消費(fèi)來鑒定汽車保險(xiǎn)單持有者的分組，同時(shí)根據(jù)住宅類型，價(jià)值，地理位置來鑒定一個(gè)城市的房產(chǎn)分組在電子商務(wù)上聚類分析在電子商務(wù)中網(wǎng)站建設(shè)數(shù)據(jù)挖掘中也是很重要的一個(gè)方面，通過分組聚類出具有相似瀏覽行為的客戶，并分析客戶的共同特征，可以更好的幫助電子商務(wù)的用戶了解自己的客戶，向客戶提供更合適的服務(wù)。一.聚類分析概述聚類分析無處不在在環(huán)境上

環(huán)境問題如何歸類和分析已成為環(huán)境科學(xué)的一項(xiàng)重要課題。根據(jù)確定的標(biāo)準(zhǔn)對(duì)環(huán)境問題進(jìn)行分級(jí)、分類，需要用到聚類分析。一.聚類分析概述根據(jù)對(duì)象間的相關(guān)程度進(jìn)行類別的聚合。在進(jìn)行聚類分析之前，這些類別是隱蔽的，能分為多少種類別事先也是不知道的。聚類分析的基本思想一.聚類分析概述聚類分析的原則是同一類中的個(gè)體有較大的相似性，不同類中的個(gè)差異很大。聚類分析的基本思想一.聚類分析概述樣本聚類－Q型01變量聚類－R型02

兒童生長(zhǎng)發(fā)育研究中，形態(tài)學(xué)為主指標(biāo)歸為一類，機(jī)能為主指標(biāo)歸為另一類聚類分析又分為樣本聚類和變量聚類解剖學(xué)上根據(jù)骨骼大小形狀，以確定樣本是人是猿，性別、年齡等常用的統(tǒng)計(jì)量有距離系數(shù)和相似系數(shù)距離系數(shù)相似系數(shù)一.聚類分析概述聚類分析原理介紹相似性Similar的度量（統(tǒng)計(jì)學(xué)角度）距離Q型聚類（主要討論）主要用于對(duì)樣本分類常用的距離有（只適用于具有間隔尺度變量的聚類）：明考夫斯基距離（包括：絕對(duì)距離、歐式距離、切比雪夫距離）蘭氏距離馬氏距離斜交空間距離此不詳述，有興趣可參考《應(yīng)用多元分析》（第二版）王學(xué)民相似系數(shù)R型聚類用于對(duì)變量分類，可以用變量之間的相似系數(shù)的變形如1－rij定義距離這里不詳細(xì)介紹這種聚類度量方法第八章環(huán)境系統(tǒng)聚類分析二聚類要素的數(shù)據(jù)處理二.聚類要素的處理

在聚類分析中，聚類要素的選擇是十分重要的，它直接影響分類結(jié)果的準(zhǔn)確性和可靠性。因此當(dāng)分類要素的對(duì)象確定之后，在進(jìn)行聚類分析之前，首先要對(duì)聚類要素進(jìn)行數(shù)據(jù)處理。

二.聚類要素的處理CODNH4+-NTP色度pH金屬離子Cl-1000-10000mg/L1-40mg/L0-5mg/L100-500度5－910-200mg/L20-300mg/L二.聚類要素的處理總和標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化極大值標(biāo)準(zhǔn)化極差標(biāo)準(zhǔn)化數(shù)據(jù)處理方法二.聚類要素的處理例1以長(zhǎng)江流域水環(huán)境數(shù)據(jù)為例，1993年1月份6個(gè)站點(diǎn)水環(huán)境監(jiān)測(cè)指標(biāo)實(shí)測(cè)值如下表所示。表11993年1月份各站點(diǎn)水環(huán)境監(jiān)測(cè)指標(biāo)實(shí)測(cè)值(單位：mg/L)各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花10.00.82.00.100.003高場(chǎng)10.51.31.80.160.002津市10.41.91.20.160.003長(zhǎng)沙8.82.31.10.720.002中山橋13.03.52.90.300.019宣城13.42.32.40.020.005二.聚類要素的處理聚類要素的數(shù)據(jù)處理方法①總和標(biāo)準(zhǔn)化。分別求出各聚類要素所對(duì)應(yīng)的數(shù)據(jù)的總和，以各要素的數(shù)據(jù)除以該要素的數(shù)據(jù)的總和，即這種標(biāo)準(zhǔn)化方法所得到的新數(shù)據(jù)滿足各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花10.00.82.00.100.003高場(chǎng)10.51.31.80.160.002津市10.41.91.20.160.003長(zhǎng)沙8.82.31.10.720.002中山橋13.03.52.90.300.019宣城13.42.32.40.020.005各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花高場(chǎng)津市長(zhǎng)沙中山橋宣城10.00.15130.06610.17540.06850.08820.15890.10740.15790.10960.05880.15730.15700.10530.10960.08820.13310.19010.09650.49320.05880.19670.28930.25440.20550.55880.20270.19010.21050.01370.14710.151366.1總和標(biāo)準(zhǔn)化二.聚類要素的處理

②標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，即由這種標(biāo)準(zhǔn)化方法所得到的新數(shù)據(jù)，各要素的平均值為0，標(biāo)準(zhǔn)差為1，即有各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花10.00.82.00.100.003高場(chǎng)10.51.31.80.160.002津市10.41.91.20.160.003長(zhǎng)沙8.82.31.10.720.002中山橋13.03.52.90.300.019宣城13.42.32.40.020.005各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花高場(chǎng)津市長(zhǎng)沙中山橋宣城10.0-0.6186-1.42590.1581-0.6257-0.4411-0.3144-0.8400-0.1581-0.3637-0.6065-0.3752-0.1368-1.1068-0.3637-0.4411-1.34870.3320-1.26492.0814-0.60651.20671.73841.58110.24762.20531.45010.33200.7906-0.9750-0.1103-1.0211.02平均值標(biāo)準(zhǔn)差1.644-0.6186=標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化二.聚類要素的處理

③極大值標(biāo)準(zhǔn)化，即經(jīng)過這種標(biāo)準(zhǔn)化所得的新數(shù)據(jù)，各要素的極大值為1，其余各數(shù)值小于1。各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花10.00.82.00.100.003高場(chǎng)10.51.31.80.160.002津市10.41.91.20.160.003長(zhǎng)沙8.82.31.10.720.002中山橋13.03.52.90.300.019宣城13.42.32.40.020.005各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花高場(chǎng)津市長(zhǎng)沙中山橋宣城10.00.74630.22860.68970.13890.15790.78360.37140.62070.22220.10530.77610.54290.41380.22220.15790.65670.65710.37931.00000.10530.97011.00001.00000.41671.00001.00000.65710.82760.02780.26320.746313.4選出最大值極大值標(biāo)準(zhǔn)化二.聚類要素的處理④極差的標(biāo)準(zhǔn)化，即

經(jīng)過這種標(biāo)準(zhǔn)化所得的新數(shù)據(jù)，各要素的極大值為1，極小值為0，其余的數(shù)值均在0與1之間。各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花10.00.82.00.100.003高場(chǎng)10.51.31.80.160.002津市10.41.91.20.160.003長(zhǎng)沙8.82.31.10.720.002中山橋13.03.52.90.300.019宣城13.42.32.40.020.005各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花高場(chǎng)津市長(zhǎng)沙中山橋宣城0.26090.00000.50000.11430.05880.36960.1852-0.61110.20000.00000.34780.4074-0.66670.20000.05880.00000.5556-5.72221.00000.00000.91301.00001.61110.40001.00001.00000.55560.27780.00000.17650.26094.6極差的標(biāo)準(zhǔn)化相減1.2第八章環(huán)境系統(tǒng)聚類分析三距離的計(jì)算三.距離的計(jì)算三.距離的計(jì)算距離的示意圖樣品1樣品2樣品n三.距離的計(jì)算

常見的距離有

①絕對(duì)值距離②歐氏距離③明科夫斯基距離三.距離的計(jì)算④

切比雪夫距離。當(dāng)明科夫斯基距時(shí)，有

（3.4.8）

三.距離的計(jì)算例1以長(zhǎng)江流域水環(huán)境數(shù)據(jù)為例，1993年1月份6個(gè)站點(diǎn)水環(huán)境監(jiān)測(cè)指標(biāo)實(shí)測(cè)值如下表所示。表11993年1月份各站點(diǎn)水環(huán)境監(jiān)測(cè)指標(biāo)實(shí)測(cè)值（單位：mg/L）各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花10.00.82.00.100.003高場(chǎng)10.51.31.80.160.002津市10.41.91.20.160.003長(zhǎng)沙8.82.31.10.720.002中山橋13.03.52.90.300.019宣城13.42.32.40.020.005三.距離的計(jì)算各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花高場(chǎng)津市長(zhǎng)沙中山橋宣城-0.6186-1.42590.1581-0.6257-0.4411-0.3144-0.8400-0.1581-0.3637-0.6065-0.3752-0.1368-1.1068-0.3637-0.4411-1.34870.3320-1.26492.0814-0.60651.20671.73841.58110.24762.20531.45010.33200.7906-0.9750-0.1103絕對(duì)值距離0.30420.58600.31620.26200.16541.6338歐式距離0.09250.34340.10000.06860.02740.7949標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化三.距離的計(jì)算各站點(diǎn)指標(biāo)溶解氧高錳酸鉀指數(shù)BOD5NH3-N揮發(fā)酚攀枝花高場(chǎng)津市長(zhǎng)沙中山橋宣城-0.6186-1.42590.1581-0.6257-0.4411-0.3144-0.8400-0.1581-0.3637-0.6065-0.3752-0.1368-1.1068-0.3637-0.4411-1.34870.3320-1.26492.0814-0.60651.20671.73841.58110.24762.20531.45010.33200.7906-0.9750-0.1103絕對(duì)值距離1.6338四.系統(tǒng)聚類分析的常用方法四系統(tǒng)聚類分析的常用方法四.系統(tǒng)聚類分析的常用方法最短距離法直接聚類法最遠(yuǎn)距離法聚類分析三方法四.系統(tǒng)聚類分析的常用方法1、直接聚類法

原理

先把各個(gè)分類對(duì)象單獨(dú)視為一類，然后根據(jù)距離最小的原則，依次選出一對(duì)分類對(duì)象，并成新類。如果其中一個(gè)分類對(duì)象已歸于一類，則把另一個(gè)也歸入該類；如果一對(duì)分類對(duì)象正好屬于已歸的兩類，則把這兩類并為一類。每一次歸并，都劃去該對(duì)象所在的列與列序相同的行。經(jīng)過m-1次就可以把全部分類對(duì)象歸為一類，這樣就可以根據(jù)歸并的先后順序作出聚類譜系圖。四.系統(tǒng)聚類分析的常用方法2、最短距離聚類法

原理最短距離聚類法，是在原來的m×m距離矩陣的非對(duì)角元素中找出，把分類對(duì)象Gp和Gq歸并為一新類Gr，然后按計(jì)算公式計(jì)算原來各類與新類之間的距離，這樣就得到一個(gè)新的（m－1）階的距離矩陣；再?gòu)男碌木嚯x矩陣中選出最小者dij，把Gi和Gj歸并成新類；再計(jì)算各類與新類的距離，這樣一直下去，直至各分類對(duì)象被歸為一類為止。四.系統(tǒng)聚類分析的常用方法區(qū)代號(hào)人均耕地X1勞動(dòng)耕地X2水田比生X3復(fù)種指數(shù)X4糧食畝產(chǎn)X5人均糧食X6稻谷比重X7G10.2941.0935.63113.64510.51036.412.2G20.3150.9710.3995.12773.5683.70.85G30.1230.3165.28148.56934.5611.16.49G40.1790.5270.391114458632.60.92G50.0810.21272.04217.812249791.180.38G60.0820.21143.78179.68973636.548.17G70.0750.18165.15194.710689634.380.17G80.2930.6665.3594.93679.5771.77.8G90.1670.4142.994.84231.5574.61.17例2下表給出了某個(gè)地區(qū)九個(gè)農(nóng)業(yè)區(qū)的七項(xiàng)指標(biāo)。請(qǐng)做聚類分析。某個(gè)地區(qū)九個(gè)農(nóng)業(yè)區(qū)的七項(xiàng)指標(biāo)區(qū)代號(hào)人均耕地X1勞動(dòng)耕地X2水田比生X3復(fù)種指數(shù)X4糧食畝產(chǎn)X5人均糧食X6稻谷比重X7G10.2941.0935.63113.64510.51036.412.2G20.3150.9710.3995.12773.5683.70.85G30.1230.3165.28148.56934.5611.16.49G40.1790.5270.391114458632.60.92G50.0810.21272.04217.812249791.180.38G60.0820.21143.78179.68973636.548.17G70.0750.18165.15194.710689634.380.17G80.2930.6665.3594.93679.5771.77.8G90.1670.4142.994.84231.5574.61.17區(qū)代號(hào)人均耕地X1勞動(dòng)耕地X2水田比生X3復(fù)種指數(shù)X4糧食畝產(chǎn)X5人均糧食X6稻谷比重X7G10.91251.00000.07310.15280.18331.00000.1427G21.00000.86620.00000.00240.00000.23620.0000G30.20000.14800.06820.43660.43910.07900.0709G40.43330.37940.00000.13170.17780.12560.0009G50.02500.03401.00001.00001.00000.46881.0000G60.02920.03290.60560.68940.65430.13400.5950G70.00000.00000.90380.81220.83540.12930.9974G80.90830.53180.06920.00080.09560.42680.0874G90.38330.25550.03500.00000.15390.00000.0040四.系統(tǒng)聚類分析的常用方法絕對(duì)值距離d9,4=0.51最小，所以把G4,G9歸為一類，記為G10=｛G4，G9｝四.系統(tǒng)聚類分析的常用方法3、最遠(yuǎn)距離聚類法

最遠(yuǎn)距離聚類法與最短距離聚類法的區(qū)別在于計(jì)算原來的類與新類距離時(shí)采用的公式不同。最遠(yuǎn)距離聚類法的計(jì)算公式是（3.4.11）

四.系統(tǒng)聚類分析的常用方法區(qū)代號(hào)人均耕地X1勞動(dòng)耕地X2水田比生X3復(fù)種指數(shù)X4糧食畝產(chǎn)X5人均糧食X6稻谷比重X7G10.2941.0935.63113.64510.51036.412.2G20.3150.9710.3995.12773.5683.70.85G30.1230.3165.28148.56934.5611.16.49G40.1790.5270.391114458632.60.92G50.0810.21272.04217.812249791.180.38G60.0820.21143.78179.68973636.548.17G70.0750.18165.15194.710689634.380.17G80.2930.6665.3594.93679.5771.77.8G90.1670.4142.994.84231.5574.61.17例2下表給出了某個(gè)地區(qū)九個(gè)農(nóng)業(yè)區(qū)的七項(xiàng)指標(biāo)。請(qǐng)做聚類分析。某個(gè)地區(qū)九個(gè)農(nóng)業(yè)區(qū)的七項(xiàng)指標(biāo)四.系統(tǒng)聚類分析的常用方法

例題:對(duì)于前面的例子，最遠(yuǎn)距離聚類法的聚類過程如下：

(1)

在9×9階距離矩陣中，非對(duì)角元素中最小者是d94=0.51，將第4區(qū)與第9區(qū)并為一類，記為G10，即G10=｛G4，G9｝。按照公式分別計(jì)算G1，G2，G3，G5，G6，G7，G8與G10之間的距離，得到一個(gè)新的8×8階距離矩陣四.系統(tǒng)聚類分析的常用方法四.系統(tǒng)聚類分析的常用方法(2)在第1步所得到的8×8階距離矩陣中，非對(duì)角線元素中最小者為d57=0.83，故將G5與G7歸并為一類，記為G11，即G11=｛G5，G7｝。按照公式（3.4.11）式分別計(jì)算G1，G2，G3，G6，G8，G10與G11之間的距離，得到一個(gè)新的7×7階距離矩陣如下四.系統(tǒng)聚類分析的常用方法(3)

在第2步所得到的7×7階距離矩陣中，非對(duì)角線元素中最小者為d28=0.88，故將G2與G8歸并為一類，記為G12，即G12=｛G2，G8｝。再按照公式（3.4.11）分別計(jì)算G1，G3，G6，G10，G11與G12之間的距離，得到一個(gè)新的6×6階距離矩陣如下四.系統(tǒng)聚類分析的常用方法(4)在第3步所得的6×6階距離矩陣中，非對(duì)角元素中最小者為d3，10=1.23，故將G3與G10歸并為一類，記為G13，即G13=｛G3，G10｝=｛G3，（G4，G9）｝。再按照公式（3.4.11）計(jì)算G1，G6，G11，G12與G13之間的距離，得到一個(gè)新的5×5階距離矩陣如下四.系統(tǒng)聚類分析的常用方法

(5)在第4步所得的5×5階距離矩陣中，非對(duì)角線元素中最小者為d1，12=1.52，故將G1與G12歸并為一類，記為G14，即G14=｛G1，G12｝=｛G1，（G2，G8）｝。再按照公式（3.4.11）分別計(jì)算G6，G11，G13與G14之間的距離，得到一個(gè)新的4×4階距離矩陣如下四.系統(tǒng)聚類分析的常用方法

(6)在第5步所得的4×4階距離矩陣中，非對(duì)角線元素中最小者為d6，11=1.78，故將G6與G11歸并為一類，記為G15，即G15=｛G6，G11｝=｛G6，（G5，G7）｝。再按照公式（3.4.11）分別計(jì)算G13，G14和G15之間的距離，得到一個(gè)新的3×3階距離矩陣如下四.系統(tǒng)聚類分析的常用方法(7)在第6步所得的3×3階距離矩陣中，非對(duì)角線元素中最小者為d13，14=3.10，故將G13與G14歸并為一類，記為G16，即G16=｛G13，G14｝=｛（G3，（G4，G9）），（G1，（G2，G8））｝。再按照公式（3.4.11）計(jì)算G15與G16之間的距離，可得一個(gè)新的2×2階距離矩陣如下四.系統(tǒng)聚類分析的常用方法(8)將G15與G16歸并為一類。此時(shí)，各個(gè)分類對(duì)象均已歸并為一類。綜合上述聚類過程，可以作出最遠(yuǎn)距離聚類譜系圖。

最遠(yuǎn)距離聚類譜系圖G1G2G8G3G4G9G5G7G6四.系統(tǒng)聚類分析的常用方法4計(jì)算類之間距離的統(tǒng)一公式最短距離和最遠(yuǎn)距離可以用一個(gè)公式表示

用下圖表示二者關(guān)系：（3.4.12）

最短距離最遠(yuǎn)距離

兩種不同的空間距離a1Ab1b2Ba2四.系統(tǒng)聚類分晰的常用方法

當(dāng)α、β、γ三個(gè)參數(shù)取不同的值時(shí)，就形成了不同的聚類方法在下表中，np是p類中單元的個(gè)數(shù)，nq是q類中單元的個(gè)數(shù)，nr=np+nq；β一般取負(fù)值。

系統(tǒng)聚類其他方法的公式方法名稱參數(shù)D矩陣要求空間性質(zhì)apaq

βγ最短距離1/21/20-1/2各種D壓縮最遠(yuǎn)距離1/21/201/2各種D擴(kuò)張中線法1/21/2-1/4≤β≤00歐氏距離保持重心法0歐氏距離保持組平均法

00各種D