(3.9)-第六章 多元統(tǒng)計分析

1.主成分分析2.因子分析3.聚類分析4.相關性分析5.回歸分析

第六章多元統(tǒng)計分析模型背景模型思想模型建立步驟主成分優(yōu)缺點案例分析主成分分析第一節(jié)一、模型背景在研究實際問題時，往往需要涉及多個變量，而通常多個變量間存在較強的相關關系，即這些變量間存在較多的信息重復。假如直接利用它們進行分析，不但模型復雜，還會因為變量間存在多重共線性而引起較大的誤差。為能夠充分利用數據，通常希望用較少的新變量代替原來較多的舊變量，但同時這種代替仍可以反映原來多個變量的大部分信息。這實際上是一種降維的方法。二、模型思想主成分分析（PCA）是一種數學降維的方法。該方法通過構造原變量的一系列線性組合形成一組新的互不相關的變量，使這些新變量盡可能多地反映原變量的信息。這里的“信息”主要由數據變量的方差反映，即方差越大，包含的信息越多。主成分分析通常運用累計方差貢獻率來分析方差。簡要步驟：利用輸入變量構造數據矩陣，并求相關矩陣；由相關系數矩陣的特征值求得累計方差貢獻率；再依據累計方差貢獻率及相關系數矩陣的特征向量，選擇主成分并得出表達式。三、模型建立步驟原始數據標準化處理計算相關系數矩陣R計算特征值和特征向量選擇主成分，并對各主成分所包含信息給于適當解釋計算綜合得分原始數據標準化處理目的:消除變量在量綱上的的影響。假設指標變量有m個指標向量，共有n個待評價對象，記第i個評價對象的第j個指標的取值為，將各指標值轉換成標準化指標，公式如下:其中提示：中心極限定理，當n較大時近似服從正態(tài)分布2.計算相關系數矩陣R相應嗯嗯相關系數矩陣記為其中是第i個指標與第j個指標的相關系數當數據標準化后，第i個指標與第j個指標的相關系數3.計算特征值和特征向量解特征方程

，求得特征值

及對應的特征向量

，其中

由特征向量和原變量組成m個新的指標變量yj。4.選擇主成分，計算綜合評級值主成分貢獻率的定義為：某個主成分的方差占全部方差的比重，也就是某個特征值占全部特征值合計的比重。第個成分的貢獻率為:其中隨機變量觀察數據的取值為前個成分的累計貢獻率為:

各主成分的方差是遞減的，包含的信息也是遞減的。當接近于1時，則選擇前個綜合指標作為個主成分，代替原來的個指標變量。在實踐中，一般要求選取主成分的累計貢獻率達到85%以上。積累貢獻率表示前

個主成分的貢獻率之和。5.計算綜合得分綜合得分計算公式如下：根據每個待評價對象的綜合得分值，對其進行評價。其中

為第j個主成分的貢獻率例1：某河流2001年－2007年的污染物濃度如表2.1所示.要求運用主成分分析，將各年份監(jiān)測值與五個類別的水質標準值進行比較以確定水質級別.

高錳酸鉀指數BOD石油類揮發(fā)酚砷六價鉻氨氮DO20015.13.90.030.0020.0040.00216.620025.35.60.040.0030.0040.0051.35.820035.55.90.340.0040.0040.0071.45.420045.98.70.460.0060.0060.0091.6320057.112.60.680.020.0050.0081.73.720068.611.10.750.030.0050.0081.94.620077.39.70.050.0080.0060.0061.83.6

表2.1該河流各指標監(jiān)測值與水質級別以及綜合污染指數1、數據預處理首先將DO（溶解氧）取倒數，使其與其他指標成為同向指標，即數值越大，表示污染越嚴重.接著將數據標準化，得到標準化后的矩陣；2、計算相關系數矩陣利用公式

得到相關系數矩陣R．3、計算特征值和特征向量接下來計算相關系數矩陣的特征值，特征向量及主成分累積貢獻率.得到8個特征值依次為5.81,2.35,0.64,0.10，，，提取主成分對應的特征值大于1的前3個主成分.4.選擇主成分，計算綜合評級值由此，依據公式

計算主成分綜合得分，結果如表2.2所示.年份2001200220032004200520062007主成分得分-2.8883-1.8464-1.13071.378321.606041.870271.01081

表2.2主成分分析評價結果?優(yōu)點：首先它利用降維技術用少數幾個綜合變量來代替原始多個變量，這些綜合變量集中了原始變量的大部分信息。其次它通過計算綜合主成分函數得分，對客觀經濟現象進行科學評價。再次它在應用上側重于信息貢獻影響力綜合評價。?缺點：如果數據集中有極端值或變量間呈現非線性關系，主成分分析效果大打折扣。當主成分的因子負荷的符號有正有負時，綜合評價函數意義就不明確。命名清晰性低。?缺點解決方法：穩(wěn)健主成分分析、非線性主成分分析（相關延伸自行查找資料）。/T_steve7/article/details/54376455四、主成分優(yōu)缺點主成分分析能降低所研究的數據空間的維數。這是一種刪除多余變量的方法。主成分分析法構造回歸模型。即把各主成分作為新自變量代替原來自變量x做回歸分析。用主成分分析篩選回歸變量?；貧w變量的選擇有著重的實際意義，為了使模型本身易于做結構分析、控制，預測和評價，好從原始變量所構成的子集合中選擇最佳變量，構成最佳變量集合。用主成分分析篩選變量，可以用較少的計算量來選擇量，獲得選擇最佳變量子集合的效果。主成分分析的應用：五、案例下表是我國1984—2000年宏觀投資的一些數據,試利用主成分分析對投資效益進行分析和排序年份投資效果系數（無時滯）投資效果系數（時滯一年）全社會固定資產交付使用率建設項目投產率基建房屋竣工率19840.710.490.410.510.4619850.40.490.440.570.519860.550.560.480.530.4919870.620.930.380.530.4719880.450.420.410.540.4719890.360.370.460.540.4819900.550.680.420.540.4619910.620.90.380.560.4619920.610.990.330.570.4319930.710.930.350.660.4419940.590.690.360.570.4819950.410.470.40.540.4819960.260.290.430.570.4819970.140.160.430.550.4719980.120.130.450.590.5419990.220.250.440.580.5220000.710.490.410.510.46利用Matlab求得相關系數矩陣的前五個特征根及其貢獻率如下表所示主成分分析結果序號特征根貢獻率累計貢獻率13.134362.686662.686621.168323.367086.053630.35027.003693.057240.22584.516297.573450.12132.4266100.0000可以看出，前三個特征根的累計貢獻率已經達到93％以上，主成分分析效果很好。下面選取前三個主成分進行綜合評價，前三個特征根對應的特征向量，如表所示由此可得三個主成分分別為分別以三個主成分的貢獻率為權重，構建主成分綜合評價模型為標準變化量的前三個主成分對應的特征向量分量1分量2分量3分量4分量5第1特征向量0.4905420.525351-0.487060.067054-0.49158第2特征向量-0.293440.048988-0.28120.8981170.160648第3特征向量0.5108970.433660.3713510.1476580.625475年代19881985199619861989199719991998名次1011121314151617綜合評價值-0.2662-0.5292-0.7405-0.7789-0.9715-1.1476-1.2015-1.6848年代199319921991199419871990198420001995名次123456789綜合評價值2.44641.97681.11230.86040.84560.22580.05310.0531-0.2534各年度的三個主成分值代入上式，可以得到各年度的綜合評價值以及排序結果如表2.3所示.表2.3排序結果計算的Matlab程序如下data=importdata('data.csv'); X=zscore(data); R=corrcoef(X); [vec,lamba,rate]=pcacov(R);

vec=vec.*sign(sum(vec)) contr=cumsum(rate)/sum(rate)num=input(‘請選擇主成分個數:’);df=X*vec(:,1:num); tf=df*rate(1:num); [stf,ind]=sort(tf,'descend');[ind,stf]%導入數據%標準化數據%求相關系數矩陣%主成分分析,vec為R特征向量,lamba為R特征值,rate為各個主成分貢獻率%使特征向量和為正%求貢獻率,對所有主成分操作%交互式選取主成分%計算各主成的得分%計算綜合得分%得分降序排列%顯示排名得分情況程序執(zhí)行的結果如下VEC為特征向量所得結果左邊為綜合得分排名右端為綜合得分累積貢獻率使用SPSS軟件分析的過程如下

第一步，導入

第二步，選擇分析方法第三步，點擊提取按鈕并選擇提取主成分個數第三步，單擊確定進行主成成分分析最終獲得結果如下，與Matlab程序計算的結果一致第二節(jié)模型背景因子分析模型模型建立步驟案例分析因子分析

第六章因子分析（FactorAnalysis）是指從變量群中提取公共因子的統(tǒng)計技術.一般認為，公共因子是不能直接觀測的，但它們與可觀測變量有著密切的關系.在因子分析過程中，將變量的方差分為個別變量方差和公共方差兩部分.依據公共方差的大小可評估各變量對公共因子的依賴程度.從而通過分析各公共因子對變量的貢獻選取合適的公共因子替代原變量，并解釋公共因子的含義.與主成分分析類似，因子分析將相同本質的變量歸入一個因子，可減少變量的數目，達到降維的目的.在數學建模中，因子分析用于分析多指標的問題，通過因子得分還可以得出不同公共因子的重要性指標.一、模型背景“因子”是什么？例如，在企業(yè)形象或品牌形象的研究中，消費者可以通過一個有24個指標構成的評價體系，評價百貨商場的24個方面的優(yōu)劣。但消費者主要關心的是三個方面，即商店的環(huán)境、商店的服務和商品的價格。因子分析方法可以通過24個變量，找出反映商店環(huán)境、商店服務水平和商品價格的三個潛在的因子，對商店進行綜合評價。而這三個公共因子可以表示為：稱、、是不可觀測的潛在因子，24個變量共享這三個因子，但是每個變量又有自己的個性，不被包含的部分，稱為特殊因子。數學模型：設Xi(i=1,2,…,p)共p個變量,如果表示為：其中，載荷矩陣A中aij為第個i變量與第j個公共因子之間的線性相關系數，反映變量與公共因子之間的相關程度。

為特殊因子，代表公共因子以外的因素影響。該模型還需滿足以下條件：1）各特殊因子之間以及特殊因子與公共因子之間均互相獨立2）各公共因子都是均值為0，方差為1的獨立正態(tài)隨機變量二、因子分析模型矩陣形式為：對原始數據進行標準化處理計算相關系數矩陣R計算初等載荷矩陣提取公因子進行因子旋轉計算因子得分，并進行綜合評價三、模型建立步驟原始數據標準化處理目的:消除變量在量綱上的的影響。假設指標變量有m個指標向量，共有n個待評價對象，記第i個評價對象的第j個指標的取值為，將各指標值轉換成標準化指標，公式如下:其中提示：中心極限定理，當n較大時近似服從正態(tài)分布2.計算相關系數矩陣R其中是第i個指標與第j個指標的相關系數相應的相關系數矩陣記為當數據標準化后，第i個指標與第j個指標的相關系數3.計算初等載荷矩陣計算相關系數矩陣R的特征值

及對應的特征向量，其中

，初等載荷矩陣為：4.提取p個公因子①根據因子方差（特征值）大小來確定因子個數：只取方差大于1（特征值大于1）的那些因子。②或者按照因子的累計方差貢獻率確定因子個數：一般認為達到60%才符合要求。記載荷矩陣5.進行因子旋轉直接構造出的公共因子往往含義很模糊，這時不便于進行實際背景的解釋。而由于因子載荷陣是不唯一的，所以可以對因子載荷陣進行旋轉，使因子載荷陣的結構簡化，矩陣中每列或行元素的平方值向0和1兩極分化。因子旋轉主要有以下三種方法：①方差最大旋轉法：使各因子保持正交狀態(tài)，但盡量使各因子的方差達到最大，即相對的載荷平方和達到最大，從而方便對因子的解釋②四次最大正交旋轉法：該方法傾向于減少和每個變量有關的因子數，從而簡化對原變量的解釋③平均正交旋轉：該方法介于方差最大正交旋轉和四次方最大正交旋轉之間。例1依據學員業(yè)務指標數據，利用因子分析，提取公共因子.解：設應檢驗觀測矩陣的四個變量為：業(yè)務理論知識，實際業(yè)務技能，思想集中能力，邏輯思維能力．若已知六位學員的四個變量觀測數據，并計算得出相關矩陣為1、計算特征值和特征向量，并提取公因子上述矩陣的兩個最大特征值為因即它們說明了總方差的96.3%，兩個相應的特征向量構成的矩陣為用兩個特征向量的平方根為元素構建對角矩陣2.計算載荷矩陣計算得載荷矩陣3.進行因子旋轉接下來，正交旋轉載荷矩陣，以下采用方差最大旋轉法.方差最大的正交旋轉矩陣為f1的載荷矩矩陣f2的載荷矩陣旋轉了的載荷矩陣為由

，，，說明原變量

，，與公共因子

密切相關且各占據了公共方差的一半以上，而，說明原變量

與公共因子

密切相關且各占據了公共方差的一半以上.因此，用變量“業(yè)務理論知識”、“實際業(yè)務技能”、“思想集中力”最高地裝載第1公共因子，作為知識指標因子.而用“邏輯思維能力”裝載第2公共因子，作為天賦指標因子.并得到因子分析模型為6.計算因子得分利用回歸方法求單個因子得分函數記第個樣本點對第個因子得分的估計值為為原始數據經過標準化后的數據，且有因此有因子分析模型注意要點：1）載荷矩陣可以不唯一，也就是說提取的公因子不是唯一的。

2）共同度量統(tǒng)計意義：變量xi的信息能夠被k個公因子解釋的程度，用k個公因子對第i

個變量xi的方差貢獻率表示3）公共因子Fj的方差貢獻率（方差等于特征值）統(tǒng)計意義：第j個公因子對變量xi的提供的方差總和，反映第j個公因子的相對重要程度。與主成分分析不同之處：1.目的不同：因子分析要從數據中控查出對變量起解釋作用的公共因子和特殊因子以及其組合系數；主成分分析只是從空間生成的角度尋找能解釋諸多變量變異的絕大部分的幾組彼此不相關的新變量（主成分）。2.假設條件不同：主成分分析中不需要有假設；因子分析的假設包括：各個公共因子之間不相關，特殊因子之間不相關，公共因子和特殊因子之間不相關。3.提取主因子的方法不同：因子分析抽取主因子不僅有主成分法，還有極大似然法，主軸因子法，基于這些方法得到的結果也不同；主成分只能用主成分法抽取。4.主成分與因子的變化：當給定的協(xié)方差矩陣或者相關矩陣的特征值唯一時，主成分一般是固定的；而因子分析中因子不是固定的，可以旋轉得到不同的因子。主成分分析與因子分析的用法：因子分析和主成分分析都是通過少數幾個新的變量來代替原有變量，但主成分分析變量個數與原始變量個數相同，有多少個變量就有多少個主成分，我們需要做的，就是根據貢獻率來確定少數幾個主成分。因子分析要事先確定幾個主成分，也就是因子，然后將原始變量綜合成少數幾個因子。例：我國上市公司贏利能力與資本結構的實證分析已知上市公司的數據見表1。試用因子分析法對該企業(yè)進行綜合評價。表1上市公司數據公司銷售凈利率x1資產凈利率x2凈資產收益率x3銷售毛利率x4資產負利率x歌華有線43.317.398.7354.8915.35五糧液17.1112.1317.2944.2529.69用友軟件21.116.03789.3713.82太太藥業(yè)29.558.6210.137314.88浙江陽光118.4111.8325.2225.49煙臺萬華17.6313.8615.4136.4410.03方正科技2.734.2217.169.9674.12紅河光明29.115.446.0956.269.85貴州茅臺20.299.4812.9782.2326.73中鐵二局3.994.649.3513.0450.19紅星發(fā)展22.6511.1314.350.5121.59伊利股份4.437.314.3629.0444.74青島海爾5.48.912.5365.523.27湖北宜化7.062.795.2419.7940.68雅戈爾19.8210.5318.5542.0437.19福建南紙7.262.996.9922.7256.58此處不具體展示原始數據標準化處理過程。利用MATLAB軟件求得相關系數矩陣，見下表2。表2相關系數矩陣x1x2x3x4x110.31941-0.17090.60636x20.3194110.673910.34363x3-0.17090.673911-0.13851x40.606360.34363-0.138511由相關系數矩陣求得特征值及特征向量，見下表3。進而求得初等載荷矩陣A1。表3特征根和特征向量特征根特征向量λiu1ju2ju3ju4j1.89720.53064-0.41216-0.70184-0.236581.54960.593770.40445-0.0229370.695220.393020.260660.72074-0.0096969-0.642250.160210.54582-0.383490.7119-0.21958本例中，我們選取2個主因子。利用MATLAB程序對提取的因子載荷矩陣進行旋轉，得到旋轉后的因子貢獻和貢獻率見表4、載荷矩陣B見表5。表4貢獻率數據因子貢獻貢獻率累計貢獻率11.779444.4944.4921.667341.6886.17表5載荷矩陣指標主因子1主因子2銷售凈利率0.8930.0082資產凈利率0.3720.8854凈資產收益率-0.23020.9386銷售毛利率0.88920.0494利用回歸方法計算各因子得分函數如下：利用綜合因子得分公式：表6上市公司綜合排名表排名12345678F10.03150.00250.97890.4558-0.05631.27911.51591.2477F21.46911.44770.39600.85481.3577-0.1564-0.5814-0.9729F0.72690.70160.69690.64880.62770.58470.50140.1735公司煙臺萬華五糧液貴州茅臺紅星發(fā)展雅戈爾太太藥業(yè)歌華有線用友軟件排名910111213141516F1-0.03510.9313-0.6094-0.9859-1.7266-1.2509-0.8872-0.8910F20.3166-1.19490.15440.34680.2639-0.7424-1.3459-1.6131F0.1350-0.0972-0.2399-0.3412-0.7637-1.0049-1.1091-1.2403公司青島海爾紅河光明浙江陽光伊利股份方正科技中鐵二局福建南紙湖北宜化計算的Matlab程序如下data=importdata('data.csv');X=zscore(data(:,1:4)); R=corrcoef(X) [vec,val,con]=pcacov(R); vec=vec.*sign(sum(vec1)); a=vec.*sqrt(val)'; num=2; am=a(:,1:num); [b,t]=rotatefactors(am,'Method','varimax');bt=[b,a(:,num+1:end)] degree=sum(b.^2,2) %讀取數據%數據標準化%計算相關系數矩陣%主成分分析計算%特征向量正負轉換%計算初等載荷矩陣%提取兩個因子%提取主因子載荷矩陣%旋轉變換，返回值b是旋轉后的載荷矩陣，t是正交矩陣%全部因子的載荷矩陣%計算共同度,對行求和contr=sum(bt.^2) %計算因子貢獻，對列求和rate=contr(1:num)/sum(contr) %計算因子貢獻率coef=R\b %計算得分函數的系數weight=rate/sum(rate); %計算得分權重F1_F2=X*coef %計算綜合得分score=F1_F2*weight'; %加權求和[score,ind]=sort(score,'descend');%排序[ind,score] %顯示排名程序執(zhí)行的結果如下使用SPSS軟件分析的過程如下導入數據的過程與之前相同，不再贅述，與主成成分分析不同的就是選區(qū)旋轉方法為最大方差法，如下圖所示最終獲得結果如下，與Matlab程序計算的結果一致第三節(jié)聚類分析的背景及原理Q型聚類分析R型聚類分析聚類方法步驟案例分析聚類分析

第六章人們往往會碰到通過劃分同種屬性的對象很好的解決問題的情形。例如對市場進行細分、對員工進行分類等等。需要采取一種方法，將對象進行分類，使得同一類中的對象之間相似性比其他類的對象的相似性更強。即類中對象的同性質最大化，類與類間對象的異性質最大化。一、聚類分析背景與原理1、聚類分析背景一般情況下，所研究的樣品或指標（變量）之間是存在程度不同的相似性（親疏關系）。于是根據所給樣品的多個觀測指標，具體找出一些能夠度量樣品或指標之間的相似程度的統(tǒng)計量，以這些統(tǒng)計量為劃分類型的依據，把一些相似程度較大的樣品（或指標）聚合為一類，關系密切的聚合到一個小的分類單位，關系疏遠的聚合到一個大的分類，直到把所有的樣品（或指標）都聚合完畢，把不同的類型一一劃分出來，最后將整個分類系統(tǒng)畫成一張分群圖，用來表示所有樣品間的親疏關系。2、模型思想二、Q型聚類分析——對樣本進行分類1、樣本點間相似性度量--常用Minkowski距離1）絕對值距離2）歐氏距離3）Chebyshev距離

在閔式距離中，最常用的是歐幾里得距離，它的主要優(yōu)點是當坐標軸進行正交旋轉時，歐氏距離保持不變。因此，如果對原坐標系進行平移和旋轉變換后，樣本點間的距離和變換前相同。注：①在使用Minkowski距離時，一定要采用相同量綱的變量。當變量的量綱不同，測量值變異范圍相差懸殊時，首先進行數據的標準化處理，然后再計算距離。②在使用Minkowski距離時，應盡可能的避免變量的多重相關性。多重相關性所造成的信息重疊，會片面強調某些變量的重要性。馬氏距離——對閔式距離的改進式中：x，y為來自P維總體Z的樣本觀測值；∑為Z的協(xié)方差矩陣，實際中∑往往是未知的，常常需要用樣本協(xié)方差來估計。馬氏距離對一切線性變換是不變的，故不受量綱的影響。2、類與類之間相似性度量

1）最短距離法2）最長距離法3）類平均法4）重心法三、R型聚類分析——對變量進行分類1、變量相似性度量1）相關系數。2）夾角余弦

四、模型建立步驟：1、最短距離法、類平均法、重心法的計算步驟（區(qū)別在于：類與類之間的距離定義不同）：2、動態(tài)聚類方法1）隨機將n個樣品分為a個初始類，計算初始類的均值：2）計算某樣品到初始類（均值）的歐氏距離若樣品在距離最小的初始類中，則不重新分配，繼續(xù)計算其他樣品距離；若某樣品不在距離最小的初始類中，需重新分配，此時更新分類，繼續(xù)計算其他樣品的歐氏距離，直到所有樣品都歸類為止。3）更新均值，重復2）步驟，直到所有樣品不用分配為止。

小結若需要進行分類的數據量不是特別大時，使用最短距離法、類平均法、重心法得到的結果差異不是很大，不同在于計算距離矩陣時使用的計算公式不同。當遇見實際問題，可以根據計算量的大小以及可行性選取適當的方法進行計算。而動態(tài)聚類法則需要事先給出所要分成的幾種類型才能使用。1、我國各地區(qū)普通高等教育發(fā)展水平綜合評價

由于我國各地區(qū)經濟發(fā)展水平不均衡，加之高等院校原有布局使各地區(qū)高等教育發(fā)展的起點不一致，因而各地區(qū)普通高等教育的發(fā)展水平存在一定的差異，不同的地區(qū)具有不同的特點。請對我國各地區(qū)普通高等教育的發(fā)展狀況進行綜合評價。

參與評價的十個指標各自含義見表1，指標的原始數據取自《中國統(tǒng)計年鑒，1995》和《中國教育統(tǒng)計年鑒，1995》除以各地區(qū)相應的人口數得到十項指標值見表2。例題表1指標含義x1每百萬人口高等院校數x2每十萬人口高等院校畢業(yè)生數x3每十萬人口高等院校招生數x4每十萬人口高等院校在校生數x5每十萬人口高等院校教職工數x6每十萬人口高等院校專職教師數x7高級職稱占專職教師的比例x8平均每所高等院校的在校生數x9國家財政預算內普通高教經費占國內生產總值的比重x10生均教育經費表2我國各地區(qū)普通高等教育發(fā)展狀況數據地區(qū)x1x2x3x4x5x6x7x8x9x10北京5.96310461155793131944.3626152.213631上海3.39234308103549816135.0230520.912665天津2.3515722971329510938.430310.869385陜西1.35811113641505830.4526991.227881遼寧1.5881284211445834.328080.547733吉林1.67861203701535833.5322150.767480黑龍江1.1763932961174435.2225280.588570湖北1.0567922971154332.8928350.667262江蘇0.9564942871023931.5430080.397786廣東0.693971205612434.529880.3711355四川0.564057177612332.6231490.557693山東0.575864181572232.9532020.286805甘肅0.714262190662628.1326570.737282湖南0.744261194612433.0626180.476477浙江0.864271204662629.9423630.257704新疆1.2947732651144625.9320600.375719福建1.045371218632629.0120990.297106山西0.855365218763025.6325550.435580河北0.814366188612329.8223130.315704安徽0.593547146462032.8324880.335628云南0.663640130441928.5519740.489106江西0.774363194672328.8125150.344085海南0.73351165471827.3423440.287928內蒙古0.844348171652927.6520320.325581西藏1.692645137753312.1810114199河南0.553246130441728.4123410.35714廣西0.62843129391731.9321460.245139寧夏1.394862208773422.715000.425377貴州0.64233293371628.1214690.345415青海1.483846151633017.8710240.3873681）R型聚類分析定性考察反映高等教育發(fā)展狀況的5個方面10項評價指標，可以看出，某些指標可能存在較強的相關性。比如每10萬人口高等院校畢業(yè)生數、每10萬人口高等院校招生數與每10萬人口高等院校在校生數之間可能存在較強的相關性，為驗證這種想法，運用Matlab軟件計算10個指標之間的相關系數，相關系數表如表3所示。表3相關系數矩陣x1x2x3x4x5x6x7x8x9x10x11.000.940.950.960.970.980.410.070.870.66x20.941.000.990.990.970.970.610.350.800.60x30.950.991.001.000.980.980.630.340.820.62x40.960.991.001.000.990.990.610.330.830.61x50.970.970.980.991.001.000.560.240.860.62x60.980.970.980.991.001.000.550.220.870.62x70.410.610.630.610.560.551.000.780.370.15x80.070.350.340.330.240.220.781.000.110.05x90.870.800.820.830.860.870.370.111.000.68x100.660.600.620.610.620.620.150.050.681.00可以看出某些指標之前確實存在很強的相關性，因此可以考慮從這些指標中選取幾個有代表性的指標進行聚類分析。為此，把10個指標根據其相關性進行R型聚類，再從每個類中選取代表性的指標。首先對每個變量（指標）的數據分別進行標準化處理。變量間相近性度量采用相關系數，類間相似性度量的計算選用類平均法。聚類樹型圖如下圖所示。Matlab程序：data=load('C:\Users\lenovo\Desktop\205.txt');d=pdist(data,'correlation');

%計算相關系數導出的距離z=linkage(d,'average');%產生聚類等級樹[h,t]=dendrogram(z);

%畫聚類圖num=input(‘輸入分類數目num：');T=cluster(z,‘maxclust’,num);%把對象劃分為num類%%%%%%%%%%輸出分類%%%%%%%%%%fori=1:numt=find(T==i);t=reshape(t,1,length(t));fprintf('μú%dàà:%s\n',i,int2str(t));end

從聚類圖中可以看出，每10萬人口高等院校招生數、每10萬人口高等院校在校生數、每10萬人口高等院校教職工數、每10萬人口高等院校專職教師數、每10萬人口高等院校畢業(yè)生數5個指標之間有較大的相關性，最先被聚到一起。如果將10個指標分為6類，其他5個指標各自為一類。這樣就從10個指標中選定了6個分析指標。

x1

為每百萬人口高等院校數；

x2為每10萬人口高等院校畢業(yè)生數；

x3為高級職稱占專職教師比例；

x4為平均每所高等院校的在校生數；x5為國家財政預算內普通高等教育經費占國內生產總值的比例；

x6為生均教育經費?？梢愿鶕@6個指標對30個地區(qū)進行聚類分析。2）Q型聚類分析根據這6個指標對30個地區(qū)進行聚類分析。首先對每個變量的數據分別進行標準化處理，樣本間相似性采用歐氏距離度量，類間距離的計算選用類平均法。聚類樹型圖如圖5所示。Matlab程序：clc,cleara=load(‘C:\Users\lenovo\Desktop\julei.txt’);%導入數據b=zscore(a);%標準化數據d=pdist(b);%計算兩兩之間的歐氏距離z=linkage(d);%生成具有層次結構的聚類圖dendrogram(z);%畫聚類圖k=input(‘輸入分類數目:');T=cluster(z,'maxclust',k);%把對象劃分為k類%%%%%%%%%%輸出分類%%%%%%%%%%fori=1:kt=find(T==i);t=reshape(t,1,length(t));fprintf('μú%dàà:%s\n',i,int2str(t));end案例研究結果

各地區(qū)高等教育發(fā)展狀況存在較大的差異，高等資源的地區(qū)分布很不均衡。如果根據各地區(qū)高等教育發(fā)展狀況把30個地區(qū)分為三類，結果為：第一類——北京；第二類——西藏；第三類——其他地區(qū)。如果根據各地區(qū)高等教育發(fā)展狀況把30個地區(qū)分為四類，結果為：第一類——北京；第二類——西藏；第三類——上海、天津；

第四類——其他地區(qū)。如果根據各地區(qū)高等教育發(fā)展狀況把30個地區(qū)分為五類，結果為：第一類——北京；第二類——西藏；第三類——上海、天津；第四類——寧夏、貴州、青海；第五類——其他地區(qū)。從以上結果結合聚類圖中的合并距離可以看出，北京的高等教育狀況與其他地區(qū)相比有非常大的不同，主要表現在每百萬人口的學校數量和每10萬人口的學生數量以及國家財政預算內普通高教經費占國內生產總值的比例等方面遠遠高于其他地區(qū)，這與北京作為全國的政治、經濟與文化中心的地位是吻合的。上海和天津作為另外兩個較早的直轄市，高等教育狀況和北京是類似的狀況。寧夏、貴州和青海的高等教育狀況極為類似，高等教育資源相對匱乏。西藏作為一個非常特殊的民族地區(qū)，其高等教育狀況具有和其他地區(qū)不同的情形，被單獨聚為一類，主要表現在每百萬人口高等院校數比較高，國家財政預算內普通高教經費占國內總值的比重和生均教育經費也相對較高，而高級職稱占專職教師的比例與平均每所高等院校的在校生數又都是全國最低的。這正是西藏高等教育狀況的特殊之處：人口相對較少，經費比較充足，高等院校規(guī)模較小，師資力量薄弱。其他地區(qū)的高等教育狀況較為類似，共同被聚為一類。針對這種情況，有關部門可以采取相應措施對寧夏、貴州、青海和西藏地區(qū)進行扶持，促進當地高等教育事業(yè)的發(fā)展。2、已知有20個樣本，每個樣本有兩個特征，數據分布如下表所示，試采用k_均值聚類分析方法對這些數據進行分類。特征樣本x10101212367x2001112226626777788899Matlab程序如下：X=[01012123678678978989

00111222666777788899]';figure;%繪制數據點分布圖plot(X(:,1),X(:,2),'.');xlabel('X1');ylabel('X2');opts=statset('Display','final');K=input(‘請輸入聚類數目K:’)%根據數據點分布圖判斷分類數目[idx,C]=kmeans(X,K,'Distance','cityblock','Replicates',10,'Options',opts);[idx,C]=kmeans(X,K,'Distance','cityblock',…'Replicates',10,'Options',opts);%X為樣本，K為聚類數目，'Distance','cityblock'表示使用絕對誤差和作為測量距離，%'Replicates',10表示迭代重復次數為10，'Options',opts表示迭代算法最小化擬合準則figure;plot(X(idx==1,1),X(idx==1,2),'r.','MarkerSize',12)%繪制第一類樣本坐標點

holdonplot(X(idx==2,1),X(idx==2,2),'b.','MarkerSize',12)%繪制第二類樣本坐標點xlabel('X1');ylabel('X2');plot(C(:,1),C(:,2),‘kx’,…'MarkerSize',15,'LineWidth',3)%繪制聚類中心legend('Cluster1','Cluster2','Centroids',…'Location','NW')title‘ClusterAssignmentsandCentroids‘%添加標題holdoff%%%%%%%%%%輸出分類%%%%%%%%%%fori=1:Kt=find(idx==i);t=reshape(t,1,length(t));fprintf(‘第%d類:%s\n',i,int2str(t));end最終分類圖：程序輸出結果：第1類:91011121314151617181920第2類:12345678第四節(jié)基本概念相關性分析相關性分析方法案例分析相關性分析

第六章

xy一、基本概念客觀事物之間大多是普遍聯(lián)系、相互依存、相互制約。用變量反映這些現象的特征時，這就表現為變量之間的依存關系。變量之間的關系各種定義的相似性對量均應具有以下兩種性質1.，對于一切、成立；2.，對于一切、成立。越接近1，與越相關或越相似。越接近0，與的相似性越弱。相關系數二、相關性分析1、相關性分析相關性分析是用來研究變量之間是否存在相關關系，并評估相關關系的相關方向以及相關程度的一種統(tǒng)計的方法。2、相關系數相關系數是反映變量之間相關關系密切程度，常用r表示，取值范圍[-1，1]。相關系數取值解釋見下表1。表1相關強度r等級表數值范圍相關程度0.8-1.0極強相關0.6-0.8強相關0.4-0.6中等程度相關0.2-0.4弱相關0.0-0.2極弱相關或無相關三、相關性分析方法相關性分析種類繁多，在數學建模中常用的為以下三種：灰色關聯(lián)度、斯皮爾曼等級相關和皮爾遜相關系數。1、灰色關聯(lián)度（1）背景灰色系統(tǒng)理論提出了對各子系統(tǒng)進行灰色關聯(lián)度分析的概念，意圖透過一定的方法，去尋求系統(tǒng)中各子系統(tǒng)(或因素)之間的數值關系?；疑P聯(lián)度分析的意義是指在系統(tǒng)發(fā)展過程中，如果兩個因素變化的態(tài)勢是一致的，即同步變化程度較高，則可以認為兩者關聯(lián)較大；反之，則兩者關聯(lián)度較小。因此，灰色關聯(lián)度分析對于一個系統(tǒng)發(fā)展變化態(tài)勢提供了量化的度量，非常適合動態(tài)的歷程分析。（2）計算方法表2部分式子含義表達式含義

第i個比較數列與第j個比較數列

第k個樣本之間的關聯(lián)系數

兩級最小差兩級最大差

分辨率，取值[0,1]假設有以下兩組數列現在比較一下兩組數列的相關度，灰色關聯(lián)度計算公式如下：該式子中解釋見表2

灰色關聯(lián)度計算公式為：（3）使用情況①在實際獲取數據過程中，常常會受到客觀因素和人為因素的影響，使獲得的數據不完全準確，具有一定灰度。因此，在統(tǒng)計過程中運用灰色理論更加合理。②在對多組待測數列與一個參考數列之間相關度大小的排序時，可選擇使用灰色關聯(lián)度。2、斯皮爾曼等級相關（等級差數法）（1）方法思想斯皮爾曼等級是根據等級資料研究兩個變量間相關關系的方法。它是依據兩列成對等級的各等級數之差來進行計算的。（2）適用對象主要用于解決稱名數據和順序數據相關的問題。稱名數據：只說明某一事物與其他事物在屬性上的不同或類型上的差異，其數值一般都取整數形式，只計算個數，并不說明事物之間差異的大小，比如性別、顏色類別，它們只能用具有相同屬性的個體數目來統(tǒng)計。一般不能對這類數據進行加減乘除運算。順序數據,例如在各種的比賽中,我們常常會設置名次,“第一名、第二名、第三名……”來表示。順序變量數據之間雖有次序與等級關系,但這種數據之間不具有相等的單位,也不具有絕對的數量大小和零點.因此,只能進行順序遞推運算。（3）計算步驟①將數量標志和品質標志的具體表現按等級次序編號②得出兩個標志對應等級編號的差di③計算皮爾斯曼等級相關系數ρ，以評價變量之間的相關性，計算公式為（4）使用情況

在確定兩組數據間的相關度時，使用斯皮爾曼等級相關較好。3、皮爾遜相關系數（1）方法思想皮爾遜積矩相關系數用于度量兩個變量和之間的相關（線性相關），值介于-1與1之間。（2）計算公式（3）使用情況①皮爾遜相關系數可以用來用來衡量國民收入和居民儲蓄存款、身高與體重、高中成績和高考成績等變量之間的線性相關關系。②在確定兩組數據是否在一條線上時，比較適合使用皮爾遜相關系數。四、相關性分析案例例梭梭生長量與氣候因子的關聯(lián)分析表3為1995年梭梭逐月生長量、月平均氣溫、月降水量、月日照和月平均相對濕度的原始數據，試排出影響梭梭生長的關聯(lián)序，并找出主要的影響因子。表3梭梭生長與氣候數據X0/cm0.010.51.510.81316.31819.314.810.381X1/℃4.27.41016.121.123.924.724.5221813.16.8X2/mm171017192487296.9269194584.912X3/h54738413714910910116481847966X4/%817975757779838683828182法一：灰色關聯(lián)度數據處理：X0-X1X0-X2X0-X3X0-X44.1916.9953.9980.996.99.572.578.58.515.582.573.55.38.2126.264.28.1235136647.655.792.762.76.778.983655.2249.7144.766.77.2179.266.268.27.747.773.771.75.13.171735.8116581則兩級最小差與兩級最大差分別為： minmin|x0(k)-xi(k)|=|4.19,3.1,53.99,62.7|=3.1 maxmax|x0(k)-xi(k)|=|8.5,249.7,144.7,81|=249.7

ε(1)0.9915530.9711570.9595050.9830960.9623920.9660250.9726340.9838520.9689510.9652960.9846090.979334ε(2)0.9020730.9523630.9116490.9616690.3555650.7086680.6279750.341610.4208190.74152410.941848ε(3)0.7154440.6483410.6170730.5096590.4905120.5881410.6155880.474680.669720.6444220.6533060.673953ε(4)0.6215990.6292110.6450720.6768050.6775220.6822180.6739530.6679720.6627820.6509790.6467020.621569

法一：灰色關聯(lián)度

法二：斯皮爾曼等級相關將數據按大小順序進行排序，再對其進行等級化，得到數據表格如下：

123456789101112X0124781011129653X1134681012119752X2425611891210713X3137101198125642X4652134101211978進一步有：d1d2d3d4d5d6d7d8d9d10d11d120-10100-110-101-30-11-3220-1-1400-1-3-3-31304011-5-3265610-2-3-2-5法二：斯皮爾曼等級相關Matlab程序實現：clear,clca=[124781011129653;134681012119752;425611891210713;137101198125642;652134101211978];d1=a(1,:)-a(2,:);%數據處理：第一行逐次減第二、三、四、五行d2=a(1,:)-a(3,:);d3=a(1,:)-a(4,:);d4=a(1,:)-a(5,:);d=[d1;d2;d3;d4];m=size(d,2);%m表列數rou=1-6*sum(d.^2,2)/(m^3-m);%求斯皮爾曼等級相關系數矩陣結果:相關系數矩陣rou=[0.9790;0.8392;0.8042;0.3776]第五節(jié)回歸分析回歸基本概念一元線性回歸多元線性回歸非線性回歸案例分析一、回歸基礎概念1、回歸分析例1

一種農作物的畝產量Y與播種量X1、施肥量X2有聯(lián)系，但X1、X2不能嚴格決定Y。除了播種量和施肥量外，其它因素如灌溉情況、氣溫變化、自然災害等等，都會影響到畝產量Y，我們把除X1，X2以外影響Y的因素歸于隨機誤差。

例2

人的身高X和體重Y存在關聯(lián)，一般表現為身高越大體重也傾向于越大，但身高不能嚴格地決定體重。?根據樣本信息來描述兩種或兩種以上變量間的相互依賴的定量關系的統(tǒng)計分析方法稱為回歸分析。?實際問題中往往涉及多個變量。在這些變量中，有一個是特別關注的稱為因變量，而其他變量看作是影響這一變量的因素，稱為為自變量。

?例1中畝產量Y為因變量，播種量X1、施肥量X2為自變量。一個自變量兩個及兩個以上自變量多元回歸線性回歸非線性回歸回歸模型一元回歸線性回歸非線性回歸2、回歸分類3、回歸分析與相關性分析區(qū)別

?回歸分析著重尋求變量間的近似函數關系

?相關性分析著重尋求數量性指標，以刻畫有關變量之間關系深淺程度

4、回歸模型

現在設一個問題中有因變量以及自變量有模型：其中為觀察值圍繞它的期望值的離差，是一個不可觀測的隨機變量，又稱為隨即干擾項或隨機誤差項。于是可以得到就是在給定了自變量值的條件下，因變量的條件期望即：則函數稱為對的回歸函數,方程：稱為對的回歸方程

例一個假想的社區(qū)有100戶家庭組成，要研究該社區(qū)每月家庭消費支出Y與每月家庭可支配收入X的關系，即如果知道了家庭的月收入，能否預測該社區(qū)家庭的平均月消費支出水平。為達到此目的，將該100戶家庭劃分為組內收入差不多的10組，以分析每一收入組的家庭消費支出。描出散點圖發(fā)現：隨著收入的增加，消費“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。05001000150020002500300035005001000150020002500300035004000每月可支配收入X（元）每月消費支出Y（元）

將居民消費支出看成是其可支配收入的線性函數時:為一線性函數。其中，

0，

1是未知參數，稱為回歸系數。

二、一元線性回歸一元線性回歸模型基本假定擬合效果分析回歸方程的顯著性檢驗1、一元線性回歸模型對誤差項做出以下假定?正態(tài)性。是一個服從正態(tài)分布的隨機變量，且數學期望為0?方差齊性。即對所有的,的方差均相同?獨立性。對于一個特定的值，它所對應與其他值所對應的不相關2、基本假定xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾利用最小二乘法得到的估計值為利用最小二乘法得到的估計值為3、擬合效果分析

對于n個樣本點(xi，yi),i=1,2,…,n，其回歸方程為記殘差為：

總偏差平方和（ST）{回歸平方和（SR）{殘差平方和（SL）{2）判定系數R2

判定系數定義為：回歸平方和占總偏差平方和的比例判定系數意義：反映回歸直線的擬合程度取值范圍在[0,1]之間R2

1，說明回歸方程擬合的越好；

R2

0，說明回歸方程擬合的越差判定系數等于相關系數的平方，即R2

＝r24、回歸方程的顯著性檢驗檢驗該模型是否比較真實地反映了因變量與自變量之間的相關關系。思路及步驟：1）提出假設當H0為真時，則表示y不受x的影響，說明模型不成立；當H1真時，則x與y之間卻有一定的關系，說明模型可以成立。

三、多元線性回歸多元線性回歸模型回歸系數估計回歸方程的顯著性檢驗回歸系數的顯著性檢驗最優(yōu)回歸方程與逐步回歸法1、多元線性回歸模型記，多元線性回歸分析的模型為現得到n個獨立觀測數據由上式模型得：2、回歸系數估計——最小二乘法

其中，矩陣多元線性回歸方程的矩陣形式為3、回歸方程顯著性檢驗檢驗因變量與所有的自變量和之間的是否存在一個顯著的線性關系，也被稱為總體的顯著性檢驗。思路及步驟：1）提出假設當H0為真時，則表示y不受x的影響，說明模型不成立；當H1真時，則x與y之間有一定的關系，說明模型可以成立。2）計算檢驗統(tǒng)計量F

4、回歸系數顯著性檢驗注意要點：回歸系數的檢驗就是用來確定每一個單個的自變量xi

對因變量y

的影響是否顯著。需要對每一個自變量都要單獨進行檢驗。采用t

檢驗。這里在多元線性回歸中，回歸方程的顯著性檢驗不再等價于回歸系數的顯著性檢驗

5、最優(yōu)回歸方程與逐步回歸法（1）最優(yōu)回歸方程是指：對因變量y有顯著作用的自變量，全部選入回歸方程；對因變量y無顯著作用的自變量，均不引入回歸方程。（2）變量篩選方法①向前選擇變量法②向后刪除變量法③逐步回歸法逐步回歸法逐步回歸法是向前選擇變量法和向后刪除變量法的一種結合，能夠避免多重共線性。首先，求y與每一個xi的一元線性回歸方程，選擇F值最大的變量進入模型。然后，對剩下的(m-1)

個模型外的變量進行偏F檢驗（設定xi1

已在模型中），在若干通過偏F檢驗的變量中，選擇Fj值最大者進入模型。再對模型外的(m-2)

個自變量做偏F檢驗。在通過偏F檢驗的變量中選擇Fj值最大者進入模型。接著對模型中的三個自變量分別進行偏F檢驗，如果三個自變量都通過了偏F檢驗，則接著選擇第四個變量。但如果有某一個變量沒有通過偏F檢驗，則將其從模型中刪除。重復上述步驟，直到所有模型外的變量都不能通過偏F檢驗，則算法終止。逐步回歸法可用spss實現：用spss進行逐步回歸第1步：選擇【分析】【回歸-線性】，進入主對話框第2步：在主對話框中將因變量選入【因變量】，將所有自變量選入【自變量】，并在【方法】下原則【逐步】第3步：點擊【選項】，在【步進方法標準】下選中【使用F值】，在【進入】和【除去】中輸入要求的F值上下限（默認3.84和2.71，一般不用改變）。點擊【繼續(xù)】第4步：點擊【確定】得到逐步回歸方程。四、非線性回歸特點：

因變量y

與x

之間不是線性關系思想方法：可通過變量代換轉換成線性關系注意要點：并非所有的非線性模型都可以化為線性模型幾種常見的非線性模型及其變換：雙曲線方程；冪函數方程；指數曲線方程對數曲線方程；S型曲線方程幾種常見的非線性模型（1）雙曲線方程線性化變換：圖像：基本形式：（2）冪函數方程線性化變換：基本形式：圖像：（3）指數曲線方程線性化變換：基本形式：圖像：（4）指數曲線方程線性化變換：基本形式：圖像：線性化變換：基本形式：圖像：（5）對數曲線方程基本形式：圖像：（6）S型曲線方程線性化變換：五、一元線性回歸舉例在家庭消費的例子的總體中有如下一個樣本：用matlab可觀察到Y-X圖像趨近直線，固可用一元線性方程。

Matlab程序實現：clc,clearFormatlongx=[59463811221155140815951969207825852530];y=[800110014001700200023002600290032003500];plot(x,y,'*')%畫出y-x散點圖x=x';Y=y';X=[ones(10,1),x];%構造回歸分析的數據矩陣[beta,betaint,r,rint,st]=regress(Y,X);%計算回歸系數和統(tǒng)計量beta:回歸系數,betaint:回歸系數置信區(qū)間,r:殘差,rint:殘差0.95的置信區(qū)間運行結果：beta=179.8996betaint=-90.7163450.51551.25691.0984 1.4154st=0.9766334.4876021679.6144對應于R2、F、P、s2六、多元線性回歸舉例

利用Matlab程序，求得

（2）回歸方程的檢驗

令原假設為

（6.1）

(3)回歸系數檢驗：

Matlab程序實現：clc,clearab=textread('ex7_19.txt');y=ab(:,[2,7]);Y=nonzeros(y); %去掉y后面的0，并變成列向量x123=[ab(1:13,3:5);ab(1:12,8:10)]; %提取x1，x2，x3X=[ones(25,1),x123];[beta,betaint,r,rint,st]=regress(Y,X);%線性回歸回歸系數及統(tǒng)計量st第二個分量為Ffw1=finv(0.025,3,21);%計算fw2=finv(0.975,3,21);%計算st(2),fw1,fw2c=diag(inv(X'*X));q=sum(r.^2);%計算殘差平方和ybar=mean(Y);%觀測值的平均值yhat=X*beta;%計算y的估計值u=sum((yhat-ybar).^2);%回歸平方和t=beta./sqrt(c)/sqrt(q/21);%t統(tǒng)計量tfw=tinv(0.975,21);%t分布上alpha/2分位數t,tfw

七、spss逐步回歸舉例

據下表數據，用逐步回歸法建立不良貸款與貸款余額、累計應收貸款、貸款項目個數和固定資產投資額的回歸方程編號不良貸款各項貸款余額累計應收貸款貸款項目個數固定資產投資額10.967.36.85