典型相關(guān)分析課件

第九章典型相關(guān)分析1第九章典型相關(guān)分析1典型相關(guān)分析就是研究?jī)山M變量之間相關(guān)關(guān)系的一種多元統(tǒng)計(jì)分析的方法。它能夠揭示兩組變量之間的內(nèi)在聯(lián)系。我們知道，在一元統(tǒng)計(jì)分析中，用相關(guān)系數(shù)來(lái)衡量?jī)蓚€(gè)隨機(jī)變量之間的線性關(guān)系；用復(fù)相關(guān)系數(shù)研究一個(gè)隨機(jī)變量和多個(gè)隨機(jī)變量的線性相關(guān)關(guān)系。對(duì)于兩組隨機(jī)變量之間的相關(guān)關(guān)系如何分析呢？一、典型相關(guān)分析的概念及基本思想

2典型相關(guān)分析就是研究?jī)山M變量之間相關(guān)關(guān)系的一種多元統(tǒng)計(jì)分析的通常情況下，為了研究?jī)山M變量的相關(guān)關(guān)系，可以用最原始的方法，分別計(jì)算兩組變量之間的全部相關(guān)系數(shù)，一共有pq個(gè)簡(jiǎn)單相關(guān)系數(shù)，這樣又煩瑣又不能抓住問(wèn)題的本質(zhì)。如果能夠采用類似于主成分的思想，分別找出兩組變量的各自的某個(gè)線性組合，討論線性組合之間的相關(guān)關(guān)系，則更簡(jiǎn)捷。3通常情況下，為了研究?jī)山M變量3在解決實(shí)際問(wèn)題中，這種方法有廣泛的應(yīng)用。如，在工廠里常常要研究產(chǎn)品的q個(gè)質(zhì)量指標(biāo)P個(gè)原材料的指標(biāo)之間的相關(guān)關(guān)系；也可以是采用典型相關(guān)分析來(lái)解決的問(wèn)題。如果能夠采用類似于主成分的思想，分別找出兩組變量的線性組合既可以使變量個(gè)數(shù)簡(jiǎn)化，又可以達(dá)到分析相關(guān)性的目的。典型相關(guān)分析的目的就是識(shí)別并量化兩組變量之間的聯(lián)系，將兩組變量相關(guān)關(guān)系的分析轉(zhuǎn)化為一組變量的線性組合與另一組變量的線性組合之間的相關(guān)關(guān)系分析。4在解決實(shí)際問(wèn)題中，這種方法有廣泛的應(yīng)用。如，在工廠里例家庭特征與家庭消費(fèi)之間的關(guān)系為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：分析兩組變量之間的關(guān)系。5例家庭特征與家庭消費(fèi)之間的關(guān)系為了

X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣6

X1X2y1y2y3X11.000.800.260.670y2y3y1x2x17y2y3y1x2x17

典型相關(guān)分析的思想：

首先分別在每組變量中找出第一對(duì)變量的線性組合，使得兩組的線性組合之間具有最大的相關(guān)系數(shù)。然后再在每組變量中找出第二對(duì)線性組合，使其分別與本組內(nèi)的第一線性組合不相關(guān)，第二對(duì)本身具有次大的相關(guān)性。如此下去，直至兩組變量的相關(guān)性被提取完為止。

8典型相關(guān)分析的思想：首先分別在每組變量中找出第被選出的線性組合配對(duì)稱為典型變量，它們的相關(guān)系數(shù)稱為典型相關(guān)系數(shù)。典型相關(guān)系數(shù)度量了兩組變量之間聯(lián)系的線性組合。u2和v2與u1和v1相互獨(dú)立，但u2和v2相關(guān)。如此繼續(xù)下去，直至進(jìn)行到r步，rmin(p,q)，可以得到r組變量。從而達(dá)到降維的目的。9被選出的線性組合配對(duì)稱為典型變量，它們的相關(guān)系數(shù)二、典型相關(guān)的數(shù)學(xué)描述

（一）想法考慮兩組變量的向量

其協(xié)方差陣為其中11是第一組變量的協(xié)方差矩陣；22是第二組變量的協(xié)方差矩陣；12和21是X和Y的其協(xié)方差矩陣。10二、典型相關(guān)的數(shù)學(xué)描述（一）想法其協(xié)方差陣為如果我們記兩組變量的第一對(duì)線性組合為：其中：所以，典型相關(guān)分析就是求1和1，使二者的相關(guān)系數(shù)達(dá)到最大。11如果我們記兩組變量的第一對(duì)線性組合為：（二）典型相關(guān)系數(shù)和典型變量的求法

在約束條件下，求1和1，使uv達(dá)到最大。根據(jù)數(shù)學(xué)分析中條件極值的求法，引入Lagrange乘數(shù)，求極值問(wèn)題，則可以轉(zhuǎn)化為求的極大值，其中和是Lagrange乘數(shù)。12（二）典型相關(guān)系數(shù)和典型變量的求法在約束將上面的3式分別左乘和13將上面的3式分別左乘和將左乘（3）的第二式，得并將第一式代入，得的特征根是，相應(yīng)的特征向量為14將左乘（3）的第二式，得并將第一式代將左乘（3）的第一式，并將第二式代入，得的特征根是，相應(yīng)的特征向量為15將左乘（3）的第一式，并將第二式代入，引理：AB和BA有相同的非零特征根.A’和A有相同的非零特征根.則和有相同的非零特征根。16引理：AB和BA有相同的非零特征根.A’和A有相同的非零特征

結(jié)論：既是M1又是M2的特征根，和是相應(yīng)于M1和M2的特征向量。至此，典型相關(guān)分析轉(zhuǎn)化為求M1和M2特征根和特征向量的問(wèn)題。

第一對(duì)典型變量提取了原始變量X與Y之間相關(guān)的主要部分，如果這部分還不能足以解釋原始變量，可以在剩余的相關(guān)中再求出第二對(duì)典型變量和他們的典型相關(guān)系數(shù)。17結(jié)論：既是M1又是M2的特征根，和

在剩余的相關(guān)中再求出第二對(duì)典型變量和他們的典型相關(guān)系數(shù)。設(shè)第二對(duì)典型變量為：

在約束條件：18在剩余的相關(guān)中再求出第二對(duì)典型變量和他求使達(dá)到最大的和。19求使例家庭特征與家庭消費(fèi)之間的關(guān)系為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：分析兩組變量之間的關(guān)系。20例家庭特征與家庭消費(fèi)之間的關(guān)系為了

X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣21

X1X2y1y2y3X11.000.800.260.670典型相關(guān)分析

典型相關(guān)系數(shù)調(diào)整典型相關(guān)系數(shù)近似方差

典型相關(guān)系數(shù)的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.03491922典型相關(guān)分析

典型相調(diào)整典型近似方差典型相關(guān)系數(shù)的平方10.X組典型變量的系數(shù)

U1U2X10.7689-1.4787X20.27211.6443Y組典型變量的系數(shù)

V1V2Y10.04911.0003Y20.8975-0.5837Y30.19000.295623X組典型變量的系數(shù)

U1U2X10.7689-1.4787X三、典型變量的性質(zhì)

1、同一組的典型變量之間互不相關(guān)

即X組的典型變量之間是相互互不相關(guān):即Y組的典型變量之間是互不相關(guān)：24三、典型變量的性質(zhì)

1、同一組的典型變量之間互不相關(guān)即X組的2、不同組的典型變量之間相關(guān)性

不同組內(nèi)典型變量之間的相關(guān)系數(shù)為：252、不同組的典型變量之間相關(guān)性不同組內(nèi)典型變量之間的相關(guān)系同對(duì)則協(xié)方差為i，不同對(duì)則為零。26同對(duì)則協(xié)方差為i，不同對(duì)則為零。263、原始變量與典型變量之間的相關(guān)系數(shù)

原始變量相關(guān)系數(shù)矩陣x典型變量系數(shù)矩陣273、原始變量與典型變量之間的相關(guān)系數(shù)

原始變量相關(guān)系數(shù)矩陣y典型變量系數(shù)矩陣28y典型變量系數(shù)矩陣2829293030典型變量的結(jié)構(gòu)

U1U2X10.9866-0.1632X20.88720.4614

V1V2Y10.42110.8464Y20.9822-0.1101Y30.51450.301331典型變量的結(jié)構(gòu)

U1U2X10.9866-0.1632X20典型變量的結(jié)構(gòu)

V1V2X10.6787-0.0305X20.61040.0862

U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.056332典型變量的結(jié)構(gòu)

V1V2X10.6787-0.0305X20兩個(gè)反映消費(fèi)的指標(biāo)與第一對(duì)典型變量中u1的相關(guān)系數(shù)分別為0.9866和0.8872，可以看出u1可以作為消費(fèi)特性的指標(biāo)，第一對(duì)典型變量中v1與Y2之間的相關(guān)系數(shù)為0.9822，可見典型變量v1主要代表了了家庭收入，u1和v1的相關(guān)系數(shù)為0.6879，這就說(shuō)明家庭的消費(fèi)與一個(gè)家庭的收入之間其關(guān)系是很密切的；第二對(duì)典型變量中u2與x2的相關(guān)系數(shù)為0.4614，可以看出u2可以作為文化消費(fèi)特性的指標(biāo)，第二對(duì)典型變量中v2與Y1和Y3之間的分別相關(guān)系數(shù)為0.8464和0.3013，可見典型變量v2主要代表了家庭成員的年齡特征和教育程度，u2和v2的相關(guān)系數(shù)為0.1869，說(shuō)明文化消費(fèi)與年齡和受教育程度之間的有關(guān)。33兩個(gè)反映消費(fèi)的指標(biāo)與第一對(duì)典型變量中u14、各組原始變量被典型變量所解釋的方差X組原始變量被ui解釋的方差比例X組原始變量被vi解釋的方差比例y組原始變量被ui解釋的方差比例y組原始變量被vi解釋的方差比例344、各組原始變量被典型變量所解釋的方差X組原始變量被ui解釋被典型變量解釋的X組原始變量的方差

被本組的典型變量解釋被對(duì)方Y(jié)組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例10.88030.88030.47330.41660.416620.11971.00000.03490.00420.420835被典型變量解釋的X組原始變量的方差

被本組的典型變量解釋被被典型變量解釋的Y組原始變量的方差

被本組的典型變量解釋被對(duì)方X組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例10.46890.46890.47330.22190.221920.27310.74200.03490.00950.231536被典型變量解釋的Y組原始變量的方差

被本組的典五、樣本典型相關(guān)系數(shù)在實(shí)際應(yīng)用中，總體的協(xié)方差矩陣常常是未知的，類似于其他的統(tǒng)計(jì)分析方法，需要從總體中抽出一個(gè)樣本，根據(jù)樣本對(duì)總體的協(xié)方差或相關(guān)系數(shù)矩陣進(jìn)行估計(jì)，然后利用估計(jì)得到的協(xié)方差或相關(guān)系數(shù)矩陣進(jìn)行分析。由于估計(jì)中抽樣誤差的存在，所以估計(jì)以后還需要進(jìn)行有關(guān)的假設(shè)檢驗(yàn)。37五、樣本典型相關(guān)系數(shù)在實(shí)際應(yīng)用中，總體的協(xié)方差矩1、假設(shè)有X組和Y組變量，樣本容量為n。假設(shè)(X1,Y1),(X2,Y2),…,(Xn,Yn)，觀測(cè)值矩陣為：381、假設(shè)有X組和Y組變量，樣本容量為n。假設(shè)(X39392、計(jì)算特征根和特征向量求M1和

M2的特征根，對(duì)應(yīng)的特征向量。則特征向量構(gòu)成典型變量的系數(shù)，特征根為典型變量相關(guān)系數(shù)的平方。402、計(jì)算特征根和特征向量40六、典型相關(guān)系數(shù)的檢驗(yàn)典型相關(guān)分析是否恰當(dāng)，應(yīng)該取決于兩組原變量之間是否相關(guān)，如果兩組變量之間毫無(wú)相關(guān)性而言，則不應(yīng)該作典型相關(guān)分析。用樣本來(lái)估計(jì)總體的典型相關(guān)系數(shù)是否有誤，需要進(jìn)行檢驗(yàn)。

檢驗(yàn)的統(tǒng)計(jì)量：（一）整體檢驗(yàn)41六、典型相關(guān)系數(shù)的檢驗(yàn)典型相關(guān)分析是否恰當(dāng)，應(yīng)該取決于兩所以，兩邊同時(shí)求行列式，有42所以，兩邊同時(shí)求行列式，有424343由于所以若M的特征根為，則(l-M)的特征根為(1-)。根據(jù)矩陣行列式與特征根的關(guān)系，可得：44由于44在原假設(shè)為真的情況下，檢驗(yàn)的統(tǒng)計(jì)量

近似服從自由度為pq的2分布。在給定的顯著性水平下，如果22(pq)，則拒絕原假設(shè)，認(rèn)為至少第一對(duì)典型變量之間的相關(guān)性顯著。再檢驗(yàn)下一對(duì)典型變量之間的相關(guān)性。直至相關(guān)性不顯著為止。對(duì)兩組變量x和y進(jìn)行典型相關(guān)分析，采用的也是一種降維技術(shù)。我們希望使用盡可能少的典型變量對(duì)數(shù)，為此需要對(duì)一些較小的典型相關(guān)系數(shù)是否為零進(jìn)行假設(shè)檢驗(yàn)。H0經(jīng)檢驗(yàn)被拒絕，則應(yīng)進(jìn)一步檢驗(yàn)假設(shè)。45在原假設(shè)為真的情況下，檢驗(yàn)的統(tǒng)計(jì)量45（二）部分總體典型相關(guān)系數(shù)為零的檢驗(yàn)H0:P2＝…＝Pr＝0Hl:P2，P3，Pr至少有一個(gè)不為零。若原假設(shè)H0被接受，則認(rèn)為只有第一對(duì)典型變量是有用的；若原假設(shè)H0被拒絕，則認(rèn)為第二對(duì)典型變量也是有用的，并進(jìn)一步檢驗(yàn)假設(shè)：H0:P3＝…＝Pr＝0H1:P3，…，Pr至少有一個(gè)不為零。如此進(jìn)行下去.直至對(duì)某個(gè)k，H0:P(k十1)＝…＝PM＝0H1:P(k+1),…，Pm至少有一個(gè)不為零。46（二）部分總體典型相關(guān)系數(shù)為零的檢驗(yàn)46檢驗(yàn)的統(tǒng)計(jì)量近似服從自由度為(p-k)(q-k)的2分布。在給定的顯著性水平下，如果22[(p-k)(q-k)]，則拒絕原假設(shè)，認(rèn)為至少第k+1對(duì)典型變量之間的相關(guān)性顯著。47檢驗(yàn)的統(tǒng)計(jì)量近似服從自由度為(p-k)(q-k)的2分布。H0:當(dāng)前和后面的典型相關(guān)系數(shù)均為零H1:至少當(dāng)前的典型相關(guān)系數(shù)為零

LikelihoodRatioApproxFNumDFDenDFPr>F10.508334981341.2346199900.000120.96508130180.838299960.0001可見，前面兩對(duì)典型變量的相關(guān)性是很強(qiáng)的。48H0:當(dāng)前和后面的典型相關(guān)系數(shù)均為零

Likelihoo職業(yè)滿意度典型相關(guān)分析某調(diào)查公司從一個(gè)大型零售公司隨機(jī)調(diào)查了784人，測(cè)量了5個(gè)職業(yè)特性指標(biāo)和7個(gè)職業(yè)滿意變量。討論兩組指標(biāo)之間是否相聯(lián)系。X組：Y組：X1—用戶反饋Y1—主管滿意度X2—任務(wù)重要性Y2—事業(yè)前景滿意度X3—任務(wù)多樣性Y3—財(cái)政滿意度X4—任務(wù)特殊性Y4—工作強(qiáng)度滿意度X5—自主權(quán)Y5—公司地位滿意度Y6—工作滿意度Y7—總體滿意度49職業(yè)滿意度典型相關(guān)分析某調(diào)查公司從一個(gè)大型零售公

X1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.000.490.530.490.510.330.320.200.190.300.370.21X20.491.000.570.460.530.300.210.160.080.270.350.20X30.530.571.000.480.570.310.230.140.070.240.370.18X40.490.460.481.000.570.240.220.120.190.210.290.16X50.510.530.570.571.000.380.320.170.230.320.360.27Y10.330.300.310.240.381.000.430.270.240.340.370.40Y20.320.210.230.220.320.431.000.330.260.540.320.58Y30.200.160.140.120.170.270.331.000.250.460.290.45Y40.190.080.070.190.230.240.260.251.000.280.300.27Y50.300.270.240.210.320.340.540.460.281.000.350.59Y60.370.350.370.290.360.370.320.290.300.351.000.31Y70.210.200.180.160.270.400.580.450.270.590.311.0050

X1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.0解：計(jì)算變量間的相關(guān)系數(shù)矩陣，具體計(jì)算見表9.12。表9.12典型相關(guān)系數(shù)分析典型相關(guān)系數(shù)典型相關(guān)系數(shù)平方10.55370.306620.23640.055930.11920.014240.07220.005250.05730.003351解：計(jì)算變量間的相關(guān)系數(shù)矩陣，具體計(jì)算見表9.12。典型相關(guān)典型相關(guān)系數(shù)的顯著性檢驗(yàn)結(jié)果見表9.13表9.13典型相關(guān)系數(shù)的顯著性檢驗(yàn)似然比值值自由度臨界值臨界值10.63988346.6823557.34249.80220.9228162.2982442.98036.41530.9774417.6761530.57823.68540.991526.587850.996722.538352典型相關(guān)系數(shù)的顯著性檢驗(yàn)結(jié)果見表9.13似然比值值自由度從表9.13中可以看出，在0.01的顯著性水平下，對(duì)應(yīng)前2對(duì)典型變量相關(guān)系數(shù)計(jì)算的統(tǒng)計(jì)量的值所以前2個(gè)典型相關(guān)系數(shù)是顯著的，即前2對(duì)典型變量都是有意義的。而第3個(gè)典型相關(guān)系數(shù)計(jì)算出的統(tǒng)計(jì)量的值，所以第3個(gè)典型相關(guān)系數(shù)不顯著。計(jì)算X組與Y組的典型變量系數(shù)，計(jì)算結(jié)果見表9.14與表9.15。53從表9.13中可以看出，在0.01的顯著性水平下，對(duì)應(yīng)前2對(duì)

U1U2U3U4U5X10.42170.3429-0.8577-0.78840.0308X20.19511-0.66830.4434-0.26910.9832X30.1676-0.8532-0.25920.4688-0.9141X4-0.02290.3561-0.42311.04230.5244X50.45970.72870.9799-0.1682-0.4392表9.14X組典型變量的系數(shù)54

U1U2U3U4U5X10.42170.3429-0.85

V1V2V3V4V5Y10.4252-0.08800.4918-0.1284-0.4823Y20.20890.4363-0.7832-0.3405-0.7499Y3-0.0359-0.0929-0.4778-0.60590.3457Y40.02350.9260-0.00650.40440.3116Y50.2902-0.10110.2831-0.44690.7030Y60.5157-0.5543-0.41250.68760.1796Y7-0.1101-0.03170.92850.2739-0.0141表9.15Y組典型變量的系數(shù)55

V1V2V3V4V5Y10.4252-0.08800.49由表9.14與表9.15可以得出第一對(duì)典型變量為它們的相關(guān)系數(shù)為0.5537；同理可以寫出第二對(duì)典型變量為它們的相關(guān)系數(shù)為0.2364。56由表9.14與表9.15可以得出第一對(duì)典型變量為它們的相關(guān)系

對(duì)第一對(duì)典型變量中，主要受用戶反饋和自主權(quán)的影響，主要受工作滿意度、事業(yè)前景滿意度和主管滿意度的影響；主要受自主權(quán)、任務(wù)重要性和任務(wù)多樣性的影響，主要受工作強(qiáng)度滿意度、工作滿意度和事業(yè)前景滿意度的影響。計(jì)算原始變量與典型變量之間的相關(guān)系數(shù)結(jié)果如表9.16~表9.19所示。57對(duì)第一對(duì)典型變量中，主要受用戶反饋和自主

U1U2U3U4U5X10.82930.1093-0.4853-0.24690.0611X20.7304-0.43660.20010.00210.4857X30.7533-0.4661-0.10560.3020-0.3360X40.61600.2225-0.20530.66140.3026X50.86060.26600.38860.1484-0.1246

V1V2V3V4V5Y10.75640.04460.3395-0.1294-0.3370Y20.64390.3582-0.1717-0.3530-0.3335Y30.38720.0373-0.1767-0.53480.4148Y40.37720.7919-0.00540.28860.3341Y50.65320.10840.2092-0.43760.4346Y60.8040-0.2416-0.23480.40520.1964Y70.50240.16280.4933-0.18900.0678表9.16原始變量與本組典型變量之間的相關(guān)系數(shù)58

U1U2U3U4U5X10.82930.1093-0.48

V1V2V3V4V5X10.45920.0258-0.0578-0.01780.0035X20.4044-0.10320.02390.00020.0278X30.4171-0.1102-0.01260.0218-0.0192X40.34110.0526-0.02450.04780.0173X50.47650.06290.04630.0107-0.0071

U1U2U3U4U5Y10.41880.01050.0405-0.0093-0.0193Y20.35650.0847-0.0205-0.0255-0.0191Y30.21440.0088-0.0211-0.03860.0238Y40.20880.1872-0.00060.02080.0191Y50.36170.02560.0249-0.03160.0249Y60.4452-0.0571-0.02800.02930.0112Y70.27820.03850.0588-0.01360.0039原始變量與對(duì)應(yīng)組典型變量之間的相關(guān)系數(shù)59

V1V2V3V4V5X10.45920.0258-0.05可以看出，所有五個(gè)表示職業(yè)特性的變量與u1有大致相同的相關(guān)系數(shù)，u1視為形容職業(yè)特性的指標(biāo)。第一對(duì)典型變量的第二個(gè)成員v1與Y1，Y2，Y5，Y6有較大的相關(guān)系數(shù)，說(shuō)明v1主要代表了主管滿意度，事業(yè)前景滿意度，公司地位滿意度和工種滿意度。而u1和v1之間的相關(guān)系數(shù)0.5537。60可以看出，所有五個(gè)表示職業(yè)特性的變量與u1有大致相同下面分析原始變量被典型變量解釋的方差表9.20被典型變量解釋的X組原始變量的方差被本組的典型變量解釋被對(duì)方Y(jié)組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例10.58180.58180.093400.17840.178420.10800.68980.003120.00600.184430.09600.78580.000200.00140.185840.12230.90810.000030.00060.186450.09191.00000.000010.00030.186761下面分析原始變量被典型變量解釋的方差被本組的典型變量解釋被對(duì)表9.21被典型變量解釋的Y組原始變量的方差被本組的典型變量解釋被對(duì)方X組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例10.37210.37210.093400.11410.114120.12220.49430.003120.00680.120930.07400.56830.000200.00110.122040.12890.69720.000030.00070.122650.10580.80300.000010.00030.123062表9.21被典型變量解釋的Y組原始變量的方差被本組的U1和V1解釋的本組原始變量的比率：X組的原始變量被U1到U5解釋了100%Y組的原始變量被V1到V5解釋了80.3%X組的原始變量被U1到U2解釋了0.6898Y組的原始變量被V1到V2解釋了0.494363U1和V1解釋的本組原始變量的比率：63第九章典型相關(guān)分析64第九章典型相關(guān)分析1典型相關(guān)分析就是研究?jī)山M變量之間相關(guān)關(guān)系的一種多元統(tǒng)計(jì)分析的方法。它能夠揭示兩組變量之間的內(nèi)在聯(lián)系。我們知道，在一元統(tǒng)計(jì)分析中，用相關(guān)系數(shù)來(lái)衡量?jī)蓚€(gè)隨機(jī)變量之間的線性關(guān)系；用復(fù)相關(guān)系數(shù)研究一個(gè)隨機(jī)變量和多個(gè)隨機(jī)變量的線性相關(guān)關(guān)系。對(duì)于兩組隨機(jī)變量之間的相關(guān)關(guān)系如何分析呢？一、典型相關(guān)分析的概念及基本思想

65典型相關(guān)分析就是研究?jī)山M變量之間相關(guān)關(guān)系的一種多元統(tǒng)計(jì)分析的通常情況下，為了研究?jī)山M變量的相關(guān)關(guān)系，可以用最原始的方法，分別計(jì)算兩組變量之間的全部相關(guān)系數(shù)，一共有pq個(gè)簡(jiǎn)單相關(guān)系數(shù)，這樣又煩瑣又不能抓住問(wèn)題的本質(zhì)。如果能夠采用類似于主成分的思想，分別找出兩組變量的各自的某個(gè)線性組合，討論線性組合之間的相關(guān)關(guān)系，則更簡(jiǎn)捷。66通常情況下，為了研究?jī)山M變量3在解決實(shí)際問(wèn)題中，這種方法有廣泛的應(yīng)用。如，在工廠里常常要研究產(chǎn)品的q個(gè)質(zhì)量指標(biāo)P個(gè)原材料的指標(biāo)之間的相關(guān)關(guān)系；也可以是采用典型相關(guān)分析來(lái)解決的問(wèn)題。如果能夠采用類似于主成分的思想，分別找出兩組變量的線性組合既可以使變量個(gè)數(shù)簡(jiǎn)化，又可以達(dá)到分析相關(guān)性的目的。典型相關(guān)分析的目的就是識(shí)別并量化兩組變量之間的聯(lián)系，將兩組變量相關(guān)關(guān)系的分析轉(zhuǎn)化為一組變量的線性組合與另一組變量的線性組合之間的相關(guān)關(guān)系分析。67在解決實(shí)際問(wèn)題中，這種方法有廣泛的應(yīng)用。如，在工廠里例家庭特征與家庭消費(fèi)之間的關(guān)系為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：分析兩組變量之間的關(guān)系。68例家庭特征與家庭消費(fèi)之間的關(guān)系為了

X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣69

X1X2y1y2y3X11.000.800.260.670y2y3y1x2x170y2y3y1x2x17

典型相關(guān)分析的思想：

首先分別在每組變量中找出第一對(duì)變量的線性組合，使得兩組的線性組合之間具有最大的相關(guān)系數(shù)。然后再在每組變量中找出第二對(duì)線性組合，使其分別與本組內(nèi)的第一線性組合不相關(guān)，第二對(duì)本身具有次大的相關(guān)性。如此下去，直至兩組變量的相關(guān)性被提取完為止。

71典型相關(guān)分析的思想：首先分別在每組變量中找出第被選出的線性組合配對(duì)稱為典型變量，它們的相關(guān)系數(shù)稱為典型相關(guān)系數(shù)。典型相關(guān)系數(shù)度量了兩組變量之間聯(lián)系的線性組合。u2和v2與u1和v1相互獨(dú)立，但u2和v2相關(guān)。如此繼續(xù)下去，直至進(jìn)行到r步，rmin(p,q)，可以得到r組變量。從而達(dá)到降維的目的。72被選出的線性組合配對(duì)稱為典型變量，它們的相關(guān)系數(shù)二、典型相關(guān)的數(shù)學(xué)描述

（一）想法考慮兩組變量的向量

其協(xié)方差陣為其中11是第一組變量的協(xié)方差矩陣；22是第二組變量的協(xié)方差矩陣；12和21是X和Y的其協(xié)方差矩陣。73二、典型相關(guān)的數(shù)學(xué)描述（一）想法其協(xié)方差陣為如果我們記兩組變量的第一對(duì)線性組合為：其中：所以，典型相關(guān)分析就是求1和1，使二者的相關(guān)系數(shù)達(dá)到最大。74如果我們記兩組變量的第一對(duì)線性組合為：（二）典型相關(guān)系數(shù)和典型變量的求法

在約束條件下，求1和1，使uv達(dá)到最大。根據(jù)數(shù)學(xué)分析中條件極值的求法，引入Lagrange乘數(shù)，求極值問(wèn)題，則可以轉(zhuǎn)化為求的極大值，其中和是Lagrange乘數(shù)。75（二）典型相關(guān)系數(shù)和典型變量的求法在約束將上面的3式分別左乘和76將上面的3式分別左乘和將左乘（3）的第二式，得并將第一式代入，得的特征根是，相應(yīng)的特征向量為77將左乘（3）的第二式，得并將第一式代將左乘（3）的第一式，并將第二式代入，得的特征根是，相應(yīng)的特征向量為78將左乘（3）的第一式，并將第二式代入，引理：AB和BA有相同的非零特征根.A’和A有相同的非零特征根.則和有相同的非零特征根。79引理：AB和BA有相同的非零特征根.A’和A有相同的非零特征

結(jié)論：既是M1又是M2的特征根，和是相應(yīng)于M1和M2的特征向量。至此，典型相關(guān)分析轉(zhuǎn)化為求M1和M2特征根和特征向量的問(wèn)題。

第一對(duì)典型變量提取了原始變量X與Y之間相關(guān)的主要部分，如果這部分還不能足以解釋原始變量，可以在剩余的相關(guān)中再求出第二對(duì)典型變量和他們的典型相關(guān)系數(shù)。80結(jié)論：既是M1又是M2的特征根，和

在剩余的相關(guān)中再求出第二對(duì)典型變量和他們的典型相關(guān)系數(shù)。設(shè)第二對(duì)典型變量為：

在約束條件：81在剩余的相關(guān)中再求出第二對(duì)典型變量和他求使達(dá)到最大的和。82求使例家庭特征與家庭消費(fèi)之間的關(guān)系為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：分析兩組變量之間的關(guān)系。83例家庭特征與家庭消費(fèi)之間的關(guān)系為了

X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣84

X1X2y1y2y3X11.000.800.260.670典型相關(guān)分析

典型相關(guān)系數(shù)調(diào)整典型相關(guān)系數(shù)近似方差

典型相關(guān)系數(shù)的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.03491985典型相關(guān)分析

典型相調(diào)整典型近似方差典型相關(guān)系數(shù)的平方10.X組典型變量的系數(shù)

U1U2X10.7689-1.4787X20.27211.6443Y組典型變量的系數(shù)

V1V2Y10.04911.0003Y20.8975-0.5837Y30.19000.295686X組典型變量的系數(shù)

U1U2X10.7689-1.4787X三、典型變量的性質(zhì)

1、同一組的典型變量之間互不相關(guān)

即X組的典型變量之間是相互互不相關(guān):即Y組的典型變量之間是互不相關(guān)：87三、典型變量的性質(zhì)

1、同一組的典型變量之間互不相關(guān)即X組的2、不同組的典型變量之間相關(guān)性

不同組內(nèi)典型變量之間的相關(guān)系數(shù)為：882、不同組的典型變量之間相關(guān)性不同組內(nèi)典型變量之間的相關(guān)系同對(duì)則協(xié)方差為i，不同對(duì)則為零。89同對(duì)則協(xié)方差為i，不同對(duì)則為零。263、原始變量與典型變量之間的相關(guān)系數(shù)

原始變量相關(guān)系數(shù)矩陣x典型變量系數(shù)矩陣903、原始變量與典型變量之間的相關(guān)系數(shù)

原始變量相關(guān)系數(shù)矩陣y典型變量系數(shù)矩陣91y典型變量系數(shù)矩陣2892299330典型變量的結(jié)構(gòu)

U1U2X10.9866-0.1632X20.88720.4614

V1V2Y10.42110.8464Y20.9822-0.1101Y30.51450.301394典型變量的結(jié)構(gòu)

U1U2X10.9866-0.1632X20典型變量的結(jié)構(gòu)

V1V2X10.6787-0.0305X20.61040.0862

U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.056395典型變量的結(jié)構(gòu)

V1V2X10.6787-0.0305X20兩個(gè)反映消費(fèi)的指標(biāo)與第一對(duì)典型變量中u1的相關(guān)系數(shù)分別為0.9866和0.8872，可以看出u1可以作為消費(fèi)特性的指標(biāo)，第一對(duì)典型變量中v1與Y2之間的相關(guān)系數(shù)為0.9822，可見典型變量v1主要代表了了家庭收入，u1和v1的相關(guān)系數(shù)為0.6879，這就說(shuō)明家庭的消費(fèi)與一個(gè)家庭的收入之間其關(guān)系是很密切的；第二對(duì)典型變量中u2與x2的相關(guān)系數(shù)為0.4614，可以看出u2可以作為文化消費(fèi)特性的指標(biāo)，第二對(duì)典型變量中v2與Y1和Y3之間的分別相關(guān)系數(shù)為0.8464和0.3013，可見典型變量v2主要代表了家庭成員的年齡特征和教育程度，u2和v2的相關(guān)系數(shù)為0.1869，說(shuō)明文化消費(fèi)與年齡和受教育程度之間的有關(guān)。96兩個(gè)反映消費(fèi)的指標(biāo)與第一對(duì)典型變量中u14、各組原始變量被典型變量所解釋的方差X組原始變量被ui解釋的方差比例X組原始變量被vi解釋的方差比例y組原始變量被ui解釋的方差比例y組原始變量被vi解釋的方差比例974、各組原始變量被典型變量所解釋的方差X組原始變量被ui解釋被典型變量解釋的X組原始變量的方差

被本組的典型變量解釋被對(duì)方Y(jié)組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例10.88030.88030.47330.41660.416620.11971.00000.03490.00420.420898被典型變量解釋的X組原始變量的方差

被本組的典型變量解釋被被典型變量解釋的Y組原始變量的方差

被本組的典型變量解釋被對(duì)方X組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例10.46890.46890.47330.22190.221920.27310.74200.03490.00950.231599被典型變量解釋的Y組原始變量的方差

被本組的典五、樣本典型相關(guān)系數(shù)在實(shí)際應(yīng)用中，總體的協(xié)方差矩陣常常是未知的，類似于其他的統(tǒng)計(jì)分析方法，需要從總體中抽出一個(gè)樣本，根據(jù)樣本對(duì)總體的協(xié)方差或相關(guān)系數(shù)矩陣進(jìn)行估計(jì)，然后利用估計(jì)得到的協(xié)方差或相關(guān)系數(shù)矩陣進(jìn)行分析。由于估計(jì)中抽樣誤差的存在，所以估計(jì)以后還需要進(jìn)行有關(guān)的假設(shè)檢驗(yàn)。100五、樣本典型相關(guān)系數(shù)在實(shí)際應(yīng)用中，總體的協(xié)方差矩1、假設(shè)有X組和Y組變量，樣本容量為n。假設(shè)(X1,Y1),(X2,Y2),…,(Xn,Yn)，觀測(cè)值矩陣為：1011、假設(shè)有X組和Y組變量，樣本容量為n。假設(shè)(X102392、計(jì)算特征根和特征向量求M1和

M2的特征根，對(duì)應(yīng)的特征向量。則特征向量構(gòu)成典型變量的系數(shù)，特征根為典型變量相關(guān)系數(shù)的平方。1032、計(jì)算特征根和特征向量40六、典型相關(guān)系數(shù)的檢驗(yàn)典型相關(guān)分析是否恰當(dāng)，應(yīng)該取決于兩組原變量之間是否相關(guān)，如果兩組變量之間毫無(wú)相關(guān)性而言，則不應(yīng)該作典型相關(guān)分析。用樣本來(lái)估計(jì)總體的典型相關(guān)系數(shù)是否有誤，需要進(jìn)行檢驗(yàn)。

檢驗(yàn)的統(tǒng)計(jì)量：（一）整體檢驗(yàn)104六、典型相關(guān)系數(shù)的檢驗(yàn)典型相關(guān)分析是否恰當(dāng)，應(yīng)該取決于兩所以，兩邊同時(shí)求行列式，有105所以，兩邊同時(shí)求行列式，有4210643由于所以若M的特征根為，則(l-M)的特征根為(1-)。根據(jù)矩陣行列式與特征根的關(guān)系，可得：107由于44在原假設(shè)為真的情況下，檢驗(yàn)的統(tǒng)計(jì)量

近似服從自由度為pq的2分布。在給定的顯著性水平下，如果22(pq)，則拒絕原假設(shè)，認(rèn)為至少第一對(duì)典型變量之間的相關(guān)性顯著。再檢驗(yàn)下一對(duì)典型變量之間的相關(guān)性。直至相關(guān)性不顯著為止。對(duì)兩組變量x和y進(jìn)行典型相關(guān)分析，采用的也是一種降維技術(shù)。我們希望使用盡可能少的典型變量對(duì)數(shù)，為此需要對(duì)一些較小的典型相關(guān)系數(shù)是否為零進(jìn)行假設(shè)檢驗(yàn)。H0經(jīng)檢驗(yàn)被拒絕，則應(yīng)進(jìn)一步檢驗(yàn)假設(shè)。108在原假設(shè)為真的情況下，檢驗(yàn)的統(tǒng)計(jì)量45（二）部分總體典型相關(guān)系數(shù)為零的檢驗(yàn)H0:P2＝…＝Pr＝0Hl:P2，P3，Pr至少有一個(gè)不為零。若原假設(shè)H0被接受，則認(rèn)為只有第一對(duì)典型變量是有用的；若原假設(shè)H0被拒絕，則認(rèn)為第二對(duì)典型變量也是有用的，并進(jìn)一步檢驗(yàn)假設(shè)：H0:P3＝…＝Pr＝0H1:P3，…，Pr至少有一個(gè)不為零。如此進(jìn)行下去.直至對(duì)某個(gè)k，H0:P(k十1)＝…＝PM＝0H1:P(k+1),…，Pm至少有一個(gè)不為零。109（二）部分總體典型相關(guān)系數(shù)為零的檢驗(yàn)46檢驗(yàn)的統(tǒng)計(jì)量近似服從自由度為(p-k)(q-k)的2分布。在給定的顯著性水平下，如果22[(p-k)(q-k)]，則拒絕原假設(shè)，認(rèn)為至少第k+1對(duì)典型變量之間的相關(guān)性顯著。110檢驗(yàn)的統(tǒng)計(jì)量近似服從自由度為(p-k)(q-k)的2分布。H0:當(dāng)前和后面的典型相關(guān)系數(shù)均為零H1:至少當(dāng)前的典型相關(guān)系數(shù)為零

LikelihoodRatioApproxFNumDFDenDFPr>F10.508334981341.2346199900.000120.96508130180.838299960.0001可見，前面兩對(duì)典型變量的相關(guān)性是很強(qiáng)的。111H0:當(dāng)前和后面的典型相關(guān)系數(shù)均為零

Likelihoo職業(yè)滿意度典型相關(guān)分析某調(diào)查公司從一個(gè)大型零售公司隨機(jī)調(diào)查了784人，測(cè)量了5個(gè)職業(yè)特性指標(biāo)和7個(gè)職業(yè)滿意變量。討論兩組指標(biāo)之間是否相聯(lián)系。X組：Y組：X1—用戶反饋Y1—主管滿意度X2—任務(wù)重要性Y2—事業(yè)前景滿意度X3—任務(wù)多樣性Y3—財(cái)政滿意度X4—任務(wù)特殊性Y4—工作強(qiáng)度滿意度X5—自主權(quán)Y5—公司地位滿意度Y6—工作滿意度Y7—總體滿意度112職業(yè)滿意度典型相關(guān)分析某調(diào)查公司從一個(gè)大型零售公

X1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.000.490.530.490.510.330.320.200.190.300.370.21X20.491.000.570.460.530.300.210.160.080.270.350.20X30.530.571.000.480.570.310.230.140.070.240.370.18X40.490.460.481.000.570.240.220.120.190.210.290.16X50.510.530.570.571.000.380.320.170.230.320.360.27Y10.330.300.310.240.381.000.430.270.240.340.370.40Y20.320.210.230.220.320.431.000.330.260.540.320.58Y30.200.160.140.120.170.270.331.000.250.460.290.45Y40.190.080.070.190.230.240.260.251.000.280.300.27Y50.300.270.240.210.320.340.540.460.281.000.350.59Y60.370.350.370.290.360.370.320.290.300.351.000.31Y70.210.200.180.160.270.400.580.450.270.590.311.00113

X1X2X3X4X5Y1Y2Y3Y4Y5Y6Y7X11.0解：計(jì)算變量間的相關(guān)系數(shù)矩陣，具體計(jì)算見表9.12。表9.12典型相關(guān)系數(shù)分析典型相關(guān)系數(shù)典型相關(guān)系數(shù)平方10.55370.306620.23640.055930.11920.014240.07220.005250.05730.0033114解：計(jì)算變量間的相關(guān)系數(shù)矩陣，具體計(jì)算見表9.12。典型相關(guān)典型相關(guān)系數(shù)的顯著性檢驗(yàn)結(jié)果見表9.13表9.13典型相關(guān)系數(shù)的顯著性檢驗(yàn)似然比值值自由度臨界值臨界值10.63988346.6823557.34249.80220.9228162.2982442.98036.41530.9774417.6761530.57823.68540.991526.587850.996722.5383115典型相關(guān)系數(shù)的顯著性檢驗(yàn)結(jié)果見表9.13似然比值值自由度從表9.13中可以看出，在0.01的顯著性水平下，對(duì)應(yīng)前2對(duì)典型變量相關(guān)系數(shù)計(jì)算的統(tǒng)計(jì)量的值所以前2個(gè)典型相關(guān)系數(shù)是顯著的，即前2對(duì)典型變量都是有意義的。而第3個(gè)典型相關(guān)系數(shù)計(jì)算出的統(tǒng)計(jì)量的值，所以第3個(gè)典型相關(guān)系數(shù)不顯著。計(jì)算X組與Y組的典型變量系數(shù)，計(jì)算結(jié)果見表9.14與表9.15。116從表9.13中可以看出，在0.01的顯著性水平下，對(duì)應(yīng)前2對(duì)

U1U2U3U4U5X10.42170.3429-0.8577-0.78840.0308X20.19511-0.66830.4434-0.26910.9832X30.1676-0.8532-0.25920.4688-0.9141X4-0.02290.3561-0.42311.04230.5244X50.45970.72870.9799-0.1682-0.4392表9.14X組典型變量的系數(shù)117

U1U2U3U4U5X10.42170.3429-0.85

V1V2V3V4V5Y10.4252-0.08800.4918-0.1284-0.4823Y20.20890.4363-0.7832-0.3405-0.7499Y3-0.0359-0.0929-0.4778-0.60590.3457Y40.02350.9260-0.00650.40440.3116Y50.2902-0.10110.2831-0.44690.7030Y60.5157-0.5543-0.41250.68760.1796Y7-0.1101-0.03170.92850.2739-0.0141表9.15Y組典型變量的系數(shù)118

V1V2V3V4V5Y10.4252-0.08800.49由表9.14與表9.15可以得出第一對(duì)典型變量為它們的相關(guān)系數(shù)為0.5537；同理可以寫出第二對(duì)典型變量為它們的相關(guān)系數(shù)為0.2364。119由表9.14與表9.15可以得出第一對(duì)典型變量為它們的相關(guān)系

對(duì)第一對(duì)典型變量中，主要受用戶反饋和自主權(quán)的影響，主要受工作滿意度、事業(yè)前景滿意度和主管滿意度的影響；