協(xié)方差及相關(guān)系數(shù)及其性質(zhì)

1、協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 一、基本概念一、基本概念 二、二、n 維正態(tài)變量的性質(zhì)維正態(tài)變量的性質(zhì) 4.3協(xié)方差與相關(guān)系數(shù) 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 對(duì)于二維隨機(jī)變量對(duì)于二維隨機(jī)變量(X ,Y ): 已知聯(lián)合分布已知聯(lián)合分布 邊緣分布邊緣分布 對(duì)二維隨機(jī)變量對(duì)二維隨機(jī)變量,除每個(gè)隨機(jī)變量各自的除每個(gè)隨機(jī)變量各自的 概率特性外概率特性外, 相互之間還有某種聯(lián)系相互之間還有某種聯(lián)系,問題是用問題是用 一個(gè)怎樣的數(shù)去反映這種聯(lián)系一個(gè)怎樣的數(shù)去反映這種聯(lián)系. 問題的提出問題的提出 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 那么那么相互獨(dú)立相互獨(dú)立和和若隨機(jī)變量若隨機(jī)變量,YX ).()()(YDXDYXD 不相互獨(dú)立不

2、相互獨(dú)立和和若隨機(jī)變量若隨機(jī)變量YX ?)( YXD 22 )()()(YXEYXEYXD ).()(2)()(YEYXEXEYDXD 協(xié)方差協(xié)方差 反映了隨機(jī)變量反映了隨機(jī)變量 X , YX , Y 之間的某種關(guān)系之間的某種關(guān)系 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) . )()( ),ov(C , ),Cov(. )( )( YEYXEXEYX YXY XYEYXEXE 即即記為記為的協(xié)方差的協(xié)方差與與 稱為隨機(jī)變量稱為隨機(jī)變量量量 1. 定義定義 . )()( ),Cov( 的相關(guān)系數(shù)與為隨機(jī)變量YX YDXD YX XY 一一 .協(xié)方差和相關(guān)系數(shù)的定義協(xié)方差和相關(guān)系數(shù)的定義 若若D (X ) 0,

3、D (Y ) 0 ,稱稱 若若 , 0 XY 稱稱 X ,YX ,Y 不相關(guān)不相關(guān). 無量綱 的量 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) )()(),Cov(YEYXEXEYX )()(YEYEXEXE . 0 相互獨(dú)立和若隨機(jī)變量YX 2. 說明說明 3. 協(xié)方差的計(jì)算公式協(xié)方差的計(jì)算公式 法法1.1.若若 ( X ,Y ) ( X ,Y ) 為離散型，已知為離散型，已知p pij ij 11 cov(, )()( ) ijij ij X YxE XyE Y p 若若 ( X ,Y ) ( X ,Y ) 為連續(xù)型，已知為連續(xù)型，已知f(x,y)f(x,y) cov( , )( )( ) ( , )X Y

4、xE XyE Yf x y dxdy 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) );()()(),Cov()1(YEXEXYEYX ).,Cov(2)()()()2(YXYDXDYXD 法2. 4. 性質(zhì)性質(zhì) );,Cov(),Cov()1(XYYX ;, , ),Cov(),Cov()2(為為常常數(shù)數(shù)baYXabbYaX ).,Cov(),Cov(),Cov()3( 2121 YXYXYXX 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 求求cov (X ,Y ) XY 1 0 p q X P 1 0 p q Y P 例例1 1 已知已知 X ,YX ,Y 的聯(lián)合分布為的聯(lián)合分布為 X Y pij 1 0 1 0 p 0 0

5、q 0 p 1 p + q = 1 解解 1 0 p q X Y P ,)(,)( ,)(,)( pqYDpqXD pYEpXE ,)(pXYE 1 ,),cov( XY pqYX 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 解解 dxdyyxfyxYX),()(),cov( 21 dsdtest tts 22 2 2 1 )( )1 (2 1 dudteutt t u 2 2 2 2 1 )1 (2 )( 2 21 12 uts 令 2 21 12 s x 1 1 t y 2 2 dtetdue t u 2 2 2 2 1 2)1 (2 2 21 12 21 例例2 2 設(shè)設(shè) ( X ,Y ) ，求，求 XY

6、 ),( 2 2 2 121 N 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) . )()( ),Cov( YDXD YX XY 于是于是 結(jié)論結(jié)論 ; ,)1( 的相關(guān)系數(shù)的相關(guān)系數(shù)與與 代表了代表了參數(shù)參數(shù)中中二維正態(tài)分布密度函數(shù)二維正態(tài)分布密度函數(shù) Y X . )2( 相互獨(dú)立相互獨(dú)立與與價(jià)于價(jià)于 相關(guān)系數(shù)為零等相關(guān)系數(shù)為零等與與二維正態(tài)隨機(jī)變量二維正態(tài)隨機(jī)變量 YX YX 即即X ,YX ,Y 相互獨(dú)立相互獨(dú)立 X ,YX ,Y 不相關(guān)不相關(guān) 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) .23,21 , )4 , 0(, )3 , 1(, 22 YXZ NNYX XY 設(shè)設(shè) 分分別別服服從從已已知知隨隨機(jī)機(jī)變變量量 .)2

7、.()1 (的相關(guān)系數(shù)與求的數(shù)學(xué)期望和方差求ZXZ 解解.16)(, 0)(, 9)(, 1)()1( YDYEXDXE由由 23 )( YX EZE得得)( 2 1 )( 3 1 YEXE . 3 1 例例3 2 , 3 Cov2 23 )( YXY D X DZD ),Cov( 3 1 )( 4 1 )( 9 1 YXYDXD )()( 3 1 )( 4 1 )( 9 1 YDXDYDXD XY . 3241 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 1. 問題的提出問題的提出 ? ?, 衡量接近的程度又應(yīng)如何來 最接近可使應(yīng)如何選擇問YbXaba )( 2 bXaYEe 設(shè)設(shè) .的的好好壞壞程程度度近近

8、似似表表達(dá)達(dá)可可用用來來衡衡量量則則YbXae .,的的近近似似程程度度越越好好與與表表示示的的值值越越小小當(dāng)當(dāng)YbXae .,達(dá)達(dá)到到最最小小使使的的值值確確定定eba 二、相關(guān)系數(shù)的意義二、相關(guān)系數(shù)的意義 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) ).(2 )(2)(2)()( 2222 YaE XabEXYbEaXEbYE 得得并令它們等于零并令它們等于零求偏導(dǎo)數(shù)求偏導(dǎo)數(shù)分別關(guān)于分別關(guān)于將將,bae . 0)(2)(2)(2 , 0)(2)(22 2 XaEXYEXbE b e YEXbEa a e 解得解得, )( ),Cov( 0 XD YX b . )( ),Cov( )()( 0 XD YX X

9、EYEa )( 2 bXaYEe 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 得得中中代代入入將將,)(, 2 00 bXaYEeba )(minmin 2 , bXaYEe baba ).()1( 2 YDXY 2. 相關(guān)系數(shù)的意義相關(guān)系數(shù)的意義 . , 系系較較緊緊密密 的的線線性性關(guān)關(guān)系系聯(lián)聯(lián)表表明明較較小小較較大大時(shí)時(shí)當(dāng)當(dāng)YXeXY .,線性相關(guān)的程度較差線性相關(guān)的程度較差較小時(shí)較小時(shí)當(dāng)當(dāng)YXXY .,0不相關(guān)不相關(guān)YXXY和和稱稱時(shí)時(shí)當(dāng)當(dāng) )( 2 00 XbaYE 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 例例4 ?, )cos( ,cos,2, 0 的的相相關(guān)關(guān)系系數(shù)數(shù)和和求求是是常常數(shù)數(shù)這這里里 的的均均勻勻分

10、分布布服服從從設(shè)設(shè) aa 解解, 0dcos 2 1 )( 2 0 xxE , 2 1 dcos 2 1 )( 2 0 22 xxE , 0d)(cos 2 1 )( 2 0 xaxE , 2 1 d)(cos 2 1 )( 2 0 22 xaxE ,cos 2 1 d)cos(cos 2 1 )( 2 0 axaxxE 數(shù)數(shù)為為由由以以上上數(shù)數(shù)據(jù)據(jù)可可得得相相關(guān)關(guān)系系 .cosa 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) (1) (1) 不相關(guān)與相互獨(dú)立的關(guān)系不相關(guān)與相互獨(dú)立的關(guān)系 3. 注意注意 相互獨(dú)立相互獨(dú)立 不相關(guān)不相關(guān) (2) (2) 不相關(guān)的充要條件不相關(guān)的充要條件 ; 0,1o XY YX不不

11、相相關(guān)關(guān) ; 0),Cov(,2o YXYX不不相相關(guān)關(guān) ).()()(,3oYEXEXYEYX 不不相相關(guān)關(guān) 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 4. 相關(guān)系數(shù)的性質(zhì)相關(guān)系數(shù)的性質(zhì) . 1) 1 ( XY . 1 ,:1)2( baXYP baXY使存在常數(shù)的充要條件是 (1)(1)證：證： 由柯西一許瓦茲不等式知由柯西一許瓦茲不等式知 )()()( 222 YEXEXYE )()(|)()(| 22 YEYEXEXEYEYXEXE所以 )()(| ),(|YDXDYXCov 即即 所以所以|XY XY|1。 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 意義意義 |XY|=1當(dāng)且僅當(dāng)當(dāng)且僅當(dāng)Y Y跟跟X X幾乎有線性關(guān)

12、系。這說幾乎有線性關(guān)系。這說 明了相關(guān)系數(shù)的概率意義。明了相關(guān)系數(shù)的概率意義。 XY是刻畫是刻畫X X，Y Y之間線性相關(guān)程度之間線性相關(guān)程度。 . 1 ,1)2( baXYP baXY使的充要條件是存在常數(shù) . 1)()(XEXaYEYPa 使存在常數(shù) . 1)()(YEXaEaXYP即，取)()(YEXaEb . 1 ,1 baXYP baXY使的充要條件是存在常數(shù) (2)(2)證：證： 由柯西一許瓦茲不等式中等號(hào)成立（由柯西一許瓦茲不等式中等號(hào)成立（ ） 充要條件知充要條件知 1 XY 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 練習(xí)練習(xí) 設(shè)設(shè) ( X ,Y ) N ( 1,1; 4,4; 0.5 ),

13、Z = X + Y , 求求 XZ 解解, 4)()(, 1)()(YDXDYEXE 1/2, cov(, )2 XY X Y 6),cov(),cov(),cov(YXXXZX 12),cov(2)()()()(YXYDXDYXDZD 3/ 123/2. XZ 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) )()(, )( 221112 2 1111 XEXXEXECXEXEC )(,)()( 2 2222112221 XEXECXEXXEXEC 寫為矩陣的形式： , 2221 1211 CC CC 稱為隨機(jī)變量(X1,X2)的協(xié)方差矩陣。 (1)二維隨機(jī)向量的協(xié)方差矩陣 二維隨機(jī)變量(X1,X2)有四個(gè)二階中

14、心矩(設(shè)他們存在)， 分別記為 三三.協(xié)方差矩陣協(xié)方差矩陣 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) (2)推廣 定義定義 設(shè)X=(X1,X2,Xn) 為n維隨機(jī)向量,并記 i=E(Xi)， njiXXCovC jiij , 2 , 1,),( 則稱=(1,2,n)為向量X的數(shù)學(xué)期望 或均值，稱矩陣 nnnn n n CCC CCC CCC C 21 22221 11211 為向量X的協(xié)方差矩陣。 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 例例6 6: 設(shè)(X,Y)N(1, 2,12,22,),求向量(X，Y)的 均值與協(xié)方差矩陣。 解: E(X)=1，E(Y)=2， 21 2 2 2 1 ),(,)(,)(YXCovYDX

15、D 所以(X，Y)的均值為=(1,2) 2 221 21 2 1 (X，Y)協(xié)方差矩陣為 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 3. 協(xié)方差矩陣的性質(zhì) (1)協(xié)方差矩陣對(duì)角線上的元素Cii為Xi的方差即Cii=D(Xi) i=1， 2，n； (2)協(xié)方差矩陣C為對(duì)稱矩陣,即Cij=Cji ,i，j=1，2，n； (3)C為非負(fù)定矩陣,即對(duì)于任意實(shí)向量t=(t1，t2，tn), 有tCt0； 證：性質(zhì)(1)，(2)顯然，只證(3) n j n i jjjiii n j n i jiij tXEXXEXEtttCCtt 1111 )()( n j n i jjjiii XEXtXEXtE 11 )()( n

16、j n i jjjiii XEXtXEXtE 11 )()( 2 1 )( n i iii XEXtE 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 4多維正態(tài)分布及其性質(zhì) 二維正態(tài)隨機(jī)向量X=(X1，X2) 的概率密度為 )()( 2 )( )1(2 1 exp 12 1 ),( 2 2 2 22 21 2211 2 1 2 11 2 2 21 21 xxx x xxf 引入下面記號(hào) 2 221 21 2 1 2 1 2 1 , C x x x 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 22 11 2 121 21 2 2 2211 1 ),( | 1 x x xx C xCx )()( 2 )( 1 1 2 2 2 22 2

17、1 2211 2 1 2 11 2 xxxx 經(jīng)運(yùn)算可得 22 2 2 1 1| C 2 121 21 2 21 | 1 C C 于是X=(X1，X2) 的概率密度可寫成 )( 2 1 exp |2 1 ),( 1 2/1 2/2 21 xCx C xxf 2 221 21 2 1 2 1 2 1 , C x x x 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) 上式推廣至n維正態(tài)分布的情況，于是有以下定義： (1)定義 若n維隨機(jī)向量X=(X1，Xn)的概率密度為 )( 2 1 exp |2 1 ),( 1 2/1 2/ 21 xCx C xxxf n n 其中X=(X1，Xn),=(1，2，n) 為n維實(shí)向量

18、，C為n階正定對(duì)稱矩陣，則稱向量 X=(X1，Xn)服從n維正態(tài)分布，記為XN(,C) . 對(duì)于n維正態(tài)分布XN(,C) ，X的期望為，X的協(xié)方差矩陣 為C。 協(xié)方差及相關(guān)系數(shù)及其性質(zhì) (2) (2) 性質(zhì)性質(zhì) （P179P179頁）頁） n維正態(tài)分布具有下述性質(zhì)： 1)n維隨機(jī)向量(X1，Xn)服從n維正態(tài)分布充要條件是 X1，Xn的任意線性組合l1X1+l2X2+lnXn(l1,l2,ln是 不全為0的數(shù))服從一維正態(tài)分布。 2)若X=(X1,Xn)N(,C)，設(shè)Y=(Y1,Y2,Ym)=AX,即Yi i 為Xj (j=1，2，n)的線性函數(shù),i i=1，2，m，則Y N(A，ACA)，其中A為m行n列且秩為m的矩陣。 3)設(shè)(X1，Xn)服