概率論與數(shù)理統(tǒng)計(第三版)習(xí)題

匯報人：AA2024-01-19概率論與數(shù)理統(tǒng)計(第三版)習(xí)題目錄概率論基本概念隨機變量及其分布多維隨機變量及其分布隨機變量的數(shù)字特征大數(shù)定律及中心極限定理數(shù)理統(tǒng)計的基本概念參數(shù)估計假設(shè)檢驗01概率論基本概念Part事件的定義與分類事件是隨機試驗的結(jié)果，可以分為必然事件、不可能事件和隨機事件。概率的定義與性質(zhì)概率是描述隨機事件發(fā)生的可能性的數(shù)值，滿足非負性、規(guī)范性和可加性。古典概型與幾何概型古典概型是指等可能概率模型，幾何概型是指通過幾何度量來計算概率的模型。事件與概率030201條件概率的定義與計算條件概率是指在某個事件發(fā)生的條件下，另一個事件發(fā)生的概率?？梢酝ㄟ^定義或乘法公式來計算。事件的獨立性如果兩個事件的發(fā)生互不影響，則稱這兩個事件是相互獨立的。獨立事件的概率滿足乘法公式。多個事件的獨立性對于多個事件，如果其中任意兩個事件都相互獨立，則稱這些事件是相互獨立的。條件概率與獨立性全概率公式與貝葉斯公式如果事件B能且只能與兩兩互斥的事件A1，A2，...，An中的一件同時發(fā)生，則事件B發(fā)生的概率為P(B)=P(B|A1)P(A1)+P(B|A2)P(A2)+...+P(B|An)P(An)。貝葉斯公式貝葉斯公式是描述兩個條件概率之間關(guān)系的公式，也稱為逆概率公式。具體表達式為P(Ai|B)=P(B|Ai)P(Ai)/[P(B|A1)P(A1)+P(B|A2)P(A2)+...+P(B|An)P(An)]。貝葉斯公式的應(yīng)用貝葉斯公式在統(tǒng)計學(xué)、機器學(xué)習(xí)等領(lǐng)域有廣泛應(yīng)用，如樸素貝葉斯分類器、貝葉斯網(wǎng)絡(luò)等。全概率公式02隨機變量及其分布Part定義取值可數(shù)的隨機變量，即可能取值的個數(shù)是有限的或可列的。概率質(zhì)量函數(shù)描述離散型隨機變量在各特定取值上的概率。常見離散型隨機變量分布二項分布、泊松分布、幾何分布等。離散型隨機變量定義連續(xù)型隨機變量取值充滿某個區(qū)間（或若干個區(qū)間）的隨機變量，可能取值的個數(shù)是無限的，且無法一一列舉。常見連續(xù)型隨機變量分布正態(tài)分布、均勻分布、指數(shù)分布等。描述連續(xù)型隨機變量的概率分布情況，具有非負性和規(guī)范性。概率密度函數(shù)通過已知隨機變量的分布，求解其函數(shù)的分布。一維隨機變量的函數(shù)的分布涉及多個隨機變量時，研究它們的函數(shù)的分布情況。多維隨機變量的函數(shù)的分布通過變換已知隨機變量的取值范圍或概率密度函數(shù)的形式，得到新的隨機變量的分布情況。變換法隨機變量的函數(shù)的分布03多維隨機變量及其分布Part定義設(shè)$X$和$Y$是兩個隨機變量，定義在同一概率空間$(Omega,mathcal{F},P)$上，稱$(X,Y)$為二維隨機變量。對于任意實數(shù)$x,y$，二元函數(shù)$F(x,y)=P{Xleqx,Yleqy}$稱為二維隨機變量$(X,Y)$的聯(lián)合分布函數(shù)。如果存在非負可積函數(shù)$f(x,y)$，使得對于任意實數(shù)$x,y$，有$F(x,y)=int_{-infty}^{x}int_{-infty}^{y}f(u,v)dudv$，則稱$(X,Y)$為連續(xù)型二維隨機變量，函數(shù)$f(x,y)$稱為$(X,Y)$的聯(lián)合概率密度函數(shù)。聯(lián)合分布函數(shù)聯(lián)合概率密度函數(shù)二維隨機變量邊緣分布與條件分布邊緣分布函數(shù)：二維隨機變量$(X,Y)$關(guān)于$X$的邊緣分布函數(shù)定義為$F_X(x)=F(x,+\infty)$，關(guān)于$Y$的邊緣分布函數(shù)定義為$F_Y(y)=F(+\infty,y)$。邊緣概率密度函數(shù)：如果$(X,Y)$是連續(xù)型二維隨機變量，其聯(lián)合概率密度函數(shù)為$f(x,y)$，則$(X,Y)$關(guān)于$X$的邊緣概率密度函數(shù)為$fX(x)=\int{-\infty}^{+\infty}f(x,y)dy$，關(guān)于$Y$的邊緣概率密度函數(shù)為$fY(y)=\int{-\infty}^{+\infty}f(x,y)dx$。條件分布函數(shù)：設(shè)$(X,Y)$是二維隨機變量，對于固定的$y$，如果$P{Y=y}>0$，則稱條件概率$P{X\leqx|Y=y}=\frac{P{X\leqx,Y=y}}{P{Y=y}}$為在$Y=y$條件下$X$的條件分布函數(shù)。同理可以定義在$X=x$條件下$Y$的條件分布函數(shù)。條件概率密度函數(shù)：如果$(X,Y)$是連續(xù)型二維隨機變量，其聯(lián)合概率密度函數(shù)為$f(x,y)$，且對于固定的$y$，有$fY(y)>0$，則在$Y=y$條件下，$X$的條件概率密度函數(shù)為$f{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$。同理可以定義在$X=x$條件下，$Y$的條件概率密度函數(shù)。定義：設(shè)$(X,Y)$是二維隨機變量，如果對于任意實數(shù)$x,y$，都有$P{Xleqx,Yleqy}=P{Xleqx}P{Yleqy}$，則稱隨機變量$X$與$Y$是相互獨立的。性質(zhì)：相互獨立的隨機變量具有以下性質(zhì)$P{XinA,YinB}=P{XinA}P{YinB}$，其中$A,B$是任意事件；$E[XY]=E[X]E[Y]$；$D[XY]=D[X]D[Y]+(E[X])^2D[Y]+(E[Y])^2D[X]$；如果$(X,Y)$與$(U,V)$相互獨立，且$(U,V)$與$(W,Z)$相互獨立，則$(X,Y)$與$(W,Z)$也相互獨立。相互獨立的隨機變量04隨機變量的數(shù)字特征Part數(shù)學(xué)期望描述隨機變量取值的“平均水平”，是概率加權(quán)下的平均值。對于離散型隨機變量，數(shù)學(xué)期望是所有可能取值與其對應(yīng)概率的乘積之和；對于連續(xù)型隨機變量，數(shù)學(xué)期望則是通過積分計算得到。方差衡量隨機變量取值的離散程度，即各數(shù)值與其平均數(shù)差值的平方和的平均數(shù)。方差越大，說明隨機變量的取值越分散；方差越小，則說明取值越集中。數(shù)學(xué)期望與方差用于衡量兩個隨機變量的總體誤差，表示兩個變量在變化過程中是同方向變化還是反方向變化，以及變化程度的大小。如果兩個變量的變化趨勢一致，則協(xié)方差為正值；如果變化趨勢相反，則協(xié)方差為負值；如果兩個變量相互獨立，則協(xié)方差為零。協(xié)方差用于衡量兩個隨機變量之間線性關(guān)系的強度和方向。相關(guān)系數(shù)的取值范圍為[-1,1]，其中1表示完全正相關(guān)，-1表示完全負相關(guān)，0表示不相關(guān)。相關(guān)系數(shù)的絕對值越大，說明兩個變量之間的線性關(guān)系越強。相關(guān)系數(shù)協(xié)方差與相關(guān)系數(shù)矩描述隨機變量的分布形態(tài)，特別是偏態(tài)和峰態(tài)。一階原點矩就是數(shù)學(xué)期望，二階中心矩就是方差，三階標準化矩描述分布的偏態(tài)，四階標準化矩描述分布的峰態(tài)。協(xié)方差矩陣用于描述多個隨機變量之間的線性相關(guān)程度。協(xié)方差矩陣的每個元素表示對應(yīng)兩個隨機變量之間的協(xié)方差。對于多維隨機變量，協(xié)方差矩陣是一個方陣，其對角線上的元素分別是各個隨機變量的方差，非對角線上的元素則是對應(yīng)兩個隨機變量之間的協(xié)方差。矩、協(xié)方差矩陣05大數(shù)定律及中心極限定理Part123揭示了算術(shù)平均值向數(shù)學(xué)期望收斂的性質(zhì)。弱大數(shù)定律（辛欽大數(shù)定律）進一步指出算術(shù)平均值幾乎必然收斂于數(shù)學(xué)期望。強大數(shù)定律在n重伯努利試驗中，事件A發(fā)生的頻率依概率收斂于事件A發(fā)生的概率。伯努利大數(shù)定律大數(shù)定律中心極限定理適用于隨機變量序列不滿足獨立同分布的情況，但要求各隨機變量的數(shù)學(xué)期望和方差存在且有限。李雅普諾夫中心極限定理指出當n足夠大時，n個獨立同分布的隨機變量的標準化和近似服從標準正態(tài)分布。獨立同分布的中心極限定理（林德伯格-列維定理）是二項分布的特例，指出當n足夠大、p不接近0或1時，二項分布的標準化變量近似服從標準正態(tài)分布。德莫佛-拉普拉斯定理06數(shù)理統(tǒng)計的基本概念Part總體與樣本總體研究對象的全體個體組成的集合，通常用一個隨機變量$X$及其分布$F(x)$來描述。樣本從總體中隨機抽取的一部分個體組成的集合，用于推斷總體的性質(zhì)。樣本量通常記為$n$，樣本觀測值記為$x_1,x_2,ldots,x_n$。統(tǒng)計量與抽樣分布由樣本觀測值計算得到的用于描述樣本特征的量，如樣本均值、樣本方差等。統(tǒng)計量不依賴于任何未知參數(shù)。統(tǒng)計量統(tǒng)計量的概率分布，描述了在不同樣本下統(tǒng)計量的可能取值及其概率。常見的抽樣分布有$chi^2$分布、$t$分布和$F$分布等。抽樣分布0102樣本均值$bar{X…所有樣本觀測值的算術(shù)平均數(shù)，其抽樣分布近似于正態(tài)分布，當樣本量足夠大時。樣本方差$S^2$用于描述樣本觀測值的離散程度，其抽樣分布與$chi^2$分布有關(guān)。樣本標準差$S$樣本方差的平方根，用于衡量數(shù)據(jù)的波動性。樣本$k$階原點矩描述樣本觀測值相對于原點的分布情況，對于不同的$k$值有不同的意義。例如，$k=1$時為樣本均值，$k=2$時為樣本方差。樣本$k$階中心矩描述樣本觀測值相對于均值的分布情況，對于不同的$k$值有不同的意義。例如，$k=2$時為樣本方差，$k=3$時為樣本偏度，$k=4$時為樣本峰度。030405常用的統(tǒng)計量及其分布07參數(shù)估計Part點估計矩估計法利用樣本矩來估計總體矩，從而得到參數(shù)的估計值。最大似然估計法根據(jù)樣本觀測值出現(xiàn)的概率最大原則來估計參數(shù)。最小二乘法通過最小化誤差的平方和來估計參數(shù)。樞軸量法構(gòu)造一個包含未知參數(shù)和樣本數(shù)據(jù)的統(tǒng)計量，使其分布已知，進而求得參數(shù)的置信區(qū)間。Bootstrap法通過重復(fù)抽樣生成大量樣本，利用這些樣本的分布特性來估計參數(shù)的置信區(qū)間。置信區(qū)間按一定的置信水平，根據(jù)樣本數(shù)據(jù)確定的包含未知參數(shù)的區(qū)間。區(qū)間估計010203單個正態(tài)總體均值的區(qū)間估計當總體方差已知時，利用標準正態(tài)分布的性質(zhì)構(gòu)造置信區(qū)間；當總體方差未知時，利用t分布的性質(zhì)構(gòu)造置信區(qū)間。兩個正態(tài)總體均值差的區(qū)間估計當兩總體方差已知時，利用標準正態(tài)分布的性質(zhì)構(gòu)造置信區(qū)間；當兩總體方差未知但相等時，利用t分布的性質(zhì)構(gòu)造置信區(qū)間；當兩總體方差未知且不等時，利用近似t分布或Welcht檢驗構(gòu)造置信區(qū)間。正態(tài)總體方差的區(qū)間估計利用卡方分布的性質(zhì)構(gòu)造置信區(qū)間。正態(tài)總體均值與方差的區(qū)間估計08假設(shè)檢驗Part原假設(shè)與備擇假設(shè)原假設(shè)通常是研究者想要推翻的假設(shè)，而備擇假設(shè)則是研究者希望證實的假設(shè)。檢驗統(tǒng)計量與拒絕域檢驗統(tǒng)計量是根據(jù)樣本數(shù)據(jù)計算出的用于判斷原假設(shè)是否成立的統(tǒng)計量，而拒絕域則是檢驗統(tǒng)計量取值的范圍，當檢驗統(tǒng)計量落入拒絕域時，我們拒絕原假設(shè)。顯著性水平與第一類錯誤顯著性水平是事先設(shè)定的用于判斷原假設(shè)是否成立的標準，而第一類錯誤則是在原假設(shè)為真時錯誤地拒絕原假設(shè)的概率。假設(shè)檢驗的基本概念01當樣本量較小且總體標準差未知時，可以使用單樣本t檢驗對單個正態(tài)總體的均值進行假設(shè)檢驗。單樣本t檢驗02當樣本量較大或總體標準差已知時，可以使用z檢驗對單個正態(tài)總體的均值進行假設(shè)檢驗。z檢驗