《概率論與數(shù)理統(tǒng)計及其Python實現(xiàn)》課件 第8、9章 假設(shè)檢驗、回歸分析

第八章

假設(shè)檢驗學(xué)習(xí)目標(biāo)理解假設(shè)檢驗的基本思想。了解假設(shè)檢驗的基本概念。掌握假設(shè)檢驗的基本步驟。掌握單個及兩個正態(tài)總體的均值和方差的假設(shè)檢驗。一、假設(shè)檢驗的基本思想假設(shè)檢驗是統(tǒng)計推斷中的一種方法。這是在總體的分布函數(shù)完全未知，或只知其形式但不知其參數(shù)的形式的情況下，根據(jù)樣本中的信息來對總體的分布參數(shù)或分布類型做出分析論斷。即從統(tǒng)計的角度來判斷假設(shè)是否成立。女士品茶實驗據(jù)說有一次英國統(tǒng)計學(xué)家Fisher參加一個聚會。當(dāng)時主人提供這樣一種飲料，由Tea和Milk混合而成。按照加入順序的不同，分別稱為TM與MT。與會的一位女士聲稱她能分辨出任一杯這樣的飲料是到底是TM還是MT。為檢驗她是否真的有這種辨別力，請人拿來杯飲料讓她品嘗，其中TM與MT各占一半，并把這一點告訴了她。結(jié)果，她指對了全部的杯TM(當(dāng)然MT也都指對了)。那么，這位女士是否真的有真的有這種辨別力？例子分析?例子分析?正確鑒別錯誤鑒別概率例子分析?例子分析當(dāng)鑒別杯數(shù)‘足夠多’時，能全部正確鑒別的概率趨向于0，這為小概率事件。在一次實驗中出現(xiàn)小概率事件，根據(jù)小概率原理，我們有證據(jù)認(rèn)為該女士能有效區(qū)別奶茶的配置順序。二、假設(shè)檢驗的基本概念?二、假設(shè)檢驗的基本概念(3)檢驗統(tǒng)計量檢驗統(tǒng)計量的構(gòu)造原理與區(qū)間估計的構(gòu)造原理類似。一個好的檢驗統(tǒng)計量通常具有明確的抽樣分布，借助該統(tǒng)計量的分布特征和樣本取值，我們可以作出判斷是接受原假設(shè)還是拒絕原假設(shè)。二、假設(shè)檢驗的基本概念?二、假設(shè)檢驗的基本概念?二、假設(shè)檢驗的基本概念(6)接受域和拒絕域有了檢驗統(tǒng)計量之后，我們需要確定一個界限，這個界限可以將檢

驗統(tǒng)計的取值空間劃分為兩個區(qū)域。其中一個區(qū)域是原假設(shè)為真時，樣本通常會落入的區(qū)域。如果檢驗統(tǒng)計量的樣本值落在這個區(qū)域里，我們就判斷接受原假設(shè)，所以該區(qū)間稱為接受域，即接受原假設(shè)的

區(qū)域。另一個區(qū)域是原假設(shè)為真時，樣本落入該區(qū)域的概率非常小，小到可以認(rèn)為這種情況幾乎不會發(fā)生。而在備擇假設(shè)成立時，樣本落入這個區(qū)域的概率就很大。如果檢驗統(tǒng)計量落入這個區(qū)域里，我們將決絕原假設(shè)，認(rèn)為備擇假設(shè)成立，所以該區(qū)間稱為拒絕域，即拒絕原假設(shè)的區(qū)域。三、假設(shè)檢驗的四個步驟?四、正態(tài)總體的均值和方差的假設(shè)檢驗????假設(shè)雙側(cè)檢驗左側(cè)檢驗右側(cè)檢驗假設(shè)形式H0

：

m

=m0

H1

：

m

m0統(tǒng)計量拒絕域P值決策?假設(shè)雙側(cè)檢驗左側(cè)檢驗右側(cè)檢驗假設(shè)形式H0

：

m

=m0

H1

：

m

m0統(tǒng)計量拒絕域P值決策??假設(shè)雙側(cè)檢驗左側(cè)檢驗右側(cè)檢驗假設(shè)形式統(tǒng)計量拒絕域P值決策??假設(shè)雙側(cè)檢驗左側(cè)檢驗右側(cè)檢驗假設(shè)形式統(tǒng)計量拒絕域P值決策??假設(shè)雙側(cè)檢驗左側(cè)檢驗右側(cè)檢驗假設(shè)形式H0

：H1

：2=22020H0

：H1

：22

<2020H0

：H1

：22

>2020統(tǒng)計量拒絕域P值決策??假設(shè)雙側(cè)檢驗左側(cè)檢驗右側(cè)檢驗假設(shè)形式統(tǒng)計量拒絕域P值決策典型題型及例題(A)檢驗結(jié)果為接受

(B)檢驗結(jié)果為接受

(C)檢驗結(jié)果為拒絕

(D)檢驗結(jié)果為拒絕時，只可能犯第一類錯誤時，既可能犯第一類錯誤也可能犯第二類錯誤時，只可能犯第一類錯誤時，既可能犯第一類錯誤也可能犯第二類錯誤類型1

假設(shè)檢驗的基本概念例8.1

在假設(shè)檢驗中，原假設(shè)為

備擇假設(shè)為

則(

C

)典型題型及例題均重量類型2

假設(shè)檢驗的步驟例8.2

某洗衣粉廠用自動包裝機進行包裝，正常情況下包裝量現(xiàn)隨機抽取25袋洗衣粉，測得平樣本標(biāo)準(zhǔn)差s=2.5g,問：可否認(rèn)為可否認(rèn)為典型題型及例題解:(1)典型題型及例題(2)練習(xí)題一、選擇題1.在假設(shè)檢驗中，顯著性水平的意義是（

A

）被拒絕的概率不能被拒絕的概率被拒絕的概率不能被拒絕的概率原假設(shè)原假設(shè)原假設(shè)原假設(shè)成立，經(jīng)檢驗

成立，經(jīng)檢驗

不成立，經(jīng)檢驗不成立，經(jīng)檢驗練習(xí)題，那么在(A)必接受(C)必拒絕(B)可能接受，也可能拒絕

(D)不接受，也不拒絕一、選擇題2.假設(shè)檢驗時，如果在顯著性水平0.05下接受原假設(shè)顯著性水平0.01下，下列結(jié)論中正確的是(A

)練習(xí)題一、選擇題

3.已知總體的均值，則應(yīng)做檢驗(D

)(A)(C)為檢驗總體X的均值是否大于Y(B)(D)練習(xí)題二、填空題1.設(shè)總體測得樣本方差由來自總體X的容量為10的簡單隨機樣本，則檢驗假設(shè)使用的統(tǒng)計量下接受

的值等于

1_5

,在顯著性水平()2.設(shè)未知，記使是取自正態(tài)總體的一個樣本，其中則假設(shè) 的t檢驗用統(tǒng)計量T=

.練習(xí)題三、簡答題1.

設(shè)總體

假設(shè)檢驗問題為(1)現(xiàn)從總體中抽取容量為25的樣本，測得下，可否接受

(

)問在顯著性水平（2）從總體中抽取樣本為

，若拒絕域求犯第一類錯誤概率的最大值，若使該最大值不超過0.023，問n至少應(yīng)該取多少？（

）練習(xí)題三、簡答題2.測定某種溶液中的水分，由其10個測定值得已知測定值（1）（2）（試當(dāng)

時，檢驗下列假設(shè)：）第九章回歸分析概率論與數(shù)理統(tǒng)計1回歸分析的概述2參數(shù)估計3假設(shè)檢驗4預(yù)測第一節(jié)

回歸分析的概述概率論與數(shù)理統(tǒng)計回歸分析方法是數(shù)理統(tǒng)計中常用的方法之一，是處理多個變量自檢關(guān)系的一種數(shù)學(xué)方法.在實際生產(chǎn)實踐中，我們常常要研究一些變量之間的關(guān)系．通常這些變量之間的關(guān)系可以分成兩大類．概率論與數(shù)理統(tǒng)計另一類為非確定性的關(guān)系，指的是變量之間雖然存在一定的依賴關(guān)系，但這種關(guān)系沒有達(dá)到能由其中一個或多個來準(zhǔn)確地決定另一個的程度．如：人的血壓與年齡有一定關(guān)系，但不能用一個確定的函數(shù)關(guān)系式表達(dá)出來.人的身高與體重之間的關(guān)系也是如此．我們稱這種變量之間的關(guān)系為相關(guān)關(guān)系．概率論與數(shù)理統(tǒng)計回歸分析是研究相關(guān)關(guān)系的一種有力工具．具有相關(guān)關(guān)系的變量之間雖然具有某種不確定性，但通過對它們不斷觀察，可以研究它們之間的統(tǒng)計規(guī)律．回歸分析就是研究這種統(tǒng)計規(guī)律的一種數(shù)學(xué)方法，它主要解決以下問題：1

從一組觀察數(shù)據(jù)出發(fā)，確定這些變量之間的回歸方程；2

對回歸方程進行假設(shè)檢驗；3

利用回歸方程進行預(yù)測和控制．概率論與數(shù)理統(tǒng)計本書主要討論線性回歸方程．這是最簡單同時也是研究最完善的回歸方程．許多實際問題可以取這種模型作為真實模型的近似．這是因為，在實際中許多變量的關(guān)系確實是線性的，而且即使這些變量的關(guān)系是非線性的，當(dāng)自變量變化范圍不大時，我們也可以用線性關(guān)系來近似．再者，在數(shù)理統(tǒng)計中，對于線性回歸模型已經(jīng)有了完善的理論和方法，所有的統(tǒng)計軟件包都有線性回歸模型的計算程序，只要按程序代入數(shù)據(jù)，可以快速得到所需要的計算結(jié)果．所以，線性回歸模型得到了廣泛的應(yīng)用．概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計圖9.1概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計謝謝大家第二節(jié)

參數(shù)估計概率論與數(shù)理統(tǒng)計一元線性回歸的參數(shù)估計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計表9-1時間段1234567891012.08.011.513.015.014.08.510.511.513.311.68.511.412.213.013.28.910.511.312.0概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計多元線性回歸的參數(shù)估計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計謝謝大家第三節(jié)

假設(shè)檢驗概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計表9-2一元回歸的方差分析表方差源平方和自由度

均方

F比回歸1剩余總和n-2n-1概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計謝謝大家第四節(jié)

預(yù)測概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計圖9-3所以，預(yù)測區(qū)間與置信區(qū)間意義相似，只不過前者是對隨機變量而言，后者是對未知參數(shù)而言.概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計數(shù)學(xué)實驗九——利用Sklearn實現(xiàn)線性擬合并進行預(yù)測Python代碼如下：#創(chuàng)建數(shù)據(jù)import

numpy

as

npimport

matplotlib.pyplot

as

plt

rng

=

np.random.RandomState(20)

x=10*rng.rand(50)Y=2*x-1+rng.rand(50)plt.scatter(x,y)#構(gòu)建線性回歸模型from

sklearn.linear_model

import

LinearRegressionmodel

=

LinearRegression(fit_intercept=True)#模型擬合x

=

x[:,np.newaxis]model.fit(x,y)#查看模型參數(shù)model.coef_#輸出為2.01889877ercept_#輸出為-0.5721372229186237#模型預(yù)測xfit

=

np.linspace(-1,11)xfit

=

xfit[:,np.newaxis]yfit

=

model.predict(xfit)plt.scatter(x,y)plt.plot(xfit,yfit)知識縱橫——回歸分析的由來概率論與數(shù)理統(tǒng)計回歸分析最早是19世紀(jì)末期高爾頓（Sir

Francis

Galton）所發(fā)展．高爾頓是生物統(tǒng)計學(xué)派的奠基人，他的表哥達(dá)爾文的巨著《物種起源》問世以后，觸動他用統(tǒng)計方法研究智力進化問題，統(tǒng)計學(xué)上的“相關(guān)”和“回歸”的概念也是高爾頓第一次使用的.1855年，他發(fā)表了一篇“遺傳的身高向平均數(shù)方向的回歸”文章，分析兒童身高與父母身高之間的關(guān)系，發(fā)現(xiàn)父母的身高可以預(yù)測子女的身高，當(dāng)父母越高或越矮時，子女的身高會比一般兒童高或矮，他將兒子與父母身高的這種現(xiàn)象擬合出一種線形關(guān)系．但是有趣的是：通過觀察他注意到，盡管這是一種擬合較好的線形關(guān)系，但仍然存在例外現(xiàn)象：矮個的人的兒子比其父要高，身材較高的父母所生子女的身高將回降到人的平均身高．換句話說，當(dāng)父母身高走向極端（或者非常高，或者非常矮）的人的子女，子女的身高不會像父母身高那樣極端化，其身高要比父母們的身高更接近平均身高．高爾頓選用“回歸”一詞，把這一現(xiàn)象叫做“向平均數(shù)方向的回歸”（regression

towardmediocrity）．雖然這是一種特殊情況，與線形關(guān)系擬合的一般規(guī)則無關(guān)，但“線形回歸”的術(shù)語仍被沿用下來．作為根據(jù)一種變量（父母身高）預(yù)測另一種變量（子女身高）的一般名稱沿用至今，后被引用到對多種變量關(guān)系的描述．概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計謝謝大家習(xí)題九概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計表9-30

4

10

15

21

29

36

51

6866.7

71.0

76.3

80.6

85.7

92.9

99.4

113.6

125.1概率論與數(shù)理統(tǒng)計表9-460

62

64

66

67

68

70

72

7463.6

65.2

66

66.9

67.1

67.4

68.3

70.1

70概率論與數(shù)理統(tǒng)計表9-58.37010.311.18018.212.98533.816.37742.68.66510.311.27522.613.38627.417.38155.48.86310.211.37919.913.77125.717.58255.710.57210.411.47624.213.86424.917.98058.310.78116.811.47621.014.07834.518.08051.510.88318.811.76921.414.28031.718.08051.011.06619.712.07521.315.57436.320.68777.011.07515.612.97419.116.07238.3概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計表9-