第一專題科學(xué)研究的試驗(yàn)設(shè)計與統(tǒng)計分析問題 講座

1、 第一講第一講 科學(xué)研究的試驗(yàn)設(shè)計與統(tǒng)計科學(xué)研究的試驗(yàn)設(shè)計與統(tǒng)計分析問題分析問題 科學(xué)研究科學(xué)研究科學(xué)試驗(yàn)科學(xué)試驗(yàn)一個試驗(yàn)有五個組成部分：一個試驗(yàn)有五個組成部分：假設(shè)假設(shè)、試驗(yàn)設(shè)計、試驗(yàn)執(zhí)行試驗(yàn)設(shè)計、試驗(yàn)執(zhí)行，統(tǒng)計分析和解釋統(tǒng)計分析和解釋。 一、科學(xué)試驗(yàn)的基本要求一、科學(xué)試驗(yàn)的基本要求二、科學(xué)試驗(yàn)的誤差來源及控制途徑二、科學(xué)試驗(yàn)的誤差來源及控制途徑三、試驗(yàn)設(shè)計的基本原則三、試驗(yàn)設(shè)計的基本原則四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補(bǔ)四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補(bǔ)五、方差分析的數(shù)據(jù)要求與數(shù)據(jù)轉(zhuǎn)換五、方差分析的數(shù)據(jù)要求與數(shù)據(jù)轉(zhuǎn)換六、統(tǒng)計分析結(jié)果圖形的選擇六、統(tǒng)計分析結(jié)果圖形的選擇七、試驗(yàn)設(shè)計與統(tǒng)計分析方法的選

2、擇七、試驗(yàn)設(shè)計與統(tǒng)計分析方法的選擇一、科學(xué)試驗(yàn)的基本要求一、科學(xué)試驗(yàn)的基本要求1. 試驗(yàn)結(jié)果要可靠試驗(yàn)結(jié)果要可靠 要求有較高的準(zhǔn)確度和精確度要求有較高的準(zhǔn)確度和精確度 。 什么是準(zhǔn)確度？什么是精確度？什么是準(zhǔn)確度？什么是精確度？-誤差誤差 試驗(yàn)觀測值試驗(yàn)觀測值y = u+(u為真值，理論值為真值，理論值) 完全偶然，找不出原因的稱偶然誤差，隨機(jī)誤差完全偶然，找不出原因的稱偶然誤差，隨機(jī)誤差誤差誤差 有一定原因的偏差，稱系統(tǒng)誤差有一定原因的偏差，稱系統(tǒng)誤差 -系統(tǒng)誤差使數(shù)據(jù)偏離理論真值，影響數(shù)據(jù)的準(zhǔn)確性。系統(tǒng)誤差使數(shù)據(jù)偏離理論真值，影響數(shù)據(jù)的準(zhǔn)確性。準(zhǔn)準(zhǔn)確度確度是指試驗(yàn)結(jié)果的實(shí)際值或是指試驗(yàn)結(jié)果

3、的實(shí)際值或觀測值與其理論真值觀測值與其理論真值的符合程的符合程度或接近程度。度或接近程度。-偶然誤差使數(shù)據(jù)相互分散，影響數(shù)據(jù)的準(zhǔn)確性。偶然誤差使數(shù)據(jù)相互分散，影響數(shù)據(jù)的準(zhǔn)確性。 精確度精確度是指是指觀測值之間觀測值之間的符合程度。的符合程度。a: 準(zhǔn)而集中，準(zhǔn)而集中， b:不準(zhǔn)但集中不準(zhǔn)但集中 c:不準(zhǔn)且分散不準(zhǔn)且分散 d:分散但接近真值分散但接近真值具有高的準(zhǔn)確度和精確度具有高的準(zhǔn)確度和精確度 準(zhǔn)確度低精確度高準(zhǔn)確度低精確度高 準(zhǔn)確度低精確度低準(zhǔn)確度低精確度低 有一定準(zhǔn)確度但精確度低有一定準(zhǔn)確度但精確度低理論理論真值真值2. 試驗(yàn)條件要有代表性試驗(yàn)條件要有代表性 試驗(yàn)條件要能代表將來使用這一

4、結(jié)果地區(qū)的自然條件。試驗(yàn)條件要能代表將來使用這一結(jié)果地區(qū)的自然條件。3.試驗(yàn)的重演性試驗(yàn)的重演性 在相同條件下再進(jìn)行試驗(yàn)或?qū)嵺`能重復(fù)獲得與試驗(yàn)結(jié)在相同條件下再進(jìn)行試驗(yàn)或?qū)嵺`能重復(fù)獲得與試驗(yàn)結(jié)果類似的結(jié)果。果類似的結(jié)果。4. 應(yīng)當(dāng)選擇適當(dāng)?shù)脑囼?yàn)指標(biāo)，并有相應(yīng)的數(shù)據(jù)分析方法應(yīng)當(dāng)選擇適當(dāng)?shù)脑囼?yàn)指標(biāo)，并有相應(yīng)的數(shù)據(jù)分析方法二、田間（野外）試驗(yàn)的誤差來源及控制途徑二、田間（野外）試驗(yàn)的誤差來源及控制途徑科學(xué)試驗(yàn)誤差包括偶然誤差和系統(tǒng)誤差?？茖W(xué)試驗(yàn)誤差包括偶然誤差和系統(tǒng)誤差。農(nóng)林業(yè)的田間（野外）試驗(yàn)的主要誤差來源有：農(nóng)林業(yè)的田間（野外）試驗(yàn)的主要誤差來源有：1.試驗(yàn)材料固有的差異如動植物材料的基因型不同、

5、苗試驗(yàn)材料固有的差異如動植物材料的基因型不同、苗木的粗細(xì)不一、插穗的粗細(xì)不一、種子的批次不同等。木的粗細(xì)不一、插穗的粗細(xì)不一、種子的批次不同等?？刂仆緩剑嚎刂仆緩剑罕M量選擇均勻一致的材料，或通過分組局部盡量選擇均勻一致的材料，或通過分組局部控制差異。控制差異。2.農(nóng)業(yè)操作或管理技術(shù)不一致引起的差異農(nóng)業(yè)操作或管理技術(shù)不一致引起的差異 在動植物整個生長期間要進(jìn)行農(nóng)事（撫育）管理、飼養(yǎng)管理，需要施肥、除草及病蟲害防治等，操作不規(guī)范或質(zhì)量不一致，觀測人員、時間、儀器等的不一致等等?？刂仆緩剑簢?yán)格按試驗(yàn)方案中的操作規(guī)程或通過技術(shù)培訓(xùn)。3. 外界環(huán)境條件差異外界環(huán)境條件差異主要是氣候、土壤水分、土壤養(yǎng)分等

6、差異?？刂仆緩剑海?）選擇地勢平坦、均勻的試驗(yàn)地（2）采用適當(dāng)?shù)男^(qū)技術(shù)（3）應(yīng)用良好的試驗(yàn)設(shè)計和相應(yīng)的統(tǒng)計分析，如隨機(jī)區(qū)組、拉丁方、裂區(qū)試驗(yàn)設(shè)計，把環(huán)境差異通過區(qū)組變異從總變異中分離出來。三、試驗(yàn)設(shè)計的基本原則三、試驗(yàn)設(shè)計的基本原則 重復(fù) 試驗(yàn)中同一處理的單元數(shù)成為重復(fù)數(shù)，將一基本試驗(yàn)重復(fù)次以上或在野外每一試驗(yàn)處理設(shè)置個以上樣地或試驗(yàn)小區(qū) 作用：（1）估計試驗(yàn)誤差 （2）降低誤差，更精確地估計處理效應(yīng) 平均數(shù)的方差： 特別注意避免假重復(fù)晚松林有：晚松林有：5,39,42,70;木荷林有：木荷林有：38,47,54,77;楓香林有：楓香林有：27,53,78;濕地松林有：濕地松林有：1,2,3

7、,6,10,11,13,14,19等等2.隨機(jī)排列 試驗(yàn)材料的配置和處理在試驗(yàn)地上的順序是隨機(jī)排列的，以獲得獨(dú)立的隨機(jī)變量值。作用：防止系統(tǒng)誤差，正確地估計誤差 。3. 局部控制 分范圍、分地段局部控制試驗(yàn)材料或外界環(huán)境差異。將試驗(yàn)材料或試驗(yàn)地根據(jù)差異劃分成若干區(qū)組，每一區(qū)組內(nèi)比較均勻一致。試驗(yàn)設(shè)計的三個基本原則，其最終目的是提高試驗(yàn)的精確度和準(zhǔn)確度，使試驗(yàn)結(jié)果更可靠。四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補(bǔ)四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補(bǔ)試驗(yàn)（抽樣調(diào)查）試驗(yàn)（抽樣調(diào)查） 獲取樣本獲取樣本統(tǒng)計分析統(tǒng)計分析 在一定的可靠性下對總體進(jìn)行推斷的過在一定的可靠性下對總體進(jìn)行推斷的過程（參數(shù)估計或假設(shè)檢驗(yàn)）程（參數(shù)

8、估計或假設(shè)檢驗(yàn)）用樣本平均數(shù)估計總體平均數(shù)的前提是正態(tài)分布用樣本平均數(shù)估計總體平均數(shù)的前提是正態(tài)分布 U=2.576 =0.01(兩尾概率之和）兩尾概率之和） 誤差值超過誤差值超過3的概率僅為的概率僅為 0.0027，因此在數(shù)據(jù)測試中，因此在數(shù)據(jù)測試中，若誤差超過若誤差超過3，該觀測值可認(rèn)為，該觀測值可認(rèn)為 是可疑值，異常數(shù)據(jù)。是可疑值，異常數(shù)據(jù)。 1.異常數(shù)據(jù)處理判斷數(shù)據(jù)異常的通用原則：判斷數(shù)據(jù)異常的通用原則： 如果至少有如果至少有10個獨(dú)立的值，若其中一個值處于區(qū)域個獨(dú)立的值，若其中一個值處于區(qū)域x4之外，則之外，則 完全可以將該值完全可以將該值 x看成異常值。計算平看成異常值。計算平均數(shù)

9、和標(biāo)準(zhǔn)差時，不能使用被懷疑為異常值的數(shù)據(jù)，必均數(shù)和標(biāo)準(zhǔn)差時，不能使用被懷疑為異常值的數(shù)據(jù)，必須進(jìn)行檢查。須進(jìn)行檢查。數(shù)據(jù)取舍準(zhǔn)則數(shù)據(jù)取舍準(zhǔn)則 ：（1）、拉依達(dá)（）、拉依達(dá)（Pan Ta)準(zhǔn)則：準(zhǔn)則：3準(zhǔn)則準(zhǔn)則若若 xd-x 3則則xd剔除剔除注意：數(shù)據(jù)數(shù)注意：數(shù)據(jù)數(shù)nkx時，舍去xd，系數(shù)kx可以查表或按以下公式計算： kx=t(n-1) (1+1/n ) 如 實(shí)驗(yàn)數(shù)據(jù)： 2.0， 2.1， 2.4 ，3.4， 3.5， 4.2， 7.9 n=7 查表 kx=1.79x=3.64，=2.04 檢驗(yàn)xd=7.9 xd-x = 7.9-3.64 =4.26kx=1.792.04=3.66xd必須舍

10、去。（3）、拉格布斯（Grubbs）準(zhǔn)則原則： xd-x g0時應(yīng)剔除xdg0可查g0 （n,）表，如顯著水平=0.05，可靠性95%時，n=10，g0（10,0.05）=2.184、t 檢驗(yàn)準(zhǔn)則 先把測量誤差最大值作為被檢驗(yàn)量x0除去，進(jìn)行計算x及計算，若: x0-x k(,n) 時，x0值舍去k(,n)可以按公式計算，k(,n)= t(n-1) (1+1/（n-1）)2、漏失數(shù)據(jù)彌補(bǔ)試驗(yàn)中可能出現(xiàn)意外造成試驗(yàn)數(shù)據(jù)的漏失。彌補(bǔ)原則：（1）有重復(fù)的試驗(yàn)，且每一處理至少有一個以上數(shù)據(jù)為丟失時，用未丟失數(shù)據(jù)的平均數(shù)代替丟失的數(shù)據(jù)。（2）無重復(fù)試驗(yàn)，按補(bǔ)上缺少的數(shù)據(jù)后所得到的剩余離差平方和最小的原則

11、進(jìn)行彌補(bǔ)。（3）丟失幾個數(shù)據(jù)，方差分析時剩余項的自由度就要相應(yīng)減少幾個。如：下表試驗(yàn)結(jié)果丟失2個數(shù)據(jù)y1和y2要進(jìn)行彌補(bǔ)B A A1 A2 A3 A4B1 3.5 y1 2.0 1.4B2 2.3 2.0 1.5 y2 B3 2.0 1.9 1.2 0.3 6y1+y2=18.2 y1=2.95 y2=0.53 Y1+6y2=6.1 dfe= 6-2=4 =0=0五、方差分析的數(shù)據(jù)要求與數(shù)據(jù)轉(zhuǎn)換五、方差分析的數(shù)據(jù)要求與數(shù)據(jù)轉(zhuǎn)換1、方差分析的數(shù)據(jù)要求-滿足四個基本假定（1）正態(tài)（分布）：總體的被研究指標(biāo)值遵循正態(tài)分布 （可從數(shù)據(jù)類型或通過分布的檢驗(yàn)判斷）（2）獨(dú)立：樣本的抽取是隨機(jī)的（3）隨機(jī)：

12、抽樣為重復(fù)或抽樣比很小的不重復(fù)抽樣（4）等方差：各亞總體的方差齊性 （可通過方差齊性檢驗(yàn)判斷） 2、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換方差分析以滿足以上四個基本假定為前提，對于不滿足以上前提條件的數(shù)據(jù)進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換。（1）平方根變換）平方根變換 適用范圍： 一般適用于遵循泊松（poisson)分布的數(shù)據(jù)。而且從數(shù)據(jù)看各處理內(nèi)的標(biāo)準(zhǔn)差有極明顯的差別。通常是計數(shù)數(shù)據(jù)。 轉(zhuǎn)換方法：xij 或 （數(shù)據(jù)小于10或0） raMSeSE raMSeSE （2）反正弦變換 適用范圍：適用于數(shù)據(jù)遵循二項分布的數(shù)據(jù)，方差與均值存在一定比例關(guān)系。如百分率數(shù)據(jù)，特別當(dāng)百分率數(shù)據(jù)特別大或特別?。〝?shù)值不在20-80%內(nèi)）應(yīng)作數(shù)據(jù)轉(zhuǎn)換。

13、轉(zhuǎn)換方法： Xij Xij 為百分率Xij為角度值（3）對數(shù)變換適應(yīng)范圍：對于前面的兩類數(shù)據(jù)（計數(shù)數(shù)據(jù)、百分率數(shù)據(jù)）有時也可以進(jìn)行對數(shù)變換。轉(zhuǎn)換方法：xij lg xij 或 lg （xij+ 1）（數(shù)據(jù)中有0時）原則上數(shù)據(jù)轉(zhuǎn)換前后都要作相應(yīng)的統(tǒng)計檢驗(yàn)，看是否滿足正態(tài)分布和等方差條件。六、統(tǒng)計分析結(jié)果圖形的選擇六、統(tǒng)計分析結(jié)果圖形的選擇圖標(biāo)是表述研究結(jié)果的重要途徑，圖形是直觀表達(dá)研究結(jié)果的有效方法，應(yīng)科學(xué)、合理應(yīng)用圖形。常用的圖形有散點(diǎn)圖、條形（直方圖）、連線（折線）圖、餅圖等，不同圖形表述不同的信息。1、條形圖條形圖 ：條形圖是統(tǒng)計圖資料分析中最常用的圖形。條形統(tǒng)計圖可以清楚地表明各類型（處

14、理）數(shù)量的多少。按照排列方式的不同，可分為縱式條形圖和橫式條形圖 。2、折線圖折線圖：運(yùn)用非常普遍的一種圖形 以折線的上升或下降來表示統(tǒng)計數(shù)量的增減變化的統(tǒng)計圖。與條形圖比較，折線統(tǒng)計圖不僅可以表示數(shù)量的多少，而且可以反映同一事物在不同時間里的發(fā)展變化的情況。3、散點(diǎn)圖、散點(diǎn)圖通常用來描述兩種現(xiàn)象的相關(guān)關(guān)系。 4、餅圖或扇形圖（百分?jǐn)?shù)比較圖）餅圖或扇形圖（百分?jǐn)?shù)比較圖）表示每組數(shù)據(jù)相對于總體的大小，反映部分與部分、部分與總體之間的數(shù)量關(guān)系。以一個圓的面積表示事物的總體，以扇形表示占總體的百分?jǐn)?shù)的。除此之外還有聚類分析的聚類圖、主成分分析的點(diǎn)圖等。相關(guān)概念小區(qū)技術(shù)七、試驗(yàn)設(shè)計與統(tǒng)計分析方法的選擇

15、七、試驗(yàn)設(shè)計與統(tǒng)計分析方法的選擇1、試驗(yàn)設(shè)計方法的選擇 （1）完全隨機(jī)化試驗(yàn)）完全隨機(jī)化試驗(yàn)：試驗(yàn)地環(huán)境條件均勻一致單因素試驗(yàn)單因素試驗(yàn) （2）隨機(jī)區(qū)組試驗(yàn)：）隨機(jī)區(qū)組試驗(yàn)：試驗(yàn)地環(huán)境條件有較大差異 （3）拉丁方試驗(yàn)：）拉丁方試驗(yàn)：試驗(yàn)地環(huán)境條件差異來自兩個方向 （4）平衡不完全區(qū)組設(shè)計或平衡格子設(shè)計）平衡不完全區(qū)組設(shè)計或平衡格子設(shè)計： 處理數(shù) 較多，一個區(qū)組內(nèi)安排不下 所有處理。 雙因素完全隨機(jī)化試驗(yàn)雙因素完全隨機(jī)化試驗(yàn)：試驗(yàn)環(huán)境條件均勻一致， 按雙因素方差分析進(jìn)行結(jié)果分析。雙因素試驗(yàn)雙因素試驗(yàn) 雙因素隨機(jī)區(qū)組試驗(yàn)雙因素隨機(jī)區(qū)組試驗(yàn)：試驗(yàn)環(huán)境條件有較大差異 裂區(qū)試驗(yàn)裂區(qū)試驗(yàn)：兩個試驗(yàn)因素有一

16、些特殊要求 如面積要求、精度要求有差異、 效應(yīng)大小有差異等。 正交試驗(yàn)設(shè)計：正交試驗(yàn)設(shè)計：分析各因子的效應(yīng)；給因子排序； 尋找 最佳組合 均勻設(shè)計：均勻設(shè)計：因子和水平數(shù)較多時多因素試驗(yàn)多因素試驗(yàn) 配方均勻設(shè)計配方均勻設(shè)計：主要目的是尋找最佳配方 回歸正交設(shè)計、回歸旋轉(zhuǎn)設(shè)計：回歸正交設(shè)計、回歸旋轉(zhuǎn)設(shè)計：分析各因子的效應(yīng)， 建立試驗(yàn)結(jié)果與因子的回歸關(guān)系模型2、統(tǒng)計分析方法選擇、統(tǒng)計分析方法選擇（1）方差分析（含多重比較）：）方差分析（含多重比較）：判斷某試驗(yàn)因素各處理之間的顯著性或試驗(yàn)因素對試驗(yàn)結(jié)果是否產(chǎn)生顯著影響。結(jié)論是定性的。（2）回歸與相關(guān)分析）回歸與相關(guān)分析：建立變量之間的回歸關(guān)系模型，

17、判斷回歸與相關(guān)關(guān)系顯著性，并進(jìn)行預(yù)測。結(jié)論是定量的。（3）協(xié)方差分析）協(xié)方差分析：對于一些處理變量難于人為控制的情形，如嫁接試驗(yàn)的沾木接口粗細(xì)不一致、毛竹筍用林施肥試驗(yàn)中竹林初始密度不一致、生豬喂養(yǎng)試驗(yàn)中仔豬的重量不一致等。通過回歸分析與方差分析相結(jié)合的統(tǒng)計控制方法通過回歸分析與方差分析相結(jié)合的統(tǒng)計控制方法把處理變量自身帶來的差異進(jìn)行調(diào)整。（4）典范相關(guān)分析（典型相關(guān)分析）：）典范相關(guān)分析（典型相關(guān)分析）：典型相關(guān)分析是研究多個說明變量構(gòu)成的說明變量組與多個基準(zhǔn)變量構(gòu)成的基準(zhǔn)變量組之間的相關(guān)關(guān)系的一種多變量統(tǒng)計分析方法。如：研究小麥形態(tài)因子性狀：穗長（X1）、劍葉寬（X2）、劍葉長（X3）、株

18、高（X4）與產(chǎn)量性狀：千粒重（y1)、株粒重（y1) 、主穗粒重（y1)和主穗粒數(shù)（y1)的關(guān)系。(5) 主成分分析主成分分析 在進(jìn)行多指標(biāo)分析時會遇到指標(biāo)數(shù)（變量數(shù)）比較多或在進(jìn)行多指標(biāo)分析時會遇到指標(biāo)數(shù)（變量數(shù)）比較多或樣本數(shù)比較多，而且指標(biāo)之間可能存在一定的相關(guān)性、信息樣本數(shù)比較多，而且指標(biāo)之間可能存在一定的相關(guān)性、信息量重疊的情況。因此希望能通過一定的統(tǒng)計方法找出能反映量重疊的情況。因此希望能通過一定的統(tǒng)計方法找出能反映主要信息的少數(shù)幾個綜合變量或樣本。主要信息的少數(shù)幾個綜合變量或樣本。實(shí)際應(yīng)用中有兩種類型：實(shí)際應(yīng)用中有兩種類型：R型分析和型分析和Q型分析型分析R型分析：從觀測變量出發(fā)

19、選主成分，找出能反映原變量主型分析：從觀測變量出發(fā)選主成分，找出能反映原變量主要信息的新變量要信息的新變量Q型分析：從型分析：從N個樣品中找出互不相關(guān)的有代表性的樣品。個樣品中找出互不相關(guān)的有代表性的樣品。 R型分析：變量在主成分1和2平面上的圖形Q型分析：樣品在主成分1和2平面上的圖形（6）聚類分析：根據(jù)個體多種特性的觀測數(shù)據(jù)，定量地確定它聚類分析：根據(jù)個體多種特性的觀測數(shù)據(jù)，定量地確定它們之間的相似性或相異性，并把它們聚成若干類，使任何一個們之間的相似性或相異性，并把它們聚成若干類，使任何一個類的個體之間的相似性大于不同類之間的相似性的統(tǒng)計分析方類的個體之間的相似性大于不同類之間的相似性的統(tǒng)計分析方法。法。聚類分析也分聚類分析也分R型和型和Q型兩種型兩種R型：用于變