數(shù)據(jù)處理知識點總結(jié)

試驗設(shè)計與數(shù)據(jù)處理是以概率論、數(shù)理統(tǒng)計及線性代數(shù)為理論基礎(chǔ)，研究如何有效的安排試驗、科學(xué)的分析和處理試驗結(jié)果的一門科學(xué)。試驗考察指標(biāo)依據(jù)試驗?zāi)康亩x定的衡量或考察試驗效果的特征值.試驗實際考慮采用的（某一）因素變化的狀態(tài)或條件的種類數(shù)稱為因素水平，簡稱水平誤差控制的三原則，費歇三原則1）重復(fù)原則2）隨機化原則3）局部控制原則：

試驗設(shè)計的步驟1）問題的識別和問題的正確提出，2）因素和水平的合理選取；

3）響應(yīng)變量的選擇4）試驗設(shè)計方法的比較、研究和選擇；

5）進行試驗操作采集試驗數(shù)據(jù)；6）用統(tǒng)計學(xué)方法分析試驗數(shù)據(jù)；

7）寫出有關(guān)試驗結(jié)果的結(jié)論或工作建議.科學(xué)合理的試驗方案應(yīng)滿足以下三點:

（1）試驗次數(shù)盡可能少；

（2）便于試驗數(shù)據(jù)的分析處理；

（3）試驗結(jié)果可信度高按試驗中處理因子的多少試驗設(shè)計方法一般可以分為：

（1）單因素試驗（2）多因素試驗實驗考察指標(biāo)可分為：定量指標(biāo)和定性指標(biāo)

定量指標(biāo)：可以通過實驗直接獲得，便于計算和進行數(shù)據(jù)處理。

定性指標(biāo)：不易確定具體的數(shù)值，為便于用數(shù)學(xué)方法進行分析和處理，必須是將其數(shù)字化后進行計算和處理。

因素：凡是能影響實驗結(jié)果的條件或原因，統(tǒng)稱為實驗因素（簡稱為因素）水平:因素變化的各種狀態(tài)和條件稱為因素的水平總體：我們所研究對象的某特性值的全體，又叫母體；其中的每個單元叫做個體。

總體根據(jù)個體的有限和無限性分為有限總體和無限總體。

自總體中隨機抽出的一組測量值，稱為樣本，又叫子樣。樣本中所含個體（測量值）的數(shù)目，叫做樣本容量，即樣本的大小。抽樣：從總體中隨機抽取若干個個體觀測其某種數(shù)量指標(biāo)的取值過程稱為抽樣。

樣本空間：就樣本而言，一次抽取、觀測的結(jié)果是n個具體數(shù)據(jù)x1，x2，…，xn，稱為樣本（X1，X2，…Xn）的一個觀測值，而樣本觀測值所有可能取值的全體稱為樣本空間。重復(fù)性——由一個分析者，在一個給定的實驗室中，用一套給定的儀器，在短時期內(nèi)，對某物理量進行反復(fù)定量測量所得的結(jié)果。也稱為室內(nèi)精密度。

再現(xiàn)性——由不同實驗室的不同分析者和儀器，共同對一個物理量進行定量測量的結(jié)果。也稱為室間精密度。

極差：一組數(shù)據(jù)中最大值與最小值之差，叫極差。又叫全距、量距或范圍。

誤差——測量值和真值的差數(shù)偏差——測量值和平均值的差數(shù)。也叫離差。

偏差平方和：測量值對平均值的偏差的平方的加和。方差:是測量值在其總體均值周圍分布狀況的一種量度，方差表征隨機變量分布的離散程度?？傮w方差的定義是：測量值對總體均值的誤差的平方的統(tǒng)計平均，記作：標(biāo)準(zhǔn)偏差（標(biāo)準(zhǔn)差）：方差的平方根的正值自由度：是指可以自由取值的數(shù)據(jù)的個數(shù)。相對標(biāo)準(zhǔn)偏差(變異系數(shù))：是樣本標(biāo)準(zhǔn)偏差與平均值的比值，表示偏差值與平均值的相對大小。測量次數(shù)n、樣本平均值和樣本標(biāo)準(zhǔn)偏差s，是表達測量結(jié)果的三個要素。

標(biāo)準(zhǔn)參考物質(zhì)通常指的是由公認的權(quán)威機構(gòu)發(fā)售的，帶有證書的物質(zhì)，它的一種或多種特性已被確定，可以用來校準(zhǔn)測量裝置或驗證測量方法。在我國，通常把標(biāo)準(zhǔn)物質(zhì)叫作標(biāo)準(zhǔn)試樣或標(biāo)樣。有效數(shù)字就是在測量中所能得到的有實際意義的數(shù)字(只作定位用的”0”除外)。1在記錄一個測量所得的數(shù)量時，數(shù)據(jù)中只應(yīng)保留一位不確定數(shù)字。

有效數(shù)字是包括全部可靠數(shù)字以及一位不確定數(shù)字在內(nèi)的有意義的數(shù)字的位數(shù)。

2在運算中棄去多余數(shù)字時，一律以“四舍六入五留雙”為原則，而不要“四舍五入”。

3幾個數(shù)相加減時，保留有效數(shù)字的位數(shù)，決定于絕對誤差最大的一個數(shù)據(jù)。

4幾個數(shù)相乘除時，以有效數(shù)字位數(shù)最少的為標(biāo)準(zhǔn)，即以相對誤差最大的數(shù)據(jù)為標(biāo)準(zhǔn)，棄去過多的位數(shù)。在作乘、除、開方、乘方運算時，若第一位有效數(shù)字等于或大于8，則有效數(shù)字可多計一位（例如：8.03毫升的有效數(shù)字可視作四位）。

5在所有計算式中，常數(shù)π，e的數(shù)值，以及，1/2等系數(shù)的有效數(shù)字位數(shù)，可以認為無限制，需要幾位就可以取幾位。

6在對數(shù)計算中，所取對數(shù)位數(shù)，應(yīng)與真數(shù)的有效數(shù)字位數(shù)相等。例如，pH12.25和[H+]=5.6×10-13M;Ka=5.8×10-10,logKa=-9.24等，都是兩位有效數(shù)字。換言之，對數(shù)的有效數(shù)字位數(shù)，只計小數(shù)點以后的數(shù)字的位數(shù)，不計對數(shù)的整數(shù)部分。

7如果要舍去的不止一位數(shù)，而是幾位數(shù)字，則應(yīng)該一次完成，而不應(yīng)該連續(xù)修約。

8在修約標(biāo)準(zhǔn)偏差的值或其它表示不確定度的值時，修約的結(jié)果通常是使準(zhǔn)確度的估計值變得更差一些。例如，標(biāo)準(zhǔn)偏差s=0.213單位，取兩位有效數(shù)字時，要入為0.22單位，而取一位有效數(shù)字時，就要入為0.3單位。

9平均值的有效數(shù)字位數(shù)，通常和測量值相同。當(dāng)樣本容量較大，在運算過程中，為減少舍入誤差，平均值可比單次測量值多保留一位數(shù)。對于異常數(shù)據(jù)的取舍一定要慎重，一般處理原則如下：

在試驗過程中，若發(fā)現(xiàn)異常數(shù)據(jù)，應(yīng)停止試驗，分析原因，及時糾正錯誤；

試驗結(jié)束后，在分析試驗結(jié)果時，如發(fā)現(xiàn)異常數(shù)據(jù)，則應(yīng)先找出產(chǎn)生差異的原因，再對其進行取舍；

在分析試驗結(jié)果時，如不清楚產(chǎn)生異常值的確切原因，則應(yīng)對數(shù)據(jù)進行統(tǒng)計處理再做取舍；

對于舍去的數(shù)據(jù)，在試驗報告中應(yīng)注明舍去的原因或所選用的統(tǒng)計方法。

檢驗可疑數(shù)據(jù)，常用的統(tǒng)計方法有拉依達(Pauta)準(zhǔn)則、格拉布斯(Grubbs)準(zhǔn)則、狄克遜(Dixon)準(zhǔn)則、肖維勒(Chauvenet)準(zhǔn)則、t檢驗法、F檢驗法等；對隨機現(xiàn)象的觀察、記錄、試驗統(tǒng)稱為隨機試驗。樣本空間定義：隨機試驗E的所有結(jié)果構(gòu)成的集合稱為E的樣本空間，記為S={e}，

稱S中的元素e為基本事件或樣本點．一般我們稱S的子集A為E的隨機事件A，當(dāng)且僅當(dāng)A所包含的一個樣本點發(fā)生稱事件A發(fā)生。隨機事件：在特定情況下可能發(fā)生也可能不發(fā)生的事件必然事件:在一定條件下必然出現(xiàn)的現(xiàn)象稱為必然事件。

不可能事件：某一事件一定不發(fā)生，則稱為不可能事件。

隨機變量取得不同值的概率是不同的，隨機變量的概率分布就是討論隨機變量的總體分布情況，即某一隨機變量可以取哪些值以及取這些值的可能性概率有多大。

概率密度函數(shù)對于隨機變量X的分布函數(shù)F（x），存在非負函數(shù)f(x)，使對于任意實數(shù)x有

則稱f(x)為隨機變量x的概率密度函數(shù)。

抽樣又分為復(fù)置抽樣和不復(fù)置抽樣。

復(fù)置抽樣→將抽得的個體放回總體繼續(xù)參加抽樣。不復(fù)置抽樣→抽得的個體不放回總體參加后續(xù)的抽樣。中心極限定理。若隨機變量x有數(shù)學(xué)期望E（x）＝μ，方差D（x）＝σ2，且樣本觀測值為x1，x2，…xn，則樣本平均值隨樣本數(shù)n的增大，逐漸接近正態(tài)分布，即

中心極限定理說明，只要數(shù)學(xué)期望和方差為有限值，不論X遵從什么分布，其樣本平均值的分布將是正態(tài)的。置信度就是表示人們所作判斷的可靠把握的程度。置信度有兩重含義，一是置信水平，一是置信區(qū)間。約定真值：世界各國公認的幾何量和物理量的最高基準(zhǔn)的量值

理論真值：設(shè)計時給定或用數(shù)學(xué)、物理公式計算出的給定值

相對真值：標(biāo)準(zhǔn)儀器的測得值或用來作為測量標(biāo)準(zhǔn)用的標(biāo)準(zhǔn)器的值

系統(tǒng)誤差是由某種確定的因素造成的，使測定結(jié)果系統(tǒng)偏高或偏低；當(dāng)造成誤差的因素不存在時，系統(tǒng)誤差自然會消失。當(dāng)進行重復(fù)測量時，它會重復(fù)出現(xiàn)。隨機誤差又稱偶然誤差，它是由一些隨機的、偶然的原因造成的。

準(zhǔn)確度：表示分析結(jié)果與真實值接近的程度。

精密度：表示各次分析結(jié)果相互接近的程度。

第一類錯誤如果H0成立，但統(tǒng)計量的實測值落入否定域，從而作出否定H0的結(jié)論，那就犯了“以真為假”的錯誤.第二類錯誤如果H0不成立，但統(tǒng)計量的實測值未落入否定域，從而沒有作出否定H0的結(jié)論，即接受了錯誤的H0，那就犯了“以假為真”的錯誤.

為衡量試驗結(jié)果的好壞或處理效應(yīng)的高低，在試驗中具體測定的性狀或觀測的項目稱為試驗指標(biāo)試驗試驗中所研究的影響試驗指標(biāo)的因素叫試驗因素因素所處的某種特定狀態(tài)或數(shù)量等級稱為因素水平，簡稱水平事先設(shè)計好的實施在試驗單位上的具體項目叫試驗處理，簡稱處理。在試驗中能接受不同試驗處理的獨立的試驗載體叫試驗單位。在試驗中，將一個處理實施在兩個或兩個以上的試驗單位上，稱為處理有重復(fù)；一處理實施的試驗單位數(shù)稱為處理的重復(fù)數(shù)。單因素方差分析，是指僅分析一個因素對試驗結(jié)果的影響是否顯著的問題。試驗設(shè)計是指以概率論與數(shù)理統(tǒng)計學(xué)為理論基礎(chǔ)，為獲得可靠試驗結(jié)果和有用信息，科學(xué)安排試驗的一種方法論，亦是研究如何高效而經(jīng)濟地獲取所需要的數(shù)據(jù)與信息的分析處理方法。用來衡量試驗效果的質(zhì)量指標(biāo)(如產(chǎn)量、成活率、廢品率、轉(zhuǎn)化率等)，稱為試驗指標(biāo)。

試驗設(shè)計的目的:找出影響試驗指標(biāo)值的諸因素，或者說是尋找最佳工況．

試驗設(shè)計的任務(wù):以最小的代價獲得最多的信息。試驗設(shè)計包括如下三個方面的內(nèi)容：

(1)工況選擇——因素與水平的選?。?/p>

(2)誤差控制——試驗方案的制定；

(3)數(shù)據(jù)處理——分析試驗結(jié)果．交互作用，是指這些因素在同時改變水平時，其效果會超過單獨改變某一因素水平時的效果因素的含義：在一個試驗過程中，

影響試驗指標(biāo)的因素通常是很多的，通常

固定的試驗因素在試驗方案中并不稱為因

素，只有變化的因素才稱為因素；試驗誤差控制原則：隨機化，重復(fù)測量，局部控制全面試驗法：將三因素三水平組合搭配而成的各種試驗條件全面進行試驗而進行比較選優(yōu)的方法。優(yōu)點：能全面剖析出事物內(nèi)部規(guī)律性。

缺點：試驗次數(shù)太多，當(dāng)水平較多時試驗量是驚人的。正交表具有以下三個主要特點：正交性；代表性；綜合可比性正交表的三個基本性質(zhì)中，正交性是核心，是基礎(chǔ)，代表性和綜合可比性是正交性的必然結(jié)果

利用正交表來安排試驗時，一般原則如下：1．明確試驗?zāi)康?，確定評價指標(biāo)

2．挑選因素3．確定各因素的水平

4．制定因素水平表

5．選擇合適的正交表

多指標(biāo)的分析方法綜合平衡法

綜合評分法回歸分