02數(shù)據(jù)收集73347

1、統(tǒng)計學,從數(shù)據(jù)到結論,第二章數(shù)據(jù)的收集,2.1 數(shù)據(jù)是怎樣得到的？,可從報紙、電視、互聯(lián)網(wǎng)、年鑒等方面看到各種數(shù)據(jù) 并且從這些數(shù)據(jù)可以提取對自己有用的信息。 這些間接得到的（并非自己收集的）數(shù)據(jù)都是二手數(shù)據(jù)。,2.1 數(shù)據(jù)是怎樣得到的？,獲得第一手數(shù)據(jù)要困難得多 某方便面企業(yè)每年至少花三四千萬元來收集和分析數(shù)據(jù) 調(diào)查其產(chǎn)品及競爭者在市場中的狀況、各種類型消費者對其產(chǎn)品的態(tài)度、收集各地方的經(jīng)濟交通等信息等等,2.1 數(shù)據(jù)是怎樣得到的？,他們?nèi)缤g諜，收集各種情報 他們很舍得在這方面花錢。因為市場信息數(shù)據(jù)是企業(yè)生存所必需的，絕不是可有可無的。,2.1 數(shù)據(jù)是怎樣得到的？,在自然的未被控制的條件下觀

2、測到的數(shù)據(jù)，稱為觀測數(shù)據(jù)(observational data)。 在人工干預和操作情況下收集的數(shù)據(jù)就稱為試驗數(shù)據(jù)(experimental data)。 同學們自己可以舉出大量的觀測數(shù)據(jù)和試驗數(shù)據(jù)的例子,2.2 個體、總體和樣本,需要調(diào)查北京市民對交通規(guī)則的觀點；對象是所有市民， 目的是希望知道市民中對該問題的不同看法各自占有的比例 顯然，不可能去問所有的北京市民，而只能夠問一部分； 并且根據(jù)這一部分的觀點來理解整個北京市民的總體觀點。,2.2 個體、總體和樣本,在這個例子中，單個北京市民的觀點稱為個體(element) 所有北京市民對這個問題的觀點為一個總體(population)，總體是

3、包含所有要研究的個體的集合。,2.2 個體、總體和樣本,而調(diào)查時問到的那部分市民的觀點（也就是部分個體）稱為該總體的一個樣本(sample)，是總體的一部分。 也有可能試圖調(diào)查所有的人（比如人口普查），那叫做普查(census)。,2.2 個體、總體和樣本,在抽取樣本時，如果總體中的每一個體都有同等機會被選到樣本中，這種抽樣稱為簡單隨機抽樣（simple random sampling）， 而這樣得到的樣本則稱為隨機樣本（random sample）。,2.2 個體、總體和樣本,如果總體是一鍋八寶粥，隨機樣本則是充分攪拌后的八寶粥中的任意一勺 該勺中的八寶粥的成分比例應該和整個一鍋粥類似 攪拌

4、越充分，樣本的代表性也越好,2.3 收集數(shù)據(jù)時的誤差,一勺八寶粥中的成分比例和整鍋不盡相同，可能稍微多些或稍微少些。這是很正常的，因為樣本的特征不一定和總體完全一樣 這種差異不是錯誤，而是必然會出現(xiàn)的抽樣誤差（sampling error）。,2.3 收集數(shù)據(jù)時的誤差,抽樣調(diào)查中，人們因為種種原因沒有對調(diào)查做出反映，這種誤差稱為未響應誤差（nonresponse error）。 一些人因為各種原因回答時并沒有真實反映他們的觀點，這稱為響應誤差（response error）。,2.3 收集數(shù)據(jù)時的誤差,和抽樣誤差不一樣，未響應誤差和響應誤差都會影響對真實世界的了解 應該在設計調(diào)查方案時和進行調(diào)

5、查過程中盡量避免,2.4 抽樣調(diào)查時獲得數(shù)據(jù)的一些常用方法,在抽樣調(diào)查時，最理想的樣本是隨機樣本。但是實踐起來不方便 在大規(guī)模調(diào)查時一般不用全部隨機抽樣的方式，而只是在局部采用隨機抽樣的方法。,2.4 抽樣調(diào)查時獲得數(shù)據(jù)的一些常用方法,下面介紹的幾種抽樣方法沒有深奧的理論；讀者完全可以根據(jù)常識判斷在什么情況下獲取簡單的隨機樣本不方便以及每個方法有什么好處和缺陷。 實際上，一般僅有少數(shù)人有機會來確定抽樣方案。讀者僅需把這些方法當成常識來了解就可以了（或者跳過這部分）,2.4 抽樣調(diào)查時獲得數(shù)據(jù)的一些常用方法,分層抽樣（stratified sampling）。這是先把要研究的總體按照某些性質分類

6、（stratum），再在各類中分別抽取樣本。 比如，按教育程度把感興趣的人群分成幾類；再在每一類中調(diào)查和該類成比例數(shù)目的人，以確保每一類都有相應比例的代表。,2.4 抽樣調(diào)查時獲得數(shù)據(jù)的一些常用方法,整群抽樣（cluster sampling）先把總體劃分成若干群（cluster），再（通常是隨機地）從這些群中抽取幾群；然后再在這些抽取的群中對個體進行簡單隨機抽樣。 比如，在某縣進行調(diào)查，首先在所有村中選取若干村子，然后只對這些選中的村子的人進行調(diào)查。如果各村情況差異不大，這種抽樣還是方便的。,2.4 抽樣調(diào)查時獲得數(shù)據(jù)的一些常用方法,多級抽樣(multistage sampling)。 在群

7、體很大時，往往在抽取若干群之后，再在其中抽取若干子群，甚至再在子群中抽取子群，等等。最后只對最后選定的最下面一級進行調(diào)查。 比如在全國調(diào)查時，先抽取省，再抽取市地，再抽取縣區(qū)，再抽取鄉(xiāng)、村直到戶。每一級都可能采取各種抽樣方法。也稱為多級混和型抽樣。,2.4 抽樣調(diào)查時獲得數(shù)據(jù)的一些常用方法,系統(tǒng)抽樣（systematic sampling）。這是先把總體中的每個單元編號，然后隨機選取其中之一作為抽樣的開始點進行抽樣。 在選取開始點之后，通常從開始點開始按照編號進行所謂等距抽樣；也就是說，如果開始點為5號，“距離”為10，則下面的調(diào)查對象為15號、25號等等。 不難想象，如果編號是隨機選取的，則這和簡單隨機抽樣是等價的。,附：隨機數(shù)的產(chǎn)生,大小為N的總體中產(chǎn)生樣本量為n的隨機樣本的一個常用的方法是利用隨機數(shù)（random number） 利用隨機數(shù)步驟為：(1) 把總體的所有個體編號；(2) 產(chǎn)生n個在0到N之間的隨機數(shù)；(3)與如此產(chǎn)生的隨機數(shù)中的數(shù)目相同的個體則形成了樣本量為n的簡單隨機樣本。,附：隨機數(shù)的產(chǎn)生,最原始的辦法是擲一種正20面體的均勻材料制成的