第十章 調(diào)查數(shù)據(jù)處理與分析設(shè)計

第十章調(diào)查數(shù)據(jù)處理與分析設(shè)計《市場調(diào)查理論與方法》主編：徐映梅

學(xué)習(xí)目的了解市場調(diào)查數(shù)據(jù)整理的全過程及其主要內(nèi)容掌握問卷編碼的規(guī)則與方法12《市場調(diào)查理論與方法》主編：徐映梅2熟悉數(shù)據(jù)錄入的環(huán)節(jié)及差錯處理方法3熟悉數(shù)據(jù)凈化的含義4

學(xué)習(xí)目的掌握缺失數(shù)據(jù)插補與離群值處理的方法熟悉如何創(chuàng)建數(shù)據(jù)庫53《市場調(diào)查理論與方法》主編：徐映梅6熟悉調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理流程7掌握編制數(shù)據(jù)分析任務(wù)書的基本原則8第四節(jié)編制數(shù)據(jù)分析任務(wù)書第三節(jié)調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理第二節(jié)問卷編碼和錄入第一節(jié)問卷接收和調(diào)查目錄CONTENTS4《市場調(diào)查理論與方法》主編：徐映梅第一節(jié)問卷接收和檢查一問卷接收二

5《市場調(diào)查理論與方法》主編：徐映梅問卷檢查三問卷校訂

一、問卷接收6問卷接收工作系統(tǒng)按問卷編號（唯一識別碼）的順序記錄問卷調(diào)查數(shù)據(jù)的預(yù)處理在研究設(shè)計階段制定，著手處理在從實施的現(xiàn)場中回收的第一份問卷開始。調(diào)查機構(gòu)通常需要非常仔細(xì)地控制數(shù)據(jù)收集和整理的過程。完成的問卷就是獲取調(diào)查數(shù)據(jù)的原始文件，需要設(shè)計一套系統(tǒng)來處理原始文件，并在接收資料的過程中自始至終地完成這個系統(tǒng)——問卷接收工作系統(tǒng)。問卷編號同時記錄在原始文件上和數(shù)據(jù)庫的數(shù)據(jù)列表中。CH10-1問卷接收和檢查二、問卷檢查目的問卷檢查的目的是：確定哪些問卷接收、哪些問卷作廢。檢查時間檢查通常開始于還在實施的過程中。對于實施是委托某個數(shù)據(jù)機構(gòu)去做——實施工作結(jié)束后要進(jìn)行獨立檢查。重點：規(guī)定規(guī)則，使檢查人員明確接收標(biāo)準(zhǔn)，包括完成題目數(shù)量和每一題的回答情況?；厥諉柧硗暾詸z查7回收問卷訪問質(zhì)量檢查CH10-1問卷接收和檢查二、問卷檢查8問卷明顯不完整問卷答案幾乎沒有變化問卷幾個部分回答不完全問卷整體上回答不完全問卷只有開頭回答完全無法接收問卷表現(xiàn)形式問卷回收在截止日期之后問卷由不合要求調(diào)查者作答CH10-1問卷接收和檢查問卷沒有按要求跳答

二、問卷檢查9難于判斷問卷通知研究人員檢查決定取舍通常建議檢查人員將原始問卷分為三部分可以接收的問卷明顯作廢的問卷是否接收存有疑問的問卷CH10-1問卷接收和檢查

二、問卷檢查（1）將可接收的問卷分類并數(shù)出其數(shù)量。（2）沒有滿足抽樣要求的，采取相應(yīng)的行動。有配額的規(guī)定或者子樣本有具體的規(guī)定10CH10-1問卷接收和檢查

三、問卷校訂通過檢查，找到不滿意的問卷，不滿意的問卷有：字跡模糊的回答問卷?；卮鸩煌耆膯柧??；卮饐栴}前后不一致的問卷。模棱兩可或者分叉錯誤的問卷。校訂人員應(yīng)該用紅筆將這些問卷中的回答圈出來或者寫下來，使之與問卷中用于記錄數(shù)據(jù)的方式有明顯區(qū)別，同時對不滿意回答進(jìn)行適當(dāng)處理。問卷校訂包括兩個環(huán)節(jié)找到不滿意問卷，對其進(jìn)行處理11CH10-1問卷接收和檢查三、問卷校訂12處理不滿意的答案，通常有三種處理辦法1.退回實施現(xiàn)場獲取更好的數(shù)據(jù)2.按缺失值處理3.整個問卷作廢把有不滿意答案的問卷退回實施現(xiàn)場，讓調(diào)查員再次接觸被調(diào)查者。退回實施現(xiàn)場的做法無法實現(xiàn)，校訂人員可以將不滿意答案按缺失值處理。不滿意問卷比例小于10%。樣本量很大。不滿意問卷和滿意問卷之間沒有明顯區(qū)別。每份不滿意問卷中，不滿意答案比例很大。關(guān)鍵變量答案缺失。按照缺失值處理或者將整個問卷作廢，可能產(chǎn)生數(shù)據(jù)偏差。如果研究者要扔掉不滿意問卷，應(yīng)該向客戶報告識別這些問卷的方法和作廢的數(shù)量。CH10-1問卷接收和檢查第二節(jié)問卷編碼和錄入一事前編碼二

13《市場調(diào)查理論與方法》主編：徐映梅事后編碼三數(shù)據(jù)錄入一、事前編碼問卷編碼就是給每一個問答題的每一個可能答案分配一個代號，通常為一個數(shù)字。事前編碼在設(shè)計問卷時進(jìn)行。事前編碼的問卷通常是將每個答案的對應(yīng)值印在問卷上，數(shù)據(jù)文件用的記錄格式常常放在最右邊或者某處的括弧內(nèi)。14CH10-2問卷編碼與錄入二、事后編碼可能有幾個供選擇的答案，再加上需要被調(diào)查者具體說明的“其他”類別?！捌渌钡拇鸢笡]有事先規(guī)定的代碼，需要進(jìn)行事后編碼。開放式問答題的事后編碼的工作量更大，研究人員一般無法事先告訴編碼員會出現(xiàn)多少新的代碼和答案。對答案是類似的，必須決定是將它們合并為一類，還是分成幾類。封閉式問答題開放式問答題15CH10-2問卷編碼與錄入

二、事后編碼事后編碼參照要點16CH10-2問卷編碼與錄入保持編碼冊的整潔和清晰。設(shè)立較多較窄的類別要優(yōu)于設(shè)立較少較寬的類別。提供編碼指南，何時如何設(shè)立新的代碼或合并答案。所有編碼員在同一地點，使用同一編碼本進(jìn)行工作。對每一個項目做一份編碼本，內(nèi)含一頁或幾張單頁。提供需要事后編碼的項目一份編碼表或編碼名單。提供編碼員一份空白的“參照問卷”。二、事后編碼編碼本編碼本一般包含變量的以下信息17合并事前編碼和事后編碼所用的編碼本所在列的位置（列數(shù)）。變量的順序編號。變量名稱及變量說明（變量及變量標(biāo)識）。問答題編號。編碼說明（變量值及變量值標(biāo)識）。CH10-2問卷編碼與錄入三、數(shù)據(jù)錄入采用紙質(zhì)問卷方式收集數(shù)據(jù)時，數(shù)據(jù)錄入應(yīng)該在數(shù)據(jù)收集完成之后盡快進(jìn)行。采用計算機輔助數(shù)據(jù)收集方法時，數(shù)據(jù)錄入是在數(shù)據(jù)收集的同時完成的。18數(shù)據(jù)錄入是指將問卷編碼表的內(nèi)容逐項轉(zhuǎn)化為可機讀的數(shù)據(jù)形式。CH10-2問卷編碼與錄入數(shù)據(jù)錄入需要完成的工作包括：錄入員的培訓(xùn)、錄入方式的合理選擇、錄入的審核與差錯處理、數(shù)據(jù)凈化。明確任務(wù)的具體要求和注意事項。向每名錄入員提供一份清晰的記錄格式說明件，用于明確每個記錄包含的變量及其相對位置。錄入員必須熟悉使用錄入設(shè)備及相關(guān)設(shè)施。說明數(shù)據(jù)或研究的最終目的，進(jìn)一步重視數(shù)據(jù)錄入的準(zhǔn)確性要求。開始錄入階段，研究人員必須在場，用于指導(dǎo)和展示準(zhǔn)確的錄入。錄入完成一部分后需對錄入的數(shù)據(jù)進(jìn)行全面核查或抽樣核查，發(fā)現(xiàn)問題及時修正。

三、數(shù)據(jù)錄入錄入員培訓(xùn)內(nèi)容主要包括19CH10-2問卷編碼與錄入

三、數(shù)據(jù)錄入數(shù)據(jù)錄入方式的選擇數(shù)據(jù)錄入的方式?jīng)Q定了錄入的質(zhì)量和速度。錄入審核及差錯處理方法20CH10-2問卷編碼與錄入對紙質(zhì)問卷通過鍵盤人工錄入。對紙質(zhì)問卷進(jìn)行光電掃描錄入。采用計算機輔助數(shù)據(jù)錄入。人工審核辦法。雙機錄入。計算機輔助審核。三、數(shù)據(jù)錄入一方面一方面可能無法適當(dāng)?shù)刂敌邢乱徊綌?shù)據(jù)分析，延遲報告呈交時間。完成數(shù)據(jù)分析和報告，但是研究人員未意識到存在錯誤。數(shù)據(jù)凈化通常使用統(tǒng)計軟件：SAS、SPSS、BMDP等通常做法分為以下階段通過描述統(tǒng)計分析進(jìn)行審核。完成一張所有非連續(xù)變量的頻數(shù)表，計算連續(xù)變量的均值、標(biāo)準(zhǔn)差等統(tǒng)計量，則可檢查出超出范圍的數(shù)據(jù)或者極端值。利用統(tǒng)計表與統(tǒng)計圖檢查邏輯上的一致性。包括編制交叉表進(jìn)行交互分析，統(tǒng)計圖的分布分析，發(fā)現(xiàn)邏輯上不合理數(shù)據(jù)。數(shù)據(jù)凈化21是傳統(tǒng)意義上的數(shù)據(jù)審核，是完美分析的前提。若數(shù)據(jù)“不干凈”，存在嚴(yán)重問題：CH10-2問卷編碼與錄入22第三節(jié)調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理一缺失數(shù)據(jù)的處理二離群值檢驗和處理三加權(quán)處理四原始數(shù)據(jù)或變量的轉(zhuǎn)換五數(shù)據(jù)庫建立《市場調(diào)查理論與方法》主編：徐映梅

一、缺失數(shù)據(jù)的處理23少量缺失答案可以容忍缺失比例超過10%，會出現(xiàn)嚴(yán)重問題處理缺失值的四種方法用一個樣本統(tǒng)計量代替缺失值用從一個統(tǒng)計模型計算的值代替缺失值將有缺失值的個案整個刪除CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理保留有缺失值個案，僅在相應(yīng)分析中作必要排除

一、缺失數(shù)據(jù)的處理缺失值插補常規(guī)方法24樣本統(tǒng)計量的值替代缺失值。缺失值可以用一個樣本統(tǒng)計量代替，最典型的做法是使用變量的平均值，稱為平均值插補。統(tǒng)計模型計算結(jié)果代替缺失值。利用有某些統(tǒng)計模型計算得到的比較合理的值代替缺失值，例如回歸模型、判別分析模型等。缺失值的插補方法還有熱平臺插補、冷平臺插補、最近鄰插補以及EM算法等。CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理

一、缺失數(shù)據(jù)的處理經(jīng)過插補操作后，估計量的方差包括抽樣引起的方差分量——抽樣方差插補引起的方差分量——插補方差兩個分量可如實告知數(shù)據(jù)質(zhì)量，有助于做出正確判斷插補后數(shù)據(jù)的方差估計25CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理盡量避免因插補引起的估計量方差被低估

一、缺失數(shù)據(jù)的處理個案刪除可能會導(dǎo)致很小的樣本，數(shù)據(jù)收集花費大量經(jīng)費和時間，刪除大量數(shù)據(jù)不可取。有缺失和全回答的被調(diào)查者間存在顯著差異，刪除個案會導(dǎo)致結(jié)果有嚴(yán)重偏差，需謹(jǐn)慎使用。將有缺失值的個案保留，僅在相應(yīng)分析中作必要排除，會導(dǎo)致分析中不同的計算根據(jù)不同的樣本，可能會導(dǎo)致結(jié)果的不適宜。刪除缺失值個案方法排除缺失項目方法26CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理二、離群值檢驗和處理27離群值檢驗——用來發(fā)現(xiàn)和確認(rèn)可疑的記錄1.離群值定義。2.區(qū)分極值和影響值。3.離群值可以是單變量離群值也可以是多變量離群值。一個或一組觀察值與數(shù)據(jù)集中其他觀察值不一致的情形。極值不一定是影響值影響值也不一定是極值。離群值產(chǎn)生原因：1.數(shù)據(jù)中有錯誤。2.數(shù)據(jù)固有的變異性，可能來自于某一分布的尾部，但卻是完全可能的觀測值。CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理

二、離群值檢驗和處理28離群值檢驗方法最常見的離群值檢驗是單變量檢驗首先應(yīng)從技術(shù)上設(shè)法判斷其出現(xiàn)的原因，如果查明確由技術(shù)上的失誤引起的，不管這樣的觀測值是否為異常值，都應(yīng)舍棄，而不必進(jìn)行統(tǒng)計檢驗。由于各種原因未必能從技術(shù)上找出它出現(xiàn)的原因，在這種情況下應(yīng)對其進(jìn)行統(tǒng)計檢驗，以便從統(tǒng)計上判明離群值是否應(yīng)該保留或舍棄。離群值的檢驗可分為兩大類：一類是標(biāo)準(zhǔn)差預(yù)先已知的場合；另一類是標(biāo)準(zhǔn)差未知的場合。CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理標(biāo)準(zhǔn)差預(yù)先已知。檢驗時使用統(tǒng)計量：二、離群值檢驗和處理標(biāo)準(zhǔn)差未知：拉依達(dá)法29CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理標(biāo)準(zhǔn)差未知：肖維特法二、離群值檢驗和處理標(biāo)準(zhǔn)差未知：Q檢驗法30CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理二、離群值檢驗和處理標(biāo)準(zhǔn)差未知：格魯布斯法31CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理標(biāo)準(zhǔn)差未知：t檢驗法二、離群值檢驗和處理標(biāo)準(zhǔn)差未知：極差法32CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理

二、離群值檢驗和處理在手工審核系統(tǒng)中，離群值經(jīng)常要進(jìn)行插補處理。有些情況，如果認(rèn)為離群值無妨大礙，可以不做處理。主觀判斷非常重要，忽略或糾正離群值對數(shù)據(jù)質(zhì)量影響很大。在審核時沒有進(jìn)行處理的離群值可以在估計的時候進(jìn)行處理。離群值處理的目的是為了不引入較大偏差的前提下，盡量減少離群值對估計量抽樣誤差的影響。33離散值處理方法CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理

二、離群值檢驗和處理估計時處理離群值34CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理改變數(shù)值法處理極值的一種方法是縮尾化，這種方法首先要將樣本數(shù)據(jù)從小到大依次排序，如果認(rèn)為處于尾部的k個值為離群值，則采用余下的n-k個樣本數(shù)據(jù)中的最大值代替這些離群值再進(jìn)行估計的方法。

二、離群值檢驗和處理處理離群值的另一種方法是降低離群值的權(quán)數(shù)使它們的影響變小。若賦予離群值的抽樣權(quán)數(shù)為1或0，會對估計的影響太大，特別是對偏態(tài)總體的估計，所以實際中很少采用。因為這樣做會使估計出現(xiàn)嚴(yán)重低估的偏差。通常假定估計量服從正態(tài)分布，樣本均值和樣本方差估計量在正態(tài)分布的假定下是最優(yōu)的。但是這些估計量對離群值非常敏感。穩(wěn)健估計量則能克服這種局限性，因為它對分布的假定不太敏感。調(diào)整權(quán)數(shù)使用穩(wěn)健估計量35CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理

三、加權(quán)處理在市場研究中，加權(quán)處理比較常用。對完全無回答（即單元無回答）的情況，常用的方法是調(diào)整被調(diào)查者的抽樣權(quán)數(shù)。加權(quán)處理的兩個主要目的分別是增強部分樣本的代表性和強調(diào)部分被調(diào)查者群體的重要性。進(jìn)行加權(quán)處理應(yīng)該慎重，加權(quán)的過程應(yīng)該有文件描述，并應(yīng)向客戶報告。用法目的注意36CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理四、原始數(shù)據(jù)或變量的轉(zhuǎn)換數(shù)據(jù)的重新分類或重新編碼將原始數(shù)據(jù)重新分類是因為有時需要將數(shù)據(jù)分成更有意義的類別；或者是需要將數(shù)據(jù)合并成更少的幾個大類別。原始數(shù)據(jù)重新分類時，要注意重新構(gòu)成的類別必須滿足以下三點：所有的情況都已包括在新的類別之中；各個類別之間沒有交叉或重疊；類別間的差異大于類別內(nèi)的差異。統(tǒng)計分析前37需要將原始數(shù)據(jù)重新分類、重新編碼、重新定義變量、修改變量。CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理

四、原始數(shù)據(jù)或變量的轉(zhuǎn)換38變量的重新定義或修改變量一種在分類中常用的重要變量類型叫做“啞變量”或“二值變量”,“二分變量”,“指示變量”,“虛擬變量”,等等。這種變量只有兩個取值，通常是0和l。為了方便數(shù)據(jù)處理，經(jīng)常需要重新定義變量或修改變量。重新規(guī)定變量的另一種情況是標(biāo)準(zhǔn)化，目的是為了使不同單位或不同量表的變量在分析中具有可比性。例如，對品牌A的評價使用的是7級量表（Xl），品牌B使用的是5級量表（X2），等等，直接比較這些品牌的得分沒有意義。為此，需要采用一般標(biāo)準(zhǔn)化方法。CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理數(shù)據(jù)標(biāo)準(zhǔn)化五、數(shù)據(jù)庫創(chuàng)建平面文件平面文件是計算機化后的二維記錄格式和它的相應(yīng)值。容易從一種平臺轉(zhuǎn)到另一種平臺，并能用不同的表格軟件或統(tǒng)計軟件讀取。不足是，用平面文件的時候，特定的格式要重新生成，造成效率低下。數(shù)據(jù)庫數(shù)據(jù)庫是存儲在一起的相關(guān)數(shù)據(jù)的集合。大多數(shù)統(tǒng)計和數(shù)據(jù)庫軟件就可以不需要重新生成文件而直接處理，查詢操作也可以在數(shù)據(jù)庫上直接進(jìn)行。不足是數(shù)據(jù)庫格式的選擇可能會限制統(tǒng)計或數(shù)據(jù)庫軟件的選擇。編碼、數(shù)據(jù)錄入、審核、插補、離群值檢驗完成39建立數(shù)據(jù)庫CH10-3調(diào)查數(shù)據(jù)的統(tǒng)計預(yù)處理數(shù)據(jù)儲存的兩種主要格式是數(shù)據(jù)庫和平面文件。較好的選擇是對調(diào)查結(jié)果生成一個平面文件，同時生成幾種不同的數(shù)據(jù)庫文件。第四節(jié)編制數(shù)據(jù)分析任務(wù)書一數(shù)據(jù)分析任務(wù)書的內(nèi)容二

40《市場調(diào)查理論與方法》主編：徐映梅選擇統(tǒng)計分析方法的原則三常用統(tǒng)計方法的分類

一、數(shù)據(jù)分析任務(wù)書的內(nèi)容數(shù)據(jù)分析任務(wù)書一般應(yīng)包括五個方面：變量標(biāo)識和變量值標(biāo)識的編制說明。需要完成的基本統(tǒng)計頻數(shù)表。需要完成的統(tǒng)計圖的形式與數(shù)量。需要完成的基礎(chǔ)統(tǒng)計分析。需要完成的高級統(tǒng)計分析（或模型）。41CH10-4編制數(shù)據(jù)分析任務(wù)書統(tǒng)計分析之前，對錄入階段編碼的變量或派生出來在進(jìn)一步分析中使用的新變量的名稱（簡稱變標(biāo)）和取值（簡稱值標(biāo)）進(jìn)行說明，并將這些說明制作成可運行的文件。有經(jīng)驗的工作人員一般會按照問卷中問答題的內(nèi)容來編制變標(biāo)和值標(biāo)，但是對于派生出來的新變量，在任務(wù)書上需加以說明。

一、數(shù)據(jù)分析任務(wù)書內(nèi)容變量標(biāo)識和變量值標(biāo)識的編制42CH10-4編制數(shù)據(jù)分析任務(wù)書

一、數(shù)據(jù)分析任務(wù)書內(nèi)容在市場調(diào)查中，向客戶提供的最基本的統(tǒng)計頻數(shù)表一般是兩部分：43基本統(tǒng)計表CH10-4編制數(shù)據(jù)分析任務(wù)書第一部分是所有問答題（變量）的頻數(shù)表。如果是連續(xù)型變量則可以分組后作出頻數(shù)表，或計算其均值和標(biāo)準(zhǔn)差。第二部分是反映被調(diào)查者背景資料（如性別、年齡段、文化程度、收入段等）的變量與所有其他問答題（變量）的交互分析表。

一、數(shù)據(jù)分析任務(wù)書內(nèi)容44統(tǒng)計圖的形式與數(shù)量CH10-4編制數(shù)據(jù)分析任務(wù)書在最終呈交的報告中，最好多用直觀的統(tǒng)計圖，以代替比較繁瑣的統(tǒng)計表。數(shù)據(jù)分析任務(wù)書中需要說明：需要作圖問答題及其數(shù)量，各種類型的圖形分布，樣本數(shù)據(jù)作圖與背景資料分類作圖具體說明等等。指完成一般的