調(diào)查數(shù)據(jù)處理技術(shù)PPT課件

1、 1、調(diào)查數(shù)據(jù)加工與處理的目的和特點目的：通過審核、編碼、錄入、編輯、數(shù)據(jù)清理和變量代換、數(shù)據(jù)分布、分組、匯總及制表等數(shù)據(jù)加工處理過程，確保調(diào)查的每個環(huán)節(jié)都符合既定程序，所有問卷都填寫準(zhǔn)確完整，數(shù)據(jù)完整且都干凈可用，為下一步做數(shù)據(jù)分析創(chuàng)造良好條件。特點：調(diào)查數(shù)據(jù)加工與處理過程是調(diào)查數(shù)據(jù)搜集、整理與分析的中間環(huán)節(jié)，起到承前啟后的作用。是整個調(diào)查除現(xiàn)場調(diào)查為最費時費事、同時又需要很高技巧的一項工作。包括：預(yù)處理、錄入、審核編輯、再加工、分組匯總等過程。第1頁/共30頁2、數(shù)據(jù)處理的基本過程預(yù)處理（復(fù)查審核；編輯整理；編碼等）數(shù)據(jù)錄入（含錄入質(zhì)量控制）數(shù)據(jù)文件的審核及編輯數(shù)據(jù)文件的再加工（數(shù)據(jù)清理、

2、再編碼、變量轉(zhuǎn)換）數(shù)據(jù)描述、統(tǒng)計分組及匯總審核編輯編輯整理編碼復(fù)查審核填卡和錄入分析分組匯總 統(tǒng)計工作中經(jīng)過調(diào)查、登記所取得的原始資料，都必須經(jīng)過數(shù)據(jù)錄入工作才能輸入到計算機中去進(jìn)行數(shù)據(jù)處理。文件再加工數(shù)據(jù)描述第2頁/共30頁 2-2、調(diào)查數(shù)據(jù)的預(yù)處理 目的：對調(diào)查數(shù)據(jù)進(jìn)行預(yù)先的復(fù)查審核、編輯整理和編碼，通過預(yù)審，判斷調(diào)查數(shù)據(jù)是否有效、內(nèi)容是否完整、調(diào)查是否按規(guī)定的方式進(jìn)行等，并及時采取對策和措施進(jìn)行整改 。編碼主要是為計算機數(shù)據(jù)錄入奠定基礎(chǔ)。 預(yù)處理是一項十分耗時、耗力的工作。但從數(shù)據(jù)處理全局看，在預(yù)處理上多投入一些時間和精力是十分必要的，也是值得的。 內(nèi)容包括：復(fù)查審核、編輯整理和編碼。

3、第3頁/共30頁 1、復(fù)查審核對調(diào)查現(xiàn)場的質(zhì)量控制目的：確保每份要送去進(jìn)行數(shù)據(jù)錄入分析的調(diào)查問卷都是有效的。衡量是否有效的標(biāo)準(zhǔn)是看訪談是否按規(guī)定的方式進(jìn)行的，訪員有無作假。審核回收問卷是否有效乃是各種調(diào)查過程中當(dāng)然的、必不可少的步驟。職業(yè)調(diào)查人員知道，訪員說謊作弊的現(xiàn)象相當(dāng)普遍，不幸的是在我國，情況尤其嚴(yán)重。許多研究項目都有有關(guān)訪員作弊行為的記載。因此審核回收問卷是否有效乃是各種調(diào)查項目特別是數(shù)據(jù)分析過程中當(dāng)然的、必不可少的步驟。所需信息：如問卷開頭部分對調(diào)查過程的記錄一般都含有調(diào)查時間、調(diào)查地點、調(diào)查員姓名、受訪問者姓名、地址及電話號碼等。這些內(nèi)容對數(shù)據(jù)的分析處理毫無用處，但可以為調(diào)查管理人

4、員的復(fù)查審核工作提供基礎(chǔ)。第4頁/共30頁 無論是入戶調(diào)查、購物場所的攔截調(diào)查還是電話訪談，通常在所有現(xiàn)場調(diào)查結(jié)束后，客戶單位或調(diào)查機構(gòu)都要對每位訪問人員所做的調(diào)查做一定比例的復(fù)查。 復(fù)查的比例一般為本0%20%不等。復(fù)查一般通過電話或回訪進(jìn)行，審核內(nèi)容主要包括五方面： 1）查實此人是否真正接受了調(diào)查？ 2）查實受訪者是否符合過濾條件？ 例如，一項調(diào)查可能要求對家庭收入為100000元以上的人進(jìn)行，那么在復(fù)查中受訪者將被再次問到他的年收入是否在100000元以上。 3）查實調(diào)查是否按規(guī)定的方式進(jìn)行？ 例如，一項攔截訪談應(yīng)在指定的購物場所進(jìn)行，那么就應(yīng)查實受訪者是否在該購物場所接受訪談。市場研究

5、人員有義務(wù)確保所有的數(shù)據(jù)都是在規(guī)定的條件下獲取的。第5頁/共30頁 4）查實問卷內(nèi)容是否完整。 有時訪員會借口受訪者很忙，沒有時間完成所有題目；或因某項目具體調(diào)查的受訪者很難找到，所以訪員很可能開始問一些問題，其余的問題就自己填寫。因此在復(fù)查審核過程中應(yīng)查實受訪者是否回答了所有問題。 5）核查其他方面的問題。 例如，訪員舉止是否禮貌、衣冠是否整齊、禮品是否足量送到、是否有過提示？受訪者對訪員或調(diào)查本身有什么意見？ 綜上所述，這一步的目的是確認(rèn)調(diào)查是按要求正確無誤進(jìn)行的。研究人員必須確信用以要提交的調(diào)查結(jié)果是真實地反映了目標(biāo)客戶的回答。第6頁/共30頁 2、編輯整理對調(diào)查表登記過程的質(zhì)量控制 復(fù)

6、查審核是指對訪員的作弊行為及調(diào)查是否嚴(yán)守程序進(jìn)行核實，而編輯整理是對訪員和受訪者的疏忽、遺漏、錯誤進(jìn)行檢查。 根據(jù)常規(guī)，在進(jìn)行數(shù)據(jù)錄入之前，問卷至少應(yīng)經(jīng)過兩次編輯整理。首先由實施現(xiàn)場調(diào)查的訪員進(jìn)行自我整理，然后再由調(diào)查機構(gòu)的質(zhì)量監(jiān)督部門的人員再進(jìn)行一次編輯整理。 編輯整理過程中查驗的問題包括以下一個方面： 1）訪員是否沒問某些問題，或者沒有記錄某些問題的答案。 如果這些問題及早發(fā)現(xiàn)，將可以通過補訪的方法加以補救，但一旦進(jìn)入數(shù)據(jù)錄入或分析階段，在大多數(shù)情形下，這時已經(jīng)沒有時間再行補訪，這份問卷或相關(guān)問題的答案可能會因此而遭丟棄。 2）訪員是否遵循了規(guī)定的跳問路線。 有些時候，特別是在項目開始的頭

7、幾次訪談中，訪員很容易混淆，跳過了實際應(yīng)該訪問的問題，或者沒有跳過不要求作答的問題。 第7頁/共30頁3）開放式問題的答案是否真實合理。 調(diào)查研究人員以及客戶企業(yè)通常對開放式問題的答案很感興趣，因此開放式問題的答案質(zhì)量，或答案所記錄的內(nèi)容，是反映記錄答案的訪員工作優(yōu)劣的標(biāo)志。通常要求訪員逐字記錄答案，而不以任何方式重新解釋、表達(dá)或摻進(jìn)自己的見解。同時也要求進(jìn)行幾次（通常要滿3次）追問。 做編輯整理工作的人必須對開放式問題非標(biāo)準(zhǔn)答案作出判斷，還必須判定某一特定問題的回答中哪些方面有缺陷甚至毫無用處。如有可能，應(yīng)在補訪時再次提問那些答案未被認(rèn)定有效的問題。第8頁/共30頁 3、編碼 編碼是對以文字

8、符號表示的原始資料數(shù)據(jù)，按照專門制定的編碼規(guī)則和編碼表進(jìn)行人工或自動轉(zhuǎn)換，把它們轉(zhuǎn)換成數(shù)字字符型的數(shù)據(jù)，以便數(shù)據(jù)錄入的過程。 編碼包含：選項的命名（變量名）和取值（變量值）兩方面。 如： 您的文化程度 （ 1-大學(xué) 2-中學(xué) 3-小學(xué) 4-沒上過學(xué)） 可采用 edu 或 whcd 作為變量名，其取值可為14。 1）選項命名是因為在數(shù)據(jù)處理時一般都要求采用字母，而盡量少用漢字以方便計算機處理。選項命名一般都盡量保留問項原意（如name、sex、wage等）。第9頁/共30頁 2）編碼： 問項答案一般可以分為兩類，即數(shù)字符號和文字符號。對數(shù)字符號一般不需編碼，直接可將其輸入計算機進(jìn)行數(shù)據(jù)處理。而對

9、于文字符號的答案，則需要進(jìn)行編碼。 編碼規(guī)則：“專項編碼”和“非專項編碼”。 專項編碼：如第二次全國農(nóng)業(yè)普查中對普查小區(qū)的編碼，其中省、地、縣三級就必須根據(jù)國家標(biāo)準(zhǔn)的統(tǒng)一的行政區(qū)劃代碼（表）進(jìn)行。 非專項編碼：如對于調(diào)查表上的“圈填”信息（如性別：1、男，2、女），回答時已編上了代碼，編碼時一般是“圈幾填幾” 。第10頁/共30頁問項答案編碼示意變量名 變量值第11頁/共30頁社會經(jīng)濟調(diào)查常用的幾種編碼 一、單選項編碼1、類別編碼 “類別”編碼是調(diào)查項目編碼中最基本的一種編碼，它將被選答案分成各種互相排斥、互不相客的不同類別，并以相應(yīng)編碼值代表其類別的一種編碼。 “類別”是指“與名字類似的”。

10、這意味著賦予目標(biāo)或現(xiàn)象不同的數(shù)字是用來命名或分類的，但這些數(shù)字沒有真實的意義。這些數(shù)字不能排序或加減乘除，它們只是一種標(biāo)簽或識別數(shù)字，別無他意。類別量表的例子如下： 性別 (1)男 (2)女 地理區(qū)域 (1)城節(jié) (2)農(nóng)村 (3)郊區(qū) 類別編碼表中惟一的量化是對每一類別的客體進(jìn)行頻次和百分比計算算、例如，有50值男性(占48.5)和53位女性(占51.5)。計算平均數(shù)(如對地理區(qū)域求平均數(shù)為2.4)是毫無意義。只有計算眾數(shù)(出現(xiàn)頻率最多的數(shù))才比較恰當(dāng)。第12頁/共30頁 2）順序編碼 “順序”編碼除了具有類別編碼用數(shù)字代表特征的特點外，還增加了對數(shù)據(jù)排序性質(zhì)的一種編碼。順序測量是基于可傳遞

11、假設(shè)的應(yīng)用?？蓚鬟f性假設(shè)可以加以描述：“如果a大于b，而b大于c，則a大于c?！边€有一些其他可代替的詞語：更喜歡、比強或在之前。以下是順序量表的一個例子： 文化程度： 1-大學(xué) 2-中學(xué) 3-小學(xué) 4-沒上過學(xué) 第13頁/共30頁 注意： 1、順序數(shù)字嚴(yán)格地用于表示等級的順序，數(shù)字既不表明絕對數(shù)量，同時也不表明兩個數(shù)字之間的差距是相等的。 2、順序量表的目的是排序。因此，任何可代表順序關(guān)系的數(shù)字都可以接受。 如文化程度的編碼： 1-大學(xué) 2-中學(xué) 3-小學(xué) 4-沒上過學(xué) 或 7-大學(xué) 4-中學(xué) 3-小學(xué) 1-沒上過學(xué)等都可以。 3、普通的算術(shù)運算如加、減、乘、除都不能用干順序量表，對中心趨勢的

12、適當(dāng)量度是眾數(shù)、中位數(shù)，四分位數(shù)可以用來測量離散程度。第14頁/共30頁3）等距編碼 “等距”編碼是將被選答案，對其可能選取范圍進(jìn)行等分，并對各區(qū)間進(jìn)行編碼的一種編碼方法。 李克特編碼表（Likert ）也叫總和量表編碼（或累加量表），是調(diào)查中最常用的等距量表編碼。 常用于測量觀念、態(tài)度或意見等。一般用3級、5級或7級記分的方法來測量編碼，包括類似“非常同意”、“同意”、“說不準(zhǔn)”、“不同意”、“很不同意”5個級別，分別賦1、2、3、4、5分或5、4、3、2、1分。如：請對下列品牌的傳真機從按1到5進(jìn)行排序的，最喜歡1、喜歡2、一般3、不太喜歡4、最不喜歡5。 松下 _ 1 東芝 _ 4 夏普

13、 _ 3 尼康 _ 2 理光 _ 5第15頁/共30頁如例：研究假設(shè)各階層人在生育觀念上受封建思想影響的情況。研究變量A：“受封建的重男輕女思想的影響”?？梢粤谐鱿铝袔讉€問句作為變量A的測量指標(biāo)： a1(男子的社會地位要比女子高) a2(生兒子才能繼承門第) a3(女兒終將是別人家的人) a4(多子才能多福)選用“非常同意，同意，無所謂，反對，非常反對”5個選擇答案請被測量者填答。另外，還需要人為地分派一些數(shù)字到每個選擇答案上，如：非常同意給5分，非常反對給1分，按其強弱程度派定相應(yīng)的數(shù)碼。 問項1（男子的社會地位要比女子高）編碼： a1 15第16頁/共30頁 例：1991年浙江兒童調(diào)查問卷

14、中用李克量表測量兒童現(xiàn)代化觀念的編碼 (選自媒介”人現(xiàn)代化第314頁)。第17頁/共30頁 4）定比編碼 定比編碼除綜合了上面所討論的3種編碼的功能之外，還加上絕對零點或原點概念的一種編碼。由于大家對零點的確定有一致的意見，所以可以對定比編碼的數(shù)值進(jìn)行比較。定比編碼反映了變量的實際數(shù)量。應(yīng)答者的物理特征，諸如體重、年齡、高度之類是等比編碼的例子。其他的定比編碼有：面積、距離、貨幣單位、回報率、人口統(tǒng)計、時間間隔等數(shù)據(jù)。 如： 您的年齡： age 199 您的工資： wage #.#第18頁/共30頁 二、多選項的編碼 多選項編碼也稱復(fù)選項編碼。一般需要將其分別設(shè)計成單項選擇問題，然后再編碼。

15、如“當(dāng)代青年的價值觀和戀愛觀”的社會調(diào)查。 您想選擇下列哪些擇偶條件（任選3項）： 1-相貌 2-文化水準(zhǔn) 3-氣質(zhì)風(fēng)度 4-志同道合 5-人品 6-家庭條件 7-個人收入 8-其他 在數(shù)據(jù)處理時需要進(jìn)行“復(fù)選頻次”統(tǒng)計，如總的選擇中有多少次選1、選2、等，有時還需統(tǒng)計首選1的有多少人等。 多選項的編碼有兩種方法：（1）分類法；（2）二分法 （1）分類法編碼(Multiple Category Method) 方法是有多少可能選項就定義多少變量及編碼。第19頁/共30頁例、按分類法的要求給以下調(diào)查項目設(shè)定變量：2.您想選擇下列哪些擇偶條件（任選3項）： 1-相貌 2-文化水準(zhǔn) 3-氣質(zhì)風(fēng)度 4

16、-志同道合 5-人品 6-家庭條件 7-個人收入 8-其他答案：變量名 變量名 編碼方案F1 擇偶條件1 1-相貌 2-文化水準(zhǔn) 3-氣質(zhì)風(fēng)度 4-志同道合 5-人品 6-家庭條件 7-個人收入 8-其他F2 擇偶條件2 1-相貌 2-文化水準(zhǔn) 3-氣質(zhì)風(fēng)度 4-志同道合 5-人品 6-家庭條件 7-個人收入 8-其他F3 擇偶條件3 1-相貌 2-文化水準(zhǔn) 3-氣質(zhì)風(fēng)度 4-志同道合 5-人品 6-家庭條件 7-個人收入 8-其他 因為最多有3個答案，故需要定義3個變量，每個變量最多有“從項目貌其他”共7個代碼供選擇。若某人同時選擇“1-相貌”及“2-文化水準(zhǔn)”，則A=1，B=2，C=0（不

17、選）。 每個空格可填0、1、2、3、4、5、6、7，分別代表該選項未被選中或被選中。第20頁/共30頁（2）二分法編碼： (Multiple Dichotomy Method) 定義變量：將每個被選答案作為一個變量來定義，每個變量的取值只能取兩個值（如0、1或1、2等）。 如：您想選擇下列哪些擇偶條件（任選3項）： 1-相貌 2-文化水準(zhǔn) 3-氣質(zhì)風(fēng)度 4-志同道合 5-人品 6-家庭條件 7-個人收入 8-其他 共有7個被選答案（擇偶條件），故定義7個變量，每個變量只有0或1兩種選擇。 如若某人同時選擇“1-相貌”及“2-文化水準(zhǔn)”，則V1=1，V2=1，V3=0，V4=0，V5=0， V6

18、=0，V7=0，V8=0。第21頁/共30頁例、按多選項的二分法（ Dichotomy ）要求給以下調(diào)查項目設(shè)定變量：2.您想選擇下列哪些擇偶條件（任選3項）： 1-相貌 2-文化水準(zhǔn) 3-氣質(zhì)風(fēng)度 4-志同道合 5-人品 6-家庭條件 7-個人收入 8-其他答案：變量名 變量標(biāo)簽 編碼方案V1 相貌 0-不選 1-選V2 文化水準(zhǔn) 0-不選 1-選V3 氣質(zhì)風(fēng)度 0-不選 1-選V4 志同道合 0-不選 1-選V5 人品 0-不選 1-選V6 家庭條件 0-不選 1-選V7 個人收入 0-不選 1-選V8 其他 0-不選 1-選 每個空格可填0或1，分別代表該選項未被選中或被選中。第22頁/

19、共30頁 3）排序問題的編碼 排序問題屬于多項選擇問題，其編碼一般采用分類法編碼，仍需要將其分別設(shè)計成單項選擇問題，然后再編碼。 例如：請問你是從下列哪些渠道了解統(tǒng)計法的？（可多選，并按多少順序填入題后括號中）（ 1346 ） 1. 廣播電視 2.報刊雜志 3.專業(yè)會議 4.繼續(xù)教育 5.專業(yè)書籍 6.其他途徑答案：變量名 變量標(biāo)簽 取值范圍V6_1 選擇1 1. 廣播電視 2.報刊雜志 3.專業(yè)會議 4.繼續(xù)教育 5.專業(yè)書籍 6.其他V6_2 選擇2 1. 廣播電視 2.報刊雜志 3.專業(yè)會議 4.繼續(xù)教育 5.專業(yè)書籍 6.其他V6_3 選擇3 1. 廣播電視 2.報刊雜志 3.專業(yè)會議

20、 4.繼續(xù)教育 5.專業(yè)書籍 6.其他V6_4 選擇4 1. 廣播電視 2.報刊雜志 3.專業(yè)會議 4.繼續(xù)教育 5.專業(yè)書籍 6.其他V6_5 選擇5 1. 廣播電視 2.報刊雜志 3.專業(yè)會議 4.繼續(xù)教育 5.專業(yè)書籍 6.其他V6_6 選擇6 1. 廣播電視 2.報刊雜志 3.專業(yè)會議 4.繼續(xù)教育 5.專業(yè)書籍 6.其他第23頁/共30頁 如可能值：1423、51、5、321、234156等，則存放結(jié)果如下：v6_1、v6_2、v6_3、v6_4、v6_5、v6_61 4 2 35 153 2 12 3 4 1 5 6 統(tǒng)計時，對V6-1采用描述統(tǒng)計過程即可知道分別首選1、2、6的各

21、為多少等。第24頁/共30頁 4）列聯(lián)表問題的編碼 列聯(lián)表一般是將幾個單項選擇排列在一張表上，以其編碼與單項選擇編碼問題一樣，比較簡單。 如下例：4、請問你對下面統(tǒng)計方法的了解程度？統(tǒng)計方法統(tǒng)計方法非常熟悉非常熟悉1基本了解基本了解2不太了解不太了解3不了解不了解4搜集數(shù)據(jù)的方法搜集數(shù)據(jù)的方法整理數(shù)據(jù)的方法整理數(shù)據(jù)的方法分析數(shù)據(jù)的方法分析數(shù)據(jù)的方法答案： 變量名 變量標(biāo)簽 編碼方案 V4_1 搜集數(shù)據(jù)的方法 非常熟悉1、基本了解2、不太了解3、不了解4 V4_2 整理數(shù)據(jù)的方法 非常熟悉1、基本了解2、不太了解3、不了解4 V4_3 分析數(shù)據(jù)的方法 非常熟悉1、基本了解2、不太了解3、不了解4如可能值