數(shù)據(jù)采集與處理 課件 項(xiàng)目2 數(shù)據(jù)采集概述

項(xiàng)目二數(shù)據(jù)采集概述任務(wù)一認(rèn)知數(shù)據(jù)采集一、認(rèn)知數(shù)據(jù)采集

數(shù)據(jù)采集，就是按照數(shù)據(jù)分析研究的目的和任務(wù)，運(yùn)用科學(xué)的數(shù)據(jù)采集組織形式和方法,有組織、有計(jì)劃地采集數(shù)據(jù)資料的工作過(guò)程。由于無(wú)論何種形式的次級(jí)數(shù)據(jù)都是由原始數(shù)據(jù)資料過(guò)渡而來(lái)，所以數(shù)據(jù)采集所要搜集的資料主要是指原始數(shù)據(jù)資料。（一）數(shù)據(jù)采集的概念一、認(rèn)知數(shù)據(jù)采集數(shù)據(jù)采集是整個(gè)研究分析工作的基礎(chǔ)環(huán)節(jié)，通過(guò)數(shù)據(jù)采集,取得有關(guān)被采集對(duì)象的具體數(shù)據(jù)資料，為數(shù)據(jù)處理提供基礎(chǔ)依據(jù)。而且，數(shù)據(jù)采集工作的質(zhì)量影響到整個(gè)數(shù)據(jù)采集與處理工作的質(zhì)量，數(shù)據(jù)采集搞得好，就能準(zhǔn)確、及時(shí)、全面地反映被研究對(duì)象的本質(zhì)及規(guī)律性。反之，如果數(shù)據(jù)采集搞不好，所得資料不準(zhǔn)確、不真實(shí)或者不及時(shí)，即使經(jīng)過(guò)科學(xué)整理和分析，也得不到正確的判斷，這將影響整個(gè)數(shù)據(jù)采集與處理工作的成果。所以，數(shù)據(jù)采集階段是保證研究工作順利完成、提高數(shù)據(jù)采集與處理工作質(zhì)量的首要環(huán)節(jié)，是整個(gè)數(shù)據(jù)采集與處理工作的前提與基礎(chǔ)。（二）數(shù)據(jù)采集的意義二、數(shù)據(jù)采集的種類1.全面數(shù)據(jù)采集（一）按照數(shù)據(jù)采集對(duì)象包括的范圍劃分全面數(shù)據(jù)采集：是對(duì)數(shù)據(jù)采集對(duì)象中的所有單位進(jìn)行無(wú)一遺漏的觀察登記。例如，要了解全國(guó)的汽車產(chǎn)量，就要對(duì)全國(guó)所有汽車廠家進(jìn)行數(shù)據(jù)采集；要了解我國(guó)的人口結(jié)構(gòu)和素質(zhì)，就要對(duì)全國(guó)的所有人口進(jìn)行數(shù)據(jù)采集。二、數(shù)據(jù)采集的種類1.全面數(shù)據(jù)采集（一）按照數(shù)據(jù)采集對(duì)象包括的范圍劃分這種數(shù)據(jù)采集方式能掌握所有總體單位的資料，但是耗時(shí)長(zhǎng)、花費(fèi)高。這種數(shù)據(jù)采集方式僅適用于有限總體，且應(yīng)限于反映國(guó)情國(guó)力的重要指標(biāo)。二、數(shù)據(jù)采集的種類2.非全面數(shù)據(jù)采集非全面數(shù)據(jù)采集：僅對(duì)數(shù)據(jù)采集對(duì)象中的部分單位進(jìn)行觀察登記。例如，對(duì)中小企業(yè)融資方式進(jìn)行數(shù)據(jù)采集，不必將所有中小企業(yè)都納入數(shù)據(jù)采集范圍，選擇一部分即可。這種數(shù)據(jù)采集方式工作量小、耗時(shí)相對(duì)較短、花費(fèi)也相對(duì)較低，數(shù)據(jù)采集結(jié)果可以反映某地區(qū)的情況或在一定程度上可以反映總體的一般情況。二、數(shù)據(jù)采集的種類1.報(bào)表數(shù)據(jù)采集（二）按照數(shù)據(jù)采集的組織方式劃分報(bào)表數(shù)據(jù)采集：是指按照統(tǒng)一規(guī)定的表式要求，自上而下地統(tǒng)一布置、自下而上地逐級(jí)匯總上報(bào)的一種數(shù)據(jù)采集方式。二、數(shù)據(jù)采集的種類2.專門數(shù)據(jù)采集（二）按照數(shù)據(jù)采集的組織方式劃分專門數(shù)據(jù)采集：是指為研究某些專門問(wèn)題，由采集單位專門組織進(jìn)行的一種調(diào)查方式。包括全面數(shù)據(jù)采集、重點(diǎn)數(shù)據(jù)采集、典型數(shù)據(jù)采集、抽樣數(shù)據(jù)采集等。二、數(shù)據(jù)采集的種類1.經(jīng)常性數(shù)據(jù)采集（三）按數(shù)據(jù)采集登記時(shí)間上的連續(xù)性劃分經(jīng)常性數(shù)據(jù)采集：指在一定時(shí)期內(nèi)對(duì)客觀事物的發(fā)展變化情況連續(xù)不斷地進(jìn)行登記的采集方式，其目的是取得某事物在一定時(shí)期的發(fā)展變化過(guò)程中所累積的總量。如：工業(yè)產(chǎn)品產(chǎn)量、銷售量等。二、數(shù)據(jù)采集的種類2.一次性數(shù)據(jù)采集（三）按數(shù)據(jù)采集登記時(shí)間上的連續(xù)性劃分一次性數(shù)據(jù)采集：是指間隔一段時(shí)間，對(duì)社會(huì)經(jīng)濟(jì)現(xiàn)象在某一時(shí)點(diǎn)上的數(shù)量特征進(jìn)行一次性的登記和觀察，分為定期、不定期數(shù)據(jù)采集。二、數(shù)據(jù)采集的種類1.直接觀察法（四）按采集資料的方法不同劃分直接觀察法是指數(shù)據(jù)采集人員到現(xiàn)場(chǎng)對(duì)數(shù)據(jù)采集對(duì)象親自進(jìn)行觀察和計(jì)量。2.報(bào)告法報(bào)告法是指由報(bào)告單位根據(jù)原始資料和核算資料，按要求規(guī)定的統(tǒng)一的表格和要求，按一定的呈報(bào)程序提供資料。3.采訪法采訪法主要是指面談、電話、互聯(lián)網(wǎng)訪問(wèn)法。三、數(shù)據(jù)采集的要求（一）可靠性可靠性要求也稱準(zhǔn)確性要求，是指數(shù)據(jù)必須是真實(shí)對(duì)象或環(huán)境所產(chǎn)生的，必須保證采集的數(shù)據(jù)能反映真實(shí)的狀況，保證數(shù)據(jù)來(lái)源是可靠的?？煽啃躁P(guān)注的是數(shù)據(jù)記錄中存在的錯(cuò)誤，如字符型數(shù)據(jù)的亂碼現(xiàn)象就存在著準(zhǔn)確性的問(wèn)題，還有就是異常的數(shù)值：異常大或者異常小的數(shù)值、不符合有效性要求的數(shù)值等。三、數(shù)據(jù)采集的要求（二）完整性完整性要求是指數(shù)據(jù)采集必須按照一定的標(biāo)準(zhǔn)要求，采集反映事物全貌的信息，完整性原則是數(shù)據(jù)處理的基礎(chǔ)。

完整性關(guān)注的是數(shù)據(jù)信息是否存在缺失的狀況，數(shù)據(jù)缺失的情況可能是整個(gè)數(shù)據(jù)記錄缺失，也可能是數(shù)據(jù)中某個(gè)字段信息的記錄缺失。三、數(shù)據(jù)采集的要求（三）實(shí)時(shí)性及時(shí)性要求是指數(shù)據(jù)自發(fā)生到被采集的時(shí)間間隔，要符合當(dāng)前的時(shí)間需求，間隔越短就越及時(shí)，最快的是數(shù)據(jù)采集與數(shù)據(jù)發(fā)生同步。

比如一份數(shù)據(jù)是采集當(dāng)日的，結(jié)果都是第二天甚至第三天才能采集完，這種數(shù)據(jù)就不符合數(shù)據(jù)及時(shí)性要求。三、數(shù)據(jù)采集的要求（四）相關(guān)性相關(guān)性原則是指采集的數(shù)據(jù)與要分析處理的目標(biāo)要緊密相關(guān)。例如，要準(zhǔn)備自己企業(yè)的年度會(huì)計(jì)報(bào)告內(nèi)容，其他企業(yè)的年度會(huì)計(jì)報(bào)告內(nèi)容與你要準(zhǔn)備的內(nèi)容不相關(guān)，因?yàn)闀?huì)計(jì)信息使用者需要的是自己企業(yè)的數(shù)據(jù)，而其他企業(yè)的數(shù)據(jù)不能滿足會(huì)計(jì)信息使用者的需求，對(duì)會(huì)計(jì)信息使用者的決策影響不大，不具有相關(guān)性。三、數(shù)據(jù)采集的要求（五）經(jīng)濟(jì)性經(jīng)濟(jì)性原則是指數(shù)據(jù)分析人員在選擇要分析的指標(biāo)、確定數(shù)據(jù)采集方法以及數(shù)據(jù)采集過(guò)程中，可能要涉及的人力、物力、財(cái)力及時(shí)間等成本與產(chǎn)生的收益來(lái)配比，從而制定出比較經(jīng)濟(jì)可行的數(shù)據(jù)采集設(shè)計(jì)，一般也稱為成本效益原則。經(jīng)濟(jì)性原則要堅(jiān)持“最少、必要”原則，不采集不相關(guān)數(shù)據(jù)、也不采集不必要數(shù)據(jù)或過(guò)多的冗余數(shù)據(jù)。三、數(shù)據(jù)采集的要求（六）準(zhǔn)確性數(shù)據(jù)信息要準(zhǔn)確，只有正確的信息和數(shù)據(jù)才能整理分析后得到正確的結(jié)果和結(jié)論。數(shù)據(jù)信息的正確性要求我們通過(guò)各種渠道獲取信息進(jìn)行比對(duì)。項(xiàng)目二數(shù)據(jù)采集概述任務(wù)二認(rèn)知數(shù)據(jù)采集方案【任務(wù)導(dǎo)入】

某淘寶網(wǎng)店長(zhǎng)期經(jīng)營(yíng)零食堅(jiān)果類商品，市場(chǎng)采購(gòu)部門決定在近期計(jì)劃增加產(chǎn)品種類，現(xiàn)需要在“葡萄干”、“巴旦木”、“碧根果”三類商品中選擇一種，選擇的依據(jù)主要為商品近一年的用戶關(guān)注度高、目標(biāo)用戶群體大等。

任務(wù)描述：要求數(shù)據(jù)分析人員針對(duì)該需求撰寫數(shù)據(jù)采集與處理方案，并對(duì)相關(guān)數(shù)據(jù)進(jìn)行采集。為了確保數(shù)據(jù)采集結(jié)果的準(zhǔn)確性和可靠性，在數(shù)據(jù)采集之前一般都需要制定一份完整的數(shù)據(jù)采集方案。一份完整的、有指導(dǎo)意義的數(shù)據(jù)采集方案應(yīng)該包括一下幾方面的內(nèi)容。一、確定數(shù)據(jù)采集與處理的目的及任務(wù)目的:就是數(shù)據(jù)分析人員完成數(shù)據(jù)分析后對(duì)項(xiàng)目運(yùn)營(yíng)各部門基于什么樣的目的提出的建議及調(diào)整策略。只有明確了數(shù)據(jù)采集與處理的目的及任務(wù)，才能確定數(shù)據(jù)采集范圍,即向誰(shuí)采集和采集什么，以及采集所采用的方式方法。數(shù)據(jù)采集與處理的目的應(yīng)盡可能具體,要抓住主要矛盾,突出中心問(wèn)題，切忌輕重不分，只有這樣才能提高數(shù)據(jù)采集的質(zhì)量。（一）數(shù)據(jù)采集的概念一、確定數(shù)據(jù)采集與處理的目的及任務(wù)在確定數(shù)據(jù)采集與處理目的時(shí)要適當(dāng)?shù)倪M(jìn)行背景介紹，讓項(xiàng)目參與人員了解該數(shù)據(jù)項(xiàng)目的來(lái)龍去脈，明確分析的環(huán)境和所處情況。（一）數(shù)據(jù)采集的概念二、確定數(shù)據(jù)采集對(duì)象和采集單位確定數(shù)據(jù)采集對(duì)象，首先需要對(duì)所研究的現(xiàn)象進(jìn)行認(rèn)真分析，掌握其主要特征；其次需要明確數(shù)據(jù)采集對(duì)象范圍,劃清與其他社會(huì)現(xiàn)象的界限，避免資料的重復(fù)或遺漏，保證采集的數(shù)據(jù)資料的準(zhǔn)確性。三、擬定數(shù)據(jù)采集提綱和采集表數(shù)據(jù)采集提綱是在數(shù)據(jù)采集前所確定的數(shù)據(jù)采集項(xiàng)目,包括需要向數(shù)據(jù)采集單位了解的有關(guān)的標(biāo)志和其他情況。（一）擬定數(shù)據(jù)采集提綱（二）設(shè)計(jì)數(shù)據(jù)采集表數(shù)據(jù)采集表是搜集原始資料的基本工具,把數(shù)據(jù)采集提綱中的各個(gè)數(shù)據(jù)采集項(xiàng)目按照一定的順序排列在一定表格內(nèi)，就構(gòu)成了數(shù)據(jù)采集表。三、擬定數(shù)據(jù)采集提綱和采集表商務(wù)數(shù)據(jù)采集表常用的形式有以下幾種：1.店鋪流量類數(shù)據(jù)采集報(bào)表店鋪流量類數(shù)據(jù)采集表主要是為了了解店鋪的流量來(lái)源情況及流量結(jié)構(gòu)，常用的數(shù)據(jù)采集報(bào)表有店鋪UV、PV、IP數(shù)據(jù)采集表等。店鋪UV數(shù)據(jù)采集表三、擬定數(shù)據(jù)采集提綱和采集表2.店鋪日常運(yùn)營(yíng)數(shù)據(jù)類采集報(bào)表店鋪運(yùn)營(yíng)類數(shù)據(jù)采集表類型多樣，最常見的就是店鋪運(yùn)營(yíng)日?qǐng)?bào)表，包含的數(shù)據(jù)指標(biāo)通常有流量類、訂單類、轉(zhuǎn)化類、交易類等。店鋪運(yùn)營(yíng)日?qǐng)?bào)表三、擬定數(shù)據(jù)采集提綱和采集表3.營(yíng)銷推廣類數(shù)據(jù)采集表營(yíng)銷推廣工作直接關(guān)系到整店的成交轉(zhuǎn)化情況，因此營(yíng)銷推廣數(shù)據(jù)采集表在日常運(yùn)營(yíng)過(guò)程中使用也非常廣泛，營(yíng)銷推廣類數(shù)據(jù)采集表通常包含通過(guò)各營(yíng)銷推廣渠道的成交類指標(biāo)、流量類指標(biāo)、費(fèi)用類指標(biāo)等。CPS推廣基礎(chǔ)數(shù)據(jù)登記表四、確定數(shù)據(jù)來(lái)源渠道及數(shù)據(jù)采集工具（一）數(shù)據(jù)采集來(lái)源常見的數(shù)據(jù)采集來(lái)源大致可以分為三類：1.日常數(shù)據(jù)采集：主要包括平臺(tái)運(yùn)營(yíng)數(shù)據(jù)、網(wǎng)站數(shù)據(jù)庫(kù)數(shù)據(jù)以及企業(yè)管理系統(tǒng)數(shù)據(jù)等2.專題數(shù)據(jù)采集：專項(xiàng)調(diào)研數(shù)據(jù)和實(shí)驗(yàn)實(shí)測(cè)數(shù)據(jù)。3.外部環(huán)境數(shù)據(jù)：行業(yè)發(fā)展數(shù)據(jù)及競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)。四、確定數(shù)據(jù)來(lái)源渠道及數(shù)據(jù)采集工具（二）常用的數(shù)據(jù)采集渠道與采集工具數(shù)據(jù)采集渠道與采集工具一覽表采集渠道采集工具適用范圍政府部門、行業(yè)協(xié)會(huì)、媒體爬蟲、Excel等行業(yè)數(shù)據(jù)等數(shù)據(jù)平臺(tái)百度指數(shù)、360指數(shù)等行業(yè)數(shù)據(jù)的關(guān)注熱度等商家后臺(tái)生意參謀、京東商智、店偵探、自有系統(tǒng)等；市場(chǎng)數(shù)據(jù)、客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)等咨詢公司數(shù)據(jù)平臺(tái)爬蟲、Excel等行業(yè)數(shù)據(jù)、產(chǎn)品數(shù)據(jù)等問(wèn)卷調(diào)研問(wèn)卷星、騰訊在線表單等目標(biāo)客戶分析、產(chǎn)品體驗(yàn)等五、確定數(shù)據(jù)采集時(shí)間和采集方法六、制訂數(shù)據(jù)采集工作的組織實(shí)施計(jì)劃數(shù)據(jù)采集的成功實(shí)施必須要有嚴(yán)密細(xì)致的組織工作,因此,必須在數(shù)據(jù)采集方案中擬定一個(gè)周密的組織實(shí)施計(jì)劃。其主要內(nèi)容包括:確定數(shù)據(jù)采集工作的領(lǐng)導(dǎo)機(jī)構(gòu)和辦事機(jī)構(gòu)、數(shù)據(jù)采集人員的組織與分工、采集前的準(zhǔn)備工作,如人員培訓(xùn)、文件資料的印發(fā)、方案的傳達(dá)布置以及公布數(shù)據(jù)的時(shí)間等。項(xiàng)目二數(shù)據(jù)采集概述任務(wù)3認(rèn)知數(shù)據(jù)采集的方法（一）數(shù)據(jù)的常見種類按照獲取途徑的不同，可分為初級(jí)數(shù)據(jù)和次級(jí)數(shù)據(jù)。1.初級(jí)數(shù)據(jù)一、初級(jí)數(shù)據(jù)的采集方法初級(jí)數(shù)據(jù)也稱原始數(shù)據(jù)或一手?jǐn)?shù)據(jù)，是指反映被調(diào)查對(duì)象原始狀況的數(shù)據(jù)，是直接從被研究對(duì)象處取得的資料。如原始記錄、統(tǒng)計(jì)臺(tái)賬，調(diào)查問(wèn)卷答案，實(shí)驗(yàn)結(jié)果等。初級(jí)數(shù)據(jù)的優(yōu)點(diǎn)是及時(shí)、可信度高，可以解決二手?jǐn)?shù)據(jù)不能解決的問(wèn)題；但也存在主觀性強(qiáng)、收集成本高、難以收集的問(wèn)題。（一）數(shù)據(jù)的常見種類2.次級(jí)數(shù)據(jù)一、初級(jí)數(shù)據(jù)的采集方法次級(jí)數(shù)據(jù)又稱二手?jǐn)?shù)據(jù)，是指已經(jīng)存在的經(jīng)他人整理分析過(guò)的數(shù)據(jù)，如期刊，報(bào)紙、廣播、電視以及互聯(lián)網(wǎng)上的資料，各級(jí)政府機(jī)構(gòu)公布的資料，企業(yè)內(nèi)部記錄和報(bào)告等。次級(jí)數(shù)據(jù)的優(yōu)點(diǎn)是客觀、易于獲取、取得迅速、成本低；缺點(diǎn)是相關(guān)性、時(shí)效性、可靠性較差。（二）初級(jí)數(shù)據(jù)的采集方法1.實(shí)地調(diào)查法一、初級(jí)數(shù)據(jù)的采集方法1）訪問(wèn)法

訪問(wèn)法是通過(guò)有目的、有計(jì)劃、有方向的口頭交談向被調(diào)查者了解問(wèn)題和情況，獲取原始資料的一種方法。

該種方法的優(yōu)點(diǎn)是:被調(diào)查對(duì)象的回答率大大高于問(wèn)卷法，適應(yīng)性強(qiáng)，調(diào)查內(nèi)容機(jī)動(dòng)性大，訪談?wù)邔?duì)資料采集過(guò)程可進(jìn)行有效控制；缺點(diǎn)是：訪談成本高、匿名性差，訪談結(jié)果與訪談人員的素質(zhì)、能力及其現(xiàn)場(chǎng)表現(xiàn)直接相關(guān)。

根據(jù)調(diào)查人員與被調(diào)查者接觸方式的不同，又可將訪問(wèn)法分為人員訪問(wèn)、電話訪問(wèn)、郵寄訪問(wèn)和網(wǎng)上訪問(wèn)等。1.實(shí)地調(diào)查法一、初級(jí)數(shù)據(jù)的采集方法2）觀察法觀察法是指觀察者帶有明確目的到觀察現(xiàn)場(chǎng)，憑借自己的眼睛或攝像器材，在調(diào)查現(xiàn)場(chǎng)進(jìn)行實(shí)地考察，記錄正在發(fā)生的市場(chǎng)行為或狀況，以獲取各種原始資料的一種非介入性調(diào)查方法，又稱為直接觀察法。

觀察法一般用于對(duì)受訪者客觀狀況進(jìn)行調(diào)查，這種方法的主要特點(diǎn)是：調(diào)查者與被調(diào)查者不發(fā)生直接接觸，而是由調(diào)查者從側(cè)面直接地或間接地借助儀器把被調(diào)查者的活動(dòng)按實(shí)際情況記錄下來(lái)，避免讓被調(diào)查者感覺(jué)正在被調(diào)查，從而提高調(diào)查結(jié)果的真實(shí)性和可靠性，使取得的資料更加貼近實(shí)際。1.實(shí)地調(diào)查法一、初級(jí)數(shù)據(jù)的采集方法2）觀察法優(yōu)點(diǎn)：是可以獲得更加真實(shí)，客觀的原始資料；缺點(diǎn):首先，觀察法僅是取得表面性資料，只能觀察到正在發(fā)生的動(dòng)作和現(xiàn)象；其次，調(diào)查者必須具備較高的業(yè)務(wù)能力、敏銳的洞察能力和良好的記憶力；再次，觀察法要求較高的調(diào)研費(fèi)用和較長(zhǎng)的觀察時(shí)間。1.實(shí)地調(diào)查法一、初級(jí)數(shù)據(jù)的采集方法3）實(shí)驗(yàn)法實(shí)驗(yàn)法是指在實(shí)驗(yàn)中控制一個(gè)或多個(gè)變量，在有控制的條件下得到觀測(cè)結(jié)果的一種調(diào)查方法。在實(shí)驗(yàn)中，研究人員要控制某一情形的所有相關(guān)方面，操縱少數(shù)感興趣的變量，然后觀察實(shí)驗(yàn)的結(jié)果，獲得的實(shí)驗(yàn)數(shù)據(jù)就是在實(shí)驗(yàn)中控制實(shí)驗(yàn)對(duì)象而搜集到的變量數(shù)據(jù)。1.實(shí)地調(diào)查法一、初級(jí)數(shù)據(jù)的采集方法4）報(bào)告法報(bào)告法亦稱通訊法，是指由受訪者填寫有關(guān)報(bào)告表格，向調(diào)查人員報(bào)告自身情況的資料采集方法。

這種方法是被調(diào)查者根據(jù)統(tǒng)計(jì)報(bào)表的格式要求，按照隸屬關(guān)系，逐級(jí)向有關(guān)部門上報(bào)統(tǒng)計(jì)資料的一種調(diào)查方法。其特點(diǎn)是：具有統(tǒng)一項(xiàng)目、統(tǒng)一表式、統(tǒng)一要求和統(tǒng)一上報(bào)程序;能夠進(jìn)行大量調(diào)查?，F(xiàn)行統(tǒng)計(jì)報(bào)表制度采用的就是這種方法。1.實(shí)地調(diào)查法一、初級(jí)數(shù)據(jù)的采集方法5）問(wèn)卷調(diào)查法問(wèn)卷調(diào)查法就是根據(jù)調(diào)查目的，由調(diào)查者運(yùn)用統(tǒng)一設(shè)計(jì)的問(wèn)卷向被選取的調(diào)查對(duì)象了解情況或征詢意見的調(diào)查方法。問(wèn)卷調(diào)查法是目前最常用的調(diào)查方法,其優(yōu)點(diǎn)在于利用問(wèn)卷限定了訪問(wèn)員的詢問(wèn)方式和受訪者的回答方式,從而有助于獲得符合分析要求的定量數(shù)據(jù)。問(wèn)卷調(diào)查法不需要訪問(wèn)員進(jìn)行自由聯(lián)想和發(fā)揮,從而降低了對(duì)訪問(wèn)員自身素質(zhì)的要求,更適用于大規(guī)模的民意調(diào)查和商業(yè)調(diào)查活動(dòng)。2.網(wǎng)絡(luò)直接調(diào)查法一、初級(jí)數(shù)據(jù)的采集方法網(wǎng)絡(luò)直接調(diào)查法即利用互聯(lián)網(wǎng)直接進(jìn)行問(wèn)卷調(diào)查、電子郵件調(diào)查、網(wǎng)上論壇調(diào)查、網(wǎng)上在線座談會(huì)調(diào)查調(diào)查等收集初級(jí)數(shù)據(jù)的地方。（一）內(nèi)部數(shù)據(jù)采集二、次級(jí)數(shù)據(jù)的采集方法

內(nèi)部數(shù)據(jù)來(lái)自組織內(nèi)部。內(nèi)部數(shù)據(jù)的采集來(lái)源為業(yè)務(wù)資料、統(tǒng)計(jì)資料、數(shù)據(jù)庫(kù)等，采集方法包括報(bào)表采集、數(shù)據(jù)庫(kù)采集、系統(tǒng)日志數(shù)據(jù)采集等。（一）內(nèi)部數(shù)據(jù)采集二、次級(jí)數(shù)據(jù)的采集方法（1）報(bào)表采集。企業(yè)可以通過(guò)相關(guān)業(yè)務(wù)部門每日、每周、每月的工作報(bào)表進(jìn)行采集，如銷售明細(xì)、出入庫(kù)清單、客服記錄等，進(jìn)行數(shù)據(jù)采集。（2）數(shù)據(jù)庫(kù)采集。企業(yè)將數(shù)據(jù)庫(kù)采集系統(tǒng)直接對(duì)接到業(yè)務(wù)后臺(tái)的服務(wù)器。業(yè)務(wù)后臺(tái)每時(shí)每刻都會(huì)產(chǎn)生大量業(yè)務(wù)記錄，并可直接被數(shù)據(jù)庫(kù)采集系統(tǒng)采集，最后由特定的處理系統(tǒng)進(jìn)行數(shù)據(jù)分析。（3）系統(tǒng)日志數(shù)據(jù)采集。系統(tǒng)日志數(shù)據(jù)采集主要針對(duì)互聯(lián)網(wǎng)上的商務(wù)活動(dòng)，例如網(wǎng)站日志會(huì)記錄訪客IP地址、訪問(wèn)時(shí)間、訪問(wèn)次數(shù)、停留時(shí)間、訪客來(lái)源等數(shù)據(jù)。通過(guò)對(duì)這些日志信息進(jìn)行采集、分析，可以挖掘數(shù)據(jù)中的潛在價(jià)值。（二）外部數(shù)據(jù)采集二、次級(jí)數(shù)據(jù)的采集方法外部數(shù)據(jù)是指來(lái)自組織外部獲得的二手?jǐn)?shù)據(jù)。外部數(shù)據(jù)的采集來(lái)源為公開出版的資料、計(jì)算機(jī)數(shù)據(jù)庫(kù)、互聯(lián)網(wǎng)資料等。（二）外部數(shù)據(jù)采集二、次級(jí)數(shù)據(jù)的采集方法1.文獻(xiàn)資料采集

文獻(xiàn)資料采集主要是通過(guò)政府部門、行業(yè)協(xié)會(huì)、新聞媒體、出版社等發(fā)布的統(tǒng)計(jì)數(shù)據(jù)、行業(yè)調(diào)查報(bào)告、新聞報(bào)道、出版物采集數(shù)據(jù)。2.情報(bào)聯(lián)絡(luò)網(wǎng)法

情報(bào)聯(lián)絡(luò)網(wǎng)法,就是企業(yè)在全國(guó)范圍內(nèi)或國(guó)外有限地區(qū)內(nèi)設(shè)立情報(bào)聯(lián)絡(luò)網(wǎng),使情報(bào)資料采集工作的觸角伸到四面八方。3.專業(yè)數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)指的是按照一定要求采集且具有內(nèi)部相關(guān)性的數(shù)據(jù)的集合體。例如,中國(guó)知網(wǎng)數(shù)據(jù)庫(kù)、辛迪加數(shù)據(jù)等。（二）外部數(shù)據(jù)采集二、次級(jí)數(shù)據(jù)的采集方法1.文獻(xiàn)資料采集

文獻(xiàn)資料采集主要是通過(guò)政府部門、行業(yè)協(xié)會(huì)、新聞媒體、出版社等發(fā)布的統(tǒng)計(jì)數(shù)據(jù)、行業(yè)調(diào)查報(bào)告、新聞報(bào)道、出版物采集數(shù)據(jù)。2.情報(bào)聯(lián)絡(luò)網(wǎng)法

情報(bào)聯(lián)絡(luò)網(wǎng)法,就是企業(yè)在全國(guó)范圍內(nèi)或國(guó)外有限地區(qū)內(nèi)設(shè)立情報(bào)聯(lián)絡(luò)網(wǎng),使情報(bào)資料采集工作的觸角伸到四面八方。3.專業(yè)數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)指的是按照一定要求采集且具有內(nèi)部相關(guān)性的數(shù)據(jù)的集合體。例如,中國(guó)知網(wǎng)數(shù)據(jù)庫(kù)、辛迪加數(shù)據(jù)等。項(xiàng)目二數(shù)據(jù)采集概述任務(wù)4采集網(wǎng)絡(luò)數(shù)據(jù)一、常規(guī)網(wǎng)絡(luò)數(shù)據(jù)的采集常規(guī)網(wǎng)絡(luò)數(shù)據(jù)采集方法主要是針對(duì)網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)那些可下載或可復(fù)制數(shù)據(jù)所采用的數(shù)據(jù)采集方法。1.當(dāng)在網(wǎng)絡(luò)上瀏覽到需要采集的數(shù)據(jù)時(shí)，如果該平臺(tái)允許下載（或?qū)С觯╉?yè)面中的數(shù)據(jù),一般會(huì)在該頁(yè)面中顯示與下載(或?qū)С?相關(guān)的超鏈接或按鈕,用戶只要單擊該超鏈接或按鈕,設(shè)置數(shù)據(jù)文件的名稱和保存位置，然后點(diǎn)擊保存即可。一、常規(guī)網(wǎng)絡(luò)數(shù)據(jù)的采集/sj/zxfb/202401/t20240129_1946971.html一、常規(guī)網(wǎng)絡(luò)數(shù)據(jù)的采集2.如果網(wǎng)絡(luò)平臺(tái)沒(méi)有提供與下載(或?qū)С?相關(guān)的超鏈接或按鈕，但允許選擇并復(fù)制數(shù)據(jù)內(nèi)容，用戶可以點(diǎn)擊并按住拖拽鼠標(biāo)，將需要采集的數(shù)據(jù)全部選中，在所選區(qū)域單擊鼠標(biāo)右鍵,在彈出的快捷菜單中選揮“復(fù)制”命令。啟動(dòng)Excel點(diǎn)擊鼠標(biāo)右鍵，在彈出的快捷菜單中選揮點(diǎn)擊“粘貼”命令，或按“Ctrl+V”組合鍵即可將剪貼板中的數(shù)據(jù)粘貼到Excel的工作表。一、常規(guī)網(wǎng)絡(luò)數(shù)據(jù)的采集/sj/zxfb/202402/t20240228_1947915.html二、利用Excel進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集

對(duì)于網(wǎng)絡(luò)數(shù)據(jù)也可以采用Excel進(jìn)行數(shù)據(jù)采集。下面以東方財(cái)富網(wǎng)上的股票行情中心數(shù)據(jù)（/center/gridlist.html#hs_a_board）為例，利用Excel進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集。下圖為東方財(cái)富網(wǎng)行情中心部分股票數(shù)據(jù)。二、利用Excel進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集第一步，啟動(dòng)Excel工作簿，點(diǎn)擊編輯頁(yè)面的“數(shù)據(jù)”選項(xiàng)卡，在出現(xiàn)的頁(yè)面中，單擊功能區(qū)中的“自網(wǎng)站”選項(xiàng)，會(huì)彈出“從Web”的對(duì)話框；二、利用Excel進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集第二步，在URL中錄入網(wǎng)址：/center/gridlist.html#hs_a_board，點(diǎn)擊“確定”按鈕；二、利用Excel進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集第三步，在上述步驟之后，會(huì)出現(xiàn)“導(dǎo)航器”對(duì)話框，二、利用Excel進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集第四步，在導(dǎo)航對(duì)話框中，點(diǎn)擊“顯示選項(xiàng)”中的“table0”選項(xiàng)；二、利用Excel進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集第五步，點(diǎn)擊【加載】按鈕，就可以將有關(guān)資料采集下來(lái)。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)GooSeeker集搜客網(wǎng)絡(luò)爬蟲軟件是一款功能齊全并且免編程的批量爬蟲軟件，該軟件提供自定義采集和快捷采集兩種主要采集方式，自定義采集適用于非常規(guī)網(wǎng)站和個(gè)性化采集，快捷采集適用于主流網(wǎng)站數(shù)據(jù)采集，比如知乎、京東、淘寶、安居客、前程無(wú)憂、微博等網(wǎng)站，爬取方式簡(jiǎn)單易用。下面以本軟件為例，進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)抓取演示。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)（一）數(shù)據(jù)抓取前的準(zhǔn)備工作1.下載與安裝首先進(jìn)行軟件安裝，軟件下載地址：/pro/gooseeker.html該軟件提供免費(fèi)版和高級(jí)版本，初學(xué)階段建議使用免費(fèi)版。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)2.激活賬號(hào)下載軟件后，雙擊安裝。安裝后雙擊打開，第一次運(yùn)行GS爬蟲瀏覽器，要登錄才能激活網(wǎng)絡(luò)爬蟲功能，檢查是否已經(jīng)連上服務(wù)器(綠勾連接，紅勾未連接)。注意：沒(méi)有賬號(hào)的請(qǐng)先在官網(wǎng)注冊(cè)一個(gè)賬號(hào)。如果是Mac版軟件，需要購(gòu)買專業(yè)版才能激活。Windows版界面如下（本節(jié)以Windows免費(fèi)版進(jìn)行講解）。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)（二）使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)下面以采集天貓商品評(píng)價(jià)為例簡(jiǎn)要說(shuō)明軟件使用方法。1.登陸天貓網(wǎng)站：在數(shù)據(jù)管家新開一個(gè)頁(yè)簽，在新頁(yè)簽打開天貓網(wǎng)站，并登陸一個(gè)天貓賬號(hào)，一般直接用手機(jī)驗(yàn)證碼就可以。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)2.進(jìn)入快捷采集：點(diǎn)擊數(shù)據(jù)管家左側(cè)邊欄的“快”按鈕，進(jìn)入快捷采集。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)3.選擇合適的快捷工具：根據(jù)要采集的網(wǎng)頁(yè)，選擇類別-網(wǎng)站-網(wǎng)頁(yè)。對(duì)于天貓商品評(píng)論來(lái)說(shuō)，就是點(diǎn)擊：電商

-

天貓

-

天貓商品評(píng)論采集三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)如下圖所示，可以打開示例頁(yè)面看看，確保后面操作時(shí)添加的鏈接和示例頁(yè)面類似?；蛘邽g覽網(wǎng)頁(yè)下方的示例數(shù)據(jù)，進(jìn)一步了解選定的快捷工具是否滿足要求。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)4.獲得網(wǎng)址在天貓的搜索頁(yè)面上，輸入要搜索的關(guān)鍵詞，點(diǎn)擊搜索，比如搜索“兒童超輕黏土”，復(fù)制出來(lái)的某條商品網(wǎng)址就是：/item.htm?abbucket=20&id=657886365325&ns=1&spm=a21n.18b7523cI92qPN三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)5.粘貼網(wǎng)址，啟動(dòng)采集把上一步得到的網(wǎng)址用Ctrl+v粘貼到快捷工具的網(wǎng)址輸入欄，啟動(dòng)采集。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)6.采集中的爬蟲窗口點(diǎn)擊獲取數(shù)據(jù)之后，數(shù)據(jù)管家自動(dòng)彈出兩個(gè)采集窗口（窗口右下方有綠色的狀態(tài)球），一個(gè)窗口加載網(wǎng)頁(yè)，采集數(shù)據(jù)，一個(gè)窗口打包上傳數(shù)據(jù)。兩個(gè)采集窗口工作時(shí)，都不能關(guān)閉。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)7.打包下載數(shù)據(jù)采集完成后，采集狀態(tài)會(huì)從橙色的“采集中”，變成綠色的”已采集”。然后打包下載數(shù)據(jù)，下載下來(lái)的數(shù)據(jù)一般保存在電腦的下載文件夾。三、使用gooseeker抓取網(wǎng)頁(yè)數(shù)據(jù)如果，采集不成功，采集狀態(tài)會(huì)變成紅色的“已停止”，這時(shí)，要檢查1.添加的鏈接是否和樣本頁(yè)面類似；2.需要提前登陸的網(wǎng)站，是否已經(jīng)登陸；再重新采集一遍，注意觀察采集窗口，網(wǎng)頁(yè)是否正常加載Gooseeker：自定義采集京東牛仔褲網(wǎng)址/Search?keyword=%E7%89%9B%E4%BB%94%E8%A3%A4&enc=utf-8&wq=%E7%89%9B%E4%BB%94ku&pvid=8b028fa5b6a841aa8bc3b6e2af1ed822翻頁(yè)采集列表數(shù)據(jù)/doc/article-522-1.html采集列表數(shù)據(jù)/doc/article-520-1.html定義爬蟲規(guī)則采集網(wǎng)頁(yè)數(shù)據(jù)/doc/article-521-1.html項(xiàng)目二數(shù)據(jù)采集概述任務(wù)5商務(wù)數(shù)據(jù)采集概述一、商務(wù)數(shù)據(jù)的概述（一）商務(wù)數(shù)據(jù)的概念商務(wù)數(shù)據(jù)是指利用互聯(lián)網(wǎng)技術(shù)和其他技術(shù)采集到的與商務(wù)運(yùn)營(yíng)和應(yīng)用相關(guān)的大數(shù)據(jù)，反映一個(gè)產(chǎn)業(yè)價(jià)值鏈上各個(gè)重要環(huán)節(jié)的歷史信息和即時(shí)信息的集合，其內(nèi)容包括企業(yè)內(nèi)部數(shù)據(jù)、分銷渠道數(shù)據(jù)、消費(fèi)市場(chǎng)數(shù)據(jù)等。一、商務(wù)數(shù)據(jù)的概述（二）商務(wù)數(shù)據(jù)的功能及時(shí)了解市場(chǎng)和競(jìng)爭(zhēng)對(duì)手狀況，為企業(yè)管理層制定合適的決策方案提供數(shù)據(jù)參考能夠幫助企業(yè)提高經(jīng)營(yíng)效率利于管理供應(yīng)、優(yōu)化產(chǎn)品與增加銷量，增強(qiáng)企業(yè)盈利能力二、常見的商務(wù)數(shù)據(jù)類型（一）銷售類數(shù)據(jù)銷售數(shù)據(jù)是指企業(yè)在銷售過(guò)程中產(chǎn)生的數(shù)據(jù)，包括銷售額、銷售數(shù)量、銷售渠道、銷售地區(qū)等信息。這些數(shù)據(jù)能夠幫助企業(yè)了解產(chǎn)品銷售情況、市場(chǎng)需求和消費(fèi)者行為。（二）客戶類數(shù)據(jù)客戶數(shù)據(jù)包括企業(yè)與客戶之間的交互和關(guān)系數(shù)據(jù)，包括客戶信息、購(gòu)買歷史、客戶分類、客戶反饋等。這些數(shù)據(jù)有助于企業(yè)了解客戶需求、優(yōu)化客戶體驗(yàn)、進(jìn)行客戶關(guān)系管理和個(gè)性化營(yíng)銷。二、常見的商務(wù)數(shù)據(jù)類型（三）運(yùn)營(yíng)類數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)反映了企業(yè)日常運(yùn)營(yíng)的各個(gè)方面，包括供應(yīng)鏈數(shù)據(jù)、庫(kù)存數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、物流數(shù)據(jù)等。通過(guò)分析這些數(shù)據(jù)，企業(yè)可以優(yōu)化運(yùn)營(yíng)效率、降低成本、提高產(chǎn)品質(zhì)量和交付效果。（四）市場(chǎng)類數(shù)據(jù)市場(chǎng)數(shù)據(jù)是指市場(chǎng)調(diào)研、競(jìng)爭(zhēng)分析和市場(chǎng)趨勢(shì)等方面的數(shù)據(jù)，包括市場(chǎng)規(guī)模、市場(chǎng)份額、競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)、消費(fèi)者調(diào)研數(shù)據(jù)等。這些數(shù)據(jù)可以幫助企業(yè)了解市場(chǎng)情況、制定市場(chǎng)策略和預(yù)測(cè)市場(chǎng)趨勢(shì)。二、常見的商務(wù)數(shù)據(jù)類型（五）財(cái)務(wù)數(shù)據(jù)財(cái)務(wù)數(shù)據(jù)是企業(yè)財(cái)務(wù)狀況和經(jīng)營(yíng)績(jī)效的數(shù)據(jù)，包括財(cái)務(wù)報(bào)表、利潤(rùn)表、資產(chǎn)負(fù)債表、現(xiàn)金流量表等。通過(guò)分析財(cái)務(wù)數(shù)據(jù)，企業(yè)可以評(píng)估經(jīng)營(yíng)狀況、盈利能力和財(cái)務(wù)風(fēng)險(xiǎn)。（六）社交媒體數(shù)據(jù)隨著社交媒體的普及，企業(yè)可以從社交媒體平臺(tái)獲取大量的用戶生成內(nèi)容數(shù)據(jù)，如社交媒體評(píng)論、客戶行為、客戶偏好等。這些數(shù)據(jù)可以用于洞察消費(fèi)者觀點(diǎn)、品牌聲譽(yù)管理和市場(chǎng)反饋。二、常見的商務(wù)數(shù)據(jù)類型（七）流量類數(shù)據(jù)隨著電子商務(wù)的發(fā)展，大多數(shù)企業(yè)都有自己的網(wǎng)站或網(wǎng)店，特別是電子商務(wù)企業(yè)，流量數(shù)據(jù)越來(lái)越得到企業(yè)的重視。企業(yè)通過(guò)分析流量類數(shù)據(jù)，可以挖掘潛在客戶，發(fā)現(xiàn)商機(jī)，并可以進(jìn)行精準(zhǔn)營(yíng)銷。常用的流量類數(shù)據(jù)有以下一些類型：1.PV和UVPV是指網(wǎng)站被瀏覽的總頁(yè)面數(shù)，UV是指通過(guò)互聯(lián)網(wǎng)訪問(wèn)瀏覽頁(yè)面的人數(shù)。二、常見的商務(wù)數(shù)據(jù)類型二、常見的商務(wù)數(shù)據(jù)類型（七）流量類數(shù)據(jù)DV=PV/UV2.訪問(wèn)深度訪問(wèn)深度（DV）也稱平均訪問(wèn)頁(yè)面數(shù)，是指訪客在一次訪問(wèn)網(wǎng)站過(guò)程中瀏覽網(wǎng)站頁(yè)面的總數(shù)，如上圖公司的網(wǎng)站在近7日里訪問(wèn)深度是1.67個(gè)頁(yè)面。二、常見的商務(wù)數(shù)據(jù)類型（七）流量類數(shù)據(jù)3.跳出率跳出率是指來(lái)到網(wǎng)站只瀏覽一個(gè)頁(yè)面便離開網(wǎng)站的訪問(wèn)次數(shù)占該網(wǎng)站總瀏覽訪問(wèn)次數(shù)的比值。跳出率是衡量一個(gè)網(wǎng)站用戶黏度的重要指標(biāo)。一般來(lái)說(shuō)，網(wǎng)站50%的跳出率是一個(gè)中間值，50%左右比較正常適宜，當(dāng)然跳出率越低說(shuō)明網(wǎng)站越有價(jià)值、用戶體驗(yàn)越強(qiáng)。跳出率越高就說(shuō)明該網(wǎng)站對(duì)訪問(wèn)者的吸引力越低，當(dāng)跳出率達(dá)到一定的程度時(shí)，就說(shuō)明網(wǎng)站需要做些優(yōu)化或者頁(yè)面更新。三、商務(wù)數(shù)據(jù)的網(wǎng)絡(luò)來(lái)源（一）政府部門網(wǎng)站政府部門網(wǎng)站主要是指國(guó)家統(tǒng)計(jì)局網(wǎng)站、國(guó)家商務(wù)部網(wǎng)站、各級(jí)政府商務(wù)局及統(tǒng)計(jì)局網(wǎng)站。三、商務(wù)數(shù)據(jù)的網(wǎng)絡(luò)來(lái)源（二）網(wǎng)絡(luò)商務(wù)平臺(tái)1.電子商務(wù)網(wǎng)絡(luò)交易平臺(tái)三、商務(wù)數(shù)據(jù)的網(wǎng)絡(luò)來(lái)源（二）網(wǎng)絡(luò)商務(wù)平臺(tái)1.電子商務(wù)網(wǎng)絡(luò)交易平臺(tái)三、商務(wù)數(shù)據(jù)的網(wǎng)絡(luò)來(lái)源（二）網(wǎng)絡(luò)商務(wù)平臺(tái)1.電子商務(wù)網(wǎng)絡(luò)交易平臺(tái)三、商務(wù)數(shù)據(jù)的網(wǎng)絡(luò)來(lái)源（二）網(wǎng)絡(luò)商務(wù)平臺(tái)2.社交內(nèi)容電商社交內(nèi)容電商分為平臺(tái)和個(gè)人兩類，典型代表有蘑菇街、抖音等。①蘑菇街。蘑菇街是專注于時(shí)尚女性消費(fèi)者的電子商務(wù)網(wǎng)站，為女性消費(fèi)者提供衣服、鞋子、箱包、配飾和美妝等領(lǐng)域的商品。②抖音。抖音是一款可以拍攝短視頻的音樂(lè)創(chuàng)意短視頻社交軟件。用戶可以通過(guò)這款軟件選擇歌曲，拍攝音樂(lè)短視頻，形成自己的作品。社交內(nèi)容電商有兩點(diǎn)優(yōu)勢(shì)：一是社交內(nèi)容電商所面向用戶