數(shù)據(jù)處理的方法

主講教師：范微娜浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院數(shù)據(jù)采集與處理數(shù)據(jù)處理的方法案例導(dǎo)入數(shù)據(jù)集成數(shù)據(jù)變換010203數(shù)據(jù)規(guī)范041、案例導(dǎo)入小明采集到的一份關(guān)于某網(wǎng)站的瀏覽數(shù)據(jù)，但是他發(fā)現(xiàn)該數(shù)據(jù)存在數(shù)據(jù)不一致的情況，請(qǐng)問(wèn)他該如何對(duì)這些數(shù)據(jù)進(jìn)行處理呢？數(shù)據(jù)處理的作用是為了提高數(shù)據(jù)的質(zhì)量以及使用數(shù)據(jù)分析軟件進(jìn)行數(shù)據(jù)分析。2、數(shù)據(jù)集成在企業(yè)中，由于開(kāi)發(fā)時(shí)間或開(kāi)發(fā)部門的不同，往往有多個(gè)異構(gòu)的、運(yùn)行在不同的軟硬件平臺(tái)上的信息系統(tǒng)同時(shí)運(yùn)行，這些系統(tǒng)的數(shù)據(jù)源彼此獨(dú)立、相互封閉，使得數(shù)據(jù)難以在系統(tǒng)之間交流、共享和融合，從而形成了"信息孤島"。隨著信息化應(yīng)用的不斷深入，企業(yè)內(nèi)部、企業(yè)與外部信息交互的需求日益強(qiáng)烈，急切需要對(duì)已有的信息進(jìn)行整合，聯(lián)通“信息孤島”，共享信息。數(shù)據(jù)集成通過(guò)應(yīng)用間的數(shù)據(jù)交換從而達(dá)到集成，主要解決數(shù)據(jù)的分布性和異構(gòu)性的問(wèn)題，其前提是被集成應(yīng)用必須公開(kāi)數(shù)據(jù)結(jié)構(gòu)，即必須公開(kāi)表結(jié)構(gòu)，表間關(guān)系，編碼的含義等3、數(shù)據(jù)變換數(shù)據(jù)變換是數(shù)據(jù)準(zhǔn)備的重要環(huán)節(jié)，它通過(guò)數(shù)據(jù)平滑、數(shù)據(jù)聚集、數(shù)據(jù)概化和規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。常見(jiàn)的變換方法：1）數(shù)據(jù)平滑；2）數(shù)據(jù)聚集；3）數(shù)據(jù)概化；4）數(shù)據(jù)規(guī)范化；5）屬性構(gòu)造4、數(shù)據(jù)規(guī)范①數(shù)據(jù)表由標(biāo)題行(字段)和數(shù)據(jù)部分(記錄)組成；②數(shù)據(jù)表第一行是表的字段名字，不能重復(fù)；③第二行起是數(shù)據(jù)部分，數(shù)據(jù)部分的每一行數(shù)據(jù)稱為一條記錄，并且數(shù)據(jù)部分不允許出現(xiàn)空白行和空白列，數(shù)據(jù)要保持完整性；④一個(gè)單元格只記錄一個(gè)屬性數(shù)據(jù)，切勿復(fù)合記錄，有一說(shuō)一；⑤數(shù)據(jù)表中不能有合并單元格存在；⑥數(shù)據(jù)表需要以一維表的形式存儲(chǔ)。總結(jié)數(shù)據(jù)整理好之后，可以進(jìn)行初始的數(shù)據(jù)加工了。因?yàn)樵紨?shù)據(jù)可能并不符合我們的分析需求，比如：我們想看的是某模塊的數(shù)據(jù)，但原始數(shù)據(jù)是拆成每一個(gè)點(diǎn)擊位的數(shù)據(jù)，我們就需要把每個(gè)點(diǎn)擊位的數(shù)據(jù)進(jìn)行求和等操作，轉(zhuǎn)化成模塊數(shù)據(jù)。還有一些常見(jiàn)的情況是利用標(biāo)準(zhǔn)的行業(yè)計(jì)算公式，將某幾個(gè)指標(biāo)進(jìn)行數(shù)理計(jì)算得到另一個(gè)指標(biāo)，如單UV價(jià)值=GMV/頁(yè)面UV、訂單轉(zhuǎn)化率=引入訂單數(shù)/頁(yè)面UV、人均點(diǎn)擊次數(shù)=點(diǎn)擊PV/點(diǎn)