《各平臺(tái)數(shù)據(jù)采集及方法》課件-企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)采集

企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)采集企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集

本實(shí)例采集網(wǎng)站為“蘇寧易購(gòu)”手機(jī)列表頁(yè)，篩選標(biāo)題中包含“免息”兩個(gè)字的內(nèi)容并單擊，進(jìn)入詳情頁(yè)后采集標(biāo)題、價(jià)格、評(píng)價(jià)人、評(píng)價(jià)內(nèi)容、來自客戶端、評(píng)價(jià)時(shí)間、有用數(shù)、回復(fù)數(shù)等信息。步驟1：新建自定義采集任務(wù)

翻頁(yè)設(shè)置。在自定義采集模式下的瀏覽器窗口中對(duì)網(wǎng)頁(yè)進(jìn)行翻頁(yè)操作，直至出現(xiàn)“下一頁(yè)”按鈕，單擊該按鈕，在“操作提示”面板中單擊“循環(huán)點(diǎn)擊單個(gè)鏈接”選項(xiàng)，如圖所示。對(duì)網(wǎng)頁(yè)進(jìn)行翻頁(yè)操作過程中，系統(tǒng)會(huì)自動(dòng)設(shè)置“Ajax超時(shí)”選項(xiàng)。步驟2：輸入實(shí)例網(wǎng)址并保存網(wǎng)址步驟3企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟4

滾動(dòng)頁(yè)面設(shè)置。此時(shí)，發(fā)現(xiàn)蘇寧列表詳情頁(yè)后續(xù)商品必須翻到指定位置后才會(huì)進(jìn)行加載，需要設(shè)置滾動(dòng)頁(yè)面。任務(wù)中，需設(shè)置滾動(dòng)翻頁(yè)的步驟有兩處，分別為“打開網(wǎng)頁(yè)”和“點(diǎn)擊翻頁(yè)”操作?！按蜷_網(wǎng)頁(yè)”步驟設(shè)置“滾動(dòng)頁(yè)面”是為了讓網(wǎng)頁(yè)打開完成后滾動(dòng)到下方加載完第一頁(yè)所有數(shù)據(jù)，“點(diǎn)擊翻頁(yè)”步驟設(shè)置“滾動(dòng)頁(yè)面”是為了讓第一頁(yè)以后的每一頁(yè)都可以把數(shù)據(jù)加載完。具體操作方法是，選擇“點(diǎn)擊翻頁(yè)”模塊后會(huì)有虛框包圍，在設(shè)置界面中選中“滾動(dòng)頁(yè)面”右側(cè)的“頁(yè)面加載完成后向下滾動(dòng)”復(fù)選框，根據(jù)該網(wǎng)頁(yè)加載方式設(shè)置“滾動(dòng)次數(shù)”為5次，“每次間隔”為1秒，“滾動(dòng)方式”為“直接滾動(dòng)到底部”。注意該任務(wù)的“打開網(wǎng)頁(yè)”模塊及“要點(diǎn)擊的元素”下的“自動(dòng)重試”需取消勾選，因?yàn)樵摼W(wǎng)頁(yè)使用Ajax加載方式，Ajax加載方式和自動(dòng)重試不要同時(shí)選擇。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟5

詳情頁(yè)設(shè)置。單擊進(jìn)入詳情頁(yè)設(shè)置界面，在瀏覽器窗口中確定商品全部加載完，連續(xù)單擊兩個(gè)商品標(biāo)題，確定所有標(biāo)題均被選中，單擊“操作提示”面板中的“循環(huán)點(diǎn)擊每個(gè)鏈接”選項(xiàng)，可在流程圖中出現(xiàn)循環(huán)框和“點(diǎn)擊元素”模塊。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟6

篩選包含“免息”字樣標(biāo)題。該步驟需要使用判斷條件功能，從工具欄中拖動(dòng)“判斷條件”至循環(huán)框中的“點(diǎn)擊元素”模塊內(nèi)，判斷條件篩選設(shè)置如圖所示。將“點(diǎn)擊元素”模塊拖至左側(cè)的“條件分支”中，并在右側(cè)選擇“當(dāng)前循環(huán)項(xiàng)包含文本”單選項(xiàng)，在“包含文本”輸入框中輸入“免息”。該步驟實(shí)現(xiàn)對(duì)每個(gè)標(biāo)題進(jìn)行判斷，只有包含“免息”文字的標(biāo)題才會(huì)打開詳情頁(yè)。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟7

加載評(píng)價(jià)內(nèi)容。單擊詳情頁(yè)中的“評(píng)價(jià)”選項(xiàng)后，單擊“操作提示”面板中的“點(diǎn)擊該鏈接”選項(xiàng)，在上方的流程圖中生成“點(diǎn)擊元素”模塊，如圖所示，并已自動(dòng)設(shè)置Ajax加載。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟8

評(píng)價(jià)翻頁(yè)。翻動(dòng)瀏覽器窗口，找到評(píng)價(jià)翻頁(yè)內(nèi)容，單擊“下一頁(yè)”按鈕，在“操作提示”面板中單擊“循環(huán)點(diǎn)擊下一頁(yè)”選項(xiàng)，流程圖中生成“循環(huán)翻頁(yè)”模塊，修改“Ajax超時(shí)”的時(shí)間為2秒，如圖所示，作用是加載所有評(píng)價(jià)。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟9

循環(huán)提取字段。選擇兩條評(píng)價(jià)內(nèi)容，系統(tǒng)會(huì)自動(dòng)選擇該頁(yè)的所有評(píng)價(jià)，單擊“操作提示”面板中的“采集以下元素文本”選項(xiàng)，刪除生成的“提取數(shù)據(jù)”模塊中的字段，添加標(biāo)題、價(jià)格、評(píng)價(jià)人、評(píng)價(jià)內(nèi)容、來自客戶端、評(píng)價(jià)時(shí)間、有用數(shù)、回復(fù)數(shù)及頁(yè)面網(wǎng)址字段，添加方式為將鼠標(biāo)指針移動(dòng)到所需內(nèi)容，待內(nèi)容變藍(lán)后單擊，選擇“采集該元素的文本”選項(xiàng)即可。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟9

注意該步驟需要選擇當(dāng)前評(píng)價(jià)內(nèi)容，當(dāng)前評(píng)價(jià)內(nèi)容會(huì)以紅線邊框包圍，如圖所示，需要在紅線邊框內(nèi)容里選擇提取字段。如果希望調(diào)整紅線邊框的位置，可在循環(huán)提取中選擇對(duì)應(yīng)內(nèi)容后，單擊“提取數(shù)據(jù)”模塊，即可改變紅線邊框的位置。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟10

格式化數(shù)據(jù)。格式化數(shù)據(jù)的目的是將提取內(nèi)容中無用的部分去除，包括來自客戶端字段的“來自：”、有用數(shù)以及回復(fù)數(shù)的“（）”。格式化數(shù)據(jù)的操作方式如圖所示。選中需要格式化的字段，單擊下方的“自定義數(shù)據(jù)字段”按鈕，在彈出的界面中選擇“格式化數(shù)據(jù)”選項(xiàng)，進(jìn)入格式化界面，單擊“添加步驟”按鈕，在打開的“請(qǐng)選擇一個(gè)操作”對(duì)話框中選擇“替換”或“正則表達(dá)式替換”選項(xiàng)，將“來自：”“（”“）”替換為空，即進(jìn)行刪除。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟11

開始采集。單擊左上方的“開始采集”按鈕，在彈出的“運(yùn)行任務(wù)”對(duì)話框中單擊“啟動(dòng)本地采集”按鈕進(jìn)行采集。企業(yè)產(chǎn)品相關(guān)評(píng)價(jià)的采集步驟12

數(shù)據(jù)導(dǎo)出。采集完成后單擊下方的“導(dǎo)出數(shù)據(jù)”按鈕，在彈出的