火車頭采集步驟和數(shù)據(jù)導出詳解PPT

1、火車頭采集 1、什么是采集源？、什么是采集源？ 2、認識火車頭采集工具、認識火車頭采集工具 3、火車頭采集工具的使用方法、火車頭采集工具的使用方法 4、數(shù)據(jù)導出與處理、數(shù)據(jù)導出與處理一些網(wǎng)站有大量的文章、圖片、郵箱等信息，對我們來說是一種資源，我們可以利用工具將這些資源采集回來，為我們所用。這樣的網(wǎng)站，就是采集源。1、采集的目標頁面，不需要登錄即可訪問；2、采集的內(nèi)容列表頁面url跟隨一定的規(guī)律改變；3、該網(wǎng)站不屏蔽不干擾采集器的工作?；疖嚥杉?，是目前使用人數(shù)最多的互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘軟件。軟件憑借其靈活 的配置與強大的性能領先國內(nèi)數(shù)據(jù)采集類產(chǎn)品。使用火車采集器，你可以建立一個擁

2、有龐大內(nèi)容的網(wǎng)站。火車采集器如何去抓取數(shù)據(jù)，取決于您的規(guī)則。要獲取內(nèi)容頁的內(nèi)容，首先需要先將這個網(wǎng)頁的網(wǎng)址采下來，這就是采網(wǎng)址。程序按規(guī)則抓取列表頁里的內(nèi)容頁url。再根據(jù)您的采集規(guī)則，將，將標題內(nèi)容等信息分離開來并保存下來。如果選擇了下載圖片，程序會對采集到的數(shù)據(jù)進行分析，找出圖片的下載地址并將圖片下載到本地。3.1 打開火車頭工具，單擊左側(cè)空白處，根據(jù)需要新建分組3.2 右擊剛才建立好的分組，新建采集任務，并填寫好任務名稱3.3 填寫批量采集網(wǎng)址規(guī)則，注意先分析目標列表頁url規(guī)則3.4 設置“多級網(wǎng)址獲取”規(guī)則3.4 設置“多級網(wǎng)址獲取”規(guī)則，并測試設置好的規(guī)則是否生效3.5 校驗設置好

3、的規(guī)則是否生效，如果生效，則返回修改設置；如果得到的結(jié)果不正確，也需要返回修改設置（重新分析采集范圍是否正確，一直校驗到是我們需要的結(jié)果）3.6 返回修改采集的項數(shù)，并且記得點擊“添加”和“完成”3.7 進入到第二步“采集內(nèi)容規(guī)則”采集文章的標題采集文章的標題，選中“標題”，點擊左側(cè)的修改，選擇“前后截取”，將文章標題的html區(qū)域填寫完整，右側(cè)“典型頁面”填寫一條內(nèi)容頁url，以供隨時測試。3.8 采集文章的“摘要”3.9 采集文章的“標簽”3.10 采集文章的“內(nèi)容”填寫內(nèi)容所在區(qū)間的html標簽，添加數(shù)據(jù)處理，勾選“下載圖片”并填寫文件保存目錄和格式，最后點擊確定。3.11 保存設置好的

4、采集任務3.12 開始采集任務我們會看到，右側(cè)任務運行的狀況，一切正常4、數(shù)據(jù)導出與處理采集到的數(shù)據(jù)，需要用Accesss軟件才能處理，因此，如果我們的電腦沒有這個軟件，則需要先安裝Access軟件。4.1、安裝Access4.2、選中已經(jīng)采集完成的任務，并右擊出現(xiàn)下拉菜單后，打開Data下任務文件夾，出現(xiàn)第二個截圖以.mdb擴展名的文件。4.3、雙擊打開.mdb擴展名的文件，此時由于已經(jīng)安裝了Access，辦公軟件已經(jīng)能正確識別.mdb文件，打開結(jié)果如下：4.4、已經(jīng)能用Excel打開采集到的文章內(nèi)容之后，就可以利用Excel對數(shù)據(jù)進行批量處理，比如批量添加文章的發(fā)布時間、批量替換文字、批量修改圖片路徑等等。比如：在Excel表格里，按Ctrl+F，出現(xiàn)的對話框中選擇“替換”，填寫好需要替換的文字，即可對采集到的內(nèi)容進行批量替換文字。4.1、安裝Access選中Excel表格的“內(nèi)容”列，用查找功能，將圖片路徑“1