火車頭采集器介紹與使用流程說明_第1頁
火車頭采集器介紹與使用流程說明_第2頁
火車頭采集器介紹與使用流程說明_第3頁
火車頭采集器介紹與使用流程說明_第4頁
火車頭采集器介紹與使用流程說明_第5頁
已閱讀5頁，還剩23頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領(lǐng)

文檔簡介

火車頭采集器介紹與使用流程說明第一頁，共28頁。目錄一、軟件介紹二、創(chuàng)建任務(wù)三、采集網(wǎng)址四、采集內(nèi)容五、字段處理第二頁，共28頁。一、軟件介紹《火車采集器》能為您做些什么呢？

1、網(wǎng)站內(nèi)容維護：可以定時采集新聞、文章等任何您想采集的內(nèi)容，并自動發(fā)布到您的網(wǎng)站。

2、Internet數(shù)據(jù)挖掘：可以從指定網(wǎng)站抓取所需數(shù)據(jù)，通過分析和處理后保存到您的數(shù)據(jù)庫。

3、網(wǎng)絡(luò)信息監(jiān)控：通過自動采集，可以監(jiān)控論壇等社區(qū)類網(wǎng)站，讓您第一時間發(fā)現(xiàn)您所關(guān)注的內(nèi)容。

4、文件批量下載：可以批量下載PDF、RAR、圖片等各種文件，并同時采集其相關(guān)信息。

火車采集器是目前信息采集與信息挖掘處理類軟件中最流行、性價比最高、使用人數(shù)最多、市場占有率最大、使用周期最長的智能采集程序。第三頁，共28頁。一、軟件介紹火車采集器數(shù)據(jù)發(fā)布原理：在我們將數(shù)據(jù)采集下來后數(shù)據(jù)默認是保存在本地的，我們可以使用以下幾種方式對種據(jù)進行處理。１.不做任何處理。因為數(shù)據(jù)本身是保存在數(shù)據(jù)庫的（access或是db3）,您如果只是想看一下，直接用相關(guān)軟件查看就可以了。２.web發(fā)布到網(wǎng)站。程序會模仿瀏覽器向您的網(wǎng)站發(fā)送數(shù)據(jù)，可以實現(xiàn)您手工發(fā)布的效果。３.直接入數(shù)據(jù)庫。您只需寫幾個SQL語句，程序會將數(shù)據(jù)按您的SQL語句導(dǎo)入到數(shù)據(jù)庫中。４.保存為本地文件。程序會讀取數(shù)據(jù)庫里的數(shù)據(jù)，按一定格式保存為本地sql或是文本文件。第四頁，共28頁。二、創(chuàng)建任務(wù)打開火車頭軟件，界面如下：第五頁，共28頁。二、創(chuàng)建任務(wù)1.新建分組填寫分組名稱第六頁，共28頁。二、創(chuàng)建任務(wù)2.新建任務(wù)填寫任務(wù)名稱添加采集網(wǎng)址第七頁，共28頁。三、采集網(wǎng)址點擊“添加”按鈕出現(xiàn)如下界面第八頁，共28頁。三、采集網(wǎng)址切換至“批量/多頁”選項卡，可以批量添加網(wǎng)址

網(wǎng)址通用序號用通配符(*)替換這添加方式主要用來處理分頁網(wǎng)址第九頁，共28頁。三、采集網(wǎng)址切換至“其他網(wǎng)址格式”選項卡，也可以批量添加網(wǎng)址

網(wǎng)址通用序號用通配符(*)替換這添加方式主要用來處理含有日期的網(wǎng)址

日期格式第十頁，共28頁。三、采集網(wǎng)址多級網(wǎng)址采集點擊‘添加’按鈕

網(wǎng)址過濾條件第十一頁，共28頁。三、采集網(wǎng)址手動采集配置鏈接地址規(guī)則：手動連接格式是將需要的網(wǎng)址用參數(shù)來獲得并組合成我們需要的網(wǎng)址。這個好處是處理網(wǎng)址那塊有規(guī)律的網(wǎng)址很好處理。而且可以用這方法采集需要的字段，如：公告新聞類的標題、日期等。點擊單選按鈕來切換配置網(wǎng)址采集規(guī)則第十二頁，共28頁。三、采集網(wǎng)址點擊完成之后，則出現(xiàn)如下情況：完成采集網(wǎng)址步驟之后，點擊“測試網(wǎng)址采集”按鈕。會出現(xiàn)如下界面：采集網(wǎng)址規(guī)則展示配置網(wǎng)址采集規(guī)則網(wǎng)址全部采集完成后，可以雙擊網(wǎng)址進行內(nèi)容采集；如需修改則點擊“返回修改設(shè)置”第十三頁，共28頁。四、采集內(nèi)容雙擊網(wǎng)址或者點擊‘測試該頁’就能跳轉(zhuǎn)到采集內(nèi)容界面在典型頁面中會出現(xiàn)剛才選中的網(wǎng)址，這里就是測試采集內(nèi)容。左邊的標簽名下面有：出處、時間、作者、內(nèi)容、標題五個初始標簽，可以對標簽進行添加、刪除和編輯等操作。第十四頁，共28頁。四、采集內(nèi)容編輯字段規(guī)則以深交所的為例：現(xiàn)在要提取標題，日期和信息內(nèi)容。第十五頁，共28頁。四、采集內(nèi)容打開

頁面并查看該頁的HTML源代碼。在源代碼中可以找到頁面中的標題部分，如圖：復(fù)制這段代碼以及前后的相關(guān)html代碼，將標題內(nèi)容設(shè)為”參數(shù)”之后，通過正則匹配的方式獲?。喝鐖D：匹配規(guī)則測試效果情況第十六頁，共28頁。四、采集內(nèi)容同樣可以用這類似的方式來采集信息內(nèi)容：還是先通過內(nèi)容附近的關(guān)鍵字段：采集效果：

前后匹配字符串第十七頁，共28頁。四、采集內(nèi)容通過之前的方式采集可以看到內(nèi)容包含了很多的html標簽，這些并不是所需要的，因此需對其進行處理。在數(shù)據(jù)處理項點擊添加，選中html標簽過濾：點擊‘全選’再按‘確定’即可。處理之后的效果第十八頁，共28頁。四、采集內(nèi)容備注：前后字符串截取與正則提取是火車頭最基本、最常用的兩種采集方式，其原理就是通過網(wǎng)頁源代碼中的前后關(guān)鍵字來獲取所要采集的內(nèi)容，通常這類前后的關(guān)鍵字在網(wǎng)頁源代碼中具有一定的唯一性。第十九頁，共28頁。五、字段處理火車頭采集器除了有最基本的采集截取之外，還有大量的對數(shù)據(jù)自動作特殊處理的功能。內(nèi)容替換：內(nèi)容替換功能是將采集后的字段中的一些內(nèi)容替換成需要的格式，如有時采到的日期為xxxx年xx月xx日，而我們需要xxxx-xx-xx的格式，就可以采取這個功能。第二十頁，共28頁。五、字段處理網(wǎng)頁編碼設(shè)定：每個網(wǎng)站都有一個相對應(yīng)的編碼：如UTF-8。如果選錯編碼，則采集出來的數(shù)據(jù)就會呈現(xiàn)一種亂碼格式。大多數(shù)的網(wǎng)頁編碼火車頭都可以自動識別，如不能則需要手動指定一個編碼格式。（網(wǎng)頁對應(yīng)的編碼格式通常會在源代碼的<head>里）第二十一頁，共28頁。五、字段處理循環(huán)采集處理循環(huán)采集就是在一個頁面中用相同的采集方式獲取字段：

以為例：如果要獲取深交所法規(guī)的所有標題字段。配置采集規(guī)則后，只需勾選在“該標簽循環(huán)匹配”即可。選中即可第二十二頁，共28頁。五、字段處理采集記錄篩選有時有些記錄不需要怎么辦？火車采集器的記錄篩選功能可以完成這個工作。火車采集器記錄篩選有以下幾個處理方法：選中“內(nèi)容過濾”就可對數(shù)據(jù)進行相關(guān)的過濾，如不得為空、不得重復(fù)等。第二十三頁，共28頁。標簽組合有時我們會需要取幾個字段來做數(shù)據(jù)的唯一性判斷時就會用到標簽組合采集。注：標簽組合時需注意標簽的前后順序，組合后的標簽必須在最下面不然就會報錯。五、字段處理第二十四頁，共28頁。文件下載功能火車頭采集還提供了一個下載附件的功能，同樣以為例：配置完采集規(guī)則之后，需將網(wǎng)址補全，因為大多網(wǎng)頁源代碼中都是相對路徑。操作如下：點擊添加，選中“補全單網(wǎng)址”，之后點擊文件下載，勾選“探測文件并下載”即可。五、字段處理附件下載情況第二十五頁，共28頁。五、字段處理附件下載配置好之后，還需給個文件存放路徑及文件保存格式。通常保存格式為原文件名或自增長

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論