網(wǎng)絡(luò)爬蟲系統(tǒng)項目建設(shè)方案

3.2.23.2.2平臺截圖-11-目錄TOC\o"1-5"\h\z1.對項目的理解-6-背景-6-1.2業(yè)務(wù)目標錯誤!未定義書簽。應(yīng)用感知目標-6-2.系統(tǒng)整體架構(gòu)-7-技術(shù)框架-7-數(shù)據(jù)架構(gòu)-7-功能模塊-8-功能模塊-9-應(yīng)用部署架構(gòu)-10-3.詳細建設(shè)方案-11-一站式大數(shù)據(jù)采集、存儲、清洗、訓(xùn)練、導(dǎo)出-11-多租戶管理-11-功能說明-11-豐富的數(shù)據(jù)接口-11-平臺高可用性-11-抓取高效性-12-高可擴展性-12-可視化爬蟲界面-12-抓取過程-12-硬件配置方案-13-主機、存儲資源-13-軟件資源-14-資源估算-14-存儲-14-CPU與內(nèi)存.-15-4.系統(tǒng)安全與系統(tǒng)測試錯誤!未定義書簽4.1系統(tǒng)管理以及系統(tǒng)安全措施錯誤!未定義書簽。4.2系統(tǒng)測試的方法和環(huán)境錯誤!未定義書簽。工程進度安排及項目實施人員資質(zhì)錯誤!未定義書簽。5.1工程進度安排錯誤!未定義書簽。5.2項目支撐人員組成表錯誤!未定義書簽。5.3支撐人員相關(guān)證明材料錯誤!未定義書簽。楊繼營（項目負責(zé)人）錯...誤!未定義書簽。李筠錯誤.!未定義書簽。鄒娟錯誤.!未定義書簽。邱文川錯...誤.!未定義書簽。唐亮錯誤.!未定義書簽。趙柏杰錯...誤.!未定義書簽。劉子悅錯...誤.!未定義書簽。曹平錯誤.!未定義書簽。陳漢雄錯...誤.!未定義書簽。陳一錯...誤.!未定義書簽。付敏健錯...誤.!未定義書簽。5.3.12張福元錯...誤.!未定義書簽。5.3.13何州鵬錯...誤.!未定義書簽。5.3.14黃華金錯...誤.!未定義書簽。5.3.15黃習(xí)文錯...誤.!未定義書簽。5.3.16李佳錯...誤.!未定義書簽。5.3.17李威虎錯...誤.!未定義書簽。5.3.18劉起云錯...誤.!未定義書簽。5.3.19冼錫勇錯...誤.!未定義書簽。5.3.20楊鋒錯...誤.!未定義書簽。5.3.21鄒興錯...誤.!未定義書簽。售后服務(wù)及質(zhì)量保證措施、技術(shù)支持和保修等錯誤!未定義書簽6.1培訓(xùn)錯誤!未定義書簽。6.2維護與升級錯誤!未定義書簽。6.3質(zhì)量保證期內(nèi)的服務(wù)錯誤!未定義書簽。6.4壽命期內(nèi)維修服務(wù)錯誤!未定義書簽。10.10.相關(guān)案例錯誤!未定義書簽。7.7.人員培訓(xùn)計劃、安排錯誤!未定義書簽。輔助故障定位服務(wù)輔助故障定位服務(wù)錯誤!未定義書簽8.18.28.38.48.59.19.29.39.49.59.69.79.88.分工界面及工作內(nèi)容8.分工界面及工作內(nèi)容錯誤!未定義書簽。技術(shù)支持錯誤!未定義書簽培訓(xùn)推廣錯誤!未定義書簽。錯誤!錯誤!未定義書簽。錯誤!未定義書簽。錯誤!未定義書簽。...錯誤!未定義書簽售中階段的配合服務(wù)售后階段的配合服務(wù)9.技術(shù)承諾知識產(chǎn)權(quán)錯誤!未定義書簽安全方案錯誤!未定義書簽電話技術(shù)支持服務(wù)錯誤!未定義書簽版本管理和軟件補丁服務(wù)錯誤!未定義書簽技術(shù)資料服務(wù)錯誤!未定義書簽重要通訊保障服務(wù)錯誤!未定義書簽應(yīng)急方案設(shè)計與預(yù)演服務(wù)錯誤!未定義書簽

對項目的理解1.1背景卩持續(xù)推進企業(yè)信息化的全面深化改革，深入公司管理層、分公司及一線收集問題和需求，圍繞“快、準、簡、穩(wěn)、智”五個標準，貫徹“零不爽”IT運營服務(wù)理念，提出了大數(shù)據(jù)應(yīng)用建設(shè)內(nèi)容，承接集團全網(wǎng)集約營銷活動，提升本地精準營銷服務(wù)，開展大數(shù)據(jù)合作運營分析，提升財務(wù)、業(yè)務(wù)價值、人力和光網(wǎng)的精確管理能力，優(yōu)化領(lǐng)導(dǎo)視窗，建立網(wǎng)運綜合評價體系，建設(shè)爬蟲能力，實現(xiàn)智慧化運營應(yīng)用感知目標爬蟲頁面響應(yīng)及內(nèi)容加載在5秒內(nèi)，內(nèi)容展示響應(yīng)速度時間小于5秒。爬蟲配置，系統(tǒng)維護功能簡單易用，80%用戶可以在經(jīng)過簡單培訓(xùn)后結(jié)合使用手冊，完成爬蟲的開發(fā)和平臺的維護。爬蟲平均宕機運行時間＜10小時/月。平均故障恢復(fù)時間＜180分鐘/次。爬蟲可以自動根據(jù)爬蟲節(jié)點的負載進行負載均衡處理，同時當爬蟲出現(xiàn)不可恢復(fù)的錯誤時，可以智能的選擇其他節(jié)點進行重新運行，保證爬蟲任務(wù)可以正確完成作為標示被索引，同時建立一個對網(wǎng)頁內(nèi)容的作為標示被索引，同時建立一個對網(wǎng)頁內(nèi)容的MD5哈希簽名。跟網(wǎng)頁相關(guān)的其它系統(tǒng)整體架構(gòu)2.1技術(shù)框架卩分布式爬蟲框架采用Nutch。Nutch是一個開源Java實現(xiàn)的搜索引擎，它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。Nutch基于Lucene，類似Google的完整網(wǎng)絡(luò)搜索引擎解決方案，基于Hadoop的分布式處理模型保證了系統(tǒng)的性能，插件機制保證了系統(tǒng)的可客戶化，而且很容易集成到自己的應(yīng)用之中?？傮w上Nutch可以分為兩部分：抓取部分和搜索部分。抓取程序抓取頁面并把抓取回來的數(shù)據(jù)做成反向索引，搜索程序則對反向索引搜索回答用戶的請求。抓取程序和搜索程序的接口是索引，兩者都使用索引中的字段。抓取程序和搜索程序可以分別位于不同的機器上。2.2數(shù)據(jù)架構(gòu)卩抓取程序是被Nutch的抓取工具驅(qū)動的。這是一組工具，用來建立和維護幾個不同的數(shù)據(jù)結(jié)構(gòu)：webdatabase、segments、theindex三種不同的數(shù)據(jù)結(jié)構(gòu)：Thewebdatabase（簡稱WebDB）：這是一個特殊存儲數(shù)據(jù)結(jié)構(gòu)，用來映像被抓取網(wǎng)站數(shù)據(jù)的結(jié)構(gòu)和屬性的集合。WebDB用來存儲從抓取開始（包括重新抓?。┑乃芯W(wǎng)站結(jié)構(gòu)數(shù)據(jù)和屬性。WebDB只是被抓取程序使用，搜索程序并不使用它。WebDB存儲兩種實體：頁面和鏈接。頁面表示網(wǎng)絡(luò)上的一個網(wǎng)頁，這個網(wǎng)頁的URL內(nèi)容也被存儲，包括：頁面中的鏈接數(shù)量（外鏈接），頁面抓取信息（在頁面被重復(fù)抓取的情況下），還有表示頁面級別的分數(shù)。鏈接表示從一個網(wǎng)頁的鏈接到其它網(wǎng)頁的鏈接。因此WebDB可以說是一個網(wǎng)絡(luò)圖，節(jié)點是頁面，鏈接是邊；Segment：這是網(wǎng)頁的集合，并且它被索引。Segment的Fetchlist是抓取程序使用的URL列表，它是從WebDB中生成的。Fetcher的輸出數(shù)據(jù)是從Fetchlist中抓取的網(wǎng)頁。Fetcher的輸出數(shù)據(jù)先被反向索引，然后索引后的結(jié)果被存儲在segment中。Segment的生命周期是有限制的，當下一輪抓取開始后它就沒有用了。因此刪除超過指定時間期限的segment是可以的。而且也可以節(jié)省不少磁盤空間。Segment的命名是日期加時間，反應(yīng)出相應(yīng)的存活周期；Theindex:索引庫是反向索引所有系統(tǒng)中被抓取的頁面，它并不直接從頁面反向索引產(chǎn)生，而是合并很多小的segmen啲索引產(chǎn)生的。Nutch使用Lucene來建立索引，因此所有Lucene相關(guān)的工具API都用來建立索引庫。需要說明的是Lucene的segment的概念和Nutch的segment概念是完全不同的。Lucene的segment是Lucene索引庫的一部分，而Nutch的Segment是WebDB中被抓取和索引的一部分。2.3功能模塊口爬蟲平臺分精爬與通爬兩大功能模塊，以滿足不同租戶的數(shù)據(jù)采集需求，多租戶的系統(tǒng)功能邏輯如下1、精爬租戶登陸云爬蟲管理平臺，在線編輯爬蟲腳本，云爬蟲系統(tǒng)按計劃編寫的腳本規(guī)則爬取相應(yīng)頁面的指定部分（比如具體評論列表），并存入大數(shù)據(jù)平臺、建立全文索引。2、通爬調(diào)用方調(diào)用由云爬蟲系統(tǒng)提供的通爬接口，云爬蟲系統(tǒng)實時根據(jù)策略（代理IP等）爬取結(jié)果返回調(diào)用方，并存入Hadoop平臺、建立全文索引。功能模塊爬蟲平臺的物理架構(gòu)如下，按層次劃分，主要分為接入層、采集層和持久層，如下圖所示：1、接入層接入層包含Web與接口。Web主機負責(zé)負載均衡分配任務(wù)，以及展示任務(wù)列表。在Web頁面上，租戶可以根據(jù)需要創(chuàng)建新的爬取任務(wù)。對于創(chuàng)建成功的爬取任務(wù)，可以通過Web頁面查看其基本信息。RESTAPI則負責(zé)對外提供爬蟲能力接口。2、采集層采集層包含爬蟲主機與消息隊列主機。爬蟲主機負責(zé)接收Web主機分配的任務(wù)，包括抓取網(wǎng)頁并返回內(nèi)容、對抓取的內(nèi)容進行解析和結(jié)構(gòu)化，以及將結(jié)構(gòu)化的結(jié)果進行持久化。Redis作為消息隊列，負責(zé)進行任務(wù)的分發(fā)。3、持久層通常網(wǎng)絡(luò)爬蟲抓取的數(shù)據(jù)量非常大，而存儲大量的數(shù)據(jù)需要較大的存儲空間，因此持久層采用了中國移動蘇州研發(fā)中心自研的Hadoop平臺產(chǎn)品。2.5應(yīng)用部署架構(gòu)D爬蟲平臺的應(yīng)用部署架構(gòu)如下，主要分為Web服務(wù)域和采集服務(wù)域。1、Web服務(wù)域提供給租戶用來編寫調(diào)試爬蟲腳本，安裝了WebUI、Scheduler等組件。2、采集服務(wù)域用來進行數(shù)據(jù)采集和結(jié)果返回，各Spider節(jié)點安裝了Fetcher、Processor、Result_Worker、RestAPI、Selenium、PhantomJS等組件。詳細建設(shè)方案一站式大數(shù)據(jù)采集、存儲、清洗、訓(xùn)練、導(dǎo)出從數(shù)據(jù)獲取到處理、輸出全站打通的，以一鍵自動發(fā)布到數(shù)據(jù)庫/網(wǎng)站/微信公眾號/郵箱等、導(dǎo)出到本地文件、或通過Webhook/GraphQL獲取數(shù)據(jù)。多租戶管理3.2.1功能說明云爬蟲和互聯(lián)網(wǎng)數(shù)據(jù)存儲分析平臺PaaS化，實現(xiàn)了多租戶和租戶間的資源隔離能力。平臺截圖豐富的數(shù)據(jù)接口擴展了多種數(shù)據(jù)接口的讀寫能力，如關(guān)系型數(shù)據(jù)庫Oracle、非關(guān)系型HBase、HDFS文件、ES以及流式消息接口Kafka,以此來支持如精爬、通爬等不同的業(yè)務(wù)需求。平臺高可用性云爬蟲平臺的所有爬取節(jié)點和數(shù)據(jù)存儲分析節(jié)點均勻的分布在多臺物理節(jié)點上，單臺機器的宕機不會引起整個爬取進程的中斷，這種分布式架構(gòu)提升了系統(tǒng)整體的健壯性。抓取高效性單機模式下的網(wǎng)絡(luò)爬蟲效率不高，不能滿足大規(guī)模的抓取任務(wù)需求，云爬蟲平臺為爬蟲租戶分配多個爬取節(jié)點，通過讀取共享任務(wù)池來共同執(zhí)行抓取任務(wù)，每個爬取節(jié)點都可以看成是一個單機的網(wǎng)絡(luò)爬蟲，能大幅度的提高頁面的抓取效率。高可擴展性支持靜態(tài)爬取和動態(tài)渲染的主流網(wǎng)站數(shù)據(jù)爬取，如天貓、京東、大眾點評、豆瓣等，能夠根據(jù)當前爬蟲任務(wù)量動態(tài)地調(diào)節(jié)爬蟲節(jié)點數(shù)量，比起傳統(tǒng)爬蟲方式靈活性更強。同時，租戶在編寫腳本時自定義程度高，允許租戶根據(jù)不同的爬取需求自定義爬取范圍?？梢暬老x界面云爬蟲平臺為爬蟲租戶提供了一個可視化頁面來編輯調(diào)試爬蟲腳本，平臺支持靜態(tài)和動態(tài)渲染的主流網(wǎng)站爬取，同時能根據(jù)業(yè)務(wù)緊急程度動態(tài)調(diào)整各爬蟲任務(wù)的優(yōu)先級，并提供了一個爬取數(shù)據(jù)結(jié)果的頁面導(dǎo)出功能，方便樣例數(shù)據(jù)查看，系統(tǒng)頁面如下圖所示：抓取過程抓取是一個循環(huán)的過程，抓取工具從WebDB中生成了一個Fetchlist集合；抽取工具根據(jù)Fetchlist從網(wǎng)絡(luò)上下載網(wǎng)頁內(nèi)容；工具程序根據(jù)抽取工具發(fā)現(xiàn)的新鏈接更新WebDB，然后再生成新的Fetchlist，周而復(fù)始。這個抓取循環(huán)在Nutch中經(jīng)常指：generate/fetch/update循環(huán)般來說同一域名下的URL鏈接會被合成到同一個Fetchlist。這樣做的考慮是：當同時使用多個工具抓取的時候，不會產(chǎn)生重復(fù)抓取的現(xiàn)象。Nutch遵循RobotsExclusionProtocol,可以用robots.txt定義保護私有網(wǎng)頁數(shù)據(jù)不被抓去。上面這個抓取工具的組合是Nutch的最外層的，也可以直接使用更底層的工具，自己組合這些底層工具的執(zhí)行順序達到同樣的結(jié)果。這是Nutch的優(yōu)勢。具體工作過程如下：創(chuàng)建一個新的WebDB(admindb-create)；把開始抓取的跟URL放入WebDb(inject)；從WebDb的新segment中生成Fetchlist(generate)；根據(jù)Fetchlist列表抓取網(wǎng)頁的內(nèi)容(fetch)；根據(jù)抓取回來的網(wǎng)頁鏈接URL更新WebDB(updatedb)；重復(fù)上面c-e步驟直到到達指定的抓取層數(shù)；3.9硬件配置方案卩3.9.1主機、存儲資源本項目硬件配置包括數(shù)據(jù)庫服務(wù)器2臺、應(yīng)用服務(wù)器2臺，具體配置如下；主機名稱CPU（個）內(nèi)存(G)存儲(G)操作系統(tǒng)描述

HR-APP-A4850RedHat6.5應(yīng)用主機，需要女裝Tomcat7.0.73和JDK1.7HR-APP-B4850RedHat應(yīng)用主機，需要女裝6.5Tomcat7.0.73和JDK1.7HR-DB-A16323515oracle數(shù)據(jù)庫主機，利舊HR-DB-B1632oracle數(shù)據(jù)庫主機，利舊軟件資源1）數(shù)據(jù)庫：Oracle11g2）操作系統(tǒng):RedHat6.53）應(yīng)用服務(wù)器:Tomcat7.0.73、JDK1.74）WEB服務(wù)器：Ngnx1.10.3（公用）3.10資源估算3.10.1存儲主機存儲（G）估算依據(jù)HR-APP-A32門戶與應(yīng)用腳本1G

系統(tǒng)緩存：2GTomcat日志：4G臨時數(shù)據(jù)接口存儲：8G數(shù)