201809網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)-項(xiàng)目建設(shè)方案

---py^pi^erdashboardUAMdV抓取過(guò)程抓取是一個(gè)循環(huán)的過(guò)程，抓取工具從WebDB中生成了一個(gè)Fetchlist集合；抽取工具根據(jù)Fetchlist從網(wǎng)絡(luò)上下載網(wǎng)頁(yè)內(nèi)容；工具程序根據(jù)抽取工具發(fā)現(xiàn)的新鏈接更新WebDB,然后再生成新的Fetchlist，周而復(fù)始。這個(gè)抓取循環(huán)在Nutch中經(jīng)常指：generate/fetch/update循環(huán)。一般來(lái)說(shuō)同一域名下的URL鏈接會(huì)被合成到同一個(gè)Fetchlist。這樣做的考慮是：當(dāng)同時(shí)使用多個(gè)工具抓取的時(shí)候，不會(huì)產(chǎn)生重復(fù)抓取的現(xiàn)象。Nutch遵循RobotsExclusionProtocol,可以用robots.txt定義保護(hù)私有網(wǎng)頁(yè)數(shù)據(jù)不被抓去。上面這個(gè)抓取工具的組合是Nutch的最外層的，也可以直接使用更底層的工具，自己組合這些底層工具的執(zhí)行順序達(dá)到同樣的結(jié)果。這是Nutch的優(yōu)勢(shì)。具體工作過(guò)程如下：?創(chuàng)建一個(gè)新的WebDB(admindb-create)；把開(kāi)始抓取的跟URL放入WebDb(inject)；從WebDb的新segment中生成Fetchlist(generate)；根據(jù)Fetchlist列表抓取網(wǎng)頁(yè)的內(nèi)容(fetch)；根據(jù)抓取回來(lái)的網(wǎng)頁(yè)鏈接URL更新WebDB(updatedb)；重復(fù)上面c-e步驟直到到達(dá)指定的抓取層數(shù)；硬件配置方案主機(jī)、存儲(chǔ)資源本項(xiàng)目硬件配置包括數(shù)據(jù)庫(kù)服務(wù)器2臺(tái)、應(yīng)用服務(wù)器2臺(tái)，具體配置如下；主機(jī)名稱(chēng)CPU（個(gè)）內(nèi)存⑹存儲(chǔ)⑹操作系統(tǒng)描述HR-APP-A4850RedHat6.5應(yīng)用主機(jī)，需要安裝Tomcat7.0.73和JDK1.7HR-APP-B4850RedHat6.5應(yīng)用主機(jī)，需要安裝Tomcat7.0.73和JDK1.7HR-DB-A16323515oracle數(shù)據(jù)庫(kù)主機(jī)，利舊HR-DB-B1632oracle數(shù)據(jù)庫(kù)主機(jī)，利舊軟件資源1)數(shù)據(jù)庫(kù)：Oracle11g2)操作系統(tǒng):RedHat6.53)應(yīng)用服務(wù)器:Tomcat7.0.73、JDK1.74)WEB服務(wù)器：Nginx1.10.3(公用)資源估算存儲(chǔ)主機(jī)存儲(chǔ)(G)估算依據(jù)HR-APP-A32門(mén)戶(hù)與應(yīng)用腳本1G

系統(tǒng)緩存：2GTomcat日志：4G臨時(shí)數(shù)據(jù)接口存儲(chǔ)：8G數(shù)據(jù)集成平臺(tái)與啟動(dòng)緩存：4G系統(tǒng)冗余比例：40%總存儲(chǔ)要求：(1+2+4+8+4)/(1-40%)=1.66GHR-APP-B32同上HR-DB-AHR-DB-B3515Oracle11g安裝空間：60G系統(tǒng)表空間：200G應(yīng)用表空間：2200G系統(tǒng)冗余比例：30%總存儲(chǔ)要求：(60+200+1600)/(1-30%)=3514.29GCPU與內(nèi)存滿(mǎn)足日常運(yùn)行要求即可。建議配置如下：應(yīng)用服務(wù)器：4Cpu