緩存和離線(xiàn)運(yùn)行

緩存和離線(xiàn)運(yùn)行HTTP緩存和脫機(jī)工作緩存和離線(xiàn)運(yùn)行案例HTTP緩存和脫機(jī)工作/01當(dāng)Scrapy的HttpCacheMiddleware中間件（默認(rèn)關(guān)閉）提供了一個(gè)低級(jí)的HTTP請(qǐng)求響應(yīng)緩存。如果打開(kāi)的話(huà)，緩存會(huì)存儲(chǔ)每次請(qǐng)求和對(duì)應(yīng)的響應(yīng)。通過(guò)設(shè)定HTTPCACHE_POLICY為scrapy.contrib.httpcache.RFC2616Policy，我們可以使用一個(gè)更為復(fù)雜的、按照RFC2616遵循網(wǎng)站提示的緩存策略。打開(kāi)這項(xiàng)功能，設(shè)定HTTPCACHE_ENABLED為T(mén)rue，HTTPCACHE_DIR指向一個(gè)磁盤(pán)路徑。可以為緩存文件指定數(shù)據(jù)庫(kù)后端，通過(guò)設(shè)定HTTPCACHE_STORAGE為scrapy.contrib.httpcache.DbmCacheStorage，還可以選擇調(diào)整HTTPCACHE_DBM_MODULE。還有其它微調(diào)緩存的設(shè)置，但按照默認(rèn)設(shè)置就可以了。HTTP緩存和脫機(jī)工作緩存和離線(xiàn)運(yùn)行案例/02首先我們?cè)诔绦蛑羞\(yùn)行以下代碼：$scrapycrawlfast-sLOG_LEVEL=INFO-sCLOSESPIDER_ITEMCOUNT=5000一分鐘之后才結(jié)束。如果當(dāng)時(shí)無(wú)法聯(lián)網(wǎng)，就無(wú)法進(jìn)行任何抓取。用下面的代碼再次進(jìn)行抓?。?scrapycrawlfast-sLOG_LEVEL=INFO-sCLOSESPIDER_ITEMCOUNT=5000-sHTTPCACHE_ENABLED=1INFO:Enableddownloadermiddlewares:...*HttpCacheMiddleware*緩存和離線(xiàn)運(yùn)行案例 此時(shí)看到啟用了HttpCacheMiddleware，如果查看當(dāng)前目錄，會(huì)發(fā)現(xiàn)一個(gè)隱藏文件夾，如下圖所示：緩存和離線(xiàn)運(yùn)行案例當(dāng)再次運(yùn)行不能聯(lián)網(wǎng)的爬蟲(chóng)時(shí)，抓取稍少的文件，就會(huì)發(fā)現(xiàn)運(yùn)行變快了：$scrapycrawlfast-sLOG_LEVEL=INFO-sCLOSESPIDER_ITEMCOUNT=4500-sHTTPCACHE_ENABLED=1抓取稍少的文件，是因?yàn)槭褂肅LOSESPIDER_ITEMCOUNT結(jié)束爬蟲(chóng)時(shí)，爬蟲(chóng)實(shí)際上會(huì)多抓取幾頁(yè)，我們不想抓取不在緩存中的內(nèi)容。清理緩存的話(huà)，只需刪除緩存目錄：$