定向爬蟲mongodb與scrapy課件

定向爬蟲

MongoDB與Scrapy定向爬蟲：MongoDB與Scrapy

—課程概要MongoDB介紹與安裝Python與MongoDBScrapy應用MongoDB實戰(zhàn)——小說爬蟲定向爬蟲：MongoDB與ScrapyMongoDB介紹與安裝MongoDB介紹與安裝MongoDB的介紹MongoDB的安裝MongoDB可視化MongoDB介紹與安裝—MongoDB的介紹MongoDB是一個跨平臺的NoSQL，基于Key-Value形式保存數(shù)據。其儲存格式非常類似于Python的字典，因此用Python操作MongoDB會非常的容易。MongoDBisanopen-source,documentdatabasedesignedforeaseofdevelopmentandscaling.——MongoDBHomePageMongoDB介紹與安裝—MongoDB的安裝下載文件：

創(chuàng)建文件夾：mkdirdata執(zhí)行命令：mongod--dbpath./data搞不定？打開極客學院，搜索“MongoDB”MongoDB介紹與安裝—MongoDB可視化打開網址：

下載MongoVUE安裝MongoVUE運行MongoVUE定向爬蟲：MongoDB與ScrapyPython與MongoDBPython與MongoDBpymongo的安裝Python操作MongoDBPython與MongoDB—pymongo的安裝核心命令：pipinstallpymongoeasy_installpymongoPython與MongoDB

—Python操作MongoDBimportpymongoconnection=pymongo.MongoClient()tdb=connection.Jikexueyuanpost_info=tdb.testpost_info.insert(xxx)post_info.remove(xxx)定向爬蟲：MongoDB與ScrapyScrapy應用MongoDBScrapy應用MongoDB配置文件的編寫pipelines的編寫Scrapy應用MongoDB

—配置文件的編寫在settings.py中配置MongoDB的IP地址、端口號、數(shù)據記錄名稱，可以實現(xiàn)方便的更換MongoDB的數(shù)據庫信息。在settings.py中引用pipelines.py從而使pipelines生效。Scrapy應用MongoDB

—pipelines的編寫在pipelines中可以像普通Python文件操作MongoDB一樣編寫代碼處理需要保存到MongoDB的數(shù)據。然而不同的是這里的數(shù)據來自items。這樣做的好處是將數(shù)據的抓取和處理分開。定向爬蟲：MongoDB與Scrapy實戰(zhàn)——小說爬蟲實戰(zhàn)——小說爬蟲目標網站：盜墓筆記小說網站目標網址：目標內容： 盜墓筆記小說的信息，具體內容包括：書標題章數(shù)章標題輸出結果保存到MongoDB中。定向爬蟲：MongoDB與Scrapy本套課程中我們學習了MongoDB在定向爬蟲中的應用，你應當掌握以下知識：安裝和使用MongoDB能在可視化界面中查看MongoDB的信息能夠操作使用Python讀寫MongoDB