Golang爬蟲框架colly的使用

第Golang爬蟲框架colly的使用目錄項目特性安裝colly實例colly的配置colly頁面爬取和解析colly框架重構(gòu)爬蟲Golang爬蟲框架colly簡介

colly是一個采用Go語言編寫的Web爬蟲框架，旨在提供一個能夠些任何爬蟲/采集器/蜘蛛的簡介模板，通過Colly。你可以輕松的從網(wǎng)站提取結(jié)構(gòu)化數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)挖掘，處理或歸檔

項目特性

清晰明了的API速度快（每個內(nèi)核上的請求數(shù)大于1K）管理每個域的請求延遲和最大并發(fā)數(shù)自動cookie和會話處理同步/異步/并行抓取高速緩存自動處理非Unicode編碼支持Robots.txt支持GoogleAppEngine通過環(huán)境變量進(jìn)行配置可拓展

安裝colly

goget-u/gocolly/colly

第一個colly應(yīng)用

packagemain

import(

"fmt"

"/gocolly/colly"

funcmain(){

c:=colly.NewCollector()

//goqueryselectorclass

c.OnHTML(".sidebar_link",func(e*colly.HTMLElement){

e.Request.Visit(e.Attr("href"))

/*link:=e.Attr("href")

//Printlink

fmt.Printf("Linkfound:%q-%s\n",e.Text,link)

//Visitlinkfoundonpage

//OnlythoselinksarevisitedwhichareinAllowedDomains

c.Visit(e.Request.AbsoluteURL(link))*/

c.OnRequest(func(r*colly.Request){

fmt.Println("url：",r.URL)

c.Visit("https://gorm.io/zh_CN/docs/")

回調(diào)函數(shù)的調(diào)用順序

OnRequest在請求之前調(diào)用OnError如果請求期間發(fā)生錯誤，則調(diào)用OnResponseHeaders在收到響應(yīng)標(biāo)頭后調(diào)用OnResponse收到回復(fù)后調(diào)用OnHTMLOnResponse如果接收到的內(nèi)容是HTML，則在此之后立即調(diào)用OnXMLOnHTML如果接收到的內(nèi)容是HTML或XML，則在之后調(diào)用OnScraped在OnXML回調(diào)之后調(diào)用

實例

funccollback(){//添加回調(diào)收集器

c:=colly.NewCollector()

c.OnRequest(func(r*colly.Request){

fmt.Println("請求前調(diào)用:OnRequest")

//fmt.Println("Visiting",r.URL)

c.OnError(func(_*colly.Response,errerror){

fmt.Println("發(fā)生錯誤調(diào)用:OnReOnError")

//log.Println("Somethingwentwrong:",err)

/*c.OnResponseHeaders(func(r*colly.Response){//高版本已經(jīng)不用了

fmt.Println("Visited",r.Request.URL)

c.OnResponse(func(r*colly.Response){

fmt.Println("獲得響應(yīng)后調(diào)用:OnResponse")

//fmt.Println("Visited",r.Request.URL)

c.OnHTML("a[href]",func(e*colly.HTMLElement){

fmt.Println("OnResponse收到html內(nèi)容后調(diào)用:OnHTML")

//e.Request.Visit(e.Attr("href"))

/*c.OnHTML("trtd:nth-of-type(1)",func(e*colly.HTMLElement){

fmt.Println("Firstcolumnofatablerow:",e.Text)

})*/

c.OnXML("http://h1",func(e*colly.XMLElement){

fmt.Println("OnResponse收到xml內(nèi)容后調(diào)用:OnXML")

//fmt.Println(e.Text)

c.OnScraped(func(r*colly.Response){

fmt.Println("結(jié)束",r.Request.URL)

c.Visit("https://gorm.io/zh_CN/docs/")

得到的:

colly的配置

設(shè)置UserAgent

//設(shè)置UserAgent的兩種方式：

/*//方式一:

c2:=colly.NewCollector()

c2.UserAgent="xy"

c2.AllowURLRevisit=true*/

/*//方式二:

c2:=colly.NewCollector(

colly.UserAgent("xy"),

colly.AllowURLRevisit(),

設(shè)置Cookie

//設(shè)置cookie的兩種方式

//方式一：通過手動網(wǎng)頁添加cookies

c.OnRequest(func(r*colly.Request){

r.Headers.Add("cookie","_ga=GA1.2.1611472128.1650815524;_gid=GA1.2.2080811677.1652025429;__atuvc=2|17,0|18,5|19")

//方式二:通過url添加cookies

siteCookie:=c.Cookies("url")

c.SetCookies("",siteCookie)

HTTP配置

Colly使用Golang的默認(rèn)http客戶端作為網(wǎng)絡(luò)層?？梢酝ㄟ^更改默認(rèn)的HTTProundtripper來調(diào)整HTTP選項。

c:=colly.NewCollector()

c.WithTransport(http.Transport{

Proxy:http.ProxyFromEnvironment,

DialContext:(net.Dialer{

Timeout:30*time.Second,

KeepAlive:30*time.Second,

DualStack:true,

}).DialContext,

MaxIdleConns:100,

IdleConnTimeout:90*time.Second,

TLSHandshakeTimeout:10*time.Second,

ExpectContinueTimeout:1*time.Second,