Python程序設(shè)計(jì)基礎(chǔ)項(xiàng)目化教程 實(shí)訓(xùn)指導(dǎo)書(shū) 29Python爬蟲(chóng)

《Python語(yǔ)言程序設(shè)計(jì)》實(shí)訓(xùn)指導(dǎo)書(shū)Python爬蟲(chóng)任務(wù)背景：大數(shù)據(jù)時(shí)代，數(shù)據(jù)就是礦藏，如何發(fā)現(xiàn)、收集、挖掘數(shù)據(jù)，顯然是一項(xiàng)重要的事情。通過(guò)網(wǎng)絡(luò)爬蟲(chóng)，可以快速收集大量的數(shù)據(jù)用于處理或分析。網(wǎng)絡(luò)爬蟲(chóng)，是一種按照一定的規(guī)則，自動(dòng)地抓取網(wǎng)絡(luò)信息的程序或者腳本。任務(wù)需求：搭建一個(gè)本地網(wǎng)頁(yè)，利用python爬蟲(chóng)爬取本地網(wǎng)頁(yè)上的文字內(nèi)容任務(wù)分析：任務(wù)步驟：1.借用Pycharm工具，建立Python3項(xiàng)目2.搭建一個(gè)本地網(wǎng)頁(yè)3.利用python爬蟲(chóng)爬取本地網(wǎng)頁(yè)上的文字內(nèi)容任務(wù)結(jié)果：創(chuàng)建一個(gè)本地網(wǎng)頁(yè)如下使用爬蟲(chóng)得到部分結(jié)果如下任務(wù)實(shí)施過(guò)程：1 本地網(wǎng)站數(shù)據(jù)的準(zhǔn)備與python實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)功能知識(shí)點(diǎn)1)啟動(dòng)Tomcat發(fā)布本地網(wǎng)站實(shí)驗(yàn)?zāi)康?)本地網(wǎng)站數(shù)據(jù)的準(zhǔn)備實(shí)驗(yàn)環(huán)境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5實(shí)驗(yàn)步驟1)基于本地的網(wǎng)站數(shù)據(jù)的準(zhǔn)備1.啟動(dòng)Tomcat，查看發(fā)布的網(wǎng)站,。[Command001]:catalina.shstart[Command002]:ls/opt/tomcat/webapps/liarbry/html/2.單擊桌面左下角的人形圖標(biāo)3.單擊網(wǎng)頁(yè)瀏覽器，如下圖4.打開(kāi)的瀏覽器地址欄中輸入網(wǎng)頁(yè)地址，查看網(wǎng)頁(yè)內(nèi)容。[Command003]:http://localhost:8080/liarbry/html/books-1.html2Python3實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)功能知識(shí)點(diǎn)1)啟動(dòng)服務(wù)，發(fā)布網(wǎng)站。2)Python的Urllib2模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)3)Python將網(wǎng)頁(yè)數(shù)據(jù)爬取到本地，做為實(shí)驗(yàn)數(shù)據(jù)使用。實(shí)驗(yàn)?zāi)康?)理解python的Urllib2模擬瀏覽器原理實(shí)驗(yàn)環(huán)境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5實(shí)驗(yàn)步驟1)Pycharm建立Python3項(xiàng)目1.鼠標(biāo)雙擊桌面“pycharm”圖標(biāo)，打開(kāi)pycharm工具，依次選擇主菜單File->NewProject…選項(xiàng)，在彈出的窗口中Location對(duì)應(yīng)的文本框中輸入項(xiàng)目名project，點(diǎn)擊Create按鈕，完成項(xiàng)目的創(chuàng)建。2.如果是第1次打開(kāi)此工具會(huì)彈出“WelcometoPyCharmCommunityEdition”窗口，鼠標(biāo)點(diǎn)擊“Donotshowagain”,下次再打開(kāi)工具時(shí)就不會(huì)彈出此窗口。然后選擇“CreateNewProject”，在彈出的窗口中Location對(duì)應(yīng)的文本框中輸入項(xiàng)目名project，點(diǎn)擊Create按鈕，完成項(xiàng)目的創(chuàng)建。3.建立包名experiment，用于寫(xiě)清洗Python程序。具體做法：選中新建立的項(xiàng)目project->鼠標(biāo)右鍵->New->PythonPackage。4.在彈出的NewPackage窗口中的文本框內(nèi)，輸入要建立的包名(用戶可自定義)“experiment”,點(diǎn)擊OK按鍵，完成包名的創(chuàng)建。5.此時(shí)在窗口左側(cè)的窗口中的project項(xiàng)目下可以看到新建立experiment程序包，在該包下寫(xiě)實(shí)驗(yàn)相關(guān)的Python程序。6.設(shè)置統(tǒng)一的編碼模式，使新生成的文件支持中文，統(tǒng)一設(shè)置utf-8編碼。具體做法：File->settings->Editor->FileandCodeTemplates->PythonScript。在PythonScript對(duì)應(yīng)的文本模式中輸入具體編碼設(shè)置，點(diǎn)擊OK按鈕，完成設(shè)置。[Code001]：#!/usr/bin/python#-*-coding:utf-8-*-2)編寫(xiě)Python3程序，實(shí)現(xiàn)爬取網(wǎng)頁(yè)數(shù)據(jù)的功能1.為了實(shí)現(xiàn)爬取http://localhost:8080/liarbry/html/books-1.html網(wǎng)頁(yè)的數(shù)據(jù)，建立python文件Spider.py編寫(xiě)程序。具體做法：選中包名experiment->鼠標(biāo)右鍵->選擇New->選擇PythonFile。2.在彈出的窗口中，屬性值Name對(duì)應(yīng)的文本框中輸入新建立的文件的名字“Spider”，點(diǎn)擊OK按鈕，完成文件的創(chuàng)建。3.在新建立的Spider.py文件中編寫(xiě)代碼。具體代碼如下。[Code002]：#!/usr/bin/python#-*-coding:utf-8-*-#加載模塊importrequestsimportbs4#定義待爬取網(wǎng)頁(yè)連接url='http://localhost:8080/liarbry/html/books-3.html'#獲取網(wǎng)頁(yè)源碼response=requests.get(url)#使用bs4解析網(wǎng)頁(yè)content=bs4.BeautifulSoup(response.content.decode("utf-8"),"lxml")#找到節(jié)點(diǎn)<a>的信息element=content.find_all(name='a')#打開(kāi)文本文件并寫(xiě)入信息f1=open('urls.txt','w')f1.write(str(element).strip())f1.close()#查找第三個(gè)節(jié)點(diǎn)<a>中的第0個(gè)內(nèi)容element=content.find_all('a')[3].contents[0]print(element)#查找href為特定鏈接的節(jié)點(diǎn)element=content.find_all(href='/catalogue/category/books/sports-and-games_17/index.html')print(element)#查找屬性id為default的節(jié)點(diǎn)element=content.find_all(id='default')f2=open('body.txt','w')f2.write(str(element).strip())f2.close()4