南開大學(xué)《網(wǎng)絡(luò)爬蟲與信息提取》在線作業(yè)答卷

1、21秋學(xué)期（1709、1803、1809、1903、1909、2003、2009、2103）網(wǎng)絡(luò)爬蟲與信息提取在線作業(yè)試卷總分:100 得分:100一、單選題 (共 20 道試題,共 40 分)Python操作CSV文件可通過()容器的方式操作單元格列表元組字典集合答案:C2.以下關(guān)于Charles的說法正確的是( )Charles是一個(gè)跨平臺(tái)的HTTP抓包工具，可以截取HTTP或者HTTPS請(qǐng)求的數(shù)據(jù)包Charles有Windows 32/64版和Linux 64 版，但是目前還沒有對(duì)Mac OS進(jìn)行有效的支持。Charles上面滾動(dòng)的數(shù)據(jù)就是目前計(jì)算機(jī)發(fā)起的數(shù)據(jù)包。單擊工具欄上面的黃色笤帚

2、圖標(biāo)，可以清停止抓包。在Charles啟動(dòng)時(shí)，系統(tǒng)自帶瀏覽器的部分HTTP流量不會(huì)經(jīng)過Charles。答案:A3.Redis中寫數(shù)據(jù)到列表中,使用關(guān)鍵字()pushappendlpushlappend答案:C4.使用UI Automator使屏幕向上滾動(dòng)一屏的操作是得到相應(yīng)控件后使用命令()scroll_forwadscroll_upscroll.forwardscroll.vert.forward答案:D5.Python中若定義object=1, 2, 3, 4, 5,則print(object-4)輸出()NULL24程序報(bào)錯(cuò)答案:B6.Python中哪種容器一旦生成就不能修改列表元組字典

3、集合答案:B7.windows中創(chuàng)建定時(shí)任務(wù)的命令為taskschtaskscreatetasksmaketasks答案:B8.參數(shù)headers=(),把請(qǐng)求頭添加到Scrapy請(qǐng)求中,使爬蟲的請(qǐng)求看起來像是從瀏覽器發(fā)起的。HEADERHEADERSHEADBODY答案:B9.Python中把列表轉(zhuǎn)換為集合需要使用#函數(shù)setlistconvertchange答案:A10.Redis中讀取數(shù)據(jù)語(yǔ)句lrange chapter 0 3,那么表示讀列表中()個(gè)值2345答案:C11.chrome默認(rèn)打開開發(fā)者工具的快捷是F5F11F12F2答案:C12.網(wǎng)站根目錄中哪個(gè)文件里面的內(nèi)容會(huì)告訴爬蟲哪

4、些數(shù)據(jù)是可以爬取的,哪些數(shù)據(jù)是不可以爬取的()。robot.txtrobot.htmlrobots.txtrobots.html答案:C13.PyMongo中邏輯查詢表示等于的符號(hào)是()$gt$lt$eq$ne答案:C14.使用Xpath獲取文本使用()texttext()contentcontent()答案:B15.Python中以下哪個(gè)容器里的元素不能重復(fù)()列表元組字典集合答案:D16.HTTP狀態(tài)碼401表示請(qǐng)求報(bào)文中可能存在語(yǔ)法錯(cuò)誤請(qǐng)求需要通過HTTP認(rèn)證請(qǐng)求資源的訪問被拒絕服務(wù)器上沒有請(qǐng)求的資源答案:B17.MongoDB中數(shù)據(jù)存儲(chǔ)的形式類似于()列表元組字典集合答案:C18.HT

5、TP常用狀態(tài)碼表明服務(wù)器上沒有請(qǐng)求的資源的是()500503403404答案:D19.可以通過()繞過網(wǎng)站登錄。sessioncookiesmoonpieslocalstorage答案:B20.瀏覽器用來記錄用戶狀態(tài)信息的數(shù)據(jù)叫sessioncookiesmoonpiesselenium答案:B二、多選題 (共 10 道試題,共 20 分)21.如果目標(biāo)網(wǎng)站有反爬蟲聲明,那么對(duì)方在被爬蟲爬取以后,可以根據(jù)()來起訴使用爬蟲的公司服務(wù)器日志數(shù)據(jù)庫(kù)日志記錄程序日志記錄服務(wù)器監(jiān)控答案:ABCD22.requests中post請(qǐng)求方法的第二個(gè)參數(shù)可以為()字典列表json數(shù)據(jù)字符串答案:AC23.BS

6、4可以用來從()中提取數(shù)據(jù)HTMLXML數(shù)據(jù)庫(kù)JSON答案:AB24.MongoDB中獲取名字為db的庫(kù)的語(yǔ)句為()client.dbclient(db)clientdbclientdb答案:AC25.要使用tesseract來進(jìn)行圖像識(shí)別,需要安裝兩個(gè)第三方庫(kù)requestsbeautifulsoupPillowpytesseract答案:CD26.Python中()容器有推導(dǎo)式列表元組字典集合答案:ACD27.網(wǎng)絡(luò)爬蟲的用途有()收集數(shù)據(jù)盡職調(diào)查提高流量攻擊服務(wù)器答案:ABC28.cookies的缺點(diǎn)是實(shí)現(xiàn)自動(dòng)登錄跟蹤用戶狀態(tài)http中明文傳輸增加http請(qǐng)求的流量答案:CD29.PyMo

7、ngo刪除操作有()deletedelete_alldelete_onedelete_many答案:CD30.下載器中間件的作用有哪些?更換代理IP更換Cookies更換User-Agent自動(dòng)重試答案:ABCD三、判斷題 (共 20 道試題,共 40 分)31.process_spider_output(response, result, output)是在下載器中間件處理完成后,馬上要進(jìn)入某個(gè)回調(diào)函數(shù)parse_xxx()前調(diào)用答案:錯(cuò)誤32.process_spider_input(response, spider)是在爬蟲運(yùn)行yield item或者yield scrapy.Reque

8、st()的時(shí)候調(diào)用答案:錯(cuò)誤33.在安裝Scarpy的依賴庫(kù)時(shí),由于Visual C+ Build Tools的安裝速度很慢,為了節(jié)省時(shí)間,可以和安裝Twisted同時(shí)進(jìn)行答案:錯(cuò)誤34.當(dāng)Charles抓包以后,在Mac OS系統(tǒng)下可以按Command+F組合鍵,在Windows系統(tǒng)下按Ctrl+F組合鍵打開Charles進(jìn)行搜索答案:正確35.MongoDB是一個(gè)關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品答案:錯(cuò)誤36.RoboMongo是MongoDB的管理軟件答案:正確37.UI Automator Viewer與Python uiautomator可以同時(shí)使用答案:錯(cuò)誤38.需要實(shí)名認(rèn)證的打碼網(wǎng)站更加安全可靠。

9、答案:錯(cuò)誤39.PyMongoDB中排序方法sort第二個(gè)參數(shù)1表示降序答案:錯(cuò)誤40.代理中間件的可用代理列表一定要寫在settings.py里面答案:錯(cuò)誤41.在發(fā)送請(qǐng)求時(shí)需要注意requests提交的請(qǐng)求頭不能與瀏覽器的請(qǐng)求頭一致,因?yàn)檫@樣才能隱藏好自己達(dá)到獲取數(shù)據(jù)的目的答案:錯(cuò)誤42.如果通過爬蟲抓取某公司網(wǎng)站的公開數(shù)據(jù),分析以后發(fā)現(xiàn)這個(gè)公司業(yè)績(jī)非常好。于是將數(shù)據(jù)或者分析結(jié)果出售給某基金公司,從而獲得銷售收入。這是合法的。答案:正確43.使用Charles,可以輕松截獲手機(jī)App和微信小程序的數(shù)據(jù)包,從而開發(fā)出直接抓取App后臺(tái)和小程序后臺(tái)的爬蟲。答案:正確44.mitmproxy的強(qiáng)大之處在于它還自帶一個(gè)mitmdump命令。這個(gè)命令可以用來運(yùn)行符合一定規(guī)則的Python腳本答案:正確45.當(dāng)運(yùn)行爬蟲代碼后,出現(xiàn)Forbidden by robots.txt提示后,說明當(dāng)前時(shí)間段被爬取的網(wǎng)站無法訪問。答案:錯(cuò)誤46.Python中直接對(duì)浮點(diǎn)數(shù)進(jìn)行計(jì)算有print(0.1+0.2),則結(jié)果為0.3答案:錯(cuò)誤47.如果目標(biāo)網(wǎng)站本身就是提供公眾查詢服務(wù)的網(wǎng)站,那么使用爬蟲是合法合規(guī)的。答案:正確48.Linux環(huán)境中,Virtual