【南開】《網(wǎng)絡爬蟲與信息提取》20春期末考核答卷(標準答案)

《網(wǎng)絡爬蟲與信息提取》20春期末考核-00001試卷總分:100得分100一、單選題(共20道試題,共40分)如果使用Python的數(shù)據(jù)結構來做類比的話,MongoDB中文檔相當于一個()列表元組字典集合答案:C使用UIAutomatorr輸入文字的操作是得到相應控件后使用命令()settextsetset_texttext答案:C在Scrapy的目錄下，哪個文件負責存放爬蟲文件？()spiders文件夾item.pypipeline.pysettings.py答案:AHTTP常用狀態(tài)碼表明服務器正忙的是()TOC\o"1-5"\h\z500503403404答案:B如果很多爬蟲同時對一個網(wǎng)站全速爬取,那么其實就是對網(wǎng)站進行了()攻擊XSSDOSDDOS跨域答案:C6?使用UIAutomatorr判斷元素是否存在的操作是得到相應控件后使用命令()existexistsisnullcontains答案:B7.帶上通過Chrome瀏覽器從評論頁面復制而來的()再發(fā)起請求,可以減少爬蟲被網(wǎng)站封鎖的概率CookieHtmlHeadersCSS答案:C&Redis中查看一個列表長度，使用關鍵字()lenlengthllencount答案:C9?使用Xpath獲取文本使用()texttext()contentcontent()答案:B使用python定制mitmproxy,下面的語句請求的是()。{req.headers["User-Agent"]}headers文本內(nèi)容目標網(wǎng)站user-agent答案:DPython中Object={1,2,3,4,5},則Objcet是()列表元組字典集合答案:D在Scrapy的目錄下,哪個文件負責存放爬蟲的各種配置信息？()spiders文件夾item.pypipeline.pysettings.py答案:DRedis是一個開源的使用()語言編寫ANSICC++JAVAPython答案:A某些網(wǎng)站在發(fā)起Ajax請求時會攜帶()字符串用于身份驗證TokenCookieReqTimesum答案:A15?使用UIAutomatorr點亮屏幕的操作是得到相應控件后使用命令()wakeuplightbrightsleep答案:A16.Chrome的開發(fā)者工具中哪個選項可以查找到cookiesElementsSourcesNetworkPeformance答案:C17.Scrapy中使用Xpath獲得的結果調用了.extract方法,結果以()形式生成列表元組字典集合答案:A以下哪個命令是創(chuàng)建文件夾命令()curltar-zxvfmkdircp答案:C可以通過()繞過網(wǎng)站登錄。sessioncookiesmoonpieslocalstorage答案:BPython中把列表轉換為集合需要使用##函數(shù)setlistconvertchange答案:A二、多選題(共5道試題,共10分)Python中的容器有()列表元組字典集合答案:ABCDHTTP常用狀態(tài)碼表明表明服務器本身發(fā)生錯誤的有()TOC\o"1-5"\h\z403404500503答案:CDPython中哪種容器生成后可以修改內(nèi)容列表元組字典集合答案:ACD最常見的HTTP請求類型有()GETPOSTSENDRECEIVE答案:ABBS4可以用來從()中提取數(shù)據(jù)HTMLXML數(shù)據(jù)庫JSON答案:AB三、判斷題(共10道試題,共20分)26?在Linux的終端使用apt-get命令安裝一系列依賴庫時，其中如果存在有已經(jīng)安裝的庫,會覆蓋掉之前的庫重新安裝答案:錯誤使用Nginx反向代理到Scrapyd以后,Scrapyd本身只需要開通內(nèi)網(wǎng)訪問即可，不許經(jīng)過輸入密碼答案:正確process_spider_output(response,result,output)是在下載器中間件處理完成后，馬上要進入某個回調函數(shù)parse_xxx()前調用答案:錯誤Robo3T與RoboMongo是完全不一樣的軟件答案:錯誤Python正則表達式中“.*?”是非貪婪模式,獲取最短的能滿足條件的字符串。答案:正確Redis插入數(shù)據(jù)都是插入到列表右側，因此讀取數(shù)據(jù)也是從右側讀取答案:錯誤爬蟲登錄需要識別驗證碼可以先把程序關閉,肉眼識別以后再重新運行答案:錯誤在Ubuntu下若要運行Redis可以使用CMD進入解壓以后的文件夾并運行命令redis-server.exeredis.windows.conf啟動Redis答案:錯誤middlewares.py是下載器中間件答案:錯誤35?在charles中使用CTRL+F搜索JSON里面的中文是可以直接搜索到的。答案:錯誤四、主觀填空題(共4道試題,共8分)使用了RedisSpider作為爬蟲的父類以后，爬蟲會直接監(jiān)控##中的數(shù)據(jù)，并不讀取start_urls中的數(shù)據(jù)。答案:Redis一般通過##表達式來解析網(wǎng)頁數(shù)據(jù)答案:正則實現(xiàn)異步加載需要利用##技術答案:AjaxPython中定義函數(shù)關鍵字為##答案:def五、簡答題(共2道試題,共10分)Python正則表達式中search和findall方法比較答案:search()的用法和findall()的用法一樣，但是search()只會返回第1個滿足要求的字符串。一旦找到符合要求的內(nèi)容，它就會停止查找。<br><br>在MacOS下安裝Scrapy，當pip的網(wǎng)絡受到干擾導致安裝的速度很慢時，應該如何應對？答案:可以使用一些代理工具來讓網(wǎng)絡變得穩(wěn)定，例如ProxyChains。六、名詞解釋(共4道試題,共12分)multiprocessing答案:multiprocessing本身是Python的多進程庫，用來處理與多進程相關的操作URI答案: