大數(shù)據(jù)基礎(chǔ) 單元5 單元測(cè)試（答案）

大數(shù)據(jù)基礎(chǔ)大數(shù)據(jù)基礎(chǔ)單元5測(cè)試答案第頁(yè)單元5數(shù)據(jù)采集與預(yù)處理單元測(cè)試單元5單元5測(cè)試答案12345DACBB678910DCBAC二、填空題1． 深度優(yōu)先遍歷、廣度優(yōu)先遍歷2． fillna、dropna3． df['price']>1004． left_on、right_on5． 'html.parser'三、簡(jiǎn)答題1．解答：網(wǎng)絡(luò)數(shù)據(jù)采集，通常也被稱為網(wǎng)絡(luò)爬蟲(chóng)或網(wǎng)頁(yè)抓取，是一種從互聯(lián)網(wǎng)上自動(dòng)收集信息的程序或腳本。以下是網(wǎng)絡(luò)數(shù)據(jù)采集的基本流程：（1）發(fā)送請(qǐng)求：使用HTTP請(qǐng)求庫(kù)向目標(biāo)網(wǎng)頁(yè)發(fā)送請(qǐng)求，獲取網(wǎng)頁(yè)內(nèi)容。（2）接收響應(yīng)：接收服務(wù)器返回的響應(yīng)內(nèi)容，通常是HTML、JSON或XML格式。（3）解析內(nèi)容：使用解析工具（如HTML解析器）從響應(yīng)內(nèi)容中提取所需的數(shù)據(jù)。（4）數(shù)據(jù)處理：對(duì)提取的數(shù)據(jù)進(jìn)行清洗和格式化，去除無(wú)用信息，保留有用數(shù)據(jù)。（5）存儲(chǔ)數(shù)據(jù)：將清洗后的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)或文件系統(tǒng)中，如MySQL、MongoDB、CSV文件等。2．解答：BeautifulSoup是一個(gè)Python庫(kù)，用于從HTML或XML文件中提取數(shù)據(jù)。select方法是BeautifulSoup提供的一個(gè)強(qiáng)大的工具，它允許你使用CSS選擇器來(lái)查找頁(yè)面上的元素。以下是使用select方法查找元素的幾種常見(jiàn)方式：（1）查找具有特定標(biāo)簽名的元素，如找到所有的段落（<p>標(biāo)簽），soup.select('p')（2）查找具有特定類名的元素，如找到所有具有類名class-name的元素，soup.select('.class-name')（3）查找特定ID的元素，如找到ID為element-id的元素，soup.select('#element-id')（4）查找具有特定屬性的元素，如找到所有具有屬性data-attr的元素，soup.select('[data-attr]')（5）使用更復(fù)雜的選擇器，select方法支持更復(fù)雜的CSS選擇器，例如后代選擇器、子選擇器等。例如，找到所有在div標(biāo)簽內(nèi)的第一個(gè)p標(biāo)簽，soup.select('div>p:first-of-type')3．解答：未經(jīng)預(yù)處理的數(shù)據(jù)可能存在多種問(wèn)題，這些問(wèn)題可能影響數(shù)據(jù)分析的質(zhì)量和結(jié)果的準(zhǔn)確性。常見(jiàn)的問(wèn)題有：不完整性、不一致性、重復(fù)數(shù)據(jù)、錯(cuò)誤和異常值、數(shù)據(jù)類型問(wèn)題、數(shù)據(jù)范圍問(wèn)題、數(shù)據(jù)分布不均、時(shí)間序列數(shù)據(jù)問(wèn)題、缺乏標(biāo)準(zhǔn)化、隱私和安全性問(wèn)題、數(shù)據(jù)過(guò)時(shí)、數(shù)據(jù)量過(guò)大或過(guò)小、數(shù)據(jù)的可解釋性差、數(shù)據(jù)的可訪問(wèn)性問(wèn)題等。為了解決這些問(wèn)題，通常需要進(jìn)行數(shù)據(jù)預(yù)處理，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)規(guī)范化、缺失值處理、異常值處理、數(shù)據(jù)集成、數(shù)據(jù)選擇和數(shù)據(jù)離散化等步驟。預(yù)處理可以提高數(shù)據(jù)質(zhì)量，確保分析結(jié)果的可靠性和有效性。4．解答：數(shù)據(jù)預(yù)處理是數(shù)據(jù)分析和機(jī)器學(xué)習(xí)中的關(guān)鍵步驟，目的是將原始數(shù)據(jù)轉(zhuǎn)換成適合分析的格式。以下是一些常用的數(shù)據(jù)預(yù)處理方法：（1）缺失值處理：填充缺失值：使用均值、中位數(shù)、眾數(shù)或預(yù)測(cè)模型來(lái)填充缺失數(shù)據(jù)。刪除缺失值：如果缺失數(shù)據(jù)較多，可以選擇刪除含有缺失值的記錄或特征。（2）異常值檢測(cè)與處理：識(shí)別異常值：使用統(tǒng)計(jì)方法（如箱型圖、標(biāo)準(zhǔn)差、Z-分?jǐn)?shù)等）來(lái)識(shí)別異常值。處理異常值：對(duì)異常值進(jìn)行修正或刪除。（3）數(shù)據(jù)清洗：去除噪聲：使用濾波器或平滑技術(shù)去除數(shù)據(jù)中的隨機(jī)噪聲。糾正錯(cuò)誤：修正數(shù)據(jù)錄入錯(cuò)誤或不一致的數(shù)據(jù)。（4）數(shù)據(jù)轉(zhuǎn)換：歸一化/標(biāo)準(zhǔn)化：將數(shù)據(jù)縮放到一個(gè)小的、指定的范圍（如0到1）或轉(zhuǎn)換為具有零均值和單位方差的分布。對(duì)數(shù)轉(zhuǎn)換：對(duì)偏態(tài)分布的數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換以減少偏度。數(shù)據(jù)離散化：將連續(xù)特征轉(zhuǎn)換為離散類別，例如通過(guò)分箱（binning）或分段。數(shù)據(jù)類型轉(zhuǎn)換：確保數(shù)據(jù)字段具有正確的數(shù)據(jù)類型，例如將字符串轉(zhuǎn)換為日期或數(shù)值類型。（5）數(shù)據(jù)集成：合并來(lái)自不同來(lái)源的數(shù)據(jù)集，解決數(shù)據(jù)源之間的不一致性。這些方法可以單獨(dú)使用，也可以組合使用，以適應(yīng)不同的數(shù)據(jù)集和分析需求。數(shù)據(jù)預(yù)處理的目標(biāo)是提高數(shù)據(jù)質(zhì)量，使其更適合進(jìn)行有效的分析和建模。5．解答：數(shù)據(jù)歸約技術(shù)可以用于獲取數(shù)據(jù)集的歸約表示，規(guī)約后數(shù)據(jù)規(guī)模減小很多，但仍能夠較好地保持原數(shù)據(jù)的完整性。在歸約后的數(shù)據(jù)集上開(kāi)展數(shù)據(jù)應(yīng)用將更有效，能夠較好地保障數(shù)據(jù)應(yīng)用效果的一致性。數(shù)據(jù)規(guī)約一般有如下兩種策略：（1）維度規(guī)約我們拿到的數(shù)據(jù)可能包含數(shù)以百計(jì)的屬性，其中的大部分屬性與當(dāng)前的數(shù)據(jù)任務(wù)不相關(guān)，完全可以進(jìn)行精簡(jiǎn)以提升計(jì)算效率。維度歸約通過(guò)刪除不相關(guān)的屬性，來(lái)減少數(shù)據(jù)量，并保證信息的損失最小。維度規(guī)約通?？梢愿鶕?jù)業(yè)務(wù)需求來(lái)確定處理方法，如果基于業(yè)務(wù)的用戶或商品特征，需要較多