高考信息技術復習專題梳理 【核心知識 精講精研】 表格數據的處理及大數據處理

專題9表格數據的處理及大數據處理知識要點1常用表格數據的處理1.數據整理

（1）目的：檢測和修正錯漏的數據，整合數據資源，規(guī)整數據格式，提高數據質量。（2）常見數據問題：數據缺失，數據重復，數據異常，邏輯錯誤，格式不一致等。2.數據計算公式：用戶自定義的數學表達式函數：電子表格軟件提供的完成特定計算的命令

格式：（1）必須以“=”開頭（2）連續(xù)區(qū)域用冒號，不連續(xù)用逗號如“=average（A1:A5,A10:A15)”知識要點1常用表格數據的處理2.數據計算絕對引用和相對引用=D3+E3+F3+H3=SUM(D3:F3,H3)=B3/B$8*100知識要點1常用表格數據的處理3.數據可視化（1）數據可視化的作用

1.快捷觀察與追蹤數據2.實時分析數據3.增強數據的解釋力與吸引力

（2）可視化的基本方法（3）可視化工具Excel魔鏡中國領先的大數據云分析平臺Tableau[t??blo?]商業(yè)智能分析軟件d3.jsHighchartsGoogleCharts基于python的matplotlib1.下列關于數據整理的說法，正確的是(

)A.數據集中的缺失值一般用任意值填充B.數據集中的異常數據須直接刪除或忽略C.數據集中的重復數據可進行合并或刪除D.數據集中格式不一致的數據，一般保留一種格式的數據，刪除其他格式的數據C解析選項A，缺失數據可以忽略或采用平均值、中間值或概率統(tǒng)計值進行填充，不能用任意值填充，選項錯誤；選項B，異常數據可能是要去掉的噪聲數據或含有重要信息的數據，需根據具體情況進行分析判斷，選項錯誤；選項D，格式不一致的數據需要根據后續(xù)分析和挖掘的需要進行數據轉換。2.使用Excel軟件處理某地部分市場菜籃子價格數據，如圖所示。計算表中“平均值”列數據：選擇I3單元格輸入公式，然后用自動填充功能完成其他單元格的計算。則I3單元格中可使用的公式為（

）A.=SUM（C3,H3）/6B.=（3.5+3+3+3+3+3）/6C.(C3+D3+E3+F3+G3+H3)/6D.=AVERAGE（C3：H3）D知識要點2大數據處理1.大數據處理的分治思想分治就是把一個復雜的問題分成兩個或更多相同或相似的子問題，找到求這幾個子問題的解法后，再找出合適的方法把它們組合成求整個問題的解法。如果這些子問題還難以解決，可以再把它們分成幾個更小的子問題，以此類推，直至可以直接求出解為止。分——將問題分解為規(guī)模更小的子問題治——將規(guī)模更小的子問題逐個擊破合——將已解決的子問題合并，最終得出原問題的解知識要點2大數據處理2.大數據處理類型①靜態(tài)數據：在處理時已收集完成、在計算時不會發(fā)生改變的數據，一般采用批處理方式。②流數據：不間斷地、持續(xù)地到達的實時數據，隨著時間的流逝，流數據的價值也隨之降低，通過實時分析計算可以得到更有價值的分析結果。③圖數據：現實世界中的許多數據，如社交網絡、道路交通等數據，可采用圖計算進行處理。知識要點2大數據處理3.批處理計算(Hadoop、Spark)Hadoop是一個運行于計算機集群上的分布式系統(tǒng)基礎架構，適用于靜態(tài)數據的批處理計算。Spark是一種與hadoop相似的，應用較廣的開源分布式計算架構。Spark啟用了內存存儲中間結果，運行速度比hadoop快。知識要點2大數據處理HDFS將大規(guī)模數據以文件形式、用多個副本保存在不同的存儲節(jié)點中，并用分布式系統(tǒng)進行管理。HDFS容錯性高，適合部署在廉價的機器上。比如：云盤、網盤的底層一般采用HDFS實現HBase建立在HDFS提供的底層存儲基礎上，采用基于列的存儲方式，主要用來存儲非結構化數據和半結構化數據。MapReduce能夠處理大規(guī)模數據集的并行運算，主要由Map(映射）和Reduce(歸納）兩個函數構成。其核心處理思想是將任務分解并分發(fā)到多個節(jié)點上進行處理，最后匯總輸出。知識要點2大數據處理知識要點2大數據處理4.流計算(Storm、Heron、Streams)

流計算系統(tǒng)可以簡單、高效、可靠地實現實時數據的獲取、傳輸和存儲。應用于網絡監(jiān)控、傳感器網絡、航空航天、氣象測控和金融服務等領域。5.圖計算(Neo4j、GooglePregel)

現實世界中的很多數據是以圖的形式呈現的，或者是可以轉換為圖以后再進行分析的，如社交網絡、網絡瀏覽與購買行為、傳染病的傳播路徑等。6.實時處理與批處理的整合(Hadoop+Storm)平臺的整合縮短了批處理與流處理之間的切換延時時間，有利于減少系統(tǒng)的開銷，降低使用成本。3.在國家級計算機考試時，由于報名人數較多，在各地市報名并把數據匯總在一起，該算法主要體現的思想是(

)A．順序查找法 B．枚舉法C．分治算法 D．解析法解析把大的問題，分為若干個小的問題，再轉換為整的問題進行分析，體現了大數據的分治思想。C4.(2022·浙江名校協(xié)作體)下列說法正確的是(

)A．HDFS是一個容錯性較低的系統(tǒng)，適合部署在廉價的機器上B．MapReduce是一種聚合式的并行編程模型C．Twitter架構實現了批處理系統(tǒng)與流計算在一個平臺架構下的整合D．標簽云是通過給特征詞賦予權重進行統(tǒng)計分析解析選項A，HDFS是一個高度容錯性的系統(tǒng)，選項錯誤；選項B，MapReduce是一種分布式的并行編程模型，選項錯誤；選項D，標簽云是文本可視化，選項錯誤。C5.下列關于Hadoop平臺的說法正確的是(

)A．該平臺只能處理結構化數據B．該平臺可以節(jié)省大型和復雜問題的處理時間C．處理信息必須通過可視化體現處理的結論D．該平臺中每臺計算機都在處理相同的數據解析選項A，Hadoop平臺可以處理非結構化數據、半結構化數據和結構化數據；選項C，該平臺可以以可視化形式輸出，也可以文本輸出；選項D，該平臺采用分布式文件格式，不同計算機處理不同的數據。B6.下列應用中涉及靜態(tài)數據處理的是(

)A．統(tǒng)計上個月的交易量排行榜B．導航系統(tǒng)實時更新數據C．統(tǒng)計在線直播的點贊率D．不斷更新的電力數據解析

靜態(tài)數據為已經收集完畢并不會發(fā)生變化的數據。選項BCD都處于正在收集狀態(tài)。A7.(2022·金衢六校高二)下列有關大數據的說法