信息技術(shù)（基礎(chǔ)模塊）課件 專題4 活用數(shù)據(jù)處理 任務(wù)4 初識大數(shù)據(jù)

任務(wù)4初識大數(shù)據(jù)專題4活用數(shù)據(jù)處理01任務(wù)描述03知識學(xué)習(xí)05拓展延伸07舉一反三02感知體驗04討論活動06自我評價0801任務(wù)描述小小經(jīng)常聽到“大數(shù)據(jù)”“云計算”“人工智能”這些時尚術(shù)語，但她不是特別了解大數(shù)據(jù)及其應(yīng)用。通過網(wǎng)絡(luò)查詢，了解到大數(shù)據(jù)的處理分析正成為新一代融合應(yīng)用的結(jié)點，大數(shù)據(jù)已經(jīng)滲透進我們的生活、學(xué)習(xí)和工作中，如大數(shù)據(jù)技術(shù)能實現(xiàn)交通優(yōu)化，能通過收集家庭能耗數(shù)據(jù)給人們切實可用的節(jié)能提醒。01任務(wù)描述03知識學(xué)習(xí)05拓展延伸07舉一反三02感知體驗04實踐操作06自我評價0802感知體驗小小想和同學(xué)一起去看電影，但不清楚最近哪些電影票房高，小小利用百度查詢，訪問了觀影大數(shù)據(jù)網(wǎng)站——藝恩，如圖4-4-1所示。在網(wǎng)站上可以看到最近全國播放電影的大數(shù)據(jù)信息，是不是很奇妙。01任務(wù)描述03知識學(xué)習(xí)05拓展延伸07舉一反三02感知體驗04討論活動06自我評價0803知識學(xué)習(xí)1.認識大數(shù)據(jù)新一代信息技術(shù)的發(fā)展，給信息時代帶來無處不在的技術(shù)應(yīng)用，海量數(shù)據(jù)不斷產(chǎn)生，蘊含著巨大的社會、經(jīng)濟、科研價值。大數(shù)據(jù)（BigData）又稱巨量資料，指的是無法在一定時間范圍內(nèi)通過人腦甚至主流軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，它需要在信息技術(shù)支撐下，利用全新的數(shù)據(jù)分析處理方法，在海量、復(fù)雜、散亂的數(shù)據(jù)集合中提取有價值信息的技術(shù)處理過程，其核心就是對數(shù)據(jù)進行智能化的信息挖掘，并發(fā)揮其作用。03知識學(xué)習(xí)2.大數(shù)據(jù)的特征大數(shù)據(jù)是在極短的時間內(nèi)通過信息技術(shù)和軟硬件工具對實際發(fā)生的各類事件產(chǎn)生的信息進行感知、獲取、管理、處理和服務(wù)的巨量數(shù)據(jù)集合。它具有數(shù)據(jù)規(guī)模大、來源豐富、類型復(fù)雜、變化迅速等諸多特征。傳統(tǒng)數(shù)據(jù)就是IT業(yè)務(wù)系統(tǒng)里面的數(shù)據(jù)，如輸入或?qū)氲漠a(chǎn)品信息、客戶資料、財務(wù)數(shù)據(jù)等。傳統(tǒng)數(shù)據(jù)是結(jié)構(gòu)化的，數(shù)據(jù)量在TB級以下。大數(shù)據(jù)包括結(jié)構(gòu)化的傳統(tǒng)數(shù)據(jù)以及來源于社區(qū)網(wǎng)絡(luò)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等渠道的文本、圖片、音頻、視頻等非結(jié)構(gòu)化的數(shù)據(jù)，如圖4-4-3所示。

地圖導(dǎo)航已成為交通重要應(yīng)用之一，基于對海量數(shù)據(jù)的合理分析，提供實時路況及路況預(yù)測等服務(wù)，應(yīng)用于各大城市。同學(xué)們在計算機瀏覽器中打開百度地圖智慧交通網(wǎng)站，查看所在城市的擁堵情況，以及基于大數(shù)據(jù)預(yù)測的未來擁堵情況。圖4-4-2所示為重慶市實時擁堵情況。03知識學(xué)習(xí)2.大數(shù)據(jù)的特征03知識學(xué)習(xí)2.大數(shù)據(jù)的特征根據(jù)大數(shù)據(jù)產(chǎn)生、采集、處理和應(yīng)用的特點，總結(jié)其具有以下特征，簡稱“4V”：①大量（Volume）：數(shù)據(jù)體量巨大，達到PB級別；②多樣（Variety）：數(shù)據(jù)類型繁多，有網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息、環(huán)境信息、生物體征信息等；③高速（Velocity）：處理速度快，可從各種類型數(shù)據(jù)中快速獲取高價值信息，與傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有本質(zhì)區(qū)別；④價值（Value）：只要合理利用數(shù)據(jù)并對其進行正確、準確的分析，就會帶來高價值回報。大數(shù)據(jù)的“4V”特征如圖4-4-4所示。03知識學(xué)習(xí)3.大數(shù)據(jù)的采集與分析方法大數(shù)據(jù)的處理流程主要可以概括為四步：采集、預(yù)處理、統(tǒng)計和分析、挖掘與呈現(xiàn)。（1）采集大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫進行簡單的查詢和處理工作。例如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等存儲每一筆事務(wù)數(shù)據(jù)。在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，如火車票售票網(wǎng)站和淘寶網(wǎng)站，它們并發(fā)的訪問量在峰值時可達到百萬級，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。如何在這些數(shù)據(jù)庫之間進行負載均衡和分片需要深入思考和設(shè)計。（2）預(yù)處理雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫或者分布式存儲集群，并且在導(dǎo)入基礎(chǔ)上做一些簡單的預(yù)處理工作。03知識學(xué)習(xí)3.大數(shù)據(jù)的采集與分析方法（3）統(tǒng)計和分析大數(shù)據(jù)的統(tǒng)計和分析主要是利用分布式數(shù)據(jù)庫或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求。大數(shù)據(jù)分析的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源占用大。（4）挖掘與呈現(xiàn)數(shù)據(jù)挖掘主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測的效果，實現(xiàn)一些高級別數(shù)據(jù)分析的需求。集群、分割、孤立點分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。數(shù)據(jù)呈現(xiàn)也稱為數(shù)據(jù)可視化。不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求。可視化可以直觀地展示數(shù)據(jù)，幫助人們有效理解數(shù)據(jù)，從而真正利用好大數(shù)據(jù)。03知識學(xué)習(xí)4.大數(shù)據(jù)的應(yīng)用在信息化發(fā)展歷程中，數(shù)字化、網(wǎng)絡(luò)化和智能化是三條并行不悖的主線。數(shù)字化奠定基礎(chǔ)，實現(xiàn)數(shù)據(jù)資源的獲取和積累；網(wǎng)絡(luò)化構(gòu)建平臺，促進數(shù)據(jù)資源的流通和匯聚；智能化展現(xiàn)能力，通過多源數(shù)據(jù)的融合分析呈現(xiàn)信息應(yīng)用的類人智能，幫助人類更好地認知復(fù)雜事物和解決問題。大數(shù)據(jù)的應(yīng)用場景廣泛，已經(jīng)覆蓋社會、經(jīng)濟、政治等各個領(lǐng)域，如圖4-4-5~圖4-4-7所示。03知識學(xué)習(xí)4.大數(shù)據(jù)的應(yīng)用在信息化發(fā)展歷程中，數(shù)字化、網(wǎng)絡(luò)化和智能化是三條并行不悖的主線。數(shù)字化奠定基礎(chǔ)，實現(xiàn)數(shù)據(jù)資源的獲取和積累；網(wǎng)絡(luò)化構(gòu)建平臺，促進數(shù)據(jù)資源的流通和匯聚；智能化展現(xiàn)能力，通過多源數(shù)據(jù)的融合分析呈現(xiàn)信息應(yīng)用的類人智能，幫助人類更好地認知復(fù)雜事物和解決問題。大數(shù)據(jù)的應(yīng)用場景廣泛，已經(jīng)覆蓋社會、經(jīng)濟、政治等各個領(lǐng)域，如圖4-4-5~圖4-4-7所示。03知識學(xué)習(xí)4.大數(shù)據(jù)的應(yīng)用01任務(wù)描述03知識學(xué)習(xí)05拓展延伸07舉一反三02感知體驗04討論活動06自我評價0804討論活動

通過網(wǎng)絡(luò)搜索，瀏覽去年的春節(jié)小長假人口流動指數(shù)大數(shù)據(jù)，并討論人口流動的特征。01任務(wù)描述03知識學(xué)習(xí)05拓展延伸07舉一反三02感知體驗04討論活動06自我評價0805拓展延伸

大數(shù)據(jù)為鄉(xiāng)村振興注入“新動力”

隨著我國農(nóng)村農(nóng)業(yè)信息化尤其農(nóng)村電商的深入發(fā)展，農(nóng)村農(nóng)業(yè)成為大數(shù)據(jù)資源生產(chǎn)和應(yīng)用的主戰(zhàn)場，大數(shù)據(jù)應(yīng)用成為鄉(xiāng)村振興的重要突破口。

利用大數(shù)據(jù)技術(shù)對農(nóng)業(yè)產(chǎn)業(yè)鏈全鏈條分析，實現(xiàn)農(nóng)產(chǎn)品價格預(yù)測預(yù)警，從而解決部分農(nóng)產(chǎn)品盲目生產(chǎn)或供應(yīng)波動問題。大數(shù)據(jù)還在農(nóng)產(chǎn)品加工與流通領(lǐng)域以及農(nóng)產(chǎn)品上行和農(nóng)資產(chǎn)品下行等方面發(fā)揮重要作用，其中農(nóng)產(chǎn)品質(zhì)量追溯和農(nóng)村電商包括農(nóng)村物流就是典型應(yīng)用場景，尤其是農(nóng)村電商破解了我國農(nóng)業(yè)生產(chǎn)經(jīng)營中個體分散性與大市場對接性的矛盾。

貴州作為全國首個大數(shù)據(jù)綜合試驗區(qū)，大數(shù)據(jù)基因已經(jīng)深深地植入貴州的廣袤土地，大數(shù)據(jù)與農(nóng)業(yè)融合發(fā)展指數(shù)逐年提高，運用大數(shù)據(jù)信息化技術(shù)促進農(nóng)業(yè)提速增效，促進黔貨出山，鞏固脫貧攻堅成果，成為深入實施鄉(xiāng)村振興戰(zhàn)略的重大舉措。圖4-4-8所示為國家大數(shù)據(jù)（貴州）綜合試驗區(qū)展示中心內(nèi)的貴州電商云展示區(qū)域。

細數(shù)成績的背后，我們不難發(fā)現(xiàn)，大數(shù)據(jù)助力鄉(xiāng)村振興的基本路徑，是借助互聯(lián)網(wǎng)的力量，用數(shù)據(jù)化、電商化、產(chǎn)融結(jié)合等模式，提高生產(chǎn)效率，改變生產(chǎn)方式，增加農(nóng)民收益。01任務(wù)描述03知識學(xué)習(xí)05拓展延伸07舉一反三02感知體驗04討論活動06自我評價0806自我評價請根據(jù)自己的學(xué)習(xí)情況完成表4-4-1，并按掌握程度填涂☆。01任務(wù)描