物聯(lián)網(wǎng)導(dǎo)論【課件】第4章 認(rèn)識物聯(lián)網(wǎng)應(yīng)用層技術(shù) 任務(wù)2 認(rèn)識大數(shù)據(jù)技術(shù)25-26講

物聯(lián)網(wǎng)導(dǎo)論點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論物聯(lián)網(wǎng)導(dǎo)論點擊此處結(jié)束放映本章主要內(nèi)容：任務(wù)1認(rèn)識云計算技術(shù)任務(wù)2認(rèn)識大數(shù)據(jù)技術(shù)任務(wù)3認(rèn)識人工智能技術(shù)任務(wù)4認(rèn)識物聯(lián)網(wǎng)平臺認(rèn)識云計算技術(shù)1.1認(rèn)識大數(shù)據(jù)技術(shù)1.2認(rèn)識人工智能技術(shù)1.3認(rèn)識物聯(lián)網(wǎng)平臺1.4物聯(lián)網(wǎng)導(dǎo)論點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論

點擊此處結(jié)束放映

本任務(wù)將帶領(lǐng)大家認(rèn)識大數(shù)據(jù)的基礎(chǔ)知識，這部分內(nèi)容可以幫助人們認(rèn)識什么才是真正的大數(shù)據(jù)，理解并掌握整個大數(shù)據(jù)的相關(guān)體系和理念，以及大數(shù)據(jù)的應(yīng)用、面臨的機遇和挑戰(zhàn)。

認(rèn)識大數(shù)據(jù)技術(shù)1.2物聯(lián)網(wǎng)導(dǎo)論引導(dǎo)案例——大數(shù)據(jù)玩跨界

點擊此處結(jié)束放映

在2018年4月的天貓歡聚日上，安佳酸奶和阿里巴巴合作推出了一款叫作“安佳輕醇限量綻放禮盒”，一經(jīng)推出，就成為了“小紅書”上的曬單爆款。

安佳酸奶通過大數(shù)據(jù)分析得知：安佳輕醇的目標(biāo)人群集中在24～30歲的年輕時尚女性中。這類人群非常關(guān)注身材和健康飲食，更愿意把錢花在購買原創(chuàng)或獨特的品牌產(chǎn)品上，是最早一批非常樂于購買并和別人分享新產(chǎn)品的人。物聯(lián)網(wǎng)導(dǎo)論4.2.1大數(shù)據(jù)時代背景

1．三次信息化浪潮阿爾文·托夫勒1983年出版《第三次浪潮》把人類社會劃分成三個階段：①第一階段是農(nóng)業(yè)階段，始于約1萬年前。②第二階段是工業(yè)階段，始于17世紀(jì)末。③第三階段為信息化（服務(wù)業(yè)）階段，始于20世紀(jì)50年代后期。

點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論2．技術(shù)支撐

進(jìn)入第三次信息化浪潮后，數(shù)據(jù)得到暴發(fā)式的增長，信息技術(shù)亟須解決存儲、傳輸和處理三個核心問題。（1）存儲容量不斷擴大。（2）CPU處理速度大幅提升。（3）網(wǎng)絡(luò)帶寬不斷增加。點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論3．?dāng)?shù)據(jù)產(chǎn)生方式的變革

大數(shù)據(jù)的興起除與三種技術(shù)的變革有關(guān)外，還和數(shù)據(jù)的產(chǎn)生方式息息相關(guān)。數(shù)據(jù)產(chǎn)生方式的變革是促使大數(shù)據(jù)時代來臨的另一個重要因素。這里，將人類社會的數(shù)據(jù)產(chǎn)生方式大致歸納為三個階段：（1）運營式系統(tǒng)階段。（2）用戶原創(chuàng)內(nèi)容階段。（3）感知式系統(tǒng)階段。點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論4.2.2大數(shù)據(jù)的定義與特征

大數(shù)據(jù)的第一個特點是數(shù)據(jù)體量巨大，單位：Byte（字節(jié)）、KB（千字節(jié)）、MB（兆字節(jié)）GB（吉字節(jié)）、TB（太字節(jié)）、PB（拍字節(jié)）EB（艾字節(jié)）、ZB（澤字節(jié)）、YB（堯字節(jié)）4V特征：數(shù)據(jù)量大（Volume）、數(shù)據(jù)類型多樣（Variety）處理速度快（Velocity）和價值密度低（Value）點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論4.2.3大數(shù)據(jù)結(jié)構(gòu)類型

大數(shù)據(jù)技術(shù)的核心在于數(shù)據(jù)，因此，大數(shù)據(jù)結(jié)構(gòu)類型的實質(zhì)是指數(shù)據(jù)的結(jié)構(gòu)類型。大數(shù)據(jù)的多樣性使得大數(shù)據(jù)被分為三類。點擊此處結(jié)束放映

非結(jié)構(gòu)化數(shù)據(jù)為大數(shù)據(jù)的主要部分。IDC的調(diào)查報告顯示，企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，而且這些數(shù)據(jù)每年還在按照60%增長。物聯(lián)網(wǎng)導(dǎo)論1．結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)是指包括預(yù)定義的數(shù)據(jù)類型、格式和結(jié)構(gòu)的數(shù)據(jù)，以行為單位進(jìn)行存儲，常見于關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)，一般以二維表的形式進(jìn)行邏輯表達(dá)，一行數(shù)據(jù)表示一個實體信息，一列數(shù)據(jù)表示實體的某個屬性。點擊此處結(jié)束放映結(jié)構(gòu)化數(shù)據(jù)的存儲和排列都是有規(guī)律的，這對查詢和修改等操作很有幫助。物聯(lián)網(wǎng)導(dǎo)論2．半結(jié)構(gòu)化數(shù)據(jù)

指具有可識別的模式并可以解析的文本數(shù)據(jù)文件。它雖然具有一定的結(jié)構(gòu)性，但是和嚴(yán)格理論模型的關(guān)系型數(shù)據(jù)相比更靈活。半結(jié)構(gòu)化數(shù)據(jù)是一種靈活的數(shù)據(jù)，雖然它攜帶了“模式”這一信息，但這個“模式”并不是一成不變的，其可以隨時間的變化在單一數(shù)據(jù)庫內(nèi)任意改變。如，XML和JSON表示的數(shù)據(jù)就具有半結(jié)構(gòu)化數(shù)據(jù)的特點。點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論3．非結(jié)構(gòu)化數(shù)據(jù)

指不適合用數(shù)據(jù)庫二維表來表現(xiàn)的數(shù)據(jù)，它與結(jié)構(gòu)化數(shù)據(jù)是相對的。對于非結(jié)構(gòu)化數(shù)據(jù)而言，它沒有固定的結(jié)構(gòu)，沒有預(yù)定義的數(shù)據(jù)模型。

辦公文檔、HTML、各類報表、圖片、視頻、音頻等都屬于非結(jié)構(gòu)化數(shù)據(jù)。對于這類數(shù)據(jù)，一般采取直接整體存儲的方式，以二進(jìn)制的數(shù)據(jù)格式進(jìn)行存儲。點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論

4.2.4大數(shù)據(jù)應(yīng)用1．科學(xué)研究領(lǐng)域的應(yīng)用

圖靈獎獲得者吉姆·格雷等人在聯(lián)合編寫的TheFourthParadigm：Data-IntensiveScientificDiscovery一書中，將人類科學(xué)的發(fā)展定義為四種范式：①幾千年前，記錄和描述自然現(xiàn)象的經(jīng)驗科學(xué)稱為第一范式。②數(shù)百年前，利用模型歸納總結(jié)過去記錄的科學(xué)稱為第二范式。③過去數(shù)十年，利用計算機對復(fù)雜現(xiàn)象進(jìn)行模擬仿真的計算科學(xué)稱為第三范式。④如今，隨著數(shù)據(jù)的暴發(fā)式增長，計算機不僅僅能進(jìn)行模擬仿真，還能進(jìn)行分析和總結(jié)，進(jìn)而得到理論，這就是第四范式，也稱為數(shù)據(jù)密集型科學(xué)。

點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論2．社會生活領(lǐng)域的應(yīng)用①大數(shù)據(jù)讓人們可以“運籌帷幄之中，決勝千里之外”。②大數(shù)據(jù)時代的新聞媒體所報道的內(nèi)容更加貼近民生。③大數(shù)據(jù)技術(shù)真正實現(xiàn)了“地球村”，信息共享。3．政府管理領(lǐng)域的應(yīng)用①政府利用大數(shù)據(jù)平臺搭建了社會經(jīng)濟(jì)各個層面的信息管理公共服務(wù)平臺。②大數(shù)據(jù)使政府在社會資源的整體規(guī)劃和分配。③大數(shù)據(jù)有利于政府管理“數(shù)字化”“貨幣化”“資本化”。

點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論

4.2.5大數(shù)據(jù)面臨的機遇與挑戰(zhàn)1．大數(shù)據(jù)面臨的機遇

對企業(yè)而言，大數(shù)據(jù)顛覆了傳統(tǒng)數(shù)據(jù)信息的結(jié)構(gòu)，形成了一個流動的、信息共享的數(shù)據(jù)池。企業(yè)可以利用大數(shù)據(jù)靈活的技術(shù)形式實現(xiàn)對數(shù)據(jù)的深層挖掘與應(yīng)用。這種商業(yè)模式既可為企業(yè)盈利，又可以提高企業(yè)的競爭實力，為企業(yè)的發(fā)展帶來更大的機遇。對硬件而言、在軟件、服務(wù)領(lǐng)域。點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論

2．大數(shù)據(jù)面臨的挑戰(zhàn)①大數(shù)據(jù)時代面對的是海量信息，其中包含大量的個人或企業(yè)隱私信息，甚至國家的機密信息等。②與傳統(tǒng)的數(shù)據(jù)技術(shù)理念不同，大數(shù)據(jù)的結(jié)構(gòu)大部分是非結(jié)構(gòu)化的，這就要求大數(shù)據(jù)的信息必須是可靠安全的。③由于大數(shù)據(jù)時代的數(shù)據(jù)量太過龐大，一般采用云端存儲，因此數(shù)據(jù)管理和用戶進(jìn)行數(shù)據(jù)處理的場所都具有不確定性。點擊此處結(jié)束放映物聯(lián)網(wǎng)導(dǎo)論

點擊此處結(jié)束放