1.5數(shù)據(jù)與大數(shù)據(jù)教學(xué)課件

必修1《數(shù)據(jù)與計算》制作者：XXXXXX第一章數(shù)據(jù)與信息1.5數(shù)據(jù)與大數(shù)據(jù)教學(xué)目標(biāo)：

●了解大數(shù)據(jù)的概念，理解大數(shù)據(jù)的特征?！窳私獯髷?shù)據(jù)對人類思維方式的影響，能正確面對大數(shù)據(jù)?！衲苊枋龃髷?shù)據(jù)在生活中的具體應(yīng)用，認(rèn)識大數(shù)據(jù)的意義以及對社會的影響。情境引入基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點(diǎn)，合理搭配，重新組隊；打破傳統(tǒng)思維，通過分析比賽數(shù)據(jù)，尋找“性價比”最高球員，運(yùn)用數(shù)據(jù)取得成功；布拉德?皮特主演的《點(diǎn)球成金》是一部美國奧斯卡獲獎影片，所講述的是皮特扮演的棒球隊總經(jīng)理利用計算機(jī)數(shù)據(jù)分析，對球隊進(jìn)行了翻天覆地的改造，讓一家不起眼的小球隊能夠取得巨大的成功。情境引入互聯(lián)網(wǎng)、移動網(wǎng)絡(luò)、物聯(lián)網(wǎng)等每天都產(chǎn)生著大量數(shù)據(jù)，這些數(shù)據(jù)規(guī)模巨大、格式多樣，已經(jīng)很難用傳統(tǒng)的方式進(jìn)行處理。于是，大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生，通過分析、挖掘這些數(shù)據(jù)，發(fā)現(xiàn)其蘊(yùn)藏的價值。討論交流話題：

天氣預(yù)報越來越準(zhǔn)確了，準(zhǔn)確率可以達(dá)100%嗎？從天氣預(yù)報的發(fā)展、設(shè)備、技術(shù)、數(shù)據(jù)方面進(jìn)行描述1.大氣系統(tǒng)為非線性系統(tǒng)2.地面氣象觀測臺站空間間隔較大且分布不均3.數(shù)值天氣預(yù)報的不確定性。4.全球氣候變化增加了天氣預(yù)報的難度。討論交流話題：

天氣預(yù)報越來越準(zhǔn)確了，準(zhǔn)確率可以達(dá)100%嗎？從天氣預(yù)報的發(fā)展、設(shè)備、技術(shù)、數(shù)據(jù)方面進(jìn)行描述從“憑經(jīng)驗(yàn)”到“算數(shù)值”天氣能預(yù)報，氣候也能嗎？曾慶存回答：能。知識講解什么是大數(shù)據(jù)？了解數(shù)據(jù)的采集和來源有哪些？數(shù)據(jù)的方式有哪些？是不是數(shù)據(jù)量大就是大數(shù)據(jù)？《2分鐘讓你認(rèn)識什么是大數(shù)據(jù)》視頻知識講解什么是大數(shù)據(jù)？其實(shí)很簡單，大數(shù)據(jù)其實(shí)就是海量資料巨量資料，這些巨量資料來源于世界各地隨時產(chǎn)生的數(shù)據(jù)，在大數(shù)據(jù)時代，任何微小的數(shù)據(jù)都可能產(chǎn)生不可思議的價值。大數(shù)據(jù)代表著信息量大、速度快、種類繁多的信息資產(chǎn)，需要特定的技術(shù)和分析方法將其轉(zhuǎn)化為價值。知識講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價值（Value）。數(shù)量（volume）:TB\PB\EB\ZB僅供開采162年僅供開采45年僅供開采60年不可再生資源VS數(shù)據(jù)過去3年數(shù)據(jù)總量比以往4萬年還多2013年,10分鐘的信息總量將達(dá)1.8ZB2010年全球數(shù)據(jù)總量1.2ZB，年增長50%數(shù)據(jù)不再是社會生產(chǎn)的“副產(chǎn)物”，而是可被二次乃至多次加工的原料，從中可以探索更大價值，它變成了生產(chǎn)資料。問題思考大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價值（Value）。1Byte1KB1MB1GB1TB1PB1EB1ZB1YB1PB相當(dāng)于50%的全美學(xué)術(shù)研究圖書館藏書信息內(nèi)容5EB相當(dāng)于至今全世界人類所講過的話語1ZB如同全世界海灘上的沙子數(shù)量總和1YB相當(dāng)于7000位人類體內(nèi)的微細(xì)胞總和一般情況下，大數(shù)據(jù)是以PB、EB、ZB為單位進(jìn)行計量的問題1：現(xiàn)在為什么現(xiàn)在闖紅燈等違規(guī)行為越來越少了？問題2：請你估算一下一天產(chǎn)生的數(shù)據(jù)量有多少？知識講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價值（Value）。速度（Velocity）:數(shù)據(jù)產(chǎn)生的速度快，數(shù)據(jù)處理的速度快知識講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價值（Value）。多樣（Variety）：人工產(chǎn)生的，機(jī)器自動產(chǎn)生知識講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價值（Value）。多樣（Variety）：人工產(chǎn)生的，機(jī)器自動產(chǎn)生行業(yè)/企業(yè)內(nèi)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)數(shù)據(jù)來源多企業(yè)內(nèi)部多個應(yīng)用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來了微博、社交網(wǎng)站、傳感器等多種來源。數(shù)據(jù)類型多保存在關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。關(guān)聯(lián)性強(qiáng)數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強(qiáng)的關(guān)聯(lián)性。知識講解大數(shù)據(jù)的特征：4V，數(shù)量（volume）、速度（Velocity）、多樣（Variety）和價值（Value）。價值（Value）：價值密度低，大量的視頻記錄下來，有許多冗余挖掘大數(shù)據(jù)的價值類似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價值密度低，是大數(shù)據(jù)的一個典型特征；大數(shù)據(jù)不僅僅是技術(shù)，關(guān)鍵是產(chǎn)生價值可以從各個層面進(jìn)行優(yōu)化，更要考慮整體討論交流

在疫情期間，文山人民對武漢支援的三七，同學(xué)們?nèi)绾瘟私馊叩竭_(dá)的位置，去向。知識講解更好不是因果關(guān)系而是相關(guān)關(guān)系更多不是隨機(jī)樣本而是全部數(shù)據(jù)更雜不是精確性而是混雜性大數(shù)據(jù)的思維變革知識講解大數(shù)據(jù)的思維變革人口大普查全數(shù)據(jù)模式隨機(jī)采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式是指在國家統(tǒng)一規(guī)定的時間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項(xiàng)目、統(tǒng)一的調(diào)查表和統(tǒng)一的標(biāo)準(zhǔn)時點(diǎn)，對全國人口普遍地、逐戶逐人地進(jìn)行的一次性調(diào)查登記；主要特點(diǎn)是調(diào)查組織高度集中性，普查對象的全面完整性；人口大普查耗時耗費(fèi)，一般來講是十年一次，新中國成立以來共進(jìn)行了6次人口大普查；人口大普查是一種典型的全數(shù)據(jù)模式；大數(shù)據(jù)時代小數(shù)據(jù)時代知識講解大數(shù)據(jù)的思維變革人口大普查全數(shù)據(jù)模式隨機(jī)采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式人口大普查是一種耗時耗費(fèi)的工程，一般是以十年為單位；各國每年需要進(jìn)行幾百次的小規(guī)模人口調(diào)查，采取隨機(jī)采樣分析的方式，這是一種樣本模式；源于實(shí)用并且很好的創(chuàng)新！隨機(jī)采樣分析是小數(shù)據(jù)時代的產(chǎn)物；大數(shù)據(jù)時代小數(shù)據(jù)時代知識講解大數(shù)據(jù)的思維變革人口大普查全數(shù)據(jù)模式隨機(jī)采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式我們已具備了大數(shù)據(jù)的各種技術(shù)能力，思維需要轉(zhuǎn)換到大數(shù)據(jù)的全數(shù)據(jù)模式：樣本=全部；大數(shù)據(jù)不用隨機(jī)分析法這樣的捷徑，而采用所有數(shù)據(jù)的方法；這里的“大”是相對的——相撲比賽所有數(shù)據(jù)存儲還不需要一個TB，但是是所有的數(shù)據(jù)！在大數(shù)據(jù)時代采用隨機(jī)采樣法，就像在汽車時代騎馬一樣，雖然特定情況下仍可采樣隨機(jī)采樣法，但是慢慢地我們會放棄它；大數(shù)據(jù)時代小數(shù)據(jù)時代案例分析出行大數(shù)據(jù)繪制的“城市星云圖”是這樣的！案例分析出行大數(shù)據(jù)繪制的“城市星云圖”是這樣的！案例分析阿里釘釘大數(shù)據(jù)案例分析如何在大數(shù)據(jù)里掘金？視頻討論交流馬云說數(shù)據(jù)重要、李彥宏說算法重要、馬化騰說場景重要，大家說的矛盾嗎？你是怎么理解的？大數(shù)據(jù)給社會帶來了哪些影響？馬化騰專訪視頻討論交流大數(shù)據(jù)時代揭秘廣告為何總能找到你討論交流討論交流大數(shù)據(jù)為生活帶來便利的同時也帶來了安全隱患。我們應(yīng)該如何在大數(shù)據(jù)時代預(yù)防信息泄露？討論交流大數(shù)據(jù)的安全威脅大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅大數(shù)據(jù)存儲安全威脅隱私泄露問題數(shù)據(jù)訪問安全威脅針對大數(shù)據(jù)的高級持續(xù)性攻擊其他安全威脅思考與練習(xí)1、道路路口監(jiān)控攝像頭24小時不間斷記錄著視頻，根據(jù)圖像計算公式計算一天的數(shù)據(jù)量。（720P的高清攝像頭1280x720像素、24位，按25幀記錄）1280*720*24*86400*25/8/1024/1024/1024=5561.82GB/1024=5.43TB思考與練習(xí)2、學(xué)生學(xué)籍系統(tǒng)中存放著大量的學(xué)生數(shù)據(jù)，這些數(shù)據(jù)是否屬于大數(shù)據(jù)？為什么？這些數(shù)據(jù)不屬于大數(shù)據(jù)，可以從大數(shù)據(jù)的4個特征入手分析，這些數(shù)據(jù)從個人角度來看視乎很“大”，但實(shí)際上遠(yuǎn)遠(yuǎn)達(dá)不到大數(shù)據(jù)的量級，且這些數(shù)據(jù)更新緩慢、變化少，每個數(shù)據(jù)都有較大的價值。思考與練習(xí)“抽樣數(shù)據(jù)”為傳統(tǒng)的數(shù)據(jù)分析方法。在以前，人們無法對數(shù)據(jù)進(jìn)行分析，只能從中抽取隨機(jī)樣本，通過對這些樣本數(shù)據(jù)的分析，從而評估出整體數(shù)據(jù)結(jié)論。這種方法高效、便捷、技術(shù)門檻低，在很多領(lǐng)域中得到廣泛的應(yīng)用。但個別數(shù)據(jù)畢竟不能代表全體數(shù)據(jù)，隨機(jī)樣本的選擇方法也會影響其客觀性，人們熟知的“以偏概全”、“管中窺豹”等成語用來形容分析失敗的情形。隨著大數(shù)據(jù)技術(shù)的發(fā)展，“全樣本數(shù)據(jù)”分析方法變成了可能，人們可以全面了解每個數(shù)據(jù)的信息，從而更加科學(xué)地做出各種結(jié)論。盡管這種數(shù)據(jù)分析方法精準(zhǔn)、全面、但也面臨許多問題。首先，它的技術(shù)門檻高，大數(shù)據(jù)分析需要專門的數(shù)據(jù)分析人員，利用專門的數(shù)據(jù)分析工具（軟件）。其次，數(shù)據(jù)的獲取也需要較高的要求，大數(shù)據(jù)的獲取已經(jīng)不是單純依靠人力能完成的，需要依賴專用設(shè)備進(jìn)行采集。盡管人類社會進(jìn)入大數(shù)據(jù)時代，“全樣本數(shù)據(jù)”分析方法將在更多領(lǐng)域得到應(yīng)用，但傳統(tǒng)的“抽樣數(shù)據(jù)”分析方法還會繼續(xù)存在。3、在處理數(shù)據(jù)時。往往會選擇“抽樣數(shù)據(jù)”或“全樣本數(shù)據(jù)”進(jìn)行分析，請比較這樣種分析方式的特點(diǎn)，并舉例說明？學(xué)習(xí)評價對自己和同伴的表現(xiàn)進(jìn)行客觀的評價，并思考后續(xù)完善的方向