大數(shù)據(jù)技術(shù)與應(yīng)用 第2版 課件 第8章 大數(shù)據(jù)安全；第9章 大數(shù)據(jù)的行業(yè)應(yīng)用

第8章大數(shù)據(jù)安全數(shù)據(jù)安全概述

數(shù)據(jù)的安全是計(jì)算機(jī)系統(tǒng)安全的核心部分之一，數(shù)據(jù)安全的定義一方面是指其自身的安全，包括采用現(xiàn)代加密技術(shù)對數(shù)據(jù)進(jìn)行主動(dòng)保護(hù)，另一方面是數(shù)據(jù)防護(hù)的安全，指的是采用現(xiàn)代信息存儲手段對數(shù)據(jù)進(jìn)行主動(dòng)防護(hù)。數(shù)據(jù)安全的特點(diǎn)：（1）保密性個(gè)人或者企事業(yè)單位的信息數(shù)據(jù)不能被其他未經(jīng)許可的人員取得。

（2）完整性完整性是指在信息數(shù)據(jù)傳輸和存儲過程中，不被未經(jīng)授權(quán)的篡改。

（3）可用性可用性也稱有效性，主要是指信息數(shù)據(jù)能夠被授權(quán)的人員正常訪問、使用。大數(shù)據(jù)時(shí)代的安全挑戰(zhàn)與解決網(wǎng)絡(luò)安全威脅網(wǎng)絡(luò)安全問題可能對大數(shù)據(jù)的應(yīng)用造成十分嚴(yán)重的安全威脅，例如利用計(jì)算機(jī)網(wǎng)絡(luò)黑客就可以使用技術(shù)手段盜取數(shù)據(jù)、篡改數(shù)據(jù)、損壞數(shù)據(jù)，甚至侵入系統(tǒng)造成嚴(yán)重的破壞。

1）網(wǎng)絡(luò)攻擊網(wǎng)絡(luò)攻擊從最初“黑客”個(gè)人出于炫耀和展示網(wǎng)絡(luò)技術(shù)，發(fā)展到如今更多的是以謀取經(jīng)濟(jì)利益為目的、有組織的職業(yè)犯罪行為。同時(shí)由于網(wǎng)絡(luò)攻擊技術(shù)的發(fā)展，使得許多攻擊工具軟件使用簡單化，獲取途徑比以往更加容易，網(wǎng)絡(luò)攻擊的實(shí)施者也出現(xiàn)了低齡化和集團(tuán)化的特點(diǎn)。2）計(jì)算機(jī)病毒與木馬計(jì)算機(jī)病毒其實(shí)就是一個(gè)計(jì)算機(jī)程序，只不過不同于一般程序，其是會給計(jì)算機(jī)系統(tǒng)造成破壞，并且能夠自我復(fù)制和傳播。計(jì)算機(jī)病毒在互聯(lián)網(wǎng)快速發(fā)展的今天，其傳播的速度和造成的破壞規(guī)模都是以往無法想象的。

3）拒絕服務(wù)攻擊拒絕服務(wù)攻擊，英文名稱是DenialofService，簡稱DoS，其攻擊行為被稱為DoS攻擊，目的是使計(jì)算機(jī)或網(wǎng)絡(luò)超出其能夠提供的服務(wù)限度，造成資源耗盡，最終無法提供正常的服務(wù)。大數(shù)據(jù)設(shè)施安全威脅大數(shù)據(jù)設(shè)施是大數(shù)據(jù)技術(shù)應(yīng)用的基礎(chǔ)，其包括了數(shù)據(jù)的存儲設(shè)備、計(jì)算設(shè)備、互聯(lián)以及管理等設(shè)備，其中既包括硬件設(shè)備也包含軟件設(shè)備。

（1）物理安全物理安全是大數(shù)據(jù)設(shè)施安全的前提和基礎(chǔ)（3）信息泄露及丟失信息的泄露及丟失主要包括了在信息的傳輸過程中、在存儲介質(zhì)中甚至是惡意人員利用隱蔽隧道竊取。（2）非授權(quán)訪問非授權(quán)訪問指的是在沒有獲得授權(quán)許可的情況下，使用大數(shù)據(jù)基礎(chǔ)設(shè)施設(shè)備或者訪問相關(guān)網(wǎng)絡(luò)及計(jì)算機(jī)資源。大數(shù)據(jù)的儲存是大數(shù)據(jù)技術(shù)的一個(gè)關(guān)鍵技術(shù)，現(xiàn)階段主要是采取關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫進(jìn)行存儲。大數(shù)據(jù)存儲安全威脅關(guān)系型數(shù)據(jù)庫有很多的不足之處，諸如高并發(fā)讀取性能較低、海量數(shù)據(jù)的讀寫效率很低、數(shù)據(jù)庫的擴(kuò)展性和可用性較低等。（1）關(guān)系型數(shù)據(jù)庫的存儲安全

1）

模式的成熟度不足2）

支持力度不夠

3）

客戶端軟件安全威脅4）

數(shù)據(jù)冗余及分散性風(fēng)險(xiǎn)（2）非關(guān)系型數(shù)據(jù)庫的存儲安全個(gè)人隱私安全威脅在大數(shù)據(jù)時(shí)代，個(gè)人的隱私問題變得越來越受人們關(guān)注。人們在享受技術(shù)進(jìn)步帶給我們的方便和快捷生活時(shí)，也受到了個(gè)人隱私被窺探的困擾。個(gè)人隱私指的是我們個(gè)人生活中不愿意被公開或者讓其他人知曉的個(gè)人信息。例如我們的手機(jī)號碼、家庭住址、家庭成員相關(guān)信息、個(gè)人身份信息等內(nèi)容。個(gè)人隱私的竊取和濫用會給我們生活和工作帶來各種各樣的煩惱和危險(xiǎn)。（1）個(gè)人智能終端設(shè)備在移動(dòng)互聯(lián)網(wǎng)普及的當(dāng)下，個(gè)人智能終端設(shè)備的使用也變得非常普遍。

智能手機(jī)會記錄我們經(jīng)?；顒?dòng)的地理位置信息、經(jīng)常聯(lián)系人的手機(jī)號碼，智能手表或者手環(huán)可以記錄我們的心率等等，這些個(gè)人隱私信息都是非常重要甚至直接關(guān)系我們?nèi)松戆踩男畔?，一旦被人獲取后果可能非常嚴(yán)重。（2）社交軟件社交軟件是現(xiàn)在人們生活中必不可少的網(wǎng)絡(luò)應(yīng)用軟件。然而正因?yàn)槲覀內(nèi)绱祟l繁的使用社交軟件，聯(lián)系朋友，分享生活的點(diǎn)滴樂趣，其也成為竊取我們個(gè)人隱私信息的重要工具。例如我們在微信朋友圈分享的自己和家人的照片、活動(dòng)的內(nèi)容和地址信息都有可能被人盜取，并謀取利益。（3）網(wǎng)絡(luò)購物隨著電子商務(wù)產(chǎn)業(yè)的迅速發(fā)展，人們越來越習(xí)慣網(wǎng)絡(luò)購物。但在我們享受網(wǎng)絡(luò)購物帶給我們方便的同時(shí)，我們的個(gè)人隱私信息也被暴露在網(wǎng)絡(luò)上。我們的家庭住址、姓名和電話被電子商務(wù)平臺、銷售店鋪服務(wù)者、快遞或者物流公司獲取，我們的購物習(xí)慣和喜好也可能被分析并推送相應(yīng)的廣告。（4）網(wǎng)頁瀏覽我們平常使用最多的網(wǎng)絡(luò)應(yīng)用可能就是利用瀏覽器來瀏覽網(wǎng)頁，很多人可能沒有意識到，僅僅是瀏覽網(wǎng)頁也會泄露我們的個(gè)人隱私。大數(shù)據(jù)安全解決關(guān)鍵技術(shù)數(shù)據(jù)加密技術(shù)數(shù)據(jù)加密技術(shù)是保證數(shù)據(jù)安全的有效手段。數(shù)據(jù)加密技術(shù)是指將原始信息（一般稱為明文）利用加密密鑰和加密算法轉(zhuǎn)化成為密文的技術(shù)手段。（1）古典加密技術(shù)傳統(tǒng)的數(shù)據(jù)加密技術(shù)主要針對的是對文字信息的加密，根據(jù)不同的加密方式可以分為代換加密和置換加密。（2）現(xiàn)代加密技術(shù)密碼算法包括了加密算法和解密算法，其是整個(gè)密碼體制的核心。密碼算法實(shí)際上可以被看成是一些交換的組合。當(dāng)輸入為明文時(shí)，經(jīng)過這些變換，輸出就為密文。這是加密交換的過程，此時(shí)稱為加密算法。身份認(rèn)證技術(shù)身份認(rèn)證技術(shù)是保證大數(shù)據(jù)安全的一個(gè)重要技術(shù)。通過身份的認(rèn)證，可以確定訪問者的權(quán)限，明確其能夠獲取的數(shù)據(jù)信息類別和數(shù)量，確保數(shù)據(jù)信息不被非法用戶獲取、篡改或者是破壞。同時(shí)身份認(rèn)證技術(shù)還要對用戶身份的真實(shí)性進(jìn)行驗(yàn)證，避免惡意人士通過身份偽裝繞過防范措施。（1）靜態(tài)口令認(rèn)證靜態(tài)口令也就是我們?nèi)粘Ｗ畛Ｓ玫撵o態(tài)密碼，其是我們用戶自行設(shè)定，通常長時(shí)間保持不變。這種“用戶名+密碼”的身份認(rèn)證方式在計(jì)算機(jī)系統(tǒng)中廣泛應(yīng)用，也是最簡單的一種身份認(rèn)證方式。（2）動(dòng)態(tài)口令認(rèn)證動(dòng)態(tài)口令認(rèn)證方式的安全性較靜態(tài)口令認(rèn)證更高，其是一種動(dòng)態(tài)密碼。它是依據(jù)專門的算法每間隔60秒生成一個(gè)動(dòng)態(tài)密碼，且這個(gè)口令是一次有效。（3）數(shù)字證書認(rèn)證數(shù)字證書是指CA機(jī)構(gòu)發(fā)行的一種電子文檔，是一串能夠表明網(wǎng)絡(luò)用戶身份信息的數(shù)字，其好像是我們每個(gè)人的身份證，是計(jì)算機(jī)數(shù)字世界認(rèn)證用戶身份的有效手段。（4）生物識別認(rèn)證生物識別認(rèn)證是利用我們?nèi)祟愒谏锾卣魃系哪承┪ㄒ恍詠磉M(jìn)行身份認(rèn)證的技術(shù)。例如我們?nèi)祟惪梢杂糜谏镒R別的特征有指紋、虹膜、面部、聲音等。現(xiàn)在使用最廣泛的生物識別技術(shù)就是指紋識別。訪問控制技術(shù)訪問控制技術(shù)是指通過某種途徑和方法準(zhǔn)許或者是限制用戶的訪問能力，從而控制系統(tǒng)關(guān)鍵資源的訪問，防止非法用戶侵入或者是合法用戶誤操作造成的破壞，保證關(guān)鍵數(shù)據(jù)資源被合法地、受控制的使用。訪問控制的主要類型分為：自主訪問控制（DAC）、強(qiáng)制訪問控制（MAC）和基于角色訪問控制（RBAC）。安全審計(jì)技術(shù)安全審計(jì)是指按照制定的安全策略，對系統(tǒng)活動(dòng)和用戶活動(dòng)等與安全相關(guān)的活動(dòng)信息進(jìn)行檢查、審查和檢驗(yàn)操作事件的環(huán)境及活動(dòng)，進(jìn)而發(fā)現(xiàn)系統(tǒng)漏洞、入侵行為和非法操作等，提高系統(tǒng)安全性能。安全審計(jì)主要記錄和審查對系統(tǒng)資源進(jìn)行操作的活動(dòng)，例如對數(shù)據(jù)庫中的數(shù)據(jù)表、視圖、存儲過程等的創(chuàng)建、修改和刪除等操作，根據(jù)設(shè)置的規(guī)則，判斷違規(guī)操作，并且對違規(guī)行為進(jìn)行記錄、報(bào)警，保障數(shù)據(jù)的安全。安全審計(jì)的重點(diǎn)是評估現(xiàn)行的安全政策、策略、機(jī)制和系統(tǒng)監(jiān)控情況。本章小結(jié)本章主要介紹了數(shù)據(jù)安全的基本概念和主要內(nèi)容，以及大數(shù)據(jù)安全面臨的主要威脅，然后介紹了針對這些威脅現(xiàn)有的安全防范技術(shù)，其中包括了數(shù)據(jù)加密技術(shù)、身份認(rèn)證技術(shù)、訪問控制技術(shù)和安全審計(jì)等，最后通過兩個(gè)實(shí)訓(xùn)項(xiàng)目讓學(xué)生學(xué)習(xí)文檔加密和網(wǎng)絡(luò)入侵的方法及防范措施。通過本章的學(xué)習(xí)，讓學(xué)生了解大數(shù)據(jù)安全的相關(guān)知識，掌握安全防范方法。第9章大數(shù)據(jù)的行業(yè)應(yīng)用旅游大數(shù)據(jù)旅游是一個(gè)城市的名片，是一個(gè)城市的品牌生產(chǎn)力，也是一個(gè)城市綜合能力的重要體現(xiàn)。

隨著社會信息化的發(fā)展，公眾意識的不斷提升，人們對旅游質(zhì)量也提出了更高的要求。國內(nèi)不少地方正在和準(zhǔn)備建設(shè)云計(jì)算中心。同時(shí)3G的推出，極大地推動(dòng)了移動(dòng)互聯(lián)網(wǎng)的發(fā)展，使人們隨時(shí)隨地可以上網(wǎng)。此外隨著智能手機(jī)和平板電腦的發(fā)展，更為旅游大數(shù)據(jù)的采集和分析提供了強(qiáng)勁硬件支撐。

“智慧旅游”也被稱為”智能旅游”，不可或缺的因素是綜合性的云計(jì)算、物聯(lián)網(wǎng)等高科技信息技術(shù)的應(yīng)用，旅游經(jīng)營者可以利用網(wǎng)絡(luò)為廣大受眾者及時(shí)發(fā)布相關(guān)企業(yè)動(dòng)態(tài)和旅游信息大數(shù)據(jù)對旅游行業(yè)的影響有助于行業(yè)精確定位提高服務(wù)質(zhì)量3.改善經(jīng)營管理4.改變營銷策略大數(shù)據(jù)在旅游行業(yè)中的應(yīng)用1.大數(shù)據(jù)在旅游景區(qū)中的應(yīng)用2.大數(shù)據(jù)在旅行社中的應(yīng)用3.大數(shù)據(jù)在酒店中的應(yīng)用4.大數(shù)據(jù)在旅游交通中的應(yīng)用5.大數(shù)據(jù)在旅游行政部門中的應(yīng)用旅游大數(shù)據(jù)的應(yīng)用場景（1）旅游路線的個(gè)性化定制。

（2）旅游產(chǎn)品的個(gè)性化推薦。

（3）利用GPS定位來完善景區(qū)的用戶體驗(yàn)。

（4）實(shí)現(xiàn)景區(qū)的無人購物系統(tǒng)。

（5）利用運(yùn)營商的數(shù)據(jù)實(shí)現(xiàn)游客的人流分析。

（6）利用VR實(shí)現(xiàn)景區(qū)的景點(diǎn)的在線虛擬旅游。

（7）利用人臉識別技術(shù)識別管理逃票。

（8）利用爬蟲技術(shù)實(shí)現(xiàn)景區(qū)的口碑監(jiān)測。

（9）利用大數(shù)據(jù)和GIS技術(shù)實(shí)現(xiàn)景區(qū)的智能指揮系統(tǒng)。

（10）利用大數(shù)據(jù)實(shí)現(xiàn)景區(qū)的智能監(jiān)控系統(tǒng)。

（11）利用區(qū)塊鏈技術(shù)改善旅游體驗(yàn)。大數(shù)據(jù)旅游的實(shí)現(xiàn)框架如圖所示。大數(shù)據(jù)旅游的實(shí)現(xiàn)以物聯(lián)網(wǎng)、無線網(wǎng)絡(luò)、云平臺為基礎(chǔ)，智慧景區(qū)平臺或是旅游信息發(fā)布系統(tǒng)為依托，并融合了旅游者、景區(qū)景點(diǎn)、商家服務(wù)以及旅游行政管理機(jī)構(gòu)等多個(gè)因素共同實(shí)施而成。在大數(shù)據(jù)旅游中，各種旅游數(shù)據(jù)的采集是基礎(chǔ)，旅游數(shù)據(jù)的分析是關(guān)鍵，為旅游者提供服務(wù)則是最終目的。旅游大數(shù)據(jù)面臨的問題（1）數(shù)據(jù)收集渠道單一，缺乏統(tǒng)一標(biāo)準(zhǔn)（2）大數(shù)據(jù)分析人才短缺（3）開放性與隱私的沖突教育大數(shù)據(jù)大數(shù)據(jù)與教育的深度融合已經(jīng)成為了未來教育業(yè)發(fā)展的必然趨勢，未來我國教育大數(shù)據(jù)的發(fā)展將會對整個(gè)行業(yè)產(chǎn)生深遠(yuǎn)的影響。教育大數(shù)據(jù)是指整個(gè)教育活動(dòng)過程中所產(chǎn)生的以及根據(jù)教育需要所采集到的用于教育發(fā)展和研究的價(jià)值巨大的數(shù)據(jù)集合。（1）教育大數(shù)據(jù)對教育管理的支持（2）教育大數(shù)據(jù)對教學(xué)模式的支持（3）教育大數(shù)據(jù)對個(gè)性化學(xué)習(xí)的支持（4）教育大數(shù)據(jù)對教育評價(jià)的支持教育大數(shù)據(jù)的作用教育是一個(gè)超復(fù)雜的系統(tǒng)，涉及教學(xué)、管理、教研、服務(wù)等諸多業(yè)務(wù)。教育大數(shù)據(jù)的實(shí)現(xiàn)（1）個(gè)體教育大數(shù)據(jù)：主要包含用戶各種行為數(shù)據(jù)和用戶狀態(tài)描述數(shù)據(jù)。

（2）課程教育大數(shù)據(jù)：主要包含課程信息數(shù)據(jù)和師生互動(dòng)數(shù)據(jù)。

（3）班級教育大數(shù)據(jù)：主要包含作業(yè)數(shù)據(jù)、考試數(shù)據(jù)和課堂錄像視頻數(shù)據(jù)。

（4）學(xué)校教育大數(shù)據(jù)：主要包含學(xué)校管理數(shù)據(jù)和校園生活數(shù)據(jù)。

（5）區(qū)域教育大數(shù)據(jù)：主要包含區(qū)域性的教育行政管理數(shù)據(jù)和社會培訓(xùn)數(shù)據(jù)。

（6）國家教育大數(shù)據(jù)：主要包含全國各地的教育數(shù)據(jù)。

整體來說，教育大數(shù)據(jù)的結(jié)構(gòu)模型可以分為四層，由內(nèi)到外分別是基礎(chǔ)層、狀態(tài)層、資源層和行為層。教育大數(shù)據(jù)中的主要技術(shù)（1）預(yù)測。覺知預(yù)料中的事實(shí)的可能性，例如，要具備知道一個(gè)學(xué)生在什么情況下盡管事實(shí)上有能力但卻有意回答錯(cuò)誤的能力。

（2）聚類。發(fā)現(xiàn)自然集中起來的數(shù)據(jù)點(diǎn)，這對于把有相同學(xué)習(xí)興趣的學(xué)生分在一組很有用。

（3）相關(guān)性挖掘。發(fā)現(xiàn)各種變量之間的關(guān)系，并對其進(jìn)行解碼以便今后使用它們。這對探知學(xué)生在尋求幫助后是否能夠正確回答問題的可靠性很有幫助。

（4）升華人的判斷。建立可視的機(jī)器學(xué)習(xí)的模式。

（5）用模式進(jìn)行發(fā)現(xiàn)。使用通過大數(shù)據(jù)分析開發(fā)出的模式進(jìn)行“元學(xué)習(xí)”。數(shù)字化校園數(shù)字化校園是以數(shù)字化信息和網(wǎng)絡(luò)為基礎(chǔ)，在計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)上建立起來的對教學(xué)、科研、管理、技術(shù)服務(wù)、生活服務(wù)等校園信息的收集、處理、整合、存儲、傳輸和應(yīng)用，使數(shù)字資源得到充分優(yōu)化利用的一種虛擬教育環(huán)境。在大數(shù)據(jù)背景下，進(jìn)行數(shù)字化校園的建設(shè)內(nèi)容主要表現(xiàn)為以下幾個(gè)方面：（1）信息化支撐環(huán)境的建設(shè)。（2）進(jìn)行綠色節(jié)能數(shù)據(jù)系統(tǒng)建立。（3）云服務(wù)平臺建設(shè)。（4）大數(shù)據(jù)標(biāo)準(zhǔn)體系。（5）大數(shù)據(jù)處理與分析系統(tǒng)。（6）大數(shù)據(jù)采集系統(tǒng)建設(shè)。教育大數(shù)據(jù)的應(yīng)用實(shí)例1．大數(shù)據(jù)在校園網(wǎng)用戶行為分析方面的作用2．?dāng)?shù)據(jù)挖掘在學(xué)習(xí)分析及干預(yù)中的應(yīng)用3．大數(shù)據(jù)在課程建設(shè)方面的作用4.大數(shù)據(jù)在助學(xué)貸款方面的作用5．大數(shù)據(jù)在學(xué)生學(xué)習(xí)成果評估方面的作用金融大數(shù)據(jù)近年來，隨著大數(shù)據(jù)、云計(jì)算、區(qū)塊鏈、人工智能等新技術(shù)的快速發(fā)展，這些新技術(shù)與金融業(yè)務(wù)深度融合，釋放出了金融創(chuàng)新活力和應(yīng)用潛能，這大大推動(dòng)了我國金融業(yè)轉(zhuǎn)型升級，助力金融更好地服務(wù)實(shí)體經(jīng)濟(jì)，有效促進(jìn)了金融業(yè)整體發(fā)展。金融大數(shù)據(jù)在銀行業(yè)、證券行業(yè)、保險(xiǎn)行業(yè)、支付清算行業(yè)和互聯(lián)網(wǎng)金融行業(yè)都得到廣泛的應(yīng)用。銀行大數(shù)據(jù)（1）信