大數據安全專題研究(38張)課件

1、大數據安全專題研究第1頁，共39頁。主要內容一、什么是大數據二、大數據的相關技術三、大數據的應用四、大數據安全問題及保護技術五、機遇與挑戰(zhàn)第2頁，共39頁。一、什么是大數據1、大數據的定義2、大數據的特點3、大數據結構類型4、大數據實例5、大數據發(fā)展史第3頁，共39頁。有多大？-數據度量第4頁，共39頁。 1 B = 一個字符或一粒沙子1 KB = 一個句子或幾撮沙子1 MB = 一個20 頁的幻燈片演示文稿、一本小書或一大湯勺沙子1 GB = 書架上9 米長的書或者整整一鞋盒子的沙子1 TB = 300 小時的優(yōu)質視頻、美國國會圖書館存儲容量的十分之一或者一個操場沙箱1 PB = 35 萬張

2、數字照片或者一片1.6 公里長的海灘1 EB = 1999 年全世界生成的信息的一半或上海到香港之間的海灘1 ZB = 無法想象，或者幾乎全世界所有的海灘之和。第5頁，共39頁。大數據(big data)，也稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。1、大數據的定義第6頁，共39頁。 最早將大數據用于IT環(huán)境的是知名咨詢公司麥肯錫。麥肯錫稱：“數據，已經滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。” “大數

3、據”在物理學、生物學、環(huán)境生態(tài)學等領域以及軍事、金融、通訊等行業(yè)存在已有時日，卻因為近年來互聯網和信息行業(yè)的發(fā)展而引起人們關注。第7頁，共39頁。2、大數據的特點(4v) Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。第8頁，共39頁。3、大數據的結構類型第9頁，共39頁。4、大數據的實例一分鐘我們能干些什么呢？！一分鐘能產生多少數據呢？！ 電子郵件用戶發(fā)送204,166,677（2億） 條信息； Google 收到超過2,000,000（200萬） 個搜索查詢； Facebook 用戶分享684,478（68萬） 條內容； Twitter 用戶發(fā)

4、送超過100,000 （10萬）條微博； 蘋果公司收到大約47,000 （5萬）個應用下載； 571 個新網站誕生。第10頁，共39頁。5、大數據發(fā)展史IT科技浪潮第11頁，共39頁。我們周圍到處都是數字信息。（無線電波、電話電路、計算機電纜）三種主要的模擬/數字轉換為數據增長提供了動力：用膠片拍攝影像轉換為數字拍攝影像、模擬語音轉換成為了數字語音、模擬電視轉換成為數字電視。2007年是人類創(chuàng)造的信息量有史以來第一次在理論上超過可用存儲空間總量的一年。數字信息的增長是因為網絡應用的不斷增長。約30年前，大部分數據都是結構化的，如今，多媒體技術的普及后，非結構化數據爆炸式增長。第12頁，共39頁

5、?？梢暬且饠底质澜缂眲∨蛎浀脑蛑?。由 于數碼相機、數碼監(jiān)控攝像機和數字電視內容的 加速增多，及信息的大量復制趨勢，使得數字世界的容量和速度超過之前。個人日常生活的“數字足跡”也大大刺激了數字宇宙的快速增長。通過互聯網、電子郵件、移動電話、數碼相機和在線信用卡交易等方式，每個人的日常生活都在數字化。大數據快速增長的部分原因歸于智能設備的普及，比如傳感器和醫(yī)療設備，以及智能建筑。非結構化信息的增長部分歸功于寬帶數據的增長。第13頁，共39頁。全球數字信息五年間增長了10倍第14頁，共39頁。大數據與云計算第15頁，共39頁。二、大數據的相關技術大數據技術框架1234第16頁，共39頁。分布

6、式文件系統(tǒng) 特點： 支持PB級的大數據集； 提供高可靠、高吞吐率的順序數據訪問； 存儲與計算共享節(jié)點（存儲節(jié)點會同時參與應用程序的執(zhí)行）； 使用廉價的硬件（高可擴展性）。 典型的代表： GFS(Google)、HDFS(Hadoop)0第17頁，共39頁。HDFS-分布式文件系統(tǒng) 采用典型的主從結構的架構設計，實現文件系統(tǒng)元數據和應用數據分離存放。 名字節(jié)點：整個集群的主節(jié)點，管理元數據，文件訪問的控制。 數據節(jié)點：從節(jié)點，負責來自客戶端的讀寫請求，完成對文件內容的提取和保存。 文件分塊，采用一次寫多次讀的文件訪問模式。第18頁，共39頁。HDFS-分布式文件系統(tǒng)第19頁，共39頁。MapRe

7、duce MapReduce 計算模型可以說是大數據處理的核心算法。 MapReduce實現了Map和Reduce兩個功能。Map把一個函數應用于集合中的所有成員，然后返回一個基于這個處理的結果集。Reduce對結果集進行分類和歸納。 Map()和 Reduce() 兩個函數可能會并行運行，即使不是在同一的系統(tǒng)的同一時刻。第20頁，共39頁。單詞計數 給一個巨大的文本，計算單詞的個數？！第21頁，共39頁。單詞計數 使用MapReduce求解該問題 定義Map和Reduce函數第22頁，共39頁。單詞計數 使用MapReduce求解該問題 Step 1: 自動對文本進行分割，形成初始的對。第2

8、3頁，共39頁。單詞計數 使用MapReduce求解該問題 Step 2:在分割之后的每一對進行用戶定義的Map進行處理，再生成新的對。第24頁，共39頁。單詞計數 使用MapReduce求解該問題 Step 3:對輸出的結果集歸攏、排序(系統(tǒng)自動完成）。第25頁，共39頁。單詞計數 使用MapReduce求解該問題 Step 4:通過Reduce操作生成最后結果。第26頁，共39頁。0第27頁，共39頁。NOSQL特點： 不需要預定義模式（不需要預定義數據模式，預定義表結構，數據每條記錄都可能有不同的屬性和格式）； 無共享（將數據劃分后存儲在各個本地服務器上）； 彈性可擴展（運行時可動態(tài)添加

9、刪除節(jié)點）； 分區(qū)；異步復制。 第28頁，共39頁。NOSQL產品分類數據庫名稱作者列存數據庫HbaseHadoopAzure TablesMicrosoftCassandraApacheHypertable開源SimpleDBAmazon文檔數據庫MongoDB開源CounchDB開源鍵值存儲Redis開源LevelDB開源Berkeley DB開源圖數據庫Neo4jNeo TechnologiesInfoGridNetMesh Inc0第29頁，共39頁。三、大數據的應用大數據驅動新應用，應用于各行各業(yè)第30頁，共39頁。應用實例 1、奧巴馬的大數據 奧巴馬和他的大數據團隊擁有海量數據和相

10、應的處理能力，使他在大選中以332票對206票擊敗了共和黨的米特.羅姆尼。 2、Google通過其大數據產品對用戶的習慣和愛好進行分析，幫助廣告商評估廣告活動效率，預估在未來可能存在高達數千億的市場規(guī)模。 3、Yahoo和Thinkmail等利用大數據分析技術來過濾垃圾郵件。第31頁，共39頁。 4、通過Google檢索信息挖掘可以得到流感的傳播情況； 5、通過Twitter信息可以預測股票行情； 6、預測犯罪； 7、智能交通。 第32頁，共39頁。四、大數據安全問題及保護技術1、大數據中的用戶隱私保護 大量事實表明，大數據未能妥善處理會對用戶的隱私造成極大地侵害。人們面臨的威脅并不僅限于個人

11、隱私泄露，還在于基于大數據對人們狀態(tài)行為的預測。2、大數據的可信性 偽造或刻意制造的數據，錯誤的數據往導致錯誤的結論；數據在傳播過程中的逐步失真。 密碼學中的數字簽名、消息鑒別碼等技術可以用第33頁，共39頁。 于驗證數據的完整性，但是應用于大數據的真實 性時面臨很大困難，源于數據粒度的差異。 3、如何實現大數據訪問控制 大數據訪問控制的難點在于：難以預設角色，實 現角色劃分；難以預知每個角色的實際權限。 4、保護技術 數據發(fā)布匿名保護技術、社交網絡匿名保護技術、數字水印技術、數據溯源技術、角色挖掘、風險自適應的訪問控制。第34頁，共39頁。 五、機遇與挑戰(zhàn) 大數據對當今企業(yè)來說，既是絕佳的商

12、機，也是巨大的挑戰(zhàn)。 機遇： 數據規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大。首先，大數據反映輿情和民意。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產生大量數據。 挑戰(zhàn)： 目前，大數據技術的運用仍存在一些困難與挑戰(zhàn)體現在四個環(huán)節(jié)中。第35頁，共39頁。（1）數據收集 要對來自收集的數據去偽存真，盡可能收集異源異構的數據，必要時還與歷史數據對照，多角度驗證數據的全面性和可信性。（2）數據存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術，在存儲時要按照一定規(guī)則對數據進行分類，通過過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。（3）數據處理。有些行

13、業(yè)的數據涉及上百個參數，其復雜性不僅體現在數據樣本本身，更體現在多源第36頁，共39頁。異構、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數據降維后度量與處理，利用上下文關聯進行語義分析，從大量動態(tài)而且可能是模棱兩可的數據中綜合信息，并導出可理解的內容。（4）可視化呈現。使結果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘算法在不同行業(yè)中難以通用。 第37頁，共39頁。Thanks!第38頁，共39頁。1、不是井里沒有水，而是你挖的不夠深。不是

14、成功來得慢，而是你努力的不夠多。2、孤單一人的時間使自己變得優(yōu)秀，給來的人一個驚喜，也給自己一個好的交代。3、命運給你一個比別人低的起點是想告訴你，讓你用你的一生去奮斗出一個絕地反擊的故事，所以有什么理由不努力!4、心中沒有過分的貪求，自然苦就少?？诶锊徽f多余的話，自然禍就少。腹內的食物能減少，自然病就少。思緒中沒有過分欲，自然憂就少。大悲是無淚的，同樣大悟無言。緣來盡量要惜，緣盡就放。人生本來就空，對人家笑笑，對自己笑笑，笑著看天下，看日出日落，花謝花開，豈不自在，哪里來的塵埃!5、心情就像衣服，臟了就拿去洗洗，曬曬，陽光自然就會蔓延開來。陽光那么好，何必自尋煩惱，過好每一個當下，一萬個美麗

15、的未來抵不過一個溫暖的現在。6、無論你正遭遇著什么，你都要從落魄中站起來重振旗鼓，要繼續(xù)保持熱忱，要繼續(xù)保持微笑，就像從未受傷過一樣。7、生命的美麗，永遠展現在她的進取之中;就像大樹的美麗，是展現在它負勢向上高聳入云的蓬勃生機中;像雄鷹的美麗，是展現在它搏風擊雨如蒼天之魂的翱翔中;像江河的美麗，是展現在它波濤洶涌一瀉千里的奔流中。8、有些事，不可避免地發(fā)生，陰晴圓缺皆有規(guī)律，我們只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改變它的軌跡。9、與其埋怨世界，不如改變自己。管好自己的心，做好自己的事，比什么都強。人生無完美，曲折亦風景。別把失去看得過重，放棄是另一種擁有;不要經常

16、艷羨他人，人做到了，心悟到了，相信屬于你的風景就在下一個拐彎處。10、有些事想開了，你就會明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎樣，最后收拾殘局的還是要靠你自己。11、人生的某些障礙，你是逃不掉的。與其費盡周折繞過去，不如勇敢地攀登，或許這會鑄就你人生的高點。12、有些壓力總是得自己扛過去，說出來就成了充滿負能量的抱怨。尋求安慰也無濟于事，還徒增了別人的煩惱。13、認識到我們的所見所聞都是假象，認識到此生都是虛幻，我們才能真正認識到佛法的真相。錢多了會壓死你，你承受得了嗎?帶，帶不走，放，放不下。時時刻刻發(fā)悲心，饒益眾生為他人。14、夢想總是跑在我的前面。努力追尋它們，為了那一瞬間的同步，這就是動人的生命奇跡。15、懶惰不會讓你一下子跌倒，但會在不知不覺中減少你的收獲;勤奮也不會讓你一夜成功，但會在不知不覺中積累你的成果。人生需要挑戰(zhàn)，更需要堅持和勤奮