大數(shù)據(jù)關(guān)鍵技術(shù)課件

大數(shù)據(jù)關(guān)鍵技術(shù)肖波中央民族大學(xué)2014.10.大數(shù)據(jù)關(guān)鍵技術(shù)肖波1報(bào)告內(nèi)容一、大數(shù)據(jù)時(shí)代的誕生二、大數(shù)據(jù)關(guān)鍵技術(shù)三、大數(shù)據(jù)與高等教育四、我們開(kāi)展的相關(guān)研究報(bào)告內(nèi)容一、大數(shù)據(jù)時(shí)代的誕生2一、大數(shù)據(jù)時(shí)代的誕生大數(shù)據(jù)與云計(jì)算大數(shù)據(jù)是云計(jì)算的核心內(nèi)容大數(shù)據(jù)改變世界一、大數(shù)據(jù)時(shí)代的誕生大數(shù)據(jù)與云計(jì)算3云計(jì)算由何而來(lái)？HPC:

High-PerformanceComputingHTC:

High-ThroughputComputingP2P:

PeertoPeerMPP:

MassivelyParallelProcessors云計(jì)算由何而來(lái)？HPC:High-Performance4 最早是由天文學(xué)和基因?qū)W創(chuàng)造出了“大數(shù)據(jù)”這一概念?！蹲匀弧?008年《大數(shù)據(jù)?？反髷?shù)據(jù)名稱的起源一張哈勃望遠(yuǎn)鏡捕捉下來(lái)的高清相片，高達(dá)數(shù)十個(gè)G字節(jié) 最早是由天文學(xué)和基因?qū)W創(chuàng)造出了“大數(shù)據(jù)”這一概念?！蹲?大數(shù)據(jù)的定義大數(shù)據(jù)是指那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度,一般的軟件工具難以捕捉、存儲(chǔ)、管理和分析的數(shù)據(jù)。大數(shù)據(jù)的定義大數(shù)據(jù)是指那些大小已經(jīng)超出了傳統(tǒng)6大數(shù)據(jù)的定義

大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用于在成本可承受(economically）的條件下，通過(guò)非?？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大體量（volumes）、多類(lèi)別（variety）的數(shù)據(jù)中提取價(jià)值（value），是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。大數(shù)據(jù)的定義大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用7大數(shù)據(jù)的4V

Volumes（GB-TB-PB-EB-ZB-……)Variety(all-structure,semi-structure,non-struture)Velocity(speed,frequency)Value(information)

大數(shù)據(jù)的4V

Volumes（GB-TB-PB-EB-ZB-8二、大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)采集與預(yù)處理大數(shù)據(jù)存儲(chǔ)及管理大數(shù)據(jù)計(jì)算模式與系統(tǒng)大數(shù)據(jù)分析與挖掘大數(shù)據(jù)可視化計(jì)算大數(shù)據(jù)隱私與安全大數(shù)據(jù)應(yīng)用技術(shù)二、大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)采集與預(yù)處理9大數(shù)據(jù)采集與預(yù)處理

大數(shù)據(jù)采集所說(shuō)的數(shù)據(jù)是指通過(guò)RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類(lèi)型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識(shí)服務(wù)模型的根本。大數(shù)據(jù)采集與預(yù)處理10BigDataBigData11數(shù)據(jù)的結(jié)構(gòu)—結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)-12-結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)都是客觀存在，大數(shù)據(jù)技術(shù)需要涵蓋兩者數(shù)據(jù)的結(jié)構(gòu)—結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)-12-12大數(shù)據(jù)采集的四種來(lái)源管理信息系統(tǒng)(結(jié)構(gòu)化數(shù)據(jù)）Web信息系統(tǒng)（非結(jié)構(gòu)化，半結(jié)構(gòu)化）物理信息系統(tǒng)（傳感器，多媒體數(shù)據(jù)）科學(xué)實(shí)驗(yàn)系統(tǒng)(仿真數(shù)據(jù)）大數(shù)據(jù)采集的四種來(lái)源管理信息系統(tǒng)(結(jié)構(gòu)化數(shù)據(jù)）13大數(shù)據(jù)預(yù)處理技術(shù)

主要完成對(duì)已接收數(shù)據(jù)的辨析、抽取、清洗等操作。1）抽取：因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類(lèi)型，數(shù)據(jù)抽取過(guò)程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的。2）清洗：對(duì)于大數(shù)據(jù)，并不全是有價(jià)值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯(cuò)誤的干擾項(xiàng)，因此要對(duì)數(shù)據(jù)通過(guò)過(guò)濾“去噪”從而提取出有效數(shù)據(jù)。大數(shù)據(jù)預(yù)處理技術(shù)主要完成對(duì)已接收數(shù)據(jù)的辨析、抽14預(yù)處理取得進(jìn)展的技術(shù)異構(gòu)數(shù)據(jù)集成技術(shù)WEB中實(shí)體識(shí)別技術(shù)

DeepWeb技術(shù)（Web中不能被傳統(tǒng)的搜索引擎索引到的那部分內(nèi)容）傳感器網(wǎng)絡(luò)融合技術(shù)-----數(shù)據(jù)清洗和質(zhì)量控制工具：DataFlux,DataStage,InformaticalPoweCenter.預(yù)處理取得進(jìn)展的技術(shù)異構(gòu)數(shù)據(jù)集成技術(shù)15數(shù)據(jù)質(zhì)量（缺乏系統(tǒng)研究）精確性(數(shù)據(jù)符合規(guī)定的精度)一致性(數(shù)據(jù)之間不能存在相互矛盾)完整性(數(shù)據(jù)的值不能為空)同一性(數(shù)據(jù)的標(biāo)識(shí)是唯一的)時(shí)效性(數(shù)據(jù)的值反映了實(shí)際的狀態(tài))真實(shí)性(數(shù)據(jù)不能是虛假的)數(shù)據(jù)質(zhì)量（缺乏系統(tǒng)研究）精確性(數(shù)據(jù)符合規(guī)定的精度)16預(yù)處理技術(shù)發(fā)展趨勢(shì)數(shù)據(jù)源的選擇和高質(zhì)量原始數(shù)據(jù)的采集方法（建立數(shù)據(jù)源質(zhì)量評(píng)估模型）多源數(shù)據(jù)的實(shí)體識(shí)別和解析方法數(shù)據(jù)清洗和自動(dòng)修復(fù)方法（清除錯(cuò)誤，修復(fù)信息）高質(zhì)量數(shù)據(jù)整合方法（智能模式抽取和匹配）數(shù)據(jù)演化的溯源管理(追蹤數(shù)據(jù)演化過(guò)程）預(yù)處理技術(shù)發(fā)展趨勢(shì)數(shù)據(jù)源的選擇和高質(zhì)量原始數(shù)據(jù)的采集方法（建172.大數(shù)據(jù)存儲(chǔ)與管理技術(shù)主要解決大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵問(wèn)題。開(kāi)發(fā)可靠的分布式文件系統(tǒng)（DFS）、能效優(yōu)化的存儲(chǔ)、計(jì)算融入存儲(chǔ)、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲(chǔ)技術(shù)；突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)索引技術(shù)；突破大數(shù)據(jù)移動(dòng)、備份、復(fù)制等技術(shù)；開(kāi)發(fā)大數(shù)據(jù)可視化技術(shù)。2.大數(shù)據(jù)存儲(chǔ)與管理技術(shù)主要解決大數(shù)據(jù)的18大數(shù)據(jù)給存儲(chǔ)系統(tǒng)的挑戰(zhàn)存儲(chǔ)規(guī)模大（PB,EB…)存儲(chǔ)管理復(fù)雜(多結(jié)構(gòu)）數(shù)據(jù)服務(wù)的種類(lèi)和要求高（性能，可靠性）大數(shù)據(jù)給存儲(chǔ)系統(tǒng)的挑戰(zhàn)存儲(chǔ)規(guī)模大（PB,EB…)19大數(shù)據(jù)主要存儲(chǔ)技術(shù)分布式文件系統(tǒng)分布式數(shù)據(jù)庫(kù)訪問(wèn)接口和查詢語(yǔ)言（MapReduce編程接口，PigLatin等）大數(shù)據(jù)主要存儲(chǔ)技術(shù)分布式文件系統(tǒng)20大數(shù)據(jù)下的存儲(chǔ)概念數(shù)據(jù)結(jié)構(gòu)：結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫(kù)數(shù)據(jù)模型：關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)處理特性：OLTP與OLAP數(shù)據(jù)一致性：強(qiáng)一致性與最終一致性數(shù)據(jù)存儲(chǔ)方式：行式存儲(chǔ)與列式存儲(chǔ)數(shù)據(jù)庫(kù)存儲(chǔ)與處理架構(gòu)：SMP與MPP數(shù)據(jù)存儲(chǔ)架構(gòu)：傳統(tǒng)分布式文件與新型分布式文件-21-大數(shù)據(jù)下的存儲(chǔ)概念數(shù)據(jù)結(jié)構(gòu)：結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)-221分布式MPP數(shù)據(jù)倉(cāng)庫(kù)代表產(chǎn)品特性比較-22-分布式MPP數(shù)據(jù)倉(cāng)庫(kù)代表產(chǎn)品特性比較-22-223.大數(shù)據(jù)計(jì)算模式與系統(tǒng)大數(shù)據(jù)計(jì)算模式根據(jù)大數(shù)據(jù)的各種不同數(shù)據(jù)特征，從多樣性的大數(shù)據(jù)計(jì)算問(wèn)題和需求中提煉并建立的各種高層抽象或模型。（MapReduce,RDD,GPA等）3.大數(shù)據(jù)計(jì)算模式與系統(tǒng)23大數(shù)據(jù)處理的特征數(shù)據(jù)結(jié)構(gòu)（all,semi,non)數(shù)據(jù)獲取處理方式（batch,stream)數(shù)據(jù)處理類(lèi)型(analysis,mining)實(shí)時(shí)性或相應(yīng)性能(real,non-real)迭代計(jì)算（iterative)數(shù)據(jù)關(guān)聯(lián)性(simple,graph)并行計(jì)算體系結(jié)構(gòu)(cluster,memory)大數(shù)據(jù)處理的特征數(shù)據(jù)結(jié)構(gòu)（all,semi,non)24大數(shù)據(jù)關(guān)鍵技術(shù)ppt課件25MapReduce的步驟數(shù)據(jù)分區(qū)計(jì)算分區(qū)決定主從服務(wù)器讀取輸入數(shù)據(jù)Map函數(shù)排序與分組（根據(jù)鍵值）Combiner函數(shù)（合并本地?cái)?shù)據(jù)）Partitioning函數(shù)（相同鍵值劃分到一個(gè)區(qū)）同步與通信（所有服務(wù)器同時(shí)完成）排序與分組Reduce函數(shù)MapReduce的步驟數(shù)據(jù)分區(qū)26LogicalDataFlowin5Processing

StepsinMapReduceProcess(Key,Value)PairsaregeneratedbytheMapfunctionovermultipleavailableMapWorkers(VMinstances).Thesepairsarethensortedandgroupbasedonkeyordering.Differentkey-groupsarethenprocessedbymultipleReduceWorkersinparallel.LogicalDataFlowin5Process27AWordCountingExampleon<Key,Count>DistributionAWordCountingExampleon<Ke28LinkingtheMapWorkersandReduceWorkersbyKeyMatching

inPartitioningFunctionsLinkingtheMapWorkersandRe29Fig.6.5

DataflowImplementationofMapReduceFig.6.5

DataflowImplementati30大數(shù)據(jù)關(guān)鍵技術(shù)ppt課件31HIVEPig!ZooKeeper分布式文件系統(tǒng)海量數(shù)據(jù)存儲(chǔ)大規(guī)模計(jì)算智能分析算法大數(shù)據(jù)技術(shù)架構(gòu)-典型開(kāi)源實(shí)現(xiàn)HIVEPig!Zoo分布式文件系統(tǒng)海量數(shù)據(jù)存儲(chǔ)大規(guī)模計(jì)算智32計(jì)算模式發(fā)展趨勢(shì)Hadoop平臺(tái)改進(jìn)后將與其他計(jì)算模式和平臺(tái)共存(Hadoop2.0)混合計(jì)算模式將成為滿足多樣性大數(shù)據(jù)處理和應(yīng)用需求的有效手段。(Spark:迭代、批處理、內(nèi)存計(jì)算、流式計(jì)算、shark、圖計(jì)算）內(nèi)存計(jì)算將成為高實(shí)時(shí)性大數(shù)據(jù)處理的重要技術(shù)手段和發(fā)展方向。（Hana,Spark)計(jì)算模式發(fā)展趨勢(shì)Hadoop平臺(tái)改進(jìn)后將與其他計(jì)算模式和平334.大數(shù)據(jù)分析與挖掘技術(shù)大數(shù)據(jù)挖掘面臨的挑戰(zhàn)數(shù)據(jù)量膨脹(TB)數(shù)據(jù)深度分析需求的增長(zhǎng)(路徑分析，時(shí)間序列分析，圖分析，What-if分析等）自動(dòng)化、可視化分析需求的出現(xiàn)（自動(dòng)查詢，自動(dòng)分析等）4.大數(shù)據(jù)分析與挖掘技術(shù)大數(shù)據(jù)挖掘面臨的挑戰(zhàn)34數(shù)據(jù)挖掘技術(shù)機(jī)器學(xué)習(xí)，可細(xì)分為:歸納學(xué)習(xí)方法(決策樹(shù)、規(guī)則歸納等)、基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計(jì)方法，可細(xì)分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等)、聚類(lèi)分析(系統(tǒng)聚類(lèi)、動(dòng)態(tài)聚類(lèi)等)、探索性分析(主元分析法、相關(guān)分析法等)等。神經(jīng)網(wǎng)絡(luò)方法，可細(xì)分為:前向神經(jīng)網(wǎng)絡(luò)(BP算法等)、自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等)等。數(shù)據(jù)庫(kù)方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。數(shù)據(jù)挖掘技術(shù)機(jī)器學(xué)習(xí)，可細(xì)分為:歸納學(xué)習(xí)方法(決策樹(shù)、規(guī)則歸35大數(shù)據(jù)分析與挖掘課題改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)（并行，分布）；開(kāi)發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對(duì)象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語(yǔ)義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。大數(shù)據(jù)分析與挖掘課題改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)（并行，分36大數(shù)據(jù)挖掘當(dāng)前進(jìn)展R和Hadoop的深度集成Weka和MapReduce的集成基于Hadoop的數(shù)據(jù)挖掘開(kāi)源程序庫(kù)(ApacheMahout項(xiàng)目）大數(shù)據(jù)挖掘算法的提出（大數(shù)據(jù)關(guān)聯(lián)、聚類(lèi)、分類(lèi)、神經(jīng)網(wǎng)絡(luò)算法）大規(guī)模圖數(shù)據(jù)分析方法（基于內(nèi)存算法，基于集群算法）大數(shù)據(jù)挖掘當(dāng)前進(jìn)展R和Hadoop的深度集成37大數(shù)據(jù)挖掘未來(lái)發(fā)展更加復(fù)雜、更大規(guī)模的分析和挖掘（時(shí)間序列分析，大規(guī)模圖分析，大規(guī)模社會(huì)計(jì)算等）大數(shù)據(jù)的實(shí)時(shí)分析和挖掘（幾十TB的實(shí)時(shí)挖掘問(wèn)題還沒(méi)有解決）大數(shù)據(jù)分析和挖掘的基準(zhǔn)測(cè)試（了解各種大數(shù)據(jù)分析和挖掘系統(tǒng)的優(yōu)缺點(diǎn)）大數(shù)據(jù)挖掘未來(lái)發(fā)展更加復(fù)雜、更大規(guī)模的分析和挖掘38大數(shù)據(jù)挖掘需突破的技術(shù)可視化分析數(shù)據(jù)挖掘算法預(yù)測(cè)性分析語(yǔ)義引擎數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)挖掘需突破的技術(shù)可視化分析39可視化分析數(shù)據(jù)可視化無(wú)論對(duì)于普通用戶或是數(shù)據(jù)分析專家，都是最基本的功能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說(shuō)話，讓用戶直觀的感受到結(jié)果。可視化分析數(shù)據(jù)可視化無(wú)論對(duì)于普通用戶或是40數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘算法。統(tǒng)計(jì)、分類(lèi)、聚類(lèi)、孤立點(diǎn)分析還有各種各樣五花八門(mén)的算法讓我們精煉數(shù)據(jù)，挖掘價(jià)值。改進(jìn)算法使得這些算法一定要能夠應(yīng)付大數(shù)據(jù)的量，同時(shí)還具有很高的處理速度。數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘算法。41預(yù)測(cè)性分析預(yù)測(cè)性分析可以讓分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結(jié)果做出一些前瞻性判斷。預(yù)測(cè)性分析預(yù)測(cè)性分析可以讓分析師根據(jù)圖42語(yǔ)義引擎語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。語(yǔ)言處理技術(shù)包括機(jī)器翻譯、情感分析、輿情分析、智能輸入、問(wèn)答系統(tǒng)等。語(yǔ)義引擎語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智43數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理數(shù)據(jù)質(zhì)量與管理是管理的最佳實(shí)踐，透過(guò)標(biāo)準(zhǔn)化流程和機(jī)器對(duì)數(shù)據(jù)進(jìn)行處理可以確保獲得一個(gè)預(yù)設(shè)質(zhì)量的分析結(jié)果。數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理數(shù)據(jù)質(zhì)量與管理是管理的445.大數(shù)據(jù)可視化分析在大數(shù)據(jù)時(shí)代，除了直接的統(tǒng)計(jì)或者數(shù)據(jù)挖掘的方式，可視化通過(guò)交互式視覺(jué)表現(xiàn)的方式來(lái)幫助人們探索和解釋復(fù)雜的數(shù)據(jù)。5.大數(shù)據(jù)可視化分析在大數(shù)據(jù)時(shí)代，除了直接的統(tǒng)45可視化流程數(shù)據(jù)可視化圖像感知和認(rèn)識(shí)知識(shí)設(shè)置探索數(shù)據(jù)可視化用戶可視化流程數(shù)據(jù)可視化46四種基本技術(shù)數(shù)據(jù)流線化(大數(shù)據(jù)分為相互獨(dú)立的子塊依次處理SPSD)任務(wù)并行化(一個(gè)算法分成多個(gè)獨(dú)立的任務(wù)模塊平行處理MPSD)管道并行化(同時(shí)處理面向不同數(shù)據(jù)的任務(wù)的多個(gè)獨(dú)立任務(wù)模塊MPMD)數(shù)據(jù)并行化(數(shù)據(jù)分塊后進(jìn)行平行處理SPMD)四種基本技術(shù)數(shù)據(jù)流線化(大數(shù)據(jù)分為相互獨(dú)立的子塊依47可視化發(fā)展趨勢(shì)原位分析(內(nèi)存進(jìn)行分析，而不再硬盤(pán))可視化中的人機(jī)交互（提供界面，專家參與)協(xié)同與眾包可視分析(多用戶協(xié)調(diào)工作）可擴(kuò)展性與多級(jí)層次問(wèn)題（在不同層面不同解析度下瀏覽分析）不確定分析和敏感性分析（了解數(shù)據(jù)不確定來(lái)源和風(fēng)險(xiǎn)）可視化與自動(dòng)數(shù)據(jù)計(jì)算挖掘的結(jié)合（直觀與計(jì)算結(jié)合）面向領(lǐng)域和大眾的可視化工具庫(kù)（領(lǐng)域需求不同）可視化發(fā)展趨勢(shì)原位分析(內(nèi)存進(jìn)行分析，而不再硬盤(pán))486.大數(shù)據(jù)隱私與安全大數(shù)據(jù)時(shí)代的安全問(wèn)題更加復(fù)雜（集中）使用過(guò)程中存在安全問(wèn)題（黑客）對(duì)大數(shù)據(jù)需求高的團(tuán)體面臨更多安全挑戰(zhàn)基于位置的隱私暴露嚴(yán)重缺乏相應(yīng)的法律法規(guī)保證大數(shù)據(jù)的共享問(wèn)題（有效性和加密性）真實(shí)數(shù)據(jù)的動(dòng)態(tài)性變化多元數(shù)據(jù)的融合挑戰(zhàn)（來(lái)自工作、生活）6.大數(shù)據(jù)隱私與安全大數(shù)據(jù)時(shí)代的安全問(wèn)題更加復(fù)雜（集中）49安全技術(shù)當(dāng)前進(jìn)展文件訪問(wèn)控制技術(shù)基礎(chǔ)設(shè)備加密匿名化保護(hù)技術(shù)加密保護(hù)技術(shù)基于數(shù)據(jù)失真的技術(shù)基于可逆的置換算法安全技術(shù)當(dāng)前進(jìn)展文件訪問(wèn)控制技術(shù)50安全技術(shù)發(fā)展趨勢(shì)NoSQL有待進(jìn)一步完善開(kāi)展對(duì) APT攻擊的研究對(duì)多元數(shù)據(jù)融合提出新的安全隱私保護(hù)技術(shù)保護(hù)分布式系統(tǒng)所有站點(diǎn)的安全社教網(wǎng)絡(luò)加強(qiáng)安全隱私保護(hù)數(shù)據(jù)采集、存儲(chǔ)、分析安全三權(quán)分立安全技術(shù)發(fā)展趨勢(shì)NoSQL有待進(jìn)一步完善51APT（AdvancedPersistentThreat）高級(jí)持續(xù)性威脅。利用先進(jìn)的攻擊手段對(duì)特定目標(biāo)進(jìn)行長(zhǎng)期持續(xù)性網(wǎng)絡(luò)攻擊的攻擊形式。APT攻擊的原理相對(duì)于其他攻擊形式更為高級(jí)和先進(jìn)，其高級(jí)性主要體現(xiàn)在APT在發(fā)動(dòng)攻擊之前需要對(duì)攻擊對(duì)象的業(yè)務(wù)流程和目標(biāo)系統(tǒng)進(jìn)行精確的收集。在此收集的過(guò)程中，此攻擊會(huì)主動(dòng)挖掘被攻擊對(duì)象受信系統(tǒng)和應(yīng)用程序的漏洞，利用這些漏洞組建攻擊者所需的網(wǎng)絡(luò)，并利用0day漏洞進(jìn)行攻擊。APT（AdvancedPersistentThreat527.大數(shù)據(jù)應(yīng)用技術(shù)大數(shù)據(jù)將重點(diǎn)應(yīng)用于以下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術(shù)，氣象信息分析技術(shù)，環(huán)境監(jiān)測(cè)技術(shù)，警務(wù)云應(yīng)用系統(tǒng)（道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反電信詐騙、指揮調(diào)度等公安信息系統(tǒng)），大規(guī)?；蛐蛄蟹治霰葘?duì)技術(shù)，Web信息挖掘技術(shù)，多媒體數(shù)據(jù)并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計(jì)算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。7.大數(shù)據(jù)應(yīng)用技術(shù)大數(shù)據(jù)將重點(diǎn)應(yīng)用于以53大數(shù)據(jù)與互聯(lián)網(wǎng)電子商務(wù)（消費(fèi)、團(tuán)購(gòu)、支付）網(wǎng)絡(luò)廣告（效果、相應(yīng)）網(wǎng)絡(luò)新聞（搜索、愛(ài)好、習(xí)慣）旅行預(yù)訂（游客、景點(diǎn)、飯店）及時(shí)通信（關(guān)注、熱點(diǎn)、民意）網(wǎng)絡(luò)視頻（愛(ài)好、習(xí)性）大數(shù)據(jù)與互聯(lián)網(wǎng)電子商務(wù)（消費(fèi)、團(tuán)購(gòu)、支付）54大數(shù)據(jù)與網(wǎng)絡(luò)通信聯(lián)通（Hadoop技術(shù)查詢與分析支撐系統(tǒng)）移動(dòng)（BC-Hadoop大數(shù)據(jù)平臺(tái)，BC-PDM&ETL并行數(shù)據(jù)挖掘，BI-PAAS大數(shù)據(jù)應(yīng)用平臺(tái)）電信（智慧城市，物聯(lián)網(wǎng)加大數(shù)據(jù)）大數(shù)據(jù)與網(wǎng)絡(luò)通信聯(lián)通（Hadoop技術(shù)查詢與分析支撐系統(tǒng)）