大數(shù)據(jù)分析的關(guān)鍵技術(shù)課件

1、6.2 大數(shù)據(jù)分析的關(guān)鍵技術(shù)主要教學(xué)內(nèi)容： 大數(shù)據(jù)采集技術(shù)大數(shù)據(jù)預(yù)處理技術(shù)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)大數(shù)據(jù)挖掘分析技術(shù)大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)大數(shù)據(jù)分析的關(guān)鍵技術(shù) 根據(jù)大數(shù)據(jù)分析的流程，大數(shù)據(jù)分析的關(guān)鍵技術(shù)可分為數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)挖掘分析、數(shù)據(jù)可視化等技術(shù)。提供大數(shù)據(jù)服務(wù)平臺(tái)所需的虛擬服務(wù)器，以及結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù)與物聯(lián)網(wǎng)資源等基礎(chǔ)支撐環(huán)境。一、大數(shù)據(jù)采集技術(shù) 大數(shù)據(jù)采集是指通過(guò)射頻識(shí)別（Radio Frequency Identification，RFID）數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等渠道或方式，獲得各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱弱

2、結(jié)構(gòu)化）以及非結(jié)構(gòu)化的海量數(shù)據(jù)的過(guò)程。大數(shù)據(jù)采集系統(tǒng)主要由大數(shù)據(jù)智能感知層、基礎(chǔ)支撐層等組成。（1）大數(shù)據(jù)智能感知層：在該層必須著重攻克大數(shù)據(jù)源的智能識(shí)別、感知、適配、傳輸、接入等技術(shù)。（2）基礎(chǔ)支撐層：在該層需要重點(diǎn)攻克分布式虛擬存儲(chǔ)技術(shù)，大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策操作的可視化接口技術(shù)，大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)據(jù)隱私保護(hù)技術(shù)等。主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識(shí)別體系及軟硬件資源接入系統(tǒng)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識(shí)別、定位、跟蹤、接入、傳輸以及信號(hào)轉(zhuǎn)換、監(jiān)控、初步處理和管理等。二、大數(shù)據(jù)預(yù)處理技術(shù) 大數(shù)據(jù)預(yù)處理技術(shù)主要完成對(duì)已接

3、收數(shù)據(jù)的辨析、抽取、清洗等操作。 （1）抽取 （2）清洗因獲取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過(guò)程可以幫助人們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的結(jié)構(gòu)和類型，以達(dá)到快速分析處理的目的。大數(shù)據(jù)并不全都是有價(jià)值的，有些數(shù)據(jù)并不是人們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則可能是完全錯(cuò)誤的干擾項(xiàng)，因此，要對(duì)數(shù)據(jù)進(jìn)行過(guò)濾“去噪”從而提取出有效數(shù)據(jù)。三、大數(shù)據(jù)存儲(chǔ)與管理技術(shù)大數(shù)據(jù)存儲(chǔ)與管理技術(shù)主要包括以下幾方面的技術(shù)。（1）復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。（2）開(kāi)發(fā)新型數(shù)據(jù)庫(kù)技術(shù)。（3）高效、低成本的大數(shù)據(jù)存儲(chǔ)技術(shù)。（4）大數(shù)據(jù)可視化技術(shù)。（5）大數(shù)據(jù)安全技術(shù)。此類技術(shù)包括改進(jìn)數(shù)據(jù)銷

4、毀、透明加解密、分布式訪問(wèn)控制、數(shù)據(jù)審計(jì)技術(shù)等，以及突破隱私保護(hù)和推理控制、數(shù)據(jù)真?zhèn)巫R(shí)別和取證、數(shù)據(jù)持有完整性驗(yàn)證等技術(shù)。此類技術(shù)主要解決大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)汝P(guān)鍵問(wèn)題。此類技術(shù)包括分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)、異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)、數(shù)據(jù)組織技術(shù)、大數(shù)據(jù)建模技術(shù)、大數(shù)據(jù)索引技術(shù)等。此類技術(shù)包括開(kāi)發(fā)可靠的分布式文件系統(tǒng)，實(shí)現(xiàn)存儲(chǔ)、計(jì)算融入存儲(chǔ)、大數(shù)據(jù)的去冗余等，以及大數(shù)據(jù)移動(dòng)、備份、復(fù)制等技術(shù)。數(shù)據(jù)庫(kù)分為關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)等。數(shù)據(jù)科學(xué) 1.數(shù)據(jù)科學(xué)技能和熟練程度 在上表中列出的這25項(xiàng)技能，反映了通常與數(shù)據(jù)科學(xué)家相關(guān)的技能集合。在進(jìn)行針對(duì)數(shù)據(jù)科學(xué)家的

5、調(diào)查中，調(diào)查者要求數(shù)據(jù)專業(yè)人員指出他們?cè)?5項(xiàng)不同數(shù)據(jù)科學(xué)技能上的熟練程度。 這項(xiàng)研究數(shù)據(jù)基于620名被訪的數(shù)據(jù)專業(yè)人士，具備某種技能的百分比反映了指出他在該技能上至少中等熟練程度的被訪問(wèn)者比例職位角色，即：商業(yè)經(jīng)理 = 250；開(kāi)發(fā)人員 = 222；創(chuàng)意人員 = 221；研究人員 = 353。數(shù)據(jù)科學(xué) 2.重要數(shù)據(jù)科學(xué)技能分析表明，所有數(shù)據(jù)專業(yè)人員中最常見(jiàn)的數(shù)據(jù)科學(xué)十大技能是：統(tǒng)計(jì) 溝通（87%）技術(shù) 處理結(jié)構(gòu)化數(shù)據(jù)（75%）數(shù)學(xué)&建模 數(shù)學(xué)（71%）商業(yè) 項(xiàng)目管理（71%）統(tǒng)計(jì) 數(shù)據(jù)挖掘和可視化工具（71%）統(tǒng)計(jì) 科學(xué)/科學(xué)方法（65%）統(tǒng)計(jì) 數(shù)據(jù)管理（65%）商業(yè) 產(chǎn)品設(shè)計(jì)和開(kāi)發(fā)（59%

6、）統(tǒng)計(jì) 統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模（59%）商業(yè) 商業(yè)開(kāi)發(fā)（53%）數(shù)據(jù)科學(xué)3.因職業(yè)角色而異的十大技能（1）商業(yè)經(jīng)理：統(tǒng)計(jì)溝通（91%）商業(yè)項(xiàng)目管理（86%）商業(yè)商業(yè)開(kāi)發(fā)（77%）技術(shù)處理結(jié)構(gòu)化數(shù)據(jù)（74%）商業(yè) 預(yù)算（71%）商業(yè) 產(chǎn)品設(shè)計(jì)和開(kāi)發(fā)（70%）數(shù)學(xué)&建模 數(shù)學(xué)（65%）統(tǒng)計(jì) 數(shù)據(jù)管理（64%）統(tǒng)計(jì)- -數(shù)據(jù)挖掘和可視化工具（64%）商業(yè) 管理和兼容性（61%）（2）開(kāi)發(fā)人員：技術(shù) 管理結(jié)構(gòu)化數(shù)據(jù)（91%）統(tǒng)計(jì) 溝通（85%）統(tǒng)計(jì) 數(shù)據(jù)挖掘和可視化工具（76%）商業(yè) 產(chǎn)品設(shè)計(jì)（75%）數(shù)學(xué)&建模 數(shù)學(xué)（75%）統(tǒng)計(jì) 數(shù)據(jù)管理（75%）商業(yè) 項(xiàng)目管理（74%）編程 數(shù)據(jù)庫(kù)管理（73%）編程

7、后端編程（70%）編程 系統(tǒng)管理（65%）數(shù)據(jù)科學(xué)數(shù)據(jù)科學(xué)（3）創(chuàng)意人員：統(tǒng)計(jì) 溝通（87%）技術(shù) 處理結(jié)構(gòu)化數(shù)據(jù)（79%）商業(yè) 項(xiàng)目管理（77%）統(tǒng)計(jì) 數(shù)據(jù)挖掘和可視化工具（77%）數(shù)學(xué)&建模 數(shù)學(xué)（75%）商業(yè) 產(chǎn)品設(shè)計(jì)和開(kāi)發(fā)（68%）統(tǒng)計(jì) 科學(xué)/科學(xué)方法（68%）統(tǒng)計(jì) 數(shù)據(jù)管理（67%）統(tǒng)計(jì) 統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模（63%）商業(yè) 商業(yè)開(kāi)發(fā)（58%）四、大數(shù)據(jù)挖掘分析技術(shù) 從挖掘任務(wù)和挖掘方法的角度，大數(shù)據(jù)挖掘分析的關(guān)鍵技術(shù)如下： （1）可視化分析 （2）數(shù)據(jù)挖掘分析 （3）預(yù)測(cè)性分析 （4）語(yǔ)義引擎 （5）數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理數(shù)據(jù)圖像化是將機(jī)器語(yǔ)言以人類能夠理解的形式呈現(xiàn)出來(lái)，讓用戶直觀地看到結(jié)果。數(shù)據(jù)挖掘采用機(jī)器語(yǔ)言，通過(guò)分割、集群、孤立點(diǎn)分析等算法精練數(shù)據(jù)、挖掘價(jià)值。要求這些算法既能夠應(yīng)付大量的數(shù)據(jù)，還要具有很高的處理速度?？梢宰寯?shù)據(jù)分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結(jié)果做出一些前瞻性判斷。語(yǔ)義引擎需要有足夠的人工智能，以便它能從數(shù)據(jù)中主動(dòng)提取信息。語(yǔ)義處理技術(shù)包括機(jī)器翻譯、情感分析、輿情分析、智能輸入、問(wèn)答系統(tǒng)等。通過(guò)標(biāo)準(zhǔn)化流程和機(jī)器對(duì)數(shù)據(jù)進(jìn)行處理，可以確保獲得與預(yù)期質(zhì)量相符合的分析結(jié)果。五、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)