大數(shù)據(jù)與云計算簡答題

1、一、云計算與大數(shù)據(jù)的定義、特征1、云計算的定義：是一種商業(yè)計算模型。它將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務(wù)。(維基百科)一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享軟硬件資源和信息， 可以按需提供給計算機和其他設(shè)備。云計算能夠給用戶提供可靠的、自定義的、最大化資源利用的服務(wù)，是一種嶄新 的分布式計算模式。云計算的類型可以分為基礎(chǔ)設(shè)施即服務(wù)(laas)、平臺即服務(wù)(PasS、軟件即服務(wù)(Saas)。2、 云計算的特征：超大規(guī)模、虛擬化、高可靠性、高可伸縮性、按需服務(wù)、極其廉價。(1、服務(wù)資源池化：通過虛擬化技術(shù)，對存儲、計算、內(nèi)存、網(wǎng)

2、絡(luò)等資源化，按用戶 需求動態(tài)地分配。(2、可擴展性：用戶隨時隨地可以根據(jù)實際需要，快速彈性地請求和購買服務(wù)資源， 擴展處理能力。(3) 寬帶網(wǎng)絡(luò)調(diào)用：用戶使用各種客戶端軟件，通過網(wǎng)絡(luò)調(diào)用云計算資源。(4) 可度量性：服務(wù)資源的使用可以被監(jiān)控、報告給用戶和服務(wù)商，并可以根據(jù)具體 使用類型收取費用。(5) 可靠性：自動檢測失效節(jié)點，通過數(shù)據(jù)的冗余能夠繼續(xù)正常工作，提供高質(zhì)量的 服務(wù)，達(dá)到服務(wù)等級協(xié)議要求。3、大數(shù)據(jù)的定義：(維基百科)指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過科容忍時間的數(shù)據(jù)集，即大數(shù)據(jù)泛指大規(guī)模、 超大規(guī)模的數(shù)據(jù)集， 因可從中挖掘出有價值的信息而備受關(guān)注。4、大數(shù)據(jù)的特征

3、(5V特征)：(1) 數(shù)據(jù)體量(Volume、巨大，指收集和分析的數(shù)據(jù)量非常大，從TB級別躍升至PB 級別；(2) 處理速度(Velocity、快，需要對數(shù)據(jù)進行近實時的分析；(3) 數(shù)據(jù)類別(Variety、大，大數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，包 括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多種數(shù)據(jù)形式；(4) 數(shù)據(jù)真實性(Veracity),大數(shù)據(jù)中的內(nèi)容是與真實世界中的發(fā)生息息相關(guān)的，研 究大數(shù)據(jù)就是從龐大的網(wǎng)絡(luò)數(shù)據(jù)中提取能夠解釋和預(yù)測現(xiàn)實事件的過程。(5) 價值密度低，商業(yè)價值(Value、高，通過分析數(shù)據(jù)可以得出如何抓住機遇及收獲 價值。二、云計算安全，可信云以及用戶對云計算信任的預(yù)

4、期？由于云服務(wù)的“外包”特性，用戶對云提供商是否能夠?qū)ζ鋽?shù)據(jù)安全提供保障，對其應(yīng) 用程序是否按照約定的方式安全執(zhí)行產(chǎn)生了懷疑，亦即云服務(wù)的可信性問題。云服務(wù)的可信問題不僅指服務(wù)計算環(huán)境受其開放、共享等特點而導(dǎo)致服務(wù)結(jié)果可能受云服務(wù)提供商的主觀 意志等因素導(dǎo)致的不可信。用戶對云服務(wù)的安全懷疑主要集中在客觀與主觀兩個方面：客觀來說，云計算的集中服務(wù)模式使其更容易成為安全攻擊的目標(biāo)，而云計算技術(shù)的大規(guī)模分布式處理也大大增加了安全管理的難度，因此服務(wù)商是否具有足夠的安全管理能力來保證用戶信息安全值得懷疑；主觀方面，由于云計算模式下，用戶信息的存儲、管理以及應(yīng)用處理都在云服務(wù)方完成，用戶喪失控制權(quán)，此時

5、如何保證服務(wù)方忠實履行自己的服務(wù)協(xié)議，保證服務(wù)質(zhì)量，并且不會通過自己的特權(quán)來違規(guī)使用用戶資源獲利成為必須要解決的問題。如果云服務(wù)的行為和結(jié)果總是與用戶預(yù)期的行為和結(jié)果一致，那么就可以說云服務(wù)是可信的。要討論云服務(wù)的可信性，需要明確3個方面的問題：1) 用戶的界定。不同用戶擁有的信息安全敏感度不同，對于云安全性認(rèn)定也不同。2）服務(wù)行為的區(qū)分。不同類型服務(wù)涉及到的可信問題也不同。云上運行開放性服務(wù)， 云的便利性使其更具有競爭性； 但是內(nèi)部業(yè)務(wù)， 涉及企業(yè)機密對服務(wù)環(huán)境的安全要求就會很 高。3）信任預(yù)期的度量。不同用戶針對不同類型的服務(wù)，其安全訴求也不同。 用戶對云服務(wù)的信任預(yù)期可分為 3 類：1）

6、完全信任，用戶完全信任云服務(wù)方茴負(fù)責(zé)保護用戶的利益，此假設(shè)下，服務(wù)是否可 信取決于云服務(wù)方是否能夠具有足夠的能力保障系統(tǒng)的安全性，維護用戶利益不被侵犯。2）條件信任，用戶對云服務(wù)方有所懷疑，但是信任經(jīng)過某種手段驗證的云服務(wù)。3）最低信任，用戶懷疑云服務(wù)方的動機與能力，因此對服務(wù)方的信任為最低水平，僅 信任服務(wù)的可用性、性能、容錯等最低保障，其余安全問題靠用戶自己解決。三、大數(shù)據(jù)來源、處理基本流程和處理模式？1、大數(shù)據(jù)的來源 ：傳感器，氣候信息，公開信息如雜志、報紙、文章，還包括購買交 易記錄， 網(wǎng)絡(luò)日志， 病歷，軍事監(jiān)控， 視頻和圖像檔案， 及大型電子商務(wù)等。 根據(jù)來源不同， 大致分為如下幾種

7、類型：（1）人類活動：人們通過社會網(wǎng)絡(luò)、互聯(lián)網(wǎng)、健康、金融、經(jīng)濟、交通等活動過程所 產(chǎn)生的各類數(shù)據(jù)；（ 2）計算機：給類計算機信息系統(tǒng)產(chǎn)生的數(shù)據(jù)，以文件、數(shù)據(jù)庫、多媒體等形式存在，也包括審計、日志等自動生成的信息；（3）物理世界：各類數(shù)字設(shè)備、科學(xué)實驗與觀察所采集的數(shù)據(jù)，如攝像頭、醫(yī)療物聯(lián) 網(wǎng)、氣象業(yè)務(wù)系統(tǒng)等。2、大數(shù)據(jù)的處理基本流程 ：大數(shù)據(jù)的技術(shù)體系涉及大數(shù)據(jù)的采集與預(yù)處理、大數(shù)據(jù) 存儲與管理、 大數(shù)據(jù)計算模式與系統(tǒng)、 大數(shù)據(jù)分析與挖掘、 大數(shù)據(jù)可視化分析及大數(shù)據(jù)隱私 與安全等幾個方面。從層次的觀點，大數(shù)據(jù)系統(tǒng)可分解成3 層：基礎(chǔ)設(shè)施層、計算層和應(yīng)用層。3、大數(shù)據(jù)的處理模式 ：大數(shù)據(jù)分析是

8、在強大的支撐平臺上運行分析算法發(fā)現(xiàn)隱藏在大 數(shù)據(jù)中的潛在價值的過程，根據(jù)處理時間的需求，大數(shù)據(jù)的分析處理可以分為兩類：（1）流式處理：流式處理假設(shè)數(shù)據(jù)的潛在價值是數(shù)據(jù)的新鮮度，因此流式處理方式應(yīng) 盡可能快地處理數(shù)據(jù)并得到結(jié)果。 在這種方式下， 數(shù)據(jù)以流的方式到達(dá)。 在數(shù)據(jù)連續(xù)到達(dá)的 過程中， 由于流攜帶了大量數(shù)據(jù)， 只有小部分的流數(shù)據(jù)被保存在有限的內(nèi)存中。 流處理理論 和技術(shù)已研究多年，代表性的開源系統(tǒng)包括Storm, S4和Kafka。流處理方式用于在線應(yīng)用，通常工作在秒或毫秒級別。（ 2）批處理：在批處理方式中,數(shù)據(jù)首先被存儲,隨后被分析。MapReduce 是非常重要的批處理模型。它的核

9、心思想是，數(shù)據(jù)首先被分成若干小數(shù)據(jù)塊chu nks，隨后這些數(shù)據(jù)塊被并行處理并以分布的方式產(chǎn)生中間結(jié)果,最后這些中間結(jié)果被合并并產(chǎn)生最終結(jié)果。 MapReduce 分配與數(shù)據(jù)存儲位置距離較近的計算資源,以避免數(shù)據(jù)傳輸?shù)耐ㄐ砰_銷。由于 簡單高效, MapReduce 被廣泛應(yīng)用于生物信息、 wed 挖掘和機器學(xué)習(xí)中。四、大數(shù)據(jù)安全與隱私？計算機使得越來越多的數(shù)據(jù)以數(shù)字化的形式存儲在電腦中, 互聯(lián)網(wǎng)技術(shù)的發(fā)展使數(shù)據(jù)的 傳輸、共享更加便利,而數(shù)據(jù)隱私問題則越來越嚴(yán)重。大數(shù)據(jù)在存儲、處理、傳輸?shù)冗^程中 面臨安全風(fēng)險,具有數(shù)據(jù)安全和隱私保護需求。呈現(xiàn)出的安全隱私問題主要有：1）大數(shù)據(jù)時代的安全與傳統(tǒng)安全

10、相比,變得更加復(fù)雜；2）使用過程中的安全問題；3）對大數(shù)據(jù)分析較高的企業(yè)和團體,面臨更多的安全挑戰(zhàn)；4）基于位置的隱私數(shù)據(jù)暴露嚴(yán)重；5）缺乏相關(guān)的法律法規(guī)保證；6）大數(shù)據(jù)的共享問題；7）數(shù)據(jù)動態(tài)性；8）多元數(shù)據(jù)的融合挑戰(zhàn)；目前針對上述問題， 主要研究解決方法有：文件訪問控制技術(shù)、基礎(chǔ)設(shè)備加密、匿名化 保護技術(shù)、加密保護技術(shù)、數(shù)據(jù)水印技術(shù)、數(shù)據(jù)溯源技術(shù)、基于數(shù)據(jù)失真的技術(shù)、基于可逆 的置換算法。五、云計算與大數(shù)據(jù)的關(guān)系？大數(shù)據(jù)產(chǎn)生主要歸結(jié)于互聯(lián)網(wǎng)、移動設(shè)備、物聯(lián)網(wǎng)和云計算等快速崛起，全球數(shù)據(jù)量大 幅提升。大數(shù)據(jù)與云計算兩者是相輔相成的，云計算和大數(shù)據(jù)實際上是工具與用途的關(guān)系， 即云計算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計算提供了很有用武之地。大數(shù)據(jù)著眼于“數(shù)據(jù)”，關(guān)注實際業(yè)務(wù)，云計算著眼于“計算”，關(guān)注IT基礎(chǔ)架構(gòu)，著重數(shù)據(jù)處理能力。相同點：1）目的相同，都是為數(shù)據(jù)存儲和處理服務(wù)，需要占用大量的存儲和計算資源；2 ）技術(shù)相似，大數(shù)據(jù)根植于云計算，云計算關(guān)鍵技術(shù)中的海量數(shù)據(jù)存儲技術(shù)、海量數(shù)據(jù)管 理技術(shù)、MapReduce編程模型，都是大數(shù)據(jù)技術(shù)的基礎(chǔ)。不同點：1）背景，大數(shù)據(jù)不能勝任社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)產(chǎn)生的大量異構(gòu)但有價值數(shù)據(jù)，云計算基于互聯(lián)網(wǎng)服務(wù)日益豐富和頻繁；