云計算 云存儲以及信息安全-課件課件

1、12目錄 云數據安全云數據安全 Hadoop介紹介紹 虛擬化技術介紹虛擬化技術介紹云計算介紹云計算介紹3云計算介紹 云計算云計算（Cloud ComputingCloud Computing）是什么？是什么？v 云計算的核心思想，是將大量用網絡連接的計算資源統(tǒng)一管理和調度，云計算的核心思想，是將大量用網絡連接的計算資源統(tǒng)一管理和調度，構成一個計算資源池向用戶按需服務。提供資源的網絡被稱為構成一個計算資源池向用戶按需服務。提供資源的網絡被稱為“云云”。40多億的移動電話多億的移動電話一一 2010年 數據來源: Nokia個人電腦和個人電腦和筆記本電腦筆記本電腦企企業(yè)業(yè)電電腦腦和和服服務務器器P

2、DA4云計算介紹云計算云計算（Cloud ComputingCloud Computing）的特點的特點v 數據在云端：不怕丟失數據在云端：不怕丟失, ,不必備份不必備份, ,可以任意點的恢復可以任意點的恢復 ；v 軟件在云端：不必下載自動升級軟件在云端：不必下載自動升級 ；v 無所不在的計算：在任何時間，任意地點，任何設備登錄后就可以進行計算服務；無所不在的計算：在任何時間，任意地點，任何設備登錄后就可以進行計算服務；v 無限強大的計算：具有無限空間的，無限速度。無限強大的計算：具有無限空間的，無限速度。硬件為中心硬件為中心軟件為中心軟件為中心 服務為中心服務為中心 PCC/S云計算5云計算

3、介紹云計算的三種服務模式云計算的三種服務模式-IaaS-IaaS 1. 基礎設施即服務（IaaS） 通過互聯(lián)網提供了數據中心、基礎架構硬件和軟件資源。IaaS可以提供服務器、操作系統(tǒng)、磁盤存儲、數據庫和/或信息資源。 Amazon的EC2 (Amazon Elastic Compute Cloud) 其核心技術是虛擬化6云計算介紹云計算的三種服務模式云計算的三種服務模式-IaaS-IaaSv 亞馬遜的亞馬遜的EC2(AmazonElasticComputeCloud)v StandardInstances Small Instance (Default) 1.7 GB of memory, 1

4、 EC2 Compute Unit (1 virtual core with 1 EC2 Compute Unit), 160 GB of local instance storage, 32-bit platform Large Instance 7.5 GB of memory, 4 EC2 Compute Units (2 virtual cores with 2 EC2 Compute Units each), 850 GB of local instance storage, 64-bit platform Extra Large Instance 15 GB of memory,

5、8 EC2 Compute Units (4 virtual cores with 2 EC2 Compute Units each), 1690 GB of local instance storage, 64-bit platform7云計算介紹云計算的三種服務模式云計算的三種服務模式-IaaS-IaaS8云計算介紹云計算的三種服務模式云計算的三種服務模式-PaaS-PaaS 2. 開發(fā)平臺即服務（PaaS） 將一個開發(fā)平臺作為服務提供給用戶,通過PaaS這種模式，用戶可以在一個包括SDK，文檔和測試環(huán)境等在內的開發(fā)平臺上非常方便地編寫應用，而且不論是在部署，或者在運行的時候，用戶都無需為

6、服務器，操作系統(tǒng)，網絡和存儲等資源的管理操心.PaaS主要的用戶是開發(fā)人員。 Google App EngineGoogle:GFS, BigTable, MapReduce, Chubby, BORG豐富的應用、自動的資源調度、精細的管理和監(jiān)控https:/ 3. 軟件即服務（SaaS） 提供給客戶的服務是運營商運行在云計算基礎設施上的應用程序，用戶可以在各種設備上通過瘦客戶端界面訪問如瀏覽器。消費者不需要管理或控制任何云計算基礎設施，包括網絡、服務器、操作系統(tǒng)、存儲等等； Google DocsGmailGoogleAppsGoogleDrive10目錄 云數據安全云數據安全 Hadoop

7、介紹介紹 虛擬化技術介紹虛擬化技術介紹云計算介紹云計算介紹11虛擬化技術介紹虛擬化技術介紹 云計算是一種交付和消費模式，而虛擬化是支持此模式的一種技術。 虛擬化為云計算提供了很好的底層技術平臺，而云計算則是最終產品。 Virtualization is the infrastructure for the cloud, where the cloud is the final product. 云計算云計算與虛擬化的關系與虛擬化的關系12CPU PoolStorage PoolStoragePoolOracle CRMSAP ERPFile/Print當服務器整合遇到虛擬化，當服務器整合遇到虛

8、擬化，IT管理開始具有流動性與自動化管理開始具有流動性與自動化Whenserverconsolidatingmeetsvirtualization:ITliquidityandautomationfledgev更低的更低的ITIT消耗消耗 利用率更高利用率更高 復雜性更低復雜性更低 自動化更高自動化更高v 更高的服務品質更高的服務品質 更加安全更加安全 集中管理集中管理 可無中斷移動的應用程序可無中斷移動的應用程序ExchangeVirtualizationVirtualizationVirtualizationVirtualizationVirtual Infrastructure虛擬化技術

9、介紹虛擬化技術介紹13一個虛擬化示例：數據存儲2022-1-2113用戶用戶直接存取直接存取存儲單元存儲單元去去耦耦合合初級初級高級高級用戶用戶文件存取文件存取存儲單元存儲單元OS存取存取 存儲虛擬化存儲虛擬化用戶用戶用戶用戶用戶用戶用戶用戶mov dx, 0152hfwrite(fp, 973, size)Store(973, size)存取存取存儲服務存儲服務14系統(tǒng)虛擬化的產生計算系統(tǒng)利用率不高！2022-1-2114n“多數用戶承認，計算系統(tǒng)平均利用率只有25%30%”Dan HeringtonHPHP虛擬化技術首席科學家虛擬化技術首席科學家n性能測試報告，來自權威性能測試機構Metr

10、ons Athenen對一個計算系統(tǒng)進行兩天監(jiān)測的數據15系統(tǒng)虛擬化的產生計算系統(tǒng)靈活性不高！2022-1-2115作業(yè)：飛行器的流場計算飛行器的流場計算程序：Fluent 6.3作業(yè)：32位操作系統(tǒng)：Linux平臺：X86作業(yè)1 1飛行器專家飛行器專家作業(yè)：生物計算生物計算程序：BLAST作業(yè)：32位操作系統(tǒng)：Windows平臺：X86作業(yè)2生物專家生物專家計算中心計算中心作業(yè)1操作系統(tǒng)不匹配！操作系統(tǒng)不匹配！作業(yè)1作業(yè)2操作系統(tǒng)不匹配！操作系統(tǒng)不匹配！作業(yè)2n浪費時間n操作繁瑣n機器閑置時間較多n原因：應用軟件與操作系統(tǒng)、硬件緊耦合16什么是系統(tǒng)虛擬化2022-1-2116虛擬機管理器VM

11、M操作系統(tǒng)應用程序操作系統(tǒng)應用系統(tǒng)操作系統(tǒng)應用系統(tǒng)多個系統(tǒng)融合在一臺服多個系統(tǒng)融合在一臺服務器上務器上 資源利用率高資源利用率高應用系統(tǒng)不再依賴特定應用系統(tǒng)不再依賴特定的硬件的硬件 系統(tǒng)維護靈活系統(tǒng)維護靈活硬件發(fā)展迅速硬件發(fā)展迅速系統(tǒng)虛擬化是將底層物理設備與上層操作系統(tǒng)、軟件分離的一種去耦合技術虛擬化的目標是實現(xiàn)IT資源利用效率和靈活性的最大化17三個基本概念在一臺物理主機上虛擬出多個虛擬計算機（虛擬機，Virtual Machine，VM），其上能同時運行多個獨立的操作系統(tǒng)，這些客戶操作系統(tǒng)（Guest OS）通過虛擬機管理器（Virtual Machine Monitor，VMM，也稱作H

12、ypervisor）訪問實際的物理資源2022-1-2117HardwareVirtualMachineMonitorLinuxLinux(devel)XPVistaMacOS18提高資源利用率2022-1-2118虛擬化虛擬化技術支技術支持下的持下的高效能高效能計算機計算機19提高系統(tǒng)靈活性2022-1-2119X86Power PCiMacPDAMIPSLinuxMacOS各種應用各種應用計算系統(tǒng)虛擬化支撐平臺計算系統(tǒng)虛擬化支撐平臺(虛擬機管理器虛擬機管理器VMM)動態(tài)二動態(tài)二進制翻譯進制翻譯和優(yōu)化和優(yōu)化硬件輔硬件輔助虛擬化助虛擬化軟硬件軟硬件協(xié)同設計協(xié)同設計虛擬機虛擬機20另一種形式的系

13、統(tǒng)虛擬化多機聚合虛擬化2022-1-2120VMMVMMVMMVMMVMMVMM操作操作系統(tǒng)系統(tǒng)應用系統(tǒng)應用系統(tǒng)操作操作系統(tǒng)系統(tǒng)應用系統(tǒng)應用系統(tǒng)21系統(tǒng)虛擬化的應用虛擬機的特征及應用 相互隔離 動態(tài)構建 動態(tài)部署 在線遷移 動態(tài)資源調整 服務器融合 容錯支持：在線備份、Checkpoint 虛擬機管理器VMM操作系統(tǒng)應用系統(tǒng)操作系統(tǒng)應用系統(tǒng)22動態(tài)快速部署2022-1-2122虛擬機庫虛擬機管理器虛擬機管理器虛擬機管理器需要Windows操作系統(tǒng)需要DirectX的編程庫需要MPI通訊庫.NETDirectXMPI.NETDirectXMPI.NETDirectXMPI銀河銀河神威神威23動態(tài)

14、快速部署2022-1-2123虛擬機庫虛擬機管理器虛擬機管理器虛擬機管理器需要Windows操作系統(tǒng)需要DirectX的編程庫需要MPI通訊庫.NETDirectXMPI.NETDirectXMPI.NETDirectXMPIRedhat Linux操作系統(tǒng)需要MySQL數據庫需要Apache服務器PHPMySQLApachePHPMySQLApachePHPMySQLApache銀河銀河神威神威24虛擬機在線遷移2022-1-2124資源不夠資源不夠該遷移了該遷移了到我這里來吧到我這里來吧我有資源我有資源252022-1-2125o 消除熱點n 一個物理機上的資源不能滿足它上面虛擬機的要求，

15、負載過重n 通過遷移平衡負載o 節(jié)能n 很多時候資源非?？臻en 通過遷移減少活動的物理機30%30%40%20%10%服務器融合Hypervisor26虛擬機容錯2022-1-212627v 硬件層虛擬化硬件層虛擬化 Full Virtualization: VMware Workstation Para-Virtualization: VMware ESX，Xenv 操作系統(tǒng)級虛擬化操作系統(tǒng)級虛擬化Linux-VSerser、Virtuozzo（OpenVZ）、）、LWVM等等v 編程語言級虛擬化編程語言級虛擬化JVM等等v 程序庫級虛擬化程序庫級虛擬化Wine、Cygwin虛擬化技術介紹虛

16、擬化技術介紹虛擬化技術分類虛擬化技術分類28虛擬化技術介紹虛擬化技術介紹硬件級虛擬化的體系結構硬件級虛擬化的體系結構VMware-WorkStationXen，VMware ESX，Intel VT-x，AMD-V29虛擬化技術介紹虛擬化技術介紹云基礎設施的本質特點云基礎設施的本質特點多租戶的特點多租戶的特點復雜的工作量復雜的工作量信息的隱蔽性信息的隱蔽性單點接入機制單點接入機制較少的物理設備較少的物理設備復雜的網絡拓撲復雜的網絡拓撲30虛擬化技術介紹虛擬化技術介紹云基礎設施的本質特點云基礎設施的本質特點多租戶的特點多租戶的特點位于同一個云平臺上的用戶通過共享硬件資源和部分應用程序來運行各自的

17、虛擬機。這種特征增大了云基礎設施的攻擊面，使得信息泄露、VM到VM以及VM到VMM的攻擊成為可能。硬硬件件V VM MM M客客戶戶操操作作系系統(tǒng)統(tǒng)應用程序客客戶戶操操作作系系統(tǒng)統(tǒng)應用程序. . .客客戶戶操操作作系系統(tǒng)統(tǒng)應用程序裸金屬架構云平臺裸金屬架構云平臺31虛擬化技術介紹虛擬化技術介紹云基礎設施的本質特點云基礎設施的本質特點復雜的工作量復雜的工作量 云物理服務器中的網絡流量和工作負載隨著服務器的聚集而增加，這就增加了管理云工作量的復雜性。 信息的隱蔽性信息的隱蔽性 用戶不知道他們使用的數據和的服務在云平臺中的位置，而云服務商不知道他們運行虛擬機中的內容是什么。32虛擬化技術介紹虛擬化技

18、術介紹云基礎設施的本質特點云基礎設施的本質特點單點接入機制單點接入機制 虛擬服務器只提供有限數量的網絡接口卡（NIC）給所有的虛擬機。 較少的物理設備較少的物理設備 由于服務器和網絡的虛擬化，物理設備（比如網卡、交換機等）的數量減少了。33虛擬化技術介紹虛擬化技術介紹云基礎設施的本質特點云基礎設施的本質特點 復雜的網絡拓撲復雜的網絡拓撲 VM的移動特性導致了不可預測的網絡拓撲結構，云服務器的工作量隨著時間改變，云架構也在不停的變化中。VMVM遷移技術遷移技術34虛擬化技術介紹虛擬化技術介紹Xen架構架構35虛擬化技術介紹虛擬化技術介紹Microsoft Hyper-V架構架構36虛擬化技術介紹

19、虛擬化技術介紹Hyper-V介紹介紹 Hyper-V 是一種虛擬機監(jiān)控器，采用微內核架構，主要作用就是管理、調度虛擬機的創(chuàng)建和運行,并提供硬件資源的虛擬化。 Hyper-V是一個只有300多K的小程序,用于連接硬件和虛擬機。支持4個虛擬處理器,64 GB內存,并且支持x64操作系統(tǒng)和VLAN功能。VSPsVSPsI I/ /O O StackStackDriversDriversVMBusVMBusAppsAppsI I/ /O O StackStackVSCsVSCsVMBusVMBusHypervisorHypervisorDriversDriversCPUCPUMemoryMemoryH

20、yper-V 虛擬機的總體架構虛擬機的總體架構37虛擬化技術介紹虛擬化技術介紹Hyper-V的安全性的安全性VMM程序小程序小, ,代代碼執(zhí)行時發(fā)生錯碼執(zhí)行時發(fā)生錯誤的概率降低；誤的概率降低；Hyper-V中不包中不包含任何第三方的含任何第三方的驅動驅動, ,所有部件所有部件只擁有執(zhí)行相關只擁有執(zhí)行相關功能所必須的權功能所必須的權限限, ,所以安全性所以安全性也得到提升。也得到提升。 VMM運行在最底運行在最底層層, , 父分區(qū)和子父分區(qū)和子分區(qū)比宿主機和分區(qū)比宿主機和虛擬機更加獨立虛擬機更加獨立, ,大大增加了通大大增加了通過虛擬機攻擊其過虛擬機攻擊其他計算機系統(tǒng)的他計算機系統(tǒng)的難度難度,

21、, 提高了安提高了安全性。全性。使用使用VSP/VSC架架構，構，VMBus起起到對虛擬機第一到對虛擬機第一層安全保護的作層安全保護的作用；用；VMM層只做層只做最核心的最核心的CPU調調度和內存管理度和內存管理, ,形成了縱深的安形成了縱深的安全防護體系。全防護體系。Hypervisor運行的層次運行的層次 虛擬機內核虛擬機內核擁有的權限擁有的權限 虛擬系統(tǒng)的虛擬系統(tǒng)的安全防御體系安全防御體系 38虛擬化技術介紹虛擬化技術介紹虛擬化漏洞報道虛擬化漏洞報道 Host OS、Guest OS 的漏洞：本地權限提升等第三方軟件漏洞 ：VMware會大量的使用第三方軟件，如果第三方軟件有漏洞， VM

22、ware一樣會受到影響。 虛擬機逃逸：（1）共享文件夾 、(2) DHCP Server、（3）VMware中的用于支持客操作系統(tǒng)向外面的操作系統(tǒng)通訊的渠道 39虛擬化技術介紹虛擬化技術介紹虛擬化漏洞報道虛擬化漏洞報道虛擬機中的網絡流量能見度問題：用戶無法監(jiān)控虛擬服務器之間的網絡流量，這些數據包從未離開過真實的服務器，因而傳統(tǒng)的安全工具無法分析這些流量，而傳統(tǒng)的網絡入侵防御系統(tǒng)無法保護基于同一個物理服務器的眾多虛擬服務器。帶寬問題：云計算不僅使得互聯(lián)網的使用增加，而且還增加了網絡堵塞瓶頸的風險。40虛擬化技術介紹虛擬化技術介紹虛擬化安全領域的研究虛擬化安全領域的研究傳統(tǒng)的安全措施傳統(tǒng)的安全措施

23、針對虛擬化技術的安全措施針對虛擬化技術的安全措施虛擬機監(jiān)控器微內核架構的研究虛擬機監(jiān)控器微內核架構的研究針對針對VMMVMM層的防護層的防護v 此領域的研究可被分為以下幾類：此領域的研究可被分為以下幾類：41虛擬化技術介紹虛擬化技術介紹虛擬化安全領域的研究虛擬化安全領域的研究 傳統(tǒng)的安全措施傳統(tǒng)的安全措施 關注點在于如何利用現(xiàn)有的安全技術（比如：防火墻、入侵檢關注點在于如何利用現(xiàn)有的安全技術（比如：防火墻、入侵檢測系統(tǒng)等等）保證云平臺的安全性。測系統(tǒng)等等）保證云平臺的安全性。 嚴重的限制嚴重的限制 1. 1. 降低了系統(tǒng)的性能；降低了系統(tǒng)的性能； 2. 2. 無法阻止虛擬機和虛擬交換器之間的攻

24、擊；無法阻止虛擬機和虛擬交換器之間的攻擊； 3. 3. 沒有考慮云架構的復雜性；沒有考慮云架構的復雜性； 4. 4.需要在每一個虛擬機上安裝安全代理或驅動來執(zhí)行檢測功能。需要在每一個虛擬機上安裝安全代理或驅動來執(zhí)行檢測功能。42針對虛擬化技術的安全措施針對虛擬化技術的安全措施 在具有特權可以訪問在具有特權可以訪問VMMVMM的的VMVM中部署安全軟件中部署安全軟件(SecVM)來來保護位于同一個云基礎設施上的其他虛擬機。保護位于同一個云基礎設施上的其他虛擬機。虛擬化技術介紹虛擬化技術介紹虛擬化安全領域的研究虛擬化安全領域的研究具體結構具體結構43虛擬化技術介紹虛擬化技術介紹虛擬化安全領域的研究

25、虛擬化安全領域的研究嚴重的限制嚴重的限制 1. 1.丟失了語義信息；丟失了語義信息； 2. 2.基于虛擬機的代理仍然存在；基于虛擬機的代理仍然存在； 3. 3.只可以用于被動檢測；只可以用于被動檢測； 4. 4.沒有考慮虛擬機和云平臺的動態(tài)性，只為處于同一個云平臺沒有考慮虛擬機和云平臺的動態(tài)性，只為處于同一個云平臺上的有限個虛擬機提供安全保障。上的有限個虛擬機提供安全保障。44虛擬機監(jiān)控器微內核架構的研究虛擬機監(jiān)控器微內核架構的研究 研究一種用微內核代替宏內核的研究一種用微內核代替宏內核的VMM，根據，根據TCB規(guī)則，這種方規(guī)則，這種方法有助于減少法有助于減少VMMVMM的攻擊面。的攻擊面。虛

26、擬化技術介紹虛擬化技術介紹虛擬化安全領域的研究虛擬化安全領域的研究 針對針對VMM層的防護層的防護 目標是為了保護目標是為了保護VMM免受基于免受基于VMM的的rootkits以及對內存頁面以及對內存頁面的攻擊。的攻擊。45安全看門狗虛擬機安全看門狗虛擬機面向虛擬機的面向虛擬機的網絡入侵檢測系統(tǒng)網絡入侵檢測系統(tǒng)虛擬盾虛擬盾(VirtualShield)軟件軟件Ctrix Netscaler軟件軟件虛擬化防虛擬化防護軟件護軟件虛擬化技術介紹虛擬化技術介紹虛擬化檢測防護軟件虛擬化檢測防護軟件46虛擬化技術介紹虛擬化技術介紹虛擬化檢測防護軟件虛擬化檢測防護軟件安全看門狗虛擬機 安全看門狗虛擬機利用自

27、省API來訪問關于每一臺虛擬機的特權狀態(tài)信息，包括內存、狀態(tài)和網絡通信流量等。訪客VM訪客VMvSwitch訪客VM訪客VMvSwitch管管理理程程序序 安安全全 看看門門狗狗V VM MW WM Ms sa af fe e A AP PI I圖圖：安安全全看看門門狗狗V VM M47虛擬化技術介紹虛擬化技術介紹虛擬化檢測防護軟件虛擬化檢測防護軟件面向虛擬機的網絡入侵檢測系統(tǒng) （1）Livewire系統(tǒng)（2）Revirt系統(tǒng)（3）virtual IDS系統(tǒng)等等.v 虛擬盾虛擬盾(VirtualShield)(VirtualShield)軟件軟件 Blue LaneBlue Lane公司去年推

28、出了虛擬盾公司去年推出了虛擬盾(VirtualShield)(VirtualShield)軟件，運行在主軟件，運行在主機管理程序和它的虛擬機之間。它能夠阻止那些惡意軟件接觸到虛擬機管理程序和它的虛擬機之間。它能夠阻止那些惡意軟件接觸到虛擬機，并可以對虛擬機之間的流量進行分析和監(jiān)控。機，并可以對虛擬機之間的流量進行分析和監(jiān)控。48虛擬化技術介紹虛擬化技術介紹虛擬化檢測防護軟件虛擬化檢測防護軟件Netscaler軟件 WAN優(yōu)化產品可以通過“改進應用程序流量管理、消除多余的傳輸”來緩解企業(yè)應用程序網絡流量的擁塞問題。比如，Citrix系統(tǒng)公司推出的Ctrix Netscaler軟件，它提供一個We

29、b 應用程序的防火墻，并且結合了第4-7網絡層負荷均衡的流量管理。Netscaler49目錄云數據安全云數據安全 Hadoop介紹介紹 虛擬化技術介紹虛擬化技術介紹 云計算云計算50 Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。v 具有高容錯性的特點，并且設計用來部署在低廉的硬件上。1. 高吞吐率適合那些有著超大數據集（large data set）的應用程序。Hadoop介紹介紹HadoopHadoop簡介簡介51Hadoop 是主要用于處理海量數據而設計的，它是一個開源的分布式計算框架，核心內容主要有兩個：一個是它的分

30、布式文件系統(tǒng)（HDFS），另一個是 Map/Reduce 編程模型。云存儲介紹云存儲介紹HadoopHadoop的組成的組成52Hadoop介紹介紹HDFS 就像一個傳統(tǒng)的分級文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動或重命名文件。分布式文件系統(tǒng)（分布式文件系統(tǒng)（HDFSHDFS）53Hadoop介紹介紹分布式文件系統(tǒng)（分布式文件系統(tǒng)（HDFSHDFS）NameNode（僅一個）：在（僅一個）：在 HDFS 內部提供元數據服務；內部提供元數據服務；DataNode：它為：它為 HDFS 提供存儲塊。由于僅存在一個提供存儲塊。由于僅存在一個 NameNode，因此這是因此這是 HDFS 的一個缺點（單點失敗

31、）。的一個缺點（單點失?。?。 存儲在存儲在 HDFS 中的文件被分成塊，然后將這些塊復制到多個計算中的文件被分成塊，然后將這些塊復制到多個計算機中（機中（DataNode）。這與傳統(tǒng)的）。這與傳統(tǒng)的 RAID 架構大不相同。塊的大小架構大不相同。塊的大?。ㄍǔ椋ㄍǔ?64MB）和復制的塊數量在創(chuàng)建文件時由客戶機決定。）和復制的塊數量在創(chuàng)建文件時由客戶機決定。NameNode 可以控制所有文件操作。可以控制所有文件操作。HDFS 內部的所有通信都基于內部的所有通信都基于標準的標準的 TCP/IP 協(xié)議。協(xié)議。 54Hadoop介紹介紹Google Google 的云計算架構的云計算架構-Li

32、nux PC-Linux PC構成構成1、GFS（Google File System）。一個分布式文件系統(tǒng)，隱藏下層負載均衡，冗余復制等細節(jié)，對上層程序提供一個統(tǒng)一的文件系統(tǒng)API接口。Google根據自己的需求對它進行了特別優(yōu)化，包括：超大文件的訪問，讀操作比例遠超過寫操作，PC機極易發(fā)生故障造成節(jié)點失效等。GFS把文件分成64MB的塊，分布在集群的機器上，使用Linux的文件系統(tǒng)存放。同時每塊文件至少有3份以上的冗余。中心是一個Master節(jié)點，根據文件索引，找尋文件塊。2、MapReduce。Google發(fā)現(xiàn)大多數分布式運算可以抽象為MapReduce操作。Map是把輸入Input分解

33、成中間的Key/Value對，Reduce把Key/Value合成最終輸出Output。這兩個函數由程序員提供給系統(tǒng)，下層設施把Map和Reduce操作分布在集群上運行，并把結果存儲在GFS上。 3、BigTable。一個大型的分布式數據庫，這個數據庫不是關系式的數據庫。55Hadoop介紹介紹Map/Reduce Map/Reduce 編程模型編程模型v Map/Reduce 是一種并行編程模型，主是一種并行編程模型，主要用于處理和產生大規(guī)模數據集。它包要用于處理和產生大規(guī)模數據集。它包括兩個最主要的過程：括兩個最主要的過程：Map 過程和過程和 Reduce 過程。過程。 在 Map 過程

34、中指定對各分塊數據的處理過程，然后在 Reduce 階段指定對分塊數據處理的中間結果進行規(guī)約操作。v Map/Reduce 模型具有很強的容錯性能，模型具有很強的容錯性能，當集群中的一個任務節(jié)點出現(xiàn)故障時，當集群中的一個任務節(jié)點出現(xiàn)故障時，只需要將這個節(jié)點刪除并將該節(jié)點上的只需要將這個節(jié)點刪除并將該節(jié)點上的執(zhí)行程序遷移到其他節(jié)點上重新執(zhí)行。執(zhí)行程序遷移到其他節(jié)點上重新執(zhí)行。56目錄云數據安全云數據安全 Hadoop介紹介紹 虛擬化技術介紹虛擬化技術介紹 云計算云計算57云數據安全云數據安全外包數據的完整性審計外包數據的完整性審計數據存儲在云中的數據是否完整？如何檢驗？將數據全部取回不實際，因為

35、海量的數據取回會消耗大量帶寬以及終端的計算能力58云數據安全云數據安全外包數據的完整性審計外包數據的完整性審計數據數據校驗標簽數據分塊校驗標簽計算校驗標簽59云數據安全云數據安全外包數據的完整性審計外包數據的完整性審計聚合聚合校驗校驗標簽具有同態(tài)特性校驗標簽具有同態(tài)特性關鍵是尋找高效的同態(tài)標簽方案，關鍵是尋找高效的同態(tài)標簽方案，具有低的計算復雜度具有低的計算復雜度校驗請求（欲檢驗的數據塊標號）60云數據安全云數據安全外包數據的完整性審計外包數據的完整性審計聚合聚合檢驗的數據塊標號第三方公開審計第三方公開審計校驗請求公開審計需要可公開驗證的同態(tài)可聚合標簽生成算法61云數據安全云數據安全外包數據的

36、加密外包數據的加密為保護用戶數據的隱私，用戶在外包存儲之前，需要對其進行加密。加密數據的共享加密數據的共享 屬性加密屬性加密 代理重加密代理重加密可搜索的數據加密可搜索的數據加密62傳統(tǒng)訪問控制模型62Access control list:Kevin, Dave, andanyone in IT departmentSarah:IT department,backup manager?v優(yōu)點優(yōu)點: 靈活的接入策略v缺點缺點: 數據對服務器的泄露是脆弱的 必須相信服務器的安全性云數據安全云數據安全63加密文件存儲63v 更安全更安全,但丟失靈活性但丟失靈活性v 每個文件新的密鑰每個文件新的密鑰

37、: 必須在線分發(fā)密鑰v 許多文件有相同的密鑰許多文件有相同的密鑰: 不可能實行細粒度訪問控制云數據安全云數據安全64密文策略的基于屬性加密64PKMSKSKSarah:“manager”“IT dept.”SKKevin:“manager”“sales”O(jiān)RIT dept.ANDmanagermarketing云數據安全云數據安全65密文策略的基于屬性加密65云數據安全云數據安全J . Bethencourt, A. Sahai, and B. Waters. Ciphertext-policy attribute based encryption. In Proceedings of IEE

38、E ISSP 2007, pages 321-334.M. Chase. Multi-authority attribute based encryption. In Proceedings of TCC 2007, volume 4392 of LNCS, pages 515-534.M. Chase and S. Chow. Improving privacy and security in multi-authority attribute-based encryption. In Proceedings of ACM CCS 2009, pages 121-130.S. Yu, C.

39、Wang, K. Ren, and W. Lou, Achieving secure, scalable, and fine-grained data access control in cloud computing. In Proceedings of IEEE INFOCOM 2010, pages 15-19.J. Li, G. Zhao, X. Chen, D. Xie, C. Rong, W. Li, L. Tang, Y. Tang, Fine-grained data access control systems with user accountability in clou

40、d computing, in: CloudCom, IEEE, 2010, pp. 8996.Attrapadung, Nuttapong, Herranz, Javier, Laguillaumie, Fabien, Libert, Benot, de Panafieu, Elie, Rfols, Carla, Attribute-based encryption schemes with constant-size ciphertexts. Theoretical Computer Science, 2012, DOI: 10.1016/j.tcs.2011.12.004 zhibin

41、zhou, Dijiang Huang, On efficient ciphertext-policy attribute based encryption and broadcast encryption: extended abstract, CCS 10 Proceedings of the 17th ACM conference on Computer and communications security, 201066代理重加密66云數據安全云數據安全 代理重加密是指允許第三方（代理）改變由數據所有者加密的密文，使得代理重加密是指允許第三方（代理）改變由數據所有者加密的密文，使得數

42、據所有者可以委托云服務將加密的文檔交互給另一方解密，而云服務并不數據所有者可以委托云服務將加密的文檔交互給另一方解密，而云服務并不知道數據的明文。知道數據的明文。 指派指派：允許允許Bob基于自己的秘密密鑰和基于自己的秘密密鑰和Alice的密鑰產生重加密的密鑰。非的密鑰產生重加密的密鑰。非對稱代理重加密方案分為雙向和單向兩類。雙向方案中重加密是可逆的，對稱代理重加密方案分為雙向和單向兩類。雙向方案中重加密是可逆的，而單向重加密則是不可逆的。而單向重加密則是不可逆的。 傳遞傳遞：可傳遞的代理重加密方案允許密文重加密的次數無限制。不可傳遞：可傳遞的代理重加密方案允許密文重加密的次數無限制。不可傳遞

43、的代理重加密方案只允許重加密一次。的代理重加密方案只允許重加密一次。 AliceBobTrentAlice密鑰密鑰轉換密鑰轉換密鑰Bob密鑰密鑰目前，還沒有已知的單向的、可傳遞目前，還沒有已知的單向的、可傳遞的代理重加密方案。的代理重加密方案。! 6767云數據安全云數據安全M. Blaze, G. Bleumer, M. Strauss. Divertible Protocols and Atomic Proxy Cryptography. G. Ateniese, K. Fu, M. Green, S. Hohenberger. Improved Proxy Re-encryption S

44、chemes with Applications to Secure Distributed Storage. Proceedings of the 12th Annual Network and Distributed Systems Security Symposium (NDSS 2005), San Diego, California, 2005. M. Green, G. Ateniese. Identity-Based Proxy Re-encryption. Applied Cryptography and Network Security Conference, June 20

45、07. Hohenberger, G. Rothblum, a. shelat, and V. Vaikuntanathan. Securely Obfuscating Re-encryption. Proceedings of the Theory of Cryptography Conference (TCC), 2007. R. Canetti and S. Hohenberger. Chosen-Ciphertext Secure Proxy Re-Encryption. In Proc. of ACM CCS 2007, pp.185-194. ACM Press, 2007. J.

46、 Weng, R. Deng, X. Ding, C. Chu, J. Lai, Conditional Proxy Re-Encryption Secure against Chosen-Ciphertext Attack, ACM ASIACCS 2009 Benot Libert and Damien Vergnaud，Unidirectional Chosen-Ciphertext Secure Proxy Re-encryption， PKC 2008， Lecture Notes in Computer Science, 2008, Volume 4939/2008, 360-37

47、9 Toshihide Matsuda, Ryo Nishimaki and Keisuke Tanaka，CCA Proxy Re-Encryption without Bilinear Maps in the Standard Model, PKC2010，Lecture Notes in Computer Science, 2010, Volume 6056/2010, 261-278 Sherman S. M. Chow etal，Efficient Unidirectional Proxy Re-Encryption，Progress in Cryptology AFRICACRYP

48、T 2010 ，Lecture Notes in Computer Science, 2010, Volume 6055/2010, 316-332 Hongbing Wang, Zhenfu Cao，and Licheng Wang, Multi-use and unidirectional identity-based proxy re-encryption, Information Sciences,Volume 180, Issue 20, 15 October 2010, Pages 4042-4059代理重加密代理重加密68可搜索加密68云數據安全云數據安全三種三種基本基本模式模式

49、對稱可搜索加密對稱可搜索加密SSE非對稱可搜索加密非對稱可搜索加密保密的信息檢索保密的信息檢索PIR數據和附加索引加密并且存儲在服數據和附加索引加密并且存儲在服務器端，只有擁有密鑰鑰的人才可務器端，只有擁有密鑰鑰的人才可以訪問。所有有關用戶訪問模式將以訪問。所有有關用戶訪問模式將被隱藏。被隱藏。例：發(fā)送者利用接收者公鑰發(fā)送郵例：發(fā)送者利用接收者公鑰發(fā)送郵件給郵件服務件給郵件服務 器。任何一個擁有公器。任何一個擁有公鑰的用戶都可以向索引中增添文字，鑰的用戶都可以向索引中增添文字，但是只有擁有私鑰的接收可以生成但是只有擁有私鑰的接收可以生成“陷門陷門”去檢測具有一關鍵字的郵去檢測具有一關鍵字的郵件

50、件在不泄露訪問模式并且總通信量少在不泄露訪問模式并且總通信量少于數據大小的前提下從存儲有未加于數據大小的前提下從存儲有未加密數據的服務器端檢索出數據的體密數據的服務器端檢索出數據的體制。制。69公鑰可搜索加密69云數據安全云數據安全不同的發(fā)送者可以用不同的發(fā)送者可以用Alice的公鑰向的公鑰向Alice發(fā)送加密的文發(fā)送加密的文件，同時件，同時Alice可以搜索確定文件中是否帶有特定的關可以搜索確定文件中是否帶有特定的關鍵詞鍵詞W1,W2,EApub msg; PEKS(Apub;W1); ; PEKS(Apub;Wk) PEKS為可搜索公鑰加密方法為可搜索公鑰加密方法 郵件服務器Tw帶有關鍵字

51、W的郵件70公鑰可搜索加密70云數據安全云數據安全 KeyGen(s):給定安全參數給定安全參數s, 產生公產生公/私鑰對私鑰對Apub; Apriv. PEKS(Apub;W): 對公鑰對公鑰 Apub 和關鍵字和關鍵字W, 產生產生W的可搜的可搜索加密。索加密。 Trapdoor(Apriv;W):給定給定Alice的私鑰和關鍵字的私鑰和關鍵字W，產生，產生陷門陷門TW. Test(Apub; S; TW): 給定給定Alice的公鑰，一個可搜索加密的公鑰，一個可搜索加密S = PEKS(Apub;W0), 一個陷門一個陷門TW = Trapdoor(Apriv;W),如果如果 W = W

52、0 ，輸出，輸出yes ，否則輸出，否則輸出no.71可搜索加密71云數據安全云數據安全模糊關鍵詞搜索模糊關鍵詞搜索搜索結果排序搜索結果排序72可搜索加密72云數據安全云數據安全1 D. Song, D. Wagner, and A. Perrig, “Practical techniques for searches on encrypted data”, in Proc. of S&P, 2000, pp. 4455.2 E.-J. Goh, “Secure indexes,” Cryptology ePrint Archive, Report 2003/216, 2003, ht

53、tp://.3 Y.-C. Chang and M. Mitzenmacher, “Privacy preserving keyword searches on remote encrypted data,” in Proc. of ACNS05, 2005.4 R. Curtmola, J. A. Garay, S. Kamara, and R. Ostrovsky, “Searchable symmetric encryption: improved definitions and efficient constructions,” in Proc. of A

54、CM CCS06, 2006.5 Peter van Liesdonk, Saeed Sedghi, Jeroen Doumen, Pieter Hartel, and Willem Jonker, “Computationally Efficient Searchable Symmetric Encryption” in 7th Conference on Security and Cryptography for Networks (SCN 2010), 2010.6 Cong Wang, Ning Cao, Kui Ren, and Wenjing Lou, Enabling Secur

55、e and Efficient Ranked Keyword Search over Outsourced Cloud Data, IEEE Transactions on Parallel and Distributed Systems (TPDS), 2011.7 N. Cao, C. Wang, M. Li, K. Ren, and W. Lou, “Privacy-preserving multi-keyword ranked search over encrypted cloud data,” in Proc. Of IEEE INFOCOM, 2011.8 S. De Capita

56、ni di Vimercati, S. Foresti, S. Jajodia, S. Paraboschi, and P. Samarati, “ Private Data Indexes for Selective Access to Outsourced Data ”, in Proc. of the 10th Workshop on Privacy in the Electronic Society (WPES 2011), Chicago, Illinois, USA, October 17, 2011.73可搜索加密73云數據安全云數據安全9 D. Boneh, G. D. Cre

57、scenzo, R. Ostrovsky, and G. Persiano, “Public key encryption with keyword search,” in Proc. of EUROCRYP04, 2004.10 M. Abdalla, M. Bellare, D. Catalano, E. Kiltz, T. Kohno, T. Lange, J. Malone-Lee, G. Neven, P. Paillier, and H. Shi, “Searchable encryption revisited: Consistency properties, relation

58、to anonymous IBE, and extensions,” in Proc. of CRYPTO05, 2005.11 P. Golle, J. Staddon, and B. R. Waters, “Secure Conjunctive Keyword Search over Encrypted Data,” in Proc. of ACNS04, 2004, pp. 3145.12 D. Boneh and B. Waters, “Conjunctive, subset, and range queries on encrypted data,” in Proc. of TCC, 2007, pp. 535554.13 E. Shi, J. Bethencourt, H. Chan, D. Song, and A. Perrig, “Multi-dimensional range query over encrypted data,” in Proc. of IEEE Sy