云計算與大數據（第二版）云存儲

云計算與大數據第2版云存儲4.1認識云存儲4.2云存儲技術4.3云存儲的應用及面臨的問題重點：云存儲技術云存儲的運用本章重點云存儲是在云計算概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問功能的一個系統(tǒng)。4.1認識云存儲當云計算系統(tǒng)運算和處理的核心是大量數據的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設備，那么云計算系統(tǒng)就轉變成為一個云存儲系統(tǒng)，所以云存儲是一個以數據存儲和管理為核心的云計算系統(tǒng)。圖4-1云存儲的簡易結構與傳統(tǒng)的存儲設備相比，云存儲是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統(tǒng)。各部分以存儲設備為核心，通過應用軟件來對外提供數據存儲和業(yè)務訪問服務。4.2云存儲技術4.2.1云存儲結構

存儲層存儲層是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備，可以是NAS和iSCSI等IP存儲設備，也可以是SCSI或SAS等DAS存儲設備。云存儲中的存儲設備往往數量龐大且分布多不同地域，彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接在一起。2.基礎管理基礎管理層是云存儲最核心的部分，也是云存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統(tǒng)和網格計算等技術，實現云存儲中多個存儲設備之間的協(xié)同工作，使多個的存儲設備可以對外提供同一種服務，并提供更大更強更好的數據訪問性能。3.應用接口應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業(yè)務類型，開發(fā)不同的應用服務接口，提供不同的應用服務。比如視頻監(jiān)控應用平臺、IPTV和視頻點播應用平臺、網絡硬盤引用平臺，遠程數據備份應用平臺等。任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統(tǒng)，享受云存儲服務。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。1）服務模式2）HW模式3）SW模式4.訪問層4.2.2云存儲技術的兩種架構緊耦合對稱架構松弛耦合非對稱架構4.2.3云存儲的種類云存儲可分成兩類：塊存儲（BlockStorage）與文件存儲（FileStorage）。1.塊存儲塊存儲會把單筆的數據寫到不同的硬盤，借以得到較大的單筆讀寫帶寬，適合用在數據庫或是需要單筆數據快速讀寫的應用。它的優(yōu)點是對單筆數據讀寫很快，缺點是成本較高，并且無法解決真正海量文件的儲存，快速更改的單一文件系統(tǒng)，如數據庫、共享的電子表單等，由于有好幾個人共享一個文件，文件需要經常性地、頻繁地更改。為了達到這樣的目的，系統(tǒng)必須具備很大的內存、很快的硬盤及快照等功能，此時可以采用塊存儲類型。文件存儲文件存儲是基于文件級別的存儲，它是把一個文件放在一個硬盤上，即使文件太大拆分時，也放在同一個硬盤上。它的缺點是對單一文件的讀寫會受到單一硬盤效能的限制，優(yōu)點是對一個多文件、多人使用的系統(tǒng)，總帶寬可以隨著存儲節(jié)點的增加而擴展，它的架構可以無限制的擴容，并且成本低廉.當應用存在文件需并發(fā)讀取、文件及文件系統(tǒng)本身較大、文件使用期較長和對成本控制要求較高等情況下，采用文件存儲是一個較好的選擇，如以下應用場合。網站或IPTV應用，此時往往讀取文件較大，總讀取帶寬要求較高。監(jiān)控應用，此時往往會有多個文件的同時寫入。文件備份、存放或搜尋需要訪問長時間存放的文件。4.3.1云存儲的應用領域1．備份2.歸檔3．分配4．共享協(xié)作4.3云存儲的應用及面臨的問題4.3.2云存儲對大數據存儲的支持1.數據的海量化和快增長特征是大數據對存儲技術提出的首要挑戰(zhàn)。大數據存儲要求底層硬件架構和文件系統(tǒng)在性價比上要大大高于傳統(tǒng)技術，并能夠彈性擴展存儲容量。但以往網絡附著存儲系統(tǒng)（NAS）和存儲區(qū)域網絡（SAN）等體系，存儲和計算的物理設備分離，它們之間要通過網絡接口連接，這導致在進行數據密集型計算（DataIntensiveComputing）時I/O容易成為瓶頸。同時，傳統(tǒng)的單機文件系統(tǒng)（如NTFS）和網絡文件系統(tǒng)（如NFS）要求一個文件系統(tǒng)的數據必須存儲在一臺物理機器上，且不提供數據冗余性，可擴展性、容錯能力和并發(fā)讀寫能力難以滿足大數據需求。圖4-3大數據存儲架構的變化2.大數據對存儲技術提出的另一個挑戰(zhàn)是多種數據格式的適應能力格式多樣